Yapay zeka, hastalıkları teşhis etmede insanlar kadar iyidir
Türünün ilk sistematik incelemesi ve meta-analizi, yapay zekanın (AI) tıbbi bir imaja dayalı bir hastalığı teşhis etmede sağlık uzmanları kadar iyi olduğunu ortaya koyuyor. Ancak daha kaliteli çalışmalara ihtiyaç vardır.
Yeni bir makale, yapay zekanın hastalıkları sağlık uzmanları kadar etkili bir şekilde teşhis edip edemeyeceğini belirlemek amacıyla mevcut kanıtları incelemektedir.
Yazarların bilgisine göre - Birleşik Krallık'taki University Hospitals Birmingham NHS Foundation Trust'tan Profesör Alastair Denniston liderliğindeki geniş bir araştırmacı ekibi - bu, tüm hastalıklar için tıp uzmanları ile AI performansını karşılaştıran ilk sistematik derlemedir.
Prof. Denniston ve ekibi, 1 Ocak 2012 ile 6 Haziran 2019 arasında yayınlanan tüm çalışmalar için çeşitli tıbbi veritabanlarını araştırdılar. Ekip, analizlerinin sonuçlarını dergide yayınladı. Lancet Dijital Sağlık.
Sağlık uzmanlarıyla eşit düzeyde yapay zeka
Araştırmacılar, derin öğrenme algoritmalarının tanısal etkililiğini, tıbbi görüntülemeye dayalı bir teşhis koyduklarında sağlık uzmanlarınınki ile karşılaştıran çalışmaları aradılar.
Söz konusu çalışmalardaki raporlamanın kalitesini, klinik değerini ve çalışmaların tasarımını incelediler.
Dahası, yapay zekanın tanısal performansını sağlık uzmanlarınınkiyle karşılaştırmaya gelince, araştırmacılar iki sonuca baktılar: özgüllük ve duyarlılık.
"Duyarlılık", bir teşhis aracının hastalığı olan kişilerde olumlu sonuç alma olasılığını ifade eder. Özgüllük, duyarlılık ölçüsünü tamamlayan tanısal testin doğruluğunu ifade eder.
Seçim süreci, kalitesi analize dahil edilebilecek kadar yüksek olan yalnızca 14 çalışma verdi. Prof. Denniston, "20.500'den fazla makaleyi inceledik, ancak bunların% 1'inden daha azı tasarımlarında yeterince sağlamdı ve bağımsız hakemlerin iddialarına yüksek güven duyduklarını bildirdiler."
"Dahası, yalnızca 25 çalışma AI modellerini harici olarak doğruladı (farklı bir popülasyondan tıbbi görüntüleri kullanarak) ve yalnızca 14 çalışma, aynı test örneğini kullanan yapay zeka ve sağlık uzmanlarının performansını karşılaştırdı."
“Bu bir avuç yüksek kaliteli araştırmada, derin öğrenmenin gerçekten de kanserden göz hastalıklarına kadar çeşitli hastalıkları sağlık uzmanları kadar doğru bir şekilde tespit edebileceğini bulduk. Ancak yapay zekanın insan teşhisini önemli ölçüde geride bırakmadığını belirtmek önemlidir. "
Profesör Alastair Denniston
Daha spesifik olarak, analiz, AI'nın vakaların% 87'sinde hastalığı doğru bir şekilde teşhis edebildiğini, sağlık uzmanları tarafından tespit edildiğinde ise% 86'lık bir doğruluk oranı sağladığını buldu. Derin öğrenme algoritmaları için özgüllük% 91 ile karşılaştırıldığında% 93'tür.
Önyargılar, AI performansını abartabilir
Prof. Denniston ve meslektaşları ayrıca AI teşhis performansını inceleyen çalışmalarda buldukları bazı sınırlamalara da dikkat çekiyorlar.
İlk olarak, çoğu çalışma, yapay zeka ve sağlık uzmanlarının tanısal doğruluğunu, düzenli klinik uygulamayı taklit etmeyen izole bir ortamda inceler - örneğin, doktorları genellikle bir teşhis koymaları için ihtiyaç duyacakları ek klinik bilgilerden mahrum bırakarak.
İkincisi, araştırmacılar, çoğu çalışmanın yalnızca veri setlerini karşılaştırdığını, ancak teşhis performansındaki yüksek kaliteli araştırmanın insanlarda bu tür karşılaştırmalar yapılmasını gerektirdiğini söylüyor.
Ayrıca, yazarlar, söz konusu veri kümelerinde eksik olan bilgileri hesaba katmayan analizler nedeniyle, tüm çalışmaların zayıf raporlamadan muzdarip olduğunu söylüyorlar. Yazarlar, "Çoğu [çalışma], herhangi bir verinin eksik olup olmadığını, bunun ne kadarını temsil ettiğini ve eksik verilerin analizde nasıl ele alındığını rapor etmedi" diye yazıyor.
Ek sınırlamalar arasında tutarsız terminoloji, duyarlılık ve özgüllük analizi için açıkça bir eşik belirlemeyen ve örneklem dışı doğrulama eksikliği yer alır.
İlk yazar Dr. Xiaoxuan Liu, "Yeni, potansiyel olarak hayat kurtarıcı tanı araçlarını kullanma arzusu ile klinik uygulamada hastalara ve sağlık sistemlerine fayda sağlayacak şekilde yüksek kaliteli kanıt geliştirme zorunluluğu arasında doğal bir gerilim var" yorumunu yaptı. Birmingham Üniversitesi.
“Çalışmamızdan çıkardığımız önemli bir ders, sağlık hizmetinin diğer bölümlerinde olduğu gibi yapay zekada da iyi çalışma tasarımının önemli olduğudur. Bu olmadan, sonuçlarınızı çarpıtan önyargıyı kolayca uygulayabilirsiniz. Bu önyargılar, gerçek dünyaya dönüşmeyen yapay zeka araçları için abartılı iyi performans iddialarına yol açabilir. "
Dr. Xiaoxuan Liu
Londra, İngiltere'deki Moorfields Göz Hastanesi'nden ortak yazar Dr.
"Şimdiye kadar, zamanında tedavi, hastaneden taburcu olma süresi ve hatta hayatta kalma oranları gibi hastalar için gerçekten önemli olan sonuçlara ne olduğunu görmek için bir yapay zeka algoritması tarafından alınan teşhis kararlarının uygulandığı bu tür denemeler neredeyse yok.
