Google, AMIE (Articulate Medical Intelligence Explorer) üzerine yaptığı son araştırmayla tanısal yapay zekasına görsel tıbbi bilgileri anlama yeteneği kazandırıyor.
Bir AI ile bir sağlık sorunu hakkında sohbet ettiğinizi ve sadece kelimelerinizi işlemek yerine, aslında o endişe verici kızarıklığın fotoğrafına bakabileceğini veya EKG çıktınızı anlayabileceğini hayal edin. Google’ın hedeflediği şey bu.
AMIE’nin metin tabanlı tıbbi sohbetlerde umut vadettiğini, Nature’da yayınlanan önceki çalışmalardan biliyorduk . Ama kabul edelim ki gerçek tıp sadece kelimelerle ilgili değildir.
Doktorlar görebildikleri şeylere büyük ölçüde güvenirler – cilt rahatsızlıkları, makinelerden gelen okumalar, laboratuvar raporları. Google ekibinin haklı olarak belirttiği gibi, basit anlık mesajlaşma platformları bile “statik çok modlu bilgilerin (örneğin, resimler ve belgeler) tartışmaları zenginleştirmesine olanak tanır.”
Yalnızca metin içeren yapay zeka bulmacanın büyük bir parçasını kaçırıyordu. Araştırmacıların ifade ettiği gibi büyük soru, “LLM’lerin bu daha karmaşık bilgi türünü içeren tanısal klinik görüşmeler yürütüp yürütemeyeceğiydi.”
Google mühendisleri, operasyonun beyni olarak Gemini 2.0 Flash modelini kullanarak AMIE’yi güçlendirdiler. Bunu, “durum farkında akıl yürütme çerçevesi” dedikleri şeyle birleştirdiler. Basitçe söylemek gerekirse, bu, yapay zekanın sadece bir senaryoyu takip etmediği anlamına gelir; konuşmasını, şu ana kadar öğrendiklerine ve hala çözmesi gerekenlere göre uyarlar.
Bu, bir insan klinisyenin çalışma şekline yakın: ipuçları toplamak, neyin yanlış olabileceğine dair fikirler oluşturmak ve ardından işleri daraltmak için görsel kanıtlar da dahil olmak üzere daha spesifik bilgiler istemek.
Google, “Bu, AMIE’nin gerektiğinde ilgili çok modlu eserleri talep etmesini, bulgularını doğru bir şekilde yorumlamasını, bu bilgileri devam eden diyaloğa sorunsuz bir şekilde entegre etmesini ve teşhisleri iyileştirmek için kullanmasını sağlıyor” şeklinde açıklıyor.
Konuşmanın aşamalar halinde aktığını düşünün: önce hastanın geçmişini toplamak, sonra tanı ve tedavi önerilerine doğru ilerlemek ve son olarak takip etmek. Yapay zeka sürekli olarak kendi anlayışını değerlendirir, bilgisinde bir boşluk hissederse o cilt fotoğrafını veya laboratuvar sonucunu ister.
Google, gerçek insanlar üzerinde sonsuz deneme-yanılma yöntemine başvurmadan bunu doğru şekilde yapabilmek için detaylı bir simülasyon laboratuvarı kurdu.
Google, gerçekçi tıbbi görüntüleri ve verileri PTB-XL EKG veritabanı ve SCIN dermatoloji görüntü seti gibi kaynaklardan çekerek gerçekçi hasta vakaları oluşturdu ve Gemini kullanarak makul arka plan hikayeleri ekledi. Daha sonra, AMIE’nin bu kurulum içinde simüle edilmiş hastalarla ‘sohbet etmesine’ ve tanı doğruluğu ve hatalardan (veya ‘halüsinasyonlardan’) kaçınma gibi konularda ne kadar iyi performans gösterdiğini otomatik olarak kontrol etmesine izin verdiler.
Gerçek sınav, tıp öğrencilerinin nasıl değerlendirildiğini yansıtmak üzere tasarlanmış bir düzenlemeyle geldi: Objektif Yapılandırılmış Klinik Sınav (OSCE).
Google, 105 farklı tıbbi senaryoyu içeren uzaktan bir çalışma yürüttü. Hastaları tutarlı bir şekilde canlandırmak üzere eğitilen gerçek aktörler, yeni çok modlu AMIE ile veya gerçek insan birincil bakım doktorları (PCP’ler) ile etkileşime girdi. Bu sohbetler, tıpkı modern bir mesajlaşma uygulamasında yapabileceğiniz gibi, ‘hastanın’ resim yükleyebildiği bir arayüz üzerinden gerçekleşti.
Daha sonra uzman doktorlar (dermatoloji, kardiyoloji, dahiliye) ve hasta oyuncular kendi aralarında görüşmeleri değerlendirdiler.
İnsan doktorlar, öykünün ne kadar iyi alındığından, teşhisin doğruluğuna, önerilen tedavi planının kalitesine, iletişim becerilerine ve empatiye kadar her şeyi puanladılar; ve tabii ki yapay zekanın görsel bilgileri ne kadar iyi yorumladığına kadar.
İşte gerçekten ilginç hale geldiği yer burası. Google, kontrollü çalışma ortamındaki bu birebir karşılaştırmada AMIE’nin sadece kendi başına ayakta kalmadığını, aynı zamanda sıklıkla öne çıktığını buldu.
Yapay zeka, sohbetler sırasında paylaşılan çok modlu verileri yorumlamada insan PCP’lerden daha iyi olarak derecelendirildi. Ayrıca tanı doğruluğunda daha yüksek puan aldı ve uzmanların vaka ayrıntılarına göre daha doğru ve eksiksiz bulduğu farklı tanı listeleri (olası durumların sıralı listesi) üretti.
Transkriptleri inceleyen uzman doktorlar, AMIE’nin performansını çoğu alanda daha yüksek olarak değerlendirme eğilimindeydi. Özellikle “görüntü yorumlama ve muhakeme kalitesi”, teşhis çalışmasının titizliği, yönetim planlarının sağlamlığı ve bir durumun acil müdahale gerektirdiğini işaretleyebilme becerisine dikkat çektiler.
Belki de en şaşırtıcı bulgulardan biri sabırlı aktörlerden geldi: Bu metin tabanlı etkileşimlerde yapay zekanın insan doktorlardan daha empatik ve güvenilir olduğunu sıklıkla buldular.
Ve kritik bir güvenlik notu olarak, çalışmada AMIE’nin görüntülere dayalı hatalar (halüsinasyon bulguları) yapma sıklığı ile insan hekimler arasında istatistiksel olarak anlamlı bir fark bulunamamıştır.
Teknoloji asla durmaz, bu nedenle Google da Gemini 2.0 Flash modelini daha yeni Gemini 2.5 Flash ile değiştirerek bazı erken testler yaptı .
Simülasyon çerçevesini kullanarak elde edilen sonuçlar, özellikle doğru tanı koyma (En İyi 3 Doğruluk) ve uygun tedavi planları önerme konusunda daha fazla kazanıma işaret ediyor.
Umut vaat ederken, ekip gerçekçilikten de bir pay çıkarmakta gecikmedi: Bunlar yalnızca otomatik sonuçlar ve “bu performans avantajlarını doğrulamak için uzman hekim incelemesiyle titiz bir değerlendirme şart.”
