Motional ve MIT araştırmacıları, otonom araçların kararlarını gerçek zamanlı olarak açıklayabilen yeni bir sistem geliştirdi. Nature’da yayımlanan çalışma, sürücüsüz araç yapay zekâsındaki “kara kutu” sorununa pratik bir yanıt getirmeyi hedefliyor. Ekip, Motional CEO’su Laura Major’ın da yer aldığı araştırmacılar ile MIT Computer Science and Artificial Intelligence Laboratory uzmanlarını bir araya getiriyor. Önerilen yöntem, Concept-Wrapper Network ya da kısa adıyla CW-Net olarak adlandırılıyor.
Temel fikir, bir otonom sürüş sisteminin sinir ağında gerçekleşen iç hesaplamaları, insanın anlayabileceği kavramlara dönüştürmek. Bugünkü birçok sistem büyük miktarda sürüş verisiyle eğitilmiş sinir ağlarına dayanıyor. Bu ağlar güçlü sonuçlar verebilse de, bir karara nasıl ulaştıklarını doğrudan göstermiyor. Örneğin araç açık görünen bir yolda sert biçimde fren yaptığında, sürücü ya da yolcu çoğu zaman bunun nedenini bilemiyor. Mühendislerin bu yapıları “black box” olarak tanımlamasının nedeni de bu.
CW-Net, bu kapalı mantığı “Approaching Stopped Vehicle” veya “Close to Cyclist” gibi insan tarafından okunabilir kavramlara çeviriyor. Motional’ın yaklaşımına göre bu kavramlar, aracın o anda hangi etkenlere göre hareket ettiğini gösteren bir gösterge panelinde görüntülenebiliyor. Böylece sistemin neden fren yaptığı, neden yavaşladığı ya da neden belirli bir manevra seçtiği sadece davranıştan tahmin edilmiyor; kararın arkasındaki etkili kavram doğrudan görülebiliyor.
Buradaki önemli nokta, açıklamaların sonradan üretilen bir yorum olmaması. Araçtaki nihai karar mekanizması, doğrudan bu insan tarafından yorumlanabilir kavramlara dayanarak aksiyon alıyor. Bu nedenle bir frenleme olayı, onu tetikleyen belirli bir kavrama izlenebiliyor. Araştırmacılar bunu nedensel olarak sadık bir yapı şeklinde tanımlıyor. Bu yaklaşım, kulağa makul gelen ama her zaman sistemin gerçek iç işleyişini yansıtmayan doğal dil açıklamalarından ayrılıyor.
Laura Major, tamamen uçtan uca derin öğrenmeye dayalı sürüş kararlarının tek başına yeterli olmadığını savunuyor. Ona göre bu yaklaşım çok iyi sonuçlar üretebilir, ancak bir sürücüyü tamamen denklemden çıkarmak ya da şehirlerin, toplulukların ve müşterilerin güvenini kazanmak için daha yüksek bir güvenilirlik ve şeffaflık gerekiyor. Özellikle güvenlik kritik uygulamalarda, yalnızca yüksek başarı oranı değil, hataların neden oluştuğunu anlayabilmek de eşit derecede önemli görülüyor.
Açıklanabilir yapay zekâ araştırmaları bugüne kadar büyük ölçüde laboratuvar ve simülasyon ortamlarıyla sınırlı kaldı. Motional ve MIT ekibi ise CW-Net’i doğrudan gerçek bir otonom araç üzerinde denedi. Testlerde direksiyon başında deneyimli bir güvenlik operatörü yer aldı. Veri toplama hem özel bir test pistinde hem de Las Vegas çevresindeki halka açık yollarda yapıldı. Bu yönüyle çalışma, açıklanabilirlik katmanının teorik değil, operasyonel şartlarda nasıl çalıştığını göstermeye odaklanıyor.
Ekip, derin öğrenme tabanlı planlama sisteminin daha eski deneysel bir sürümünü kullandı. Bu sistemin rekabetçi performans sunduğu, ancak aynı zamanda dikkat çekici eksikleri olduğu belirtiliyor. CW-Net’in asıl değeri de burada ortaya çıkıyor: Sistem yalnızca sürüş performansını değerlendirmeye değil, o performansın arkasındaki problemli karar mantığını görünür kılmaya yardımcı oluyor. Testler sırasında kaydedilen iki olay, bu yaklaşımın pratikte neyi değiştirebildiğini gösteriyor.
İlk olayda otonom araç bir trafik konisinin yakınında tekrar tekrar durdu. Araç operatörü başlangıçta bu davranışın doğrudan koniden kaynaklandığını düşündü. Araştırmacılar koniyi kaldırdı, ancak araç durmaya devam etti. CW-Net ekranı ise gerçek nedeni ortaya koydu: Deneysel planlama sistemi, ileride durmuş bir araç varmış gibi halüsinasyon üretiyordu. Bu davranışın eğitim verisindeki bir örüntüyle ilişkili olduğu belirlendi. Açıklama sayesinde ekip yalnızca sorunu görmekle kalmadı, aynı zamanda bu davranışı öngörüp düzeltme imkânı da elde etti.
İkinci testte senaryo bir bisikletliyle ilgiliydi. Otonom araç bisikletliyi algıladı ve beklendiği gibi durdu. Yüzeyden bakıldığında her şey doğru çalışıyor gibi görünüyordu. Ancak CW-Net, deneysel planlama sisteminin kararını gerçekte bisikletlinin varlığına dayandırmadığını gösterdi. Bu bilgi üzerine güvenlik sürücüsü, bisikletlilerin bulunduğu durumlarda daha temkinli davrandı. Sonraki analiz de bu temkinin yerinde olduğunu doğruladı; çünkü o örnekte frenleme, birincil derin öğrenme tabanlı planlayıcıdan değil, yedek güvenlik sisteminden geliyordu.
Bu iki örnek, açıklanabilirliğin neden sadece akademik bir konu olmadığını net biçimde ortaya koyuyor. Güvenlik sürücüsü, bir duruşun halüsinasyon sonucu oluştuğunu ya da bir manevranın ana planlayıcı yerine yedek sistem tarafından gerçekleştirildiğini görebildiğinde, araca daha doğru şekilde müdahale edebiliyor. Aynı zamanda geri bildirim ve olay raporlaması da çok daha isabetli hale geliyor. Sadece gözlenen davranışa bakarak yorum yapmak yerine, sistemin hangi iç kavramlara dayanarak hareket ettiğini bilmek operasyonel açıdan belirgin bir avantaj sağlıyor.
Elbette bir yapay zekâ sistemine açıklanabilirlik katmanları eklemenin bilinen bir maliyeti var. Ek hesaplama yükü, hız ve genel performans üzerinde olumsuz etki yaratabiliyor. Motional da bu riski kabul ediyor. Buna rağmen araştırmacılar CW-Net’i önde gelen otonom sürüş algoritmalarıyla karşılaştırdıklarında, sürüş kabiliyeti farkının yüzde 1’den az olduğunu belirtiyor. Bu sonuç, açıklanabilirliğin kayda değer bir şeffaflık kazancı sunarken performansı sınırlı düzeyde etkilediğine işaret ediyor.
Mühendislik ekipleri açısından bu görünürlük, hata ayıklama sürecini hızlandırabilecek bir araç anlamına geliyor. Bir güvenlik operatörü ya da geliştirici, araç davranışının amaçlanan bir tepki mi yoksa sistemsel bir kusur mu olduğunu daha güvenle ayırt edebiliyor. Bu da hem sorunların daha hızlı teşhis edilmesini hem de sahadaki testlerin daha kontrollü yürütülmesini mümkün kılıyor. Özellikle gerçek yol koşullarında, yalnızca sonuca değil, sonuca götüren mantığa erişebilmek büyük önem taşıyor.
Motional, CW-Net çalışmasını otonom araçların yeni pazarlara ve farklı yargı alanlarına açılmasıyla artan baskıyla ilişkilendiriyor. Düzenleyici kurumlar, yapay zekâ sistemlerinin kararlarını nasıl verdiği konusunda doğal olarak daha fazla şeffaflık talep ediyor. Şirketin değerlendirmesine göre CW-Net benzeri araçlar zaman içinde araştırma projelerinin ötesine geçip temel gereksinimlerden biri haline gelebilir. Bu, özellikle sürücüsüz sistemlerin kamuya açık alanlarda daha yaygın kullanılmaya başlamasıyla daha da önemli olabilir.
Çalışmanın işaret ettiği potansiyel yalnızca binek araçlarla sınırlı değil. Araştırmacılar, otonom drone’lar ve robotik cerrahi gibi diğer güvenlik kritik alanlarda da benzer açıklanabilirlik araçlarına ihtiyaç duyulacağını düşünüyor. Operatörlerin ve geliştiricilerin bir sistemin yeteneklerini, sınırlamalarını ve beklenmeyen davranışlarını anlayabilmesi, bu tür teknolojilerin güvenle benimsenmesinde kilit rol oynayacak. CW-Net’in ortaya koyduğu yaklaşım, yapay zekâ sistemlerinde performans ile açıklanabilirlik arasında daha dengeli bir model kurulabileceğini gösteren somut örneklerden biri olarak öne çıkıyor.
