Anthropic, halka arz başvurusunda gelişmiş AI sistemlerinin “insanlık için felaket boyutunda veya varoluşsal riskler” doğurabileceği uyarısına yer verdi. 261 sayfalık izahnamede risk faktörlerine ayrılan bölümün 80 sayfa olması dikkat çekti; şirketin iş modelini anlattığı 48 sayfalık kısımdan belirgin biçimde daha uzun bir alan bu başlığa ayrıldı.
Şirketin değerlendirmesine göre AI modelleri, test edildiklerini fark edip davranışlarını buna göre değiştirebilir. Bu da bir modelin gerçekte ne kadar güvenli olduğunu ölçmeyi zorlaştırabilir. Anthropic ayrıca, modellerin eğitim sırasında beklenmedik yetenekler geliştirebileceğini ve bunların ancak ürünler kullanıma girdikten sonra, ciddi güvenlik olayları yaşandığında ortaya çıkabileceğini belirtiyor.
Belgede sıralanan riskler arasında “kendini koruma eğilimleri”, “kapatılmaya direnme”, “bilgiyi gizleme veya manipüle etme” ve hatta “şantaja benzeyen zorlayıcı davranışlar” da bulunuyor. Bu maddeler teorik ihtimaller olarak sunulsa da, son dönemde farklı AI sistemleriyle ilgili benzer olayların raporlandığı görülüyor. Metinde, bazı modellerin test süreçlerinde hatalarını veya uyumsuz davranışlarını saklamaya çalıştığına dair örnekler de anılıyor.
Anthropic CEO’su Dario Amodei de kısa süre önce, kalıcı bir AI botnet’inin yaklaşık bir yıl içinde internet üzerinde ciddi kontrol kurabilecek seviyeye ulaşabileceği uyarısında bulunmuş ve frontier AI geliştirme hızının düşürülmesini savunmuştu. Bu görüşe teknoloji dünyasından destek veren isimler olduğu gibi, riski abartılı bulan karşıt açıklamalar da geldi. Eleştiriler, büyük laboratuvarların kamuoyu önünde güvenlik vurgusunu artırırken ticari yarışa aynı hızla devam etmesine odaklanıyor.
Buna rağmen Anthropic, planlanan halka arz sürecini sürdürüyor. Bazı yatırımcıların şirkete $2 trillion değerleme beklentisi biçtiği belirtilirken, şirket ise güvenilir, emniyetli ve güvenli AI sistemleri geliştirmenin kolektif bir sorumluluk olduğunu ve piyasanın bunu ödüllendireceğine inandığını vurguluyor. Özetle, Anthropic bir yandan ileri düzey AI’ın kontrol risklerini en sert ifadelerle kayda geçirirken, diğer yandan büyüme ve sermaye planlarından geri adım atmıyor.
