Unicode standardındaki bir acayiplik, ideal bir steganografik kod kanalını barındıyor. Claude, Copilot veya diğer üst düzey AI sohbet robotlarına kötü amaçlı talimatları gizlice sokmanın ve büyük dil modellerinin tanıyabildiği ve insanların tanıyamadığı karakterleri kullanarak onlardan gizli veriler elde etmenin bir yolu var.
Unicode metin kodlama standardındaki bir tuhaflığın sonucu olan görünmez karakterler , saldırganların bir LLM’ye beslenen kötü amaçlı verileri gizlemesini kolaylaştırabilecek ideal bir gizli kanal oluşturur. Gizli metin, aynı yapay zeka destekli botlardan şifrelerin, finansal bilgilerin veya diğer sırların sızdırılmasını benzer şekilde gizleyebilir. Gizli metin normal metinle birleştirilebildiği için kullanıcılar bunu istemeden istemlere yapıştırabilir. Gizli içerik ayrıca chatbot çıktısındaki görünür metne eklenebilir.
Appomni’de bağımsız araştırmacı ve yapay zeka mühendisi olan Joseph Thacker bir röportajda, “GPT 4.0 ve Claude Opus’un bu görünmez etiketleri gerçekten anlayabilmesi benim için gerçekten akıl almazdı ve tüm yapay zeka güvenlik alanını çok daha ilginç hale getirdi,” dedi. “Tüm tarayıcılarda tamamen görünmez olabilmeleri ancak yine de büyük dil modelleri tarafından okunabilmeleri fikri, [saldırıları] hemen hemen her alanda çok daha uygulanabilir hale getiriyor.”
“ASCII kaçakçılığının” (Amerikan Bilgi Değişimi Standart Kodu’nda bulunanları yansıtan görünmez karakterlerin yerleştirilmesini tanımlamak için kullanılan terim) faydasını göstermek için araştırmacı ve terim yaratıcısı Johann Rehberger, bu yılın başlarında Microsoft 365 Copilot’a karşı saldırılarda bu tekniği kullanan iki kavram kanıtı (POC) saldırısı oluşturdu. Hizmet, Microsoft kullanıcılarının hesaplarına bağlı e-postaları, belgeleri veya diğer içerikleri işlemek için Copilot’u kullanmalarına olanak tanır. Her iki saldırı da bir kullanıcının gelen kutusunda hassas sırlar aradı; bir durumda satış rakamları ve diğerinde tek seferlik bir parola.
Saldırılar bulunduğunda, Copilot’un sırları görünmez karakterlerle ifade etmesini ve bunları bir URL’ye eklemesini ve kullanıcıya bağlantıyı ziyaret etmesi için talimatlar vermesini sağladı. Gizli bilgiler görünür olmadığından, bağlantı zararsız görünüyordu, bu nedenle birçok kullanıcı Copilot’un talimatı doğrultusunda üzerine tıklamamak için çok az neden görecekti. Ve bununla birlikte, işlenemeyen karakterlerden oluşan görünmez dizi, gizli mesajları Rehberger’in sunucusuna gizlice iletti. Microsoft, Rehberger’in özel olarak bildirmesinden birkaç ay sonra saldırıya yönelik hafifletme önlemlerini tanıttı. POC’ler yine de aydınlatıcı.
