Qualcomm, yapay zeka altyapısında rekabet gücünü artırmak için yeni nesil hızlandırıcılarında farklı bir bellek-hesaplama yaklaşımı benimsiyor. Şirketin öne çıkardığı fikir, veriyi sürekli işlem birimlerine taşımak yerine hesaplamayı DRAM’e mümkün olduğunca yaklaştırmak. Temel amaç, büyük dil modelleri ve benzeri iş yüklerinde uzun süredir performansın önündeki en büyük engellerden biri olan “memory wall” sorununu hafifletmek.
Modern AI hızlandırıcılarında ham hesaplama kapasitesi her nesilde ciddi şekilde artarken, verinin bu birimlere zamanında ulaştırılması aynı hızda ilerlemiyor. Özellikle eğitim ve çıkarım işlerinde model boyutu büyüdükçe, yalnızca TOPS ya da FLOPS değerini yükseltmek yeterli olmuyor. Bellek kapasitesi, bant genişliği, gecikme ve veri taşımanın enerji maliyeti çoğu zaman toplam sistem verimliliğini belirleyen asıl unsur haline geliyor. Qualcomm’un işaret ettiği çözüm de tam olarak bu darboğaza odaklanıyor.
Şirketin önerdiği yaklaşım, hesaplama kaynaklarını bellek alt yapısına daha sıkı bağlayan bir tasarım anlayışına dayanıyor. “Compute under the DRAM” ifadesi, teknik olarak verinin depolandığı katmanların hemen altında ya da çok yakınında işlem yapılmasını anlatıyor. Bu, klasik hızlandırıcı düzeninde görülen ve verinin bellek ile işlem kümesi arasında ileri geri taşınmasına dayanan yapıya kıyasla daha kısa veri yolları, daha düşük hareket maliyeti ve potansiyel olarak daha yüksek kullanım oranı anlamına geliyor.
Buradaki kritik nokta, AI iş yüklerinin yalnızca yoğun hesaplama değil, aynı zamanda yoğun veri erişimi gerektirmesi. Büyük modellerde ağırlıkların, aktivasyonların ve ara sonuçların sürekli bellekte tutulup işlenmesi gerekiyor. Hesaplama birimleri çok güçlü olsa bile, veri beslemesi yetersiz kaldığında sistemin önemli bölümü beklemede kalabiliyor. Qualcomm’un vurguladığı mimari, bu dengesizliği azaltmayı ve işlem kaynaklarını belleğin çevresinde değil, belleğin neredeyse bir uzantısı gibi konumlandırmayı hedefliyor.
Bu yaklaşım yeni bir kavramsal alanı da çağrıştırıyor: processing-near-memory ve processing-in-memory tasarımları. Sektörde farklı firmalar benzer yönlerde araştırmalar yürütüyor, ancak Qualcomm burada bunu doğrudan gelecek nesil AI hızlandırıcılarının ana omurgası olarak çerçeveliyor. Amaç, yalnızca teorik verim artışı değil; veri merkezi ölçeğinde enerji tüketimini, sistem karmaşıklığını ve model başına maliyeti daha yönetilebilir seviyelere çekmek.
AI altyapısında maliyetin önemli kısmı artık yalnızca çipten ibaret değil. HBM gibi yüksek bant genişlikli bellek çözümleri, gelişmiş paketleme teknikleri, ara bağlantılar ve soğutma gereksinimleri toplam platform maliyetini hızla artırıyor. Buna karşılık, daha verimli bir bellek-hesaplama düzeni, aynı iş için daha az veri taşımasıyla hem performans hem de enerji tarafında kazanım sağlayabilir. Qualcomm’un mesajı, rekabetin yalnızca daha büyük matris çarpımı motorları kurmakla kazanılamayacağı yönünde.
Şirketin bu stratejisi, AI altyapısı pazarında halen baskın konumda olan oyunculara karşı daha farklı bir yol izleme çabasını da gösteriyor. Veri merkezine yönelik hızlandırıcılar söz konusu olduğunda ekosistem, yazılım araçları, ağ topolojisi, bellek mimarisi ve sistem seviyesi optimizasyonlar tek bir paketin parçaları haline gelmiş durumda. Qualcomm ise özellikle mobil ve istemci tarafında yıllardır geliştirdiği yüksek verimlilik odaklı tasarım anlayışını, daha büyük ölçekli AI sistemlerine taşımaya çalışıyor.
Bellek duvarı problemi neden bu kadar önemli? Çünkü modern AI modellerinde hesaplama yoğunluğu artsa da veri yerleşimi ve veri hareketi çoğu zaman asıl sınırı çiziyor. Parametreler büyüdükçe yalnızca daha fazla DRAM ya da HBM eklemek yeterli olmuyor; bu veriye ne hızla ve ne kadar düşük enerjiyle erişilebildiği de belirleyici oluyor. Hesaplamayı belleğe yaklaştırmak, iş yükünün karakterine bağlı olarak gecikmeyi azaltabilir, bant genişliğinden daha iyi yararlanılmasını sağlayabilir ve işlem birimlerinin boşta kalma süresini düşürebilir.
Tabii bu tür mimariler beraberinde yeni mühendislik zorlukları da getiriyor. Bellek altına ya da yanına daha yoğun hesaplama yerleştirmek; ısı yönetimi, üretim karmaşıklığı, paketleme verimi, hata toleransı ve yazılım katmanının bu donanımı etkili kullanabilmesi gibi başlıkları daha kritik hale getiriyor. AI hızlandırıcının başarısı artık yalnızca silikon üzerinde ne kadar compute bulunduğuyla değil, geliştiricilerin bunu mevcut framework’lerle ne kadar verimli kullanabildiğiyle de ölçülüyor.
Bu nedenle Qualcomm’un yaklaşımı, donanım kadar yazılım ve çalışma zamanı optimizasyonlarıyla birlikte düşünülmeli. Belleğe yakın hesaplama düzenlerinin gerçek dünyada avantaj sağlaması için derleyicilerin, bellek tahsis mekanizmalarının ve model çalışma planlarının bu mimariye uygun biçimde tasarlanması gerekiyor. Aksi halde teoride elde edilen kazançların pratikte sınırlı kalması mümkün. Özellikle büyük dil modeli çıkarımı gibi gecikmeye duyarlı iş yüklerinde, veri akışının ne şekilde planlandığı son kullanıcı deneyimini doğrudan etkiliyor.
Şirketin verdiği mesaj, AI altyapısında bir sonraki sıçramanın yalnızca daha fazla çekirdek veya daha yüksek saat hızından gelmeyeceği yönünde. Bundan sonra farkı yaratacak alanlardan biri, verinin nerede tutulduğu ve işlemenin bu veriye ne kadar yakın yapıldığı olacak. “Bury the compute under the DRAM” ifadesi de bu bakış açısının kısa özeti niteliğinde: hesaplamayı veri yolunun sonunda bekletmek yerine, verinin bulunduğu noktaya taşımak.
Bu strateji aynı zamanda enerji verimliliği açısından da önemli. Veri taşımanın enerji maliyeti, birçok AI iş yükünde aritmetik işlemin kendisinden daha pahalı hale gelebiliyor. Eğer sistem mimarisi veri hareketini azaltabilirse, aynı güç bütçesi içinde daha yüksek efektif performans elde etmek mümkün olabilir. Veri merkezi işletmecileri için bu, yalnızca daha hızlı sonuç anlamına gelmiyor; raf başına güç tüketimi, soğutma yükü ve toplam sahip olma maliyeti üzerinde de etkili olabilecek bir yaklaşım anlamına geliyor.
Qualcomm henüz bu yeni nesil hızlandırıcıların tüm teknik detaylarını paylaşmış değil, ancak yönelim net: AI yarışında fark yaratmak için sorun, yalnızca daha fazla compute üretmek değil; bu compute’u verinin olduğu yere taşımak. Büyük modeller çağında darboğazın merkezine yerleşen bellek erişimini hedef alan bu mimari tercih, önümüzdeki dönemde veri merkezi donanımı tarafındaki en önemli tasarım eksenlerinden biri olabilir. Başarıya ulaşıp ulaşmayacağını ise gerçek ürünler, yazılım desteği ve sahadaki verimlilik sonuçları belirleyecek.
