Qualcomm, AI çıkarımı odaklı ilk nesil High Bandwidth Compute (HBC) silikonunu San Diego laboratuvarında doğruladığını açıkladı. Şirketin verdiği bilgiye göre çip, üretimi temsil eden boyutlarda tam bellek okuma-yazma yolunu ve belleğe yakın hesaplama adımlarını çalıştırdı. Testlerde endüstri standardı otomatik test ekipmanı ile rastgele ağırlıklar ve aktivasyonlar kullanıldı.
Buradaki temel hedef bellek bant genişliği. Qualcomm, özellikle büyük dil modeli çıkarımında her üretilen token için model verisinin hesaplama birimlerine taşınmasının merkezi bir darboğaz olduğunu söylüyor. Veri merkezi ölçeğinde bu veri hareketinin gecikme ve enerji maliyeti; toplam performans, güç tüketimi ve toplam sahip olma maliyeti üzerinde doğrudan etkili oluyor.
HBC yaklaşımı, hesaplamayı belleğe yaklaştırarak veri hareketini azaltmayı amaçlıyor. Tasarımda düşük güç tüketimli LPDDR yongaları, wafer-to-wafer bonding yöntemiyle aktif bir AI hızlandırıcı taban kalıbının üstüne yığılıyor. Böylece verinin kat ettiği mesafe milimetrelerden mikrometrelere iniyor. Qualcomm’un paylaştığı rakamlara göre bu düzen, LPDDR5X’e kıyasla 18x etkili bellek bant genişliği ve öngörülen HBM4 özelliklerine göre 5x’in üzerinde watt başına bant genişliği sağlıyor.
Bununla birlikte verimlilik artışı, şirketin daha önce işaret ettiği 6x seviyesinin biraz altında kalmış görünüyor. Qualcomm, bu sonuçların ölçülen silikon verilerinin hedef çalışma koşullarına göre normalize edilmiş tahminler olduğunu; ayrıca karşılaştırmanın yayımlanmış rakip ürün özellikleri üzerinden yapıldığını belirtiyor. Nihai performansın uygulama, iş yükü ve sistem yapılandırmasına göre değişebileceği de not düşülüyor.
Şirket, mimari geliştirme, süreç çalışmaları, test araçları, silikon doğrulama ve ürün entegrasyonunu kapsayan kademeli bir program izlediğini söylüyor. Yığın yapıdaki olası kusurları azaltmak için tasarımda yedeklilik ve yeniden eşleme mekanizmaları da bulunuyor. Ticari ürünlerde iki katmandan dört katmanlı DRAM yığınına geçilmesi planlanıyor. Dragonfly AI250’nin 2027’nin ilk yarısında örneklenmesi bekleniyor; sistem tarafında ise sıvı soğutmalı tam raf tasarımında 38.6TB bellek ve 7.4 petabytes per second etkili bant genişliği hedefleniyor.
