SanDisk, bu hafta düzenlediği Investor Day sunumunda yapay zeka sistemleri için geliştirdiği High-Bandwidth Flash (HBF) yaklaşımını öne çıkardı. Ancak sunumda kullanılan bazı slaytlar, özellikle teknik kıyaslamalar ve eksik bırakılan noktalar nedeniyle teknoloji çevrelerinde tartışma yarattı. Eleştirilerin odağında, HBF’nin mevcut ve gelecekteki HBM çözümleriyle nasıl karşılaştırıldığı yer alıyor.
Sunumdaki temel çerçeve, yapay zeka modellerinde iki büyük veri türünün öne çıkmasına dayanıyor: model ağırlıkları ve KV cache. Bugün her ikisi de büyük ölçüde HBM üzerinde tutuluyor. HBM’in avantajı çok yüksek bant genişliği sunması olsa da, bu bellek yığınları GPU ile birlikte paketlendiği için kapasite artışı sınırlı kalabiliyor. Kapasiteyi büyütmek için çoğu zaman GPU sayısını artırmak gerekiyor; bu da maliyeti hızlı biçimde yükseltiyor.
SanDisk’in çözüm olarak işaret ettiği HBF, adından da anlaşılacağı gibi NAND tabanlı, yüksek bant genişlikli bir bellek/depolama katmanı olarak konumlanıyor. Şirket, SK hynix ile birlikte geliştirdiği bu standardın 512GB kapasite ve 0.4TB/s ile 3TB/s arasında bant genişliği sunmasını hedefliyor. Ticari kullanıma geçiş için verilen takvim ise 2028/2029 dönemi.
Teknik tarafta HBF, HBM’in DRAM katmanlama mantığına benzer şekilde NAND kalıplarını üst üste diziyor. Katmanlar arasında Through Silicon Via (TSV) bağlantıları kullanılıyor ve NAND dizisinin yanında bir kontrol mantığı kalıbı yer alıyor. Amaç, tek tek yavaş olan NAND erişimlerini çok yüksek paralellik ile bir araya getirip toplam bant genişliğini ciddi ölçüde artırmak.
Buradaki kritik fark, ham erişim gecikmesinde ortaya çıkıyor. SRAM yaklaşık 1 ns, DRAM yaklaşık 100 ns seviyesinde okunabilirken, NAND tarafında bu değer yaklaşık 100 mikro saniye düzeyine çıkıyor. Yani hücre başına erişim, DRAM tabanlı HBM’e göre çok daha yavaş. HBF’nin iddiası da zaten bunu tekil hızla değil, binlerce paralel okuma işlemiyle telafi etmek. Bu sayede toplam bant genişliği 0.3TB/s ile 3TB/s bandına taşınabiliyor.
Buna karşın eleştiriler, SanDisk’in sunumunda HBM tarafını olduğundan zayıf göstermiş olabileceği yönünde yoğunlaşıyor. HBF’nin 2028/2029 döneminde piyasaya çıkacağı düşünüldüğünde, kıyaslamanın o dönemde yaygın olması beklenen 16Hi HBM4E ile yapılması gerektiği savunuluyor. Bu tarafta dile getirilen değer 32 TB/s iken, sunumda HBM için 12.8 TB/s seviyesinin esas alınması tartışma yarattı. Ayrıca GPU başına 192GB HBM kapasitesi de sunumun dikkat çeken sabitlerinden biri oldu.
Bir diğer eleştiri noktası, kullanılan veri formatı seçimi. Sunumda bf16 üzerinden değerlendirme yapılırken, güncel yapay zeka modellerinde fp8 ve fp4 gibi daha düşük hassasiyetli formatların da yaygın şekilde kullanıldığı belirtiliyor. Daha önemlisi ise HBF’nin yazma performansı ve yazma dayanıklılığı konusunda net bir çerçeve sunulmaması. NAND tabanlı yapının doğal sınırlamaları düşünüldüğünde, bu başlığın özellikle KV cache gibi yoğun yazma yükü taşıyan kullanım senaryoları için belirleyici olabileceği değerlendiriliyor.
Özetle SanDisk, yapay zeka altyapılarında kapasiteyi daha düşük maliyetle büyütmeye dönük ilginç bir yön çiziyor. Ancak HBF’nin gerçek konumunu anlayabilmek için yalnızca kapasite ve teorik bant genişliği değil, gecikme, yazma hızı ve dayanıklılık gibi temel ölçütlerin de açık biçimde ortaya konması gerekecek.
