d-Matrix, yapay zeka hızlandırıcılarında büyüyen model boyutları ve KV cache ihtiyacına karşı 3D DRAM yaklaşımını öne çıkardı. Şirketin Raptor adını verdiği tasarım, SRAM sınıfı bant genişliğini HBM’den daha düşük enerji tüketimiyle sunmayı hedefliyor. Temel fikir, mantık katmanını özel DRAM ile dikey olarak birleştirip veri yolunu kısaltarak hem bant genişliğini hem de verimliliği artırmak.
Bugün AI tarafında iki baskın bellek türü SRAM ve HBM. SRAM çok hızlı, ancak kapasite ölçeklemesi zor, sızıntı akımı daha yüksek ve maliyeti HBM’ye kıyasla çok daha fazla. HBM ise büyük modeller için gerekli kapasiteyi sağlıyor, fakat bant genişliğini yukarı çekmek güç, paketleme ve pin sınırları nedeniyle zorlaşıyor. Verilen karşılaştırmaya göre HBM4 benzeri çözümler yaklaşık 20 TB/s seviyesindeyken, SRAM tabanlı çözümler 300 TB/s düzeyine çıkabiliyor.
d-Matrix’e göre 100 TB/s seviyesinde bir HBM çözümü yalnızca bellek tarafında yaklaşık 1.92 kW güç gerektirebilir. Raptor’un iddiası ise aynı sınıfta 0.37 pJ/bit ölçülen enerji değeriyle bunu çok daha verimli sunmak. Şirket, 3D DRAM için iki yerleşimden söz ediyor: DRAM’in mantığın üstüne konduğu yapı ve mantığın üstte yer aldığı yapı. Raptor’da tercih edilen yaklaşım, mantık katmanını üstte tutup soğutmayı kolaylaştırmak.
Teknik tarafta Raptor, TSMC 4 nm tabanlı bir mantık katmanını özel DRAM ile 36 µm Face-to-Face yığınlama üzerinden birleştiriyor. 1-Hi yığında 32 GB kapasite ve 100 TB/s bant genişliği hedefleniyor. Mantık güç yoğunluğu yaklaşık 0.5 W/mm² seviyesinde. Her chiplet üzerinde 256 tensor engine bulunuyor ve banka-kanal tasarımı bu birimlerle eşleştirilerek veri taşınması azaltılıyor. Kanal başına üç banka ile 96 B elde edilirken, 128 B verim için 4-flit toplama kullanılıyor.
Tasarımın önündeki başlıca zorluklar I/O gücü, termal sınırlar, banka eşleme ve verim konusu. 100 TB/s bant genişliğinde yalnızca I/O gücünün yaklaşık 300 W seviyesine ulaşabildiği belirtiliyor. DRAM bağlantı sıcaklığı 105 °C için her 4 ms’de bir, yani standart DRAM’e göre 8 kat daha hızlı yenileme yapılıyor; buna rağmen bant genişliği kaybı yalnızca %1.37 olarak veriliyor. Hata düzeltme tarafında Reed-Solomon T=2 ve CRC kullanılırken, yedek banka yapısıyla verim kayıpları sınırlandırılıyor. d-Matrix, bu yaklaşımın özellikle bellek bant genişliğiyle sınırlı LLM çıkarım iş yükleri için pratik bir ara çözüm sunduğunu savunuyor.
