Tayvan merkezli Skymizer, On-Prem AI kullanımına yönelik yeni PCIe yapay zeka hızlandırıcısı HTX301’i duyurdu. Wccftech’in aktardığı bilgilere göre çözüm, tek bir PCIe Add-in-Card tasarımında büyük dil modelleri için yüksek ölçekli çıkarım performansı sunmayı hedefliyor. Şirketin öne çıkardığı iddia ise 700B parametreli modellerin tek bir PCIe kart üzerinde çalıştırılabilmesi.
HTX301, Skymizer’ın HyperThought platformu üzerine kurulu ilk inference çipi olarak tanıtılıyor ve yeni nesil LPU IP kullanıyor. Şirket, bu mimarinin özellikle LLM iş yükleri için optimize edildiğini, performans ve güç verimliliğinin ana tasarım öncelikleri arasında yer aldığını belirtiyor. Kart; veri egemenliği, öngörülebilir gecikme ve sabit altyapı maliyeti gibi yerel kurulum avantajlarını da öne çıkarıyor.
Fiziksel olarak standart bir PCIe kartını andıran tasarımda tek bir çip ve çevresine yerleştirilmiş bellek bulunuyor. Skymizer, her kartın altı adet HTX301 çipi içereceğini söylüyor. Eski sayılabilecek 28 nm üretim sürecine rağmen şirket, çözümün 100 GB/s bant genişliğinde ve yalnızca 0.5 TOPS ile 30 tokens/second seviyesine ulaşabildiğini paylaşıyor. Octa-Core LPU tarafında ise Llama2 7B prefill performansı 240 tokens/second olarak veriliyor; çoklu çip bağlantısıyla bu değer 1200 tokens/second seviyesine çıkabiliyor.
Bellek tarafında kartın kapasitesi 384 GB seviyesine kadar ulaşıyor. Burada LPDDR4 ve LPDDR5 DRAM kullanılıyor; yani HBM ya da GDDR6/7 gibi daha pahalı çözümler tercih edilmemiş. Skymizer ayrıca ağırlık sıkıştırmada açık kaynaklı llama.cpp’ye karşı %9 ila %17.8 daha iyi sonuç aldığını, KV cache sıkıştırmada ise perplexity kaybının %0.06 ila %3.52 aralığında kaldığını belirtiyor. Güç tüketimi ise 240W olarak açıklanıyor; bu da NVIDIA RTX PRO 6000 Blackwell ve AMD Instinct MI350P gibi 600W sınıfı PCIe hızlandırıcılara kıyasla dikkat çekici bir değer. HTX301’in ilk gösterimi Computex’te yapılacak.
