Intel destekli yapay zeka çip girişimi SambaNova, eski nesil Nvidia GPU’ları kendi hızlandırıcılarıyla birleştiren heterojen platformunun yeni kıyaslama sonuçlarını paylaştı. Üçüncü taraf testlere göre sistem, MiniMax M2.7 modelinde 763 tok/s düzeyine ulaştı. Kurulumda Nvidia H200 GPU’lar ile şirketin SN50 RDU hızlandırıcıları birlikte kullanıldı.
Buradaki temel fikir, veri merkezlerinde zaten bulunan GPU altyapısını tamamen değiştirmeden ek hesaplama kaynaklarıyla güçlendirmek. SambaNova’nın yaklaşımı, sadece tek tip hızlandırıcıya dayanan klasik kurulumlar yerine farklı işlem birimlerini aynı iş yükünde değerlendirmeyi hedefliyor. Böylece mevcut donanımın kullanım ömrünü uzatmak ve özellikle çıkarım tarafında ek performans elde etmek amaçlanıyor.
Açıklanan sonuçlarda öne çıkan metrik, MiniMax M2.7 üzerinde görülen 763 tok/s değeri oldu. Tok/s, yani saniye başına üretilen token miktarı, büyük dil modeli çıkarımında en sık kullanılan performans ölçütlerinden biri. Bu değer tek başına tüm resmi anlatmasa da, belirli bir model ve belirli bir yazılım yığını altında sistemin ne kadar hızlı yanıt üretebildiğine dair pratik bir gösterge sunuyor.
SN50 RDU, SambaNova’nın yapay zeka iş yükleri için geliştirdiği hızlandırıcı ailesinin bir parçası. Haberde öne çıkan nokta, bu donanımın Nvidia H200 ile yan yana kullanılabilmesi. Heterojen hesaplama yaklaşımı özellikle veri merkezi tarafında önemli, çünkü kurumlar çoğu zaman mevcut GPU parkını bütünüyle yenilemek yerine onu tamamlayacak çözümler arıyor. Bu da yatırım maliyetini ve geçiş sürecini daha yönetilebilir hale getirebiliyor.
Paylaşılan bilgiler, performans ölçümünün üçüncü taraf testlerle yapıldığını vurguluyor. Bu ayrıntı önemli, çünkü yapay zeka donanımı alanında üretici tarafından hazırlanan sonuçlarla bağımsız testler arasında ciddi farklar görülebiliyor. Yine de bu tür kıyaslamalarda kullanılan model, yazılım sürümü, bellek yapılandırması ve toplu istek boyutu gibi değişkenler sonucu doğrudan etkileyebildiği için rakamı kendi bağlamı içinde değerlendirmek gerekiyor.
SambaNova’nın mesajı, yeni platformların sadece en güncel GPU’larla rekabet etmek zorunda olmadığı yönünde. Şirket, veri merkezlerindeki mevcut Nvidia kurulumlarına eklenebilen bir çözümle daha yüksek verim almayı hedefliyor. Özellikle yapay zeka çıkarım talebinin hızla arttığı dönemde, eldeki donanımı daha verimli kullanma fikri operatörler açısından dikkat çekici. Sonuç olarak açıklanan 763 tok/s değeri, heterojen hesaplama yaklaşımının pratikte ne sunabildiğini göstermesi bakımından önemli bir örnek oluşturuyor.
