Moonshot AI, 16 Temmuz’da tanıttığı Kimi K3 ile açık ağırlıklı model tarafında şimdiye kadarki en büyük ölçeğe çıktı. 2.8 trilyon parametreli model, kabaca 3T sınıfına giriyor ve bu seviye daha önce açık olarak sunulan modellerde görülmemişti. Ancak Kimi K3’ün asıl dikkat çeken yönü yalnızca parametre sayısı değil. Tasarımın merkezinde, ABD kaynaklı işlem gücü kısıtlarını doğrudan aşmaktan ziyade yükü bellek tarafına kaydıran bir yaklaşım bulunuyor.
Büyük bir modeli çalıştırmanın maliyetini belirleyen iki temel unsur var: Her token üretiminde yapılan hesaplama miktarı ve modelin çalışırken bellekte hazır tutulması gereken kısmı. İlki işlem gücü, ikincisi ise bellek kapasitesiyle ilgili. Kimi K3’ün mimarisi, özellikle işlem yükünü azaltmaya odaklanıyor. Bunun için mixture-of-experts yaklaşımı kullanılıyor. Model, toplam 896 uzman bölüme ayrılıyor ve her adımda bunların yalnızca 16’sı devreye alınıyor. Yani toplam parametrelerin yaklaşık %1.8’i aktif çalışıyor. Bu sayede token başına hesaplama maliyeti ciddi biçimde düşüyor.
Ne var ki bu yöntem bellek yükünü ortadan kaldırmıyor. Çünkü hangi uzman bloğun sıradaki adımda kullanılacağı önceden bilinmediğinden, 2.8 trilyon parametrenin tamamının yüklenmiş ve erişilebilir durumda kalması gerekiyor. Moonshot AI bu yüzden bellek ihtiyacını ayrıca düşürmeye çalışmış. Şirket, Kimi K3’ü parametre başına standart 16 bit yerine 4 bit hassasiyetle çalışacak şekilde eğitmiş. Quantisation-aware training olarak adlandırılan bu yöntem, ince ayar aşamasından itibaren uygulanmış. Şirket bunun “geniş donanım uyumluluğu” için seçildiğini belirtiyor.
Bu tercih, depolama ve bellek gereksiniminde doğrudan büyük fark yaratıyor. Bağımsız analizlere göre modelin yayınlanan biçimdeki ağırlıkları yaklaşık 1.4TB seviyesinde. Aynı model tam hassasiyette tutulsa bu rakam yaklaşık 5.6TB’ye çıkacaktı. Yine de 1.4TB tek başına küçük bir gereksinim değil; bu yalnızca model ağırlıkları için gereken kapasite. Uzun bağlam pencerelerinde ihtiyaç duyulan ek bellek bunun da üzerine ekleniyor.
İkinci önemli değişiklik Kimi Delta Attention adını taşıyor. Uzun belgeler üzerinde çalışırken model, daha önce okuduklarına dair bir önbellek tutuyor. Kimi K3’ün ilan edilen 1 milyon token bağlam sınırında, birkaç bin sayfaya karşılık gelen bu kullanımda asıl büyük bellek yükü model ağırlıklarından çok bu çalışma belleği haline geliyor. Şirket, bu maliyeti düşürmek için açık kaynaklı vLLM projesine önbellekleme kodu katkısı yaptığını ve bu kombinasyon sayesinde modelin boyutuna rağmen rekabetçi fiyatlandırma sunabildiğini söylüyor.
Pratik tarafta Moonshot AI’nin önerisi de oldukça net: Kimi K3’ün 64 veya daha fazla hızlandırıcıyı tek havuz gibi davranacak şekilde sıkı bağlantılarla bir araya getiren sistemlerde çalıştırılması tavsiye ediliyor. Bu yaklaşım, çok sayıda tekil çipi bir araya getirerek bellek kapasitesini ölçeklendirmeye dayanıyor. Eğitim sınıfı ham işlem gücü aynı şekilde kolayca birleştirilemezken, bellek havuzu bu tür kümelerde daha uygulanabilir bir çözüm sunuyor.
Şirketin bu kümeleri hangi donanımla hedeflediği ise tam olarak açıklanmış değil. Çip seviyesindeki testlerin Nvidia H200S üzerinde ve yalnızca “alternatif bir tedarikçiden GPGPU” olarak tanımlanan başka bir donanımda yapıldığı belirtiliyor. İsim verilmiyor. Diğer bazı sonuçlarda ise Çin pazarına ihracat kuralları çerçevesinde sunulan kırpılmış Nvidia L20 kullanılmış. H200 donanımının fiziksel olarak nerede bulunduğu bilgisi de paylaşılmıyor.
Bu ayrıntı önemli, çünkü Çin’in kendi yarı iletken ekosisteminde en zayıf halka işlem gücünden çok yüksek bant genişliğine sahip bellek tarafı olarak görülüyor. Verilen rakamlara göre yerli yüksek bant genişlikli bellek üretiminin bu yıl yaklaşık iki milyon stack seviyesinde olması bekleniyor. Bunun da kabaca 250,000 ila 300,000 Huawei Ascend 910C sınıfı çipe yeteceği ifade ediliyor. Buna karşılık SMIC’in wafer kapasitesinin 1 milyondan fazla olduğu belirtiliyor. Yani çip üretiminden çok bellek tedariki sınırlayıcı faktör konumunda.
Kurumsal kullanıcılar açısından asıl soru ise Kimi K3’ün bir liderlik tablosunda nerede durduğundan çok, gerçekten konuşlandırılabilir olup olmadığı. Asya’daki işletmeler açık ağırlıklı modelleri genellikle üç nedenle tercih ediyor: maliyet, veri egemenliği ve bölgesel dil desteği. Özellikle Güneydoğu Asya’daki bankalar ve sigorta şirketleri, kayıtların kendi sistemlerinden çıkmaması için kendileri barındırdıkları açık modeller üzerinde pilot çalışmalar yürütüyor. Kimi K3’ün ağırlıkları 27 Temmuz’da yayınlandığında, gerekli donanımı karşılayabilen kurumlar teorik olarak modeli indirip değiştirerek kendi altyapılarında çalıştırabilecek.
Fakat donanım eşiği yüksek. Yaklaşık 1.4TB’lik ağırlık dosyası, uzun doküman işleme için gereken ek bellek ve 64+ hızlandırıcı önerisi düşünüldüğünde, bu model klasik bir sunucu odası yatırımı olmaktan çıkıp veri merkezi ölçeğinde bir kurulum gerektiriyor. Bu yüzden çoğu kurum için daha gerçekçi yol, kendi donanımını satın almak yerine özel ayrılmış kapasite kiralamak olabilir. Bu model yine verinin ülke içinde ve sözleşme altında kalmasını sağlayabilir, ancak açık ağırlıklı modellere yönelten altyapı bağımsızlığını tam olarak sunmaz.
Yazılım tarafı da henüz tamamen hazır görünmüyor. Kimi K3’ün iki temel mimari yeniliği, mevcut açık kaynaklı çıkarım araçlarının çoğunda doğrudan desteklenmiyor. Moonshot AI, teknik ayrıntıları yayın öncesinde çıkarım ortakları ve açık kaynak geliştiricileriyle uyumlu hale getirmek için çalıştığını söylüyor. Bu da özellikle kendi altyapısına kurulum planlayan ekipler için çıkış tarihi ile fiilen kullanılabilir tarih arasında fark olabileceği anlamına geliyor.
Fiyatlandırma tarafında da Kimi K3 önceki nesillerin bulunduğu bütçe segmentinden uzaklaşmış görünüyor. Model, milyon giriş tokeni için $3 fiyatla sunuluyor; aynı giriş kısa süre önce görülmüşse bu rakam $0.30’a düşüyor. Çıkış tarafında ise milyon token başına ücret $15. Bu seviye, Fable 5’in $50’lik çıkış ücretinin altında kalsa da z.ai GLM-5.2’nin $4.40 ve DeepSeek V4’ün $0.87 seviyelerinin belirgin şekilde üzerinde. Ayrıca modelin çıkışta yalnızca en yüksek akıl yürütme ayarıyla gelmesi, uzun muhakeme zincirleri ve tekrar denemelerde toplam maliyetin hızla artabileceğini gösteriyor.
Performans iddiaları tarafında doğrulanmış ve doğrulanmamış bölümleri ayırmak gerekiyor. Geliştirici odaklı kör testlerde yapılan Frontend Code değerlendirmesinde Kimi K3’ün 1,679 puanla ilk sıraya yerleştiği aktarılıyor. Ancak bu sonuç tek bir alana ait. Moonshot AI de genel performans konusunda daha temkinli bir tablo çiziyor ve Kimi K3’ün toplam performansının hâlâ Claude Fable 5 ve GPT 5.6 Sol’un gerisinde kaldığını belirtiyor. Şirket ayrıca üç sınırlamayı açıkça listeliyor: geçmiş düşünme içeriği geri verilmezse üretim kalitesi dengesizleşebiliyor, kullanıcı niyeti belirsiz olduğunda model beklenmedik kararlar alabiliyor ve kullanıcı deneyimi tarafında Fable 5 ile GPT 5.6 Sol’a karşı belirgin fark bulunuyor.
Sonuç olarak Kimi K3, yalnızca dev boyutlu bir açık model değil; aynı zamanda işlem gücü yerine bellek ekseninde optimize edilmiş bir mühendislik denemesi. Bu yaklaşım, kısıtlı hesaplama kaynakları altında büyük modeller üretmenin başka bir yolunu gösteriyor. Ancak gerçek dünyada benimsenmesini belirleyecek unsur, parametre sayısından çok 27 Temmuz sonrası yazılım desteği, donanım erişimi ve toplam sahip olma maliyeti olacak.
