Nvidia CEO’su Jensen Huang, GTC 2026 sonrasında yaptığı değerlendirmede mühendislik ekiplerinde AI kullanımının artık doğrudan bir verimlilik metriği gibi ele alındığını söyledi. Huang’a göre yıllık maaşı $500,000 olan bir mühendisin yıllık AI token tüketimi maaşının yarısının altında kalıyorsa bu endişe verici bir durum. Nvidia’nın mühendis kadrosu için yıllık token faturasını $2 milyar seviyesine doğru taşıdığı da bu çerçevede doğrulandı.
Bu yaklaşım, birçok büyük şirketin sessizce yaptığı daha geniş bir bütçe kaymasının parçası olarak öne çıkıyor. Daha önce insan kaynağına ayrılan bütçenin bir kısmı artık doğrudan token tüketimine, AI altyapısına ve veri merkezi yatırımlarına gidiyor. Dört büyük hyperscaler’ın 2026 yılı için toplam yaklaşık $700 milyar sermaye harcaması öngörmesi, bu dönüşümün ölçeğini açık biçimde gösteriyor. Aynı dönemde ABD’de işten çıkarmalarda AI gerekçesinin artması da dikkat çekiyor.
Ancak haberde aktarılan tabloya göre bu maliyet kayması her zaman beklenen geri dönüşü üretmiyor. Gartner’ın geliri $1 milyarın üzerinde olan ve AI ajanları ya da otomasyon kullanan şirketlerde yaptığı araştırmada, yöneticilerin yaklaşık %80’inin personel azaltımına gittiği, fakat bunun daha iyi finansal sonuçlarla doğrudan ilişki kurmadığı belirtiliyor. Özetle, iş gücünü küçültmek bütçede alan açabiliyor ama tek başına verimlilik ya da getiri yaratmıyor.
Benzer bir örnek Uber tarafında da görülüyor. Şirket, Aralık ayında 5,000 mühendise AI kodlama araçları sağladı ancak 2026 için ayrılan AI bütçesini Nisan ayında tüketti. Haberde, üretilen kodun %70’inin AI kaynaklı olduğu belirtilse de bunun müşterinin doğrudan fark edeceği sonuçlara dönüşmediği ifade ediliyor. Yani yüksek token tüketimi ile gerçek ürün değeri arasında otomatik bir bağ kurulamıyor.
Metindeki temel argüman, şirketlerin token bütçesini sabit, iş gücünü ise esnek değişken gibi görmesinin hatalı olduğu yönünde. Çünkü personel kesintileri bir kez yapılıyor ve kurumsal bilgi birikimini de beraberinde götürüyor. Buna karşılık token maliyeti mühendislik tarafında birden fazla noktadan optimize edilebiliyor.
En temel yöntemlerden biri prompt caching. Büyük API sağlayıcılarında yaygınlaşan bu yöntem, aynı metnin tekrar tekrar işlenmesini önleyerek maliyeti ciddi biçimde düşürebiliyor. Sabit sistem talimatları veya referans belgeleri bir kez işlenip daha düşük maliyetle yeniden kullanılabiliyor. Haberde, ProjectDiscovery’nin prompt yapısını değiştirerek cache isabet oranını %7’den %84’e çıkardığı, toplam LLM harcamasını ise %59 ila %70 arasında azalttığı aktarılıyor.
Bunun yanında iş yükünü doğru model sınıfına yönlendirmek de önemli bir kaldıraç. Amiral gemisi modellerin token başına maliyeti daha küçük modellere göre yaklaşık 5 kat daha yüksek olabiliyor. Buna rağmen sınıflandırma veya özetleme gibi rutin işler çoğu zaman gereksiz biçimde en pahalı modellere gönderiliyor. Gerçek zamanlı yanıt gerektirmeyen işlemlerde batch işleme kullanılması da ek olarak %50 indirim sağlayabiliyor.
Retrieval-augmented generation yaklaşımı, modele tüm bilgi tabanı yerine yalnızca ilgili kısmı göndererek gereksiz token kullanımını azaltıyor. Prompt compression ise her çağrıda maliyeti şişiren tekrarları ve fazla örnekleri kısıyor. Altyapıyı yönetebilen ekipler için open-weight modeller de rutin işlerde frontier API fiyatlarına göre çok daha düşük maliyetli bir seçenek sunabiliyor.
Haberdeki son vurgu, tasarrufun nereye yönlendirildiğiyle ilgili. Gartner’ın bulgularına göre daha iyi ROI elde eden şirketler, AI’ı insanları tamamen ikame etmek için değil, çalışanların etkisini artırmak için kullananlar oldu. Klarna’nın yaklaşık 700 müşteri hizmetleri rolünü AI destekli bir sistemle değiştirdikten sonra memnuniyet düşüşü yaşaması ve ardından karma modele dönmesi de buna örnek gösteriliyor. Sonuç olarak şirketler için asıl farkı yaratan şey, token harcamasını büyütmek ya da personeli azaltmak değil; token bütçesini mühendislikle optimize edip elde edilen alanı doğru insan yatırımına çevirebilmek.
