Geçtiğimiz hafta adından sıkça söz ettiren DeepSeek-R1 bildiğiniz gibi gelişmiş akıl yürütme yeteneklerine sahip açık kaynaklı bir yapay zeka modeli ve doğrudan yanıt vermek yerine düşünce zinciri, fikir birliği ve arama yöntemleriyle birden fazla çıkarım aşaması gerçekleştirerek en iyi sonucu üretmeyi hedefliyor. Bu süreç de test zamanı ölçeklemesi olarak adlandırılıyor ve yüksek bir hesaplama gücüne ihtiyaç duyuyor.
Geliştiricilerin bu yetenekleri güvenli bir şekilde denemelerine ve kendi özel ajanlarını oluşturmalarına yardımcı olmak için 671 milyar parametreli DeepSeek-R1 modeli artık build.nvidia.com adresinde NVIDIA NIM mikroservis önizlemesi olarak da mevcut.
NVIDIA NIM mikroservisi ile DeepSeek-R1, tek bir HGX H200 sisteminde saniyede 3.872 token üretebiliyor. Bu sayede NVIDIA AI Enterprise ile geliştiriciler bu mikroservisi test edebilir ve kendi özel AI ajanlarını oluşturabilirler.
