Musk’un girişimi xAI şu anda Grok geniş dil modunun ikinci versiyonunu eğitiyor ve bu aşamayı Mayıs ayına kadar tamamlamayı ümit ediyor. Grok’un V2 modelinin eğitiminde yaklaşık 20.000 kadar Nvidia H100 GPU kullanılıyor ve Elon Musk, Grok V3 modelinin eğitilmesi için yaklaşık 100.000 Nvidia H100 yongasına ihtiyaç duyacaklarını tahmin ediyor.
Musk’a göre yapay zeka teknolojisinin ilerlemesi şu anda iki ana faktör tarafından engelleniyor: Nvidia’nın H100’ü gibi gelişmiş işlemcilerdeki arz sıkıntısı ve bu GPU’ları çalıştıracak elektriği temini.
Nvidia’nın H100 GPU’su tam kapasitede çalışırken yaklaşık 700 W tüketiyor ve dolayısıyla bahsi geçen 100.000 GPU, 70 megawatt’lık devasa bir güç ihtiyacı duyabilir. Buna birde bu veri merkezinin soğutma için harcayacağı elektiği hesaba katarsanız 100.000 Nvidia H100 işlemcili bir veri merkezinin kolayca 100 megawatt civarında güç tüketeceğini söylemek yanlış olmaz. Bu nerede ise küçük bir şehrin elektrik tüketimine eş değer bir rakam.
Nvidia GTC 2024’de Blackwell B200’ü tanıttı ve bu platform belkide trilyolarca parametre ile LLM’ler eğitmeye olacak sağlayacak. Ancak biran önce füzyon reaktörlerini çalıştıramazsak bu işlemcilere güç sağlayamayacağız 🙂
