RTX 5070 Ti üzerinde 16GB GDDR7 VRAM ile 20B ölçekli bir yapay zekâ modelini sorunsuz çalıştırabildiğini belirten bir kullanıcı, günlük iş akışı için bunun yetersiz kaldığını düşünerek 35B sınıfına geçti. Daha büyük modeli sistemde performans kaybı yaşamadan çalıştırabilmek için de bir iş istasyonundaki 128GB DDR4 ECC belleği devreye aldı. Ancak deneme uzun sürmedi; kullanıcı eve döndüğünde, yaklaşık 90 dakika sonra sistemin çöktüğünü ve 8GB’lık DDR4 modüllerden birinin arızalandığını fark etti.
Kullanıcının kurulumunda toplam 128GB DDR4 ECC bellek, 8GB’lık modüller halinde kullanılıyordu. 35B model olarak Ornith-1.5-35B-A3B tercih edildi. Paylaşılan bilgilere göre 20B model, RTX 5070 Ti’ın belleğine rahatça sığıyordu; fakat daha karmaşık veritabanı görevlerinde daha yoğun bir modele ihtiyaç duyuldu. 35B modele geçişin temel nedeni de kalite artışı ve VRAM dolduktan sonra sistem belleğine taşınsa bile token performansının kabul edilebilir seviyede kalması oldu.
İlk arızanın ardından bozuk olduğu düşünülen modül sistemden çıkarıldı ve aynı model yeniden çalıştırıldı. Kullanıcı başlangıçta bunun tekil bir bellek arızası olabileceğini düşündü; sonuçta yaşlı veya yıpranmış RAM modüllerinde benzer sorunlar zaman zaman görülebiliyor. Ne var ki yaklaşık 8-9 gün sonra hata günlükleri kontrol edildiğinde ikinci bir DDR4 modülünde de sorun işaretleri ortaya çıktı. Bu da meselenin tek bir kötü modülle sınırlı olmayabileceğini düşündürdü.
İşin dikkat çekici yanı, sıcaklık konusunda paylaşılan verilerin yalnızca CPU ve GPU ile sınırlı olması. Kullanıcıya göre bu iki bileşen de 80°C seviyesini aşmadı. Buna karşın bellek modüllerinin sıcaklığına dair herhangi bir ölçüm paylaşılmadı. Sürekli ve uzun süreli yük altında çalışan sistemlerde özellikle eski DDR4 modüllerin, teorik olarak günlük masaüstü kullanımından çok daha ağır bir erişim düzeniyle karşılaşması mümkün. Özellikle büyük dil modelleri, VRAM yetersiz kaldığında sistem belleğine daha fazla yük bindirebiliyor.
Buradan kesin bir neden çıkarmak mümkün değil. Modüllerin yaşı, uzun süreli stres, kasadaki hava akışı ve genel platform koşulları birlikte rol oynamış olabilir. ECC kullanımı veri bütünlüğü açısından avantaj sağlasa da fiziksel arızayı engellemiyor. Bu olay, büyük yapay zekâ modellerini yalnızca kapasite açısından değil, bellek altyapısının dayanıklılığı ve soğutma koşulları açısından da değerlendirmek gerektiğini gösteriyor. Özellikle eski DDR4 belleklerle uzun süreli LLM yükleri planlanıyorsa, sıcaklık takibi ve sistem içi hava akışı daha yakından izlenmeli.
