Açık Kaynaklı Araç RTX 30 Kartlarda Yapay Zeka Hesaplama Hızını Neredeyse İkiye Katladı

GitHub'da yayımlanan Zagitta adlı açık kaynaklı bir Linux çekirdek modülü, NVIDIA'nın Ampere mimarili GeForce RTX 30 serisi ekran kartlarında FP16 ve BF16 hesaplama hızını bazı modellerde neredeyse iki katına çıkarıyor. Yapay zeka işlerinde elde edilen bu kazanımın ardından yurt dışındaki ikinci el piyasasında 24 GB belleğe sahip RTX 3090'ın fiyatı yaklaşık 1.000 dolardan 2.000 doların üzerine çıktı.

Sürücüden önce devreye giriyor

Modül, NVIDIA'nın resmi sürücüsü karta bağlanmadan hemen önce çalışıyor. Donanımdaki hız seçicilerini yeniden ayarlayarak FP/BF16 FMA komutlarının işlenme hızını profesyonel kartlardaki düzeye çıkarıyor. Bunun için kartın vBIOS yazılımını değiştirmek ya da fiziksel bir müdahale yapmak gerekmiyor. Sürücü her güncellendiğinde yamanın yeniden uygulanması da gerekmiyor. Araç GA102, GA103, GA104 ve GA106 grafik yongalarını hedefliyor.

Haberlerde, NVIDIA'nın oyuncu kartlarının profesyonel ve kurumsal hesaplama işlerinde kullanılmasını önlemek için bu kartlarda komut işleme sınırları uyguladığı belirtiliyor. ShiftDelete.net'e göre bu sınırlamalar, kripto para madenciliğinin yaygın olduğu dönemde getirilmişti.

Test sonuçları

İlk ölçümlerde en büyük artış RTX 3090 Ti'de görüldü. Kartın BF16 performansı 87,5 TFLOPS'tan yaklaşık 157 TFLOPS'a, TF32 performansı ise 42,6 TFLOPS'tan 82,6 TFLOPS'a yükseldi. RTX 3080'in 10 GB'lık modeli, fabrika çıkışındaki 320 W güç sınırında FP16 hesaplamada 65 TFLOPS'tan 113 TFLOPS'a ulaştı.

Kullanıcı raporlarına göre BF16 matris çarpımında (GEMM) elde edilen kazanım modele göre değişiyor. RTX 3070'te yüzde 73 ile 81, RTX 3060 12 GB'ta yaklaşık yüzde 80, RTX 3080 10 GB'ta yüzde 70 ile 73, RTX 3090 Ti'de yüzde 68 ile 80, RTX 3090'da yüzde 25 ile 67, bellek yükseltmesi yapılmış RTX 3080 20 GB'ta ise yüzde 56 ile 59 arasında artış kaydedildi. OEM pazarına yönelik RTX 3080 Ti 20 GB modelinde kilit açıldı, ancak BF16 hızı yarı seviyede kaldı. RTX 3070 Ti bu modülle denenmedi; aynı yöntem bu kartta Windows'ta bir UEFI uyarlaması üzerinden çalıştı. GA103 yongalı modellerle ilgili henüz rapor bulunmuyor.

Büyük dil modellerinde de iyileşme görüldü. Uzun bağlamlı sorgularda ön yükleme (prefill) aşaması yüzde 33 ile 36 arasında hızlandı, ilk yanıtın gelmesine kadar geçen süre (TTFT) yaklaşık yüzde 25 kısaldı. Yanıt üretme (decode) aşamasında ise belirgin bir değişiklik olmadı. Sosyal medyadaki paylaşımlara göre matris çarpımı sonuçları kilit açılmadan önceki sonuçlarla bit düzeyinde aynı çıkıyor, INT8 işlemleri de bu değişiklikten etkilenmiyor. RTX 3070, RTX 3080 ve RTX 3090 için sonuçları doğrulayan kullanıcı raporları da paylaşıldı.

Kısıtlamalar ve desteklenen seriler

Araç şimdilik yalnızca Linux'ta çalışıyor ve Windows desteği bulunmuyor. Kurulumdan sonra Secure Boot'un kapatılması ve sistemin önyükleme parametrelerine bir ayar eklenmesi gerekiyor.

Diğer seriler için kaynaklardaki bilgiler birbirini tutmuyor. DonanımHaber; GTX 9, GTX 10, RTX 20 ve RTX 40 serilerinde de belirli kazanımlar elde edildiğini aktarıyor. Öte yandan 24 Ekim'de yapılan bir sosyal medya paylaşımında RTX 40 serisinin henüz desteklenmediği belirtildi. İki kaynak da en büyük kazanımın RTX 30 serisinde görüldüğü konusunda hemfikir.

İkinci el fiyatları yükseldi

Kilidin açılması, özellikle 24 GB görüntü belleği bulunan RTX 3090 ve RTX 3090 Ti'yi yapay zeka geliştiricileri ve model ince ayarı yapan kullanıcılar için kurumsal hızlandırıcılara göre çok daha ucuz bir seçenek haline getirdi. Yurt dışındaki ikinci el platformlarında kısa süre önce 1.000 dolar civarında satılan RTX 3090'ın fiyatı 2.000 doları geçti. RTX 3090 Ti ilanları 2.650 ile 3.000 dolar arasına çıktı, RTX 3080 modellerinin fiyatı da 1.000 dolara yaklaştı. Bu yükselişin, uygun fiyatlı ekran kartı arayan oyuncuları olumsuz etkilemesi bekleniyor.