Google, Sekizinci Nesil TPU Ailesine TPU 8tx ve TPU 8i Max'i Ekledi

Google, yapay zeka iş yükleri için geliştirdiği Tensor Processing Unit (TPU) çiplerinin sekizinci neslinde iki yeni sistem duyurdu. Kurumsal müşterilere yönelik TPU 8tx ve TPU 8i Max'le birlikte şirketin bir yıl içinde tanıttığı TPU sistemi sayısı dörde çıktı. İki sistem de yeni bir çip mimarisi kullanmıyor. Google, mevcut sekizinci nesil TPU silikonunu farklı donanım yapılandırmalarıyla belirli iş yüklerine göre uyarlıyor.

Şirket nisan ayında bu ailenin ilk iki üyesini piyasaya sürmüştü. TPU 8t büyük yapay zeka modellerinin eğitimi, TPU 8i ise düşük gecikmeli çıkarım ve gerçek zamanlı akıl yürütme için tasarlanmıştı. Google'a göre bu sistemler bir önceki nesle göre eğitimde 2,7 kata kadar daha yüksek performans, çıkarımda ise yüzde 80 daha iyi fiyat-performans oranı sağlıyor.

TPU 8tx: Hassas veriler için donanım düzeyinde koruma

TPU 8tx'in hedef kitlesi devlet kurumları, finans kuruluşları ve veri güvenliği gereksinimleri sıkı olan şirketler. Veriler depolanırken ya da ağ üzerinden aktarılırken şifrelenebiliyor, ancak işlemci bu verileri işlediği sırada bellekte şifrenin çözülmesi gerekiyor. TPU 8tx bu boşluğu donanım düzeyinde kapatmayı amaçlıyor.

TPU 8t ile aynı silikonu kullanan sistem, beşinci nesil AMD EPYC işlemcilerle birlikte çalışıyor. Böylece hassas veriler ve model ağırlıkları işlem sürerken de yalıtılmış halde kalıyor. Sistemde Google'ın gerçek zamanlı akıl yürütme için geliştirdiği düşük gecikmeli Boardfly ağı da yer alıyor. Şirket bu ağın TPU 8t'ye göre gecikmeyi 2 kata kadar azalttığını, performans kaybının ise neredeyse hiç olmadığını açıkladı.

TPU 8i Max: İki çip tek pakette

TPU 8i Max, çok uzun bağlamlarla çalışan yapay zeka modellerinin karşılaştığı bellek darboğazını hedefliyor. Çok sayıda yapay zeka ajanının büyük bir yazılım kod tabanını incelemesi ya da saatler süren videoların aynı anda işlenmesi gibi işlerde bellek bant genişliği performansı sınırlayan başlıca etken haline geliyor.

Google bu sorun için iki adet TPU 8i çipini tek bir pakette birleştirdi. Yeni sistem standart TPU 8i'ye göre iki kat işlem gücü, iki kat SRAM ve iki kat HBM bant genişliği sunuyor. Amaç, işlemcilerin ihtiyaç duyduğu verilere daha hızlı ulaşması ve büyük iş yüklerinin bellek aktarımı beklerken yavaşlamaması. İki çipin aynı raf alanına yerleştirilmesi, veri merkezlerinde birim alan ve enerji başına elde edilen işlem gücünü de artırıyor.

Google, TPU 8i Max'e ilişkin ayrıntılı performans testi sonuçlarını, güç tüketimi değerlerini ve fiyat bilgisini henüz paylaşmadı. Bu nedenle sistemin verimlilik ve maliyet bakımından Nvidia'nın Rubin platformlarıyla karşılaştırılması şimdilik mümkün değil.

Yazılım tarafında yeni araçlar

Şirket, TPU'ların kullanımını kolaylaştırmak için yazılım ekosistemini de genişletti. Açık kaynaklı TorchTPU ile PyTorch kodları ve Hugging Face modelleri herhangi bir değişiklik yapılmadan TPU'larda çalıştırılabiliyor. Claude Code, Cursor ve Google Antigravity ile entegre çalışan TPU ajan paketi ise donanım optimizasyonunu otomatik hale getiriyor.

Duyurulan diğer araçlar şöyle:

• XLA Serving Engine: Modellerin TPU, GPU ve CPU üzerinde sunulmasını sağlıyor.
• Agent Compute Engine: Boşta bekleyen yapay zeka ajanlarının kullandığı işlem kaynaklarını serbest bırakıyor.
• TPU Sync: Açık kaynaklı bu araç HBM, DRAM ve depolama kaynaklarını tek bir bellek hiyerarşisinde topluyor. Hedefi, KV aktarım gecikmesini ve ilk tokenin üretilme süresini yüzde 90'ın üzerinde kısaltmak.

Google Kubernetes Engine (GKE) için Cloud Pathways ve Dynamic Slicing özellikleri genel kullanıma açıldı. İki özellik de büyük TPU kümelerinin yönetimini kolaylaştırıyor. Dynamic Slicing, optik devre anahtarlama (OCS) teknolojisiyle TPU kümelerini dinamik olarak yapılandırıyor. Bu sayede işlerin başlatılma süresi 5 kata kadar kısalıyor, arızalardan sonra kurtarma 4,5 kata kadar hızlanıyor.

Google, yeni nesil TPU'ları tasarlarken AlphaChip ve Gemini gibi kendi yapay zeka araçlarından da yararlanıyor. Şirketin açıklamasına göre Gemini sayesinde çip yerleşim çalışmaları haftalar yerine saatler içinde tamamlanabiliyor.