Google predstavlja 7. generaciju Ironwood TPU-ova za veštačku inteligenciju
Google je u sredu najavio svoju sedmu generaciju Tensor Processing Unit (TPU) čipova, koji će uskoro biti dostupni korisnicima u oblaku, i to u konfiguracijama (tzv. podovima) od 256 ili 9.216 čipova.
Naravno, upoređujemo FP8 sa FP64 superračunara. Pa šta?
Kompanija se pohvalila da pod sa 9.216 domaćih AI akceleratora nudi 24 puta više procesorske snage od trenutno najmoćnijeg javno poznatog superračunara na svetu – američkog El Capitana, uz 42,5 eksaFLOPS-a naspram 1,7.
Koliko god da to zvuči impresivno, Google je izostavio jednu vrlo bitnu informaciju. Taj broj od 42,5 eksaFLOPS odnosi se na FP8 preciznost, dok je El Capitan dostigao 1,74 eksaFLOPS-a u FP64 preciznosti, koristeći HPC orijentisani LINPACK benchmark. Njegov teorijski maksimum u FP64 je zapravo bliži 2,74 eksaFLOPS-a.
Ako se sve normalizuje na FP8, El Capitan, koji koristi AMD čipove u HPE-Cray arhitekturi, dostiže više od 87 eksaFLOPS-a za „guste“ zadatke, odnosno duplo više za „retke“ podatke. Dakle, Google upoređuje svojih 42,5 FP8 eksaFLOPS-a sa 1,74 FP64, iako bi realno poređenje bilo 42,5 naspram najmanje 87, što znači da El Capitan zapravo izlazi kao pobednik u poređenju sa podom od 9.216 TPU v7 čipova. Tvrdnja o 24 puta većoj snazi – jednostavno ne pije vodu.
Na pitanje o tome, portparol Google-a odgovorio je da je kompanija koristila najbolje dostupne podatke o El Capitanu u tom trenutku. “Možda bi se Gemini AI složio sa tim pristupom”, dodali su u šali.
“Nemamo podatke o postojanom FP8 performansu El Capitana”, navodi se.
“Naša pretpostavka je da su izabrali najbolji broj koji imaju za AI performanse, s obzirom na to da se i oni fokusiraju na veštačku inteligenciju.”
“Iako El Capitan možda podržava FP8, ne možemo da napravimo poređenje bez dodatnih podataka o njegovom realnom radu. Ne možemo automatski pretpostaviti da niža preciznost znači i proporcionalno veći performans. Takođe, Ironwood može da se skalira i izvan jednog poda – do čak 400.000 čipova, odnosno 43 TPU v7x poda, povezanih putem naše Jupiter mreže u data centrima.”
Ako ostavimo poređenja po strani, novi TPU v7 čipovi, kodnog imena Ironwood, predstavljaju veliki napredak u odnosu na prošlogodišnju Trillium generaciju. Dizajnirani prvenstveno za inferenciranje velikih jezičkih modela (LLM), svaki čip poseduje do 192 GB HBM memorije sa propusnošću između 7,2 i 7,4 TB/s.
Kao što smo već govorili, propusnost memorije je glavni usko grlo kod inferenciranja. Veći kapacitet znači da čipovi sada mogu da obrade još veće modele. Kada je u pitanju sirovi FP performans, Google navodi da svaki vodeno hlađeni TPU v7 može da proizvede 4,6 petaFLOPS-a FP8 performansi, što ih stavlja u istu klasu kao Nvidia Blackwell B200.
Pored glavnih tenzorskih jezgara, Ironwood ima i SparseCore, koji ubrzava rad sa ogromnim embedding strukturama, što je česta potreba kod sistema za preporuke i rangiranje. Više tehničkih detalja o čipovima objavljeno je i na sajtu The Next Platform, a očekuje se da će biti široko dostupni kasnije tokom godine.
Za izgradnju ovih podova koristi se specijalizovana inter-chip interkonekcija (ICI) sa brzinom prenosa do 1,2 Tbps po vezi u oba smera, što je 1,5x poboljšanje u odnosu na prethodnu generaciju.
Prema Google-u, veći pod koristi oko 10 megavata pri punom opterećenju. Iako nije precizirano koliki je TDP po čipu, ova cifra sugeriše potrošnju između 700 W i 1 kW, što je u rangu sličnih GPU-ova. Ipak, Google naglašava da su novi TPU-ovi 30 puta efikasniji od prvih iz 2015. godine i nude 2 puta bolji performans po vatu u poređenju sa prošlogodišnjim čipovima.
Izvor: Theregister