Gladni veštačke inteligencije? Novi superkompjuter sadrži 16 čipova veličine tanjira
Cerebras Sistems je u ponedeljak predstavio svoj superkompjuter Andromeda AI sa 13,5 miliona jezgara za duboko učenje.
Exascale Cerebras Andromeda klaster sadrži više jezgara nego 1.954 Nvidia A100 GPU-a
Prema Cerebrasu, Andromeda isporučuje preko jednog 1 exaflop-a (1 kvintilion operacija u sekundi) AI računarske snage sa 16-bitnom polovičnom preciznošću. Andromeda je sama po sebi skup od 16 računara Cerebras C-2 povezanih zajedno. Svaki CS-2 sadrži jedan Wafer Scale Engine čip (često nazvan “WSE-2”), koji je trenutno najveći silikonski čip ikada napravljen, površine oko 8,5 kvadratnih inča i napunjen sa 2,6 triliona tranzistora organizovanih u 850.000 jezgara. Cerebras je napravio Andromedu u data centru u Santa Klari u Kaliforniji za 35 miliona dolara. Podešen je za aplikacije poput velikih jezičkih modela i već se koristi za akademski i komercijalni rad.
„Andromeda pruža skoro savršeno skaliranje putem jednostavnog paralelizma podataka u velikim jezičkim modelima GPT klase, uključujući GPT-3, GPT-J i GPT-NeoX“, piše Cerebras u saopštenju za štampu. Izraz “skoro savršeno skaliranje” znači da kako Cerebras dodaje više CS-2 računarskih jedinica Andromedi, vreme obuke na neuronskim mrežama se smanjuje u “skoro savršenoj proporciji”, prema Cerebrasu. Tipično, da bi se povećao model dubokog učenja dodavanjem više računarske snage korišćenjem sistema zasnovanih na GPU-u, moglo bi se primetiti smanjenje prinosa kako troškovi hardvera rastu.
Dalje, Cerebras tvrdi da njegov superkompjuter može da obavlja zadatke koje sistemi zasnovani na GPU-u ne mogu: Nemoguć rad GPU-a pokazao je jedan od prvih Andromedinih korisnika, koji je postigao skoro savršeno skaliranje na GPT-J na 2,5 milijardi i 25 milijardi parametara sa dugim dužinama sekvence – MSL od 10,240. Korisnici su pokušali da urade isti posao na Polarisu, klasteru od 2.000 Nvidia A100, a GPU-ovi nisu bili u stanju da urade posao zbog ograničenja GPU memorije i memorijskog propusnog opsega.” Da li će te tvrdnje izdržati eksternu kontrolu tek treba da se vidi, ali u eri u kojoj kompanije često obučavaju modele dubokog učenja na sve većim klasterima Nvidia GPU-a, čini se da Cerebras nudi alternativni pristup.
Kako se Andromeda slaže sa drugim superkompjuterima? Trenutno najbrži na svetu, Frontier, nalazi se u Oak Ridge National Labs-u i može da radi na 1,103 exaflopsa sa 64-bitnom dvostrukom preciznošću. Izrada tog računara koštala je 600 miliona dolara. Pristup Andromedi je sada dostupan za daljinsko korišćenje od strane više korisnika. Već ga koriste pomoćnik za komercijalno pisanje JasperAI i Nacionalna laboratorija Argonne i Univerzitet u Kembridžu za istraživanje.
Izvor: Arstechnica
