Qualcomm je najavio ulazak u tržište AI data centara predstavljanjem dva nova akceleratora – AI200 i AI250 – kao i posebnih rack sistema u kojima će oni raditi.

Kompanija najavljuje AI200 i AI250 akceleratore i posebne rack sisteme

Ovi proizvodi su prvenstveno namenjeni za AI inferenciranje, tj. za izvršavanje gotovih modela veštačke inteligencije, a ne za njihovu obuku.

Novi akceleratori za AI inferenciranje

Kompanija je otkrila vrlo malo tehničkih informacija o svojim novim akceleratorima. Poznato je da AI200 podržava do 768 GB LPDDR memorije po kartici, dok AI250 koristi, kako Qualcomm navodi, „inovativnu memorijsku arhitekturu zasnovanu na near-memory computing principu“. Qualcomm tvrdi da AI250 donosi „generacijsku promenu u efikasnosti i performansama“, sa više od deset puta većim efektivnim propusnim opsegom memorije i znatno nižom potrošnjom energije u poređenju s prethodnim rešenjima. Ovi akceleratori biće deo prekonfigurisane rack infrastrukture sa direktnim tečnim hlađenjem, PCIe interfejsom za skaliranje unutar sistema, Ethernetom za umrežavanje više rack jedinica, kao i podrškom za „confidential computing“ radi bezbednog procesiranja AI zadataka. Ceo rack troši oko 160 kW energije.

„Nešto jedinstveno i disruptivno“ 

Izvršni direktor Qualcomm-a, Kristijano Amon, još u maju je najavio da će kompanija ući na tržište AI data centara samo ako ponudi „nešto jedinstveno i disruptivno“. Naglasio je da će Qualcomm iskoristiti svoje iskustvo u izradi procesora da razvije klastere namenjene efikasnom inferenciranju pri niskoj potrošnji energije. Zanimljivo je, međutim, da se u novoj objavi ne pominju CPU-ovi, već se naglašava da se novi akceleratori nadovezuju na Qualcomm-ovo liderstvo u NPU (Neural Processing Unit) tehnologiji – što je jasna referenca na Hexagon NPU jedinice koje se već nalaze u Snapdragon čipovima za telefone i laptopove. Najnoviji Hexagon NPU u čipu Snapdragon 8 Elite SoC poseduje 12 skalarnih i 8 vektorskih akceleratora i podržava širok spektar numeričkih preciznosti – od INT2 do FP16.

Fokus na efikasnost i niže troškove

Qualcomm tvrdi da njegovi novi AI proizvodi nude „performanse na nivou čitavog rack-a i izuzetno veliku memorijsku propusnost za brze generativne AI zadatke“, uz „visok odnos performansi prema ceni i potrošnji energije“ i „niske ukupne troškove vlasništva“ (TCO).

Ove tvrdnje direktno se odnose na tri ključna izazova sa kojima se AI industrija suočava:

• Energetska potrošnja – AI zadaci zahtevaju ogromnu količinu energije, što povećava troškove rada data centara.
• Potrebno hlađenje – visoka potrošnja energije proizvodi više toplote, pa je potrebna dodatna infrastruktura za hlađenje, što takođe povećava troškove.
• Ograničenja memorije – količina dostupne memorije direktno utiče na to koje modele je moguće pokretati i koliko zadataka se može obraditi istovremeno.

Sa 768 GB memorije po akceleratoru, AI200 premašuje kapacitet koji nude Nvidia i AMD u svojim vodećim modelima, što Qualcomm-u daje osnovu da tvrdi kako njegovi uređaji mogu obavljati više zadataka uz manju potrošnju resursa – kombinaciju koja bi mogla biti veoma privlačna za operatore data centara.

Prvi kupac: Humain iz Saudijske Arabije

Qualcomm je već najavio i prvog kupca – saudijsku kompaniju Humain, specijalizovanu za AI usluge. Humain planira da do 2026. godine implementira 200 megavata Qualcomm-ovih AI200 i AI250 rack rešenja, kako bi obezbedio visokoperformantne AI inferencijske servise u Saudijskoj Arabiji i globalno.

Ipak, Qualcomm navodi da AI250 neće biti dostupan pre 2027. godine, što čini ovu najavu donekle nejasnom – još uvek nije poznato kako tačno ovi proizvodi izgledaju i da li će biti konkurentni rešenjima drugih proizvođača.

Povratak Qualcomm-a u data centre

Ova objava označava povratak Qualcomm-a na tržište data centara, nakon neuspelih pokušaja sa server procesorima iz prošlosti. Ovoga puta, kompanija se fokusira na AI akceleratore, koji bi mogli da imaju veći komercijalni potencijal. Investitori su, sudeći po reakciji berze, optimistični – cena Qualcomm-ovih akcija porasla je za 11% u ponedeljak nakon objave vesti.

Qualcomm pokušava da se pozicionira kao ozbiljan igrač u oblasti AI infrastrukture, nudeći akceleratore koji kombinuju visoke performanse, veliku memoriju i nisku potrošnju energije. Ipak, zbog izostanka konkretnih tehničkih podataka, ostaje da se vidi da li će novi AI200 i AI250 zaista moći da konkurišu gigantima poput Nvidie i AMD-a.

Izvor: Theregister