Hlađenje tečnošću i uranjanje na Supercomputing ’22
Može se sa sigurnošću reći da je tečno hlađenje bila vruća tema na Superkompjuterskoj konferenciji u Dalasu ove nedelje.
Sa čipovima sledeće generacije koji dostižu 700W, toplota je vruća tema
Koliko je oko moglo da vidi, izložbena hala je bila prepuna servera sa tečnim hlađenjem, uljem napunjenih uronjenih rashladnih rezervoara i svih fitinga, pumpi i jedinica za distribuciju rashladne tečnosti (CDU – coolant distribution units) koje će vam možda trebati da primenite tehnologiju u data centru. S obzirom na to da je ovo konferencija posvećena računarstvu visokih performansi, naglasak na upravljanju toplotom ne bi trebalo da bude iznenađenje. Ali sa procesorima od 400 W i GPU-ima od 700W koji su već dostupni, teško da je problem isključivo HPC ili AI. Kako sve više preduzeća želi da doda sisteme sposobne za AI/ML u svoje centre podataka, sistemi od 3kW, 5kW ili čak 10kW više nisu ludost.
Direktno tečno hlađenje
Ogromna većina sistema za tečno hlađenje koji su prikazani na SC22 su direktne tečnosti. Ovi hladnjaci i ventilatori od bakra ili aluminijuma zamenjuju hladne ploče, gumene cevi i fitinge. Ako ćemo iskreno, svi ti hladni tanjiri izgledaju manje-više isto. Oni su u suštini samo izdubljeni metalni blok sa ulazom i izlazom kroz koje tečnost može da prođe. Imajte na umu da ovde koristimo reč „tečnost“, jer sistemi sa tečnim hlađenjem mogu da koriste bilo koji broj rashladnih tečnosti koje nisu nužno voda. U mnogim slučajevima, OEM proizvođači nabavljaju svoje hladne ploče od istih dobavljača.
Na primer, CoolIT obezbeđuje hardver za tečno hlađenje za nekoliko OEM-a, uključujući HPE i Supermicro. Međutim, to ne znači da nema mogućnosti za diferencijaciju. Unutrašnjost ovih hladnih ploča je ispunjena nizovima mikro-rebara koji se mogu podesiti da bi se optimizovao protok tečnosti kroz njih. U zavisnosti od toga koliko su velike ili koliko matrica ima za hlađenje, unutrašnjost ovih hladnih ploča može se prilično razlikovati. Većina sistema sa tečnim hlađenjem na izložbenom prostoru koristila je neku vrstu gumene cevi za povezivanje hladnih ploča. To znači da tečnost hladi samo određene komponente kao što su CPU i GPU.
Dakle, iako se većina ventilatora može ukloniti, još uvek je potreban protok vazduha. Lenovo Neptune i HPE Cray’s EX blejdovi bili su izuzetak od ovog pravila. Njihovi sistemi su namenski napravljeni za tečno hlađenje i napunjeni su do vrha bakarnim cevima, distributivnim blokovima i hladnim pločama za sve, uključujući CPU, GPU, memoriju i NIC-ove. Koristeći ovaj pristup, HPE je uspeo da ugura osam AMD-ovih 400W Epic 4 Genoa CPU-a u 19-inčnu šasiju. U međuvremenu, Lenovo je pokazao 1U Neptune sistem dizajniran za hlađenje para Epic-a sa 96 jezgara i četiri Nvidijina H100 SXM GPU-a. U zavisnosti od implementacije, proizvođači tvrde da njihovi sistemi direktno hlađeni tečnošću mogu da uklone od 80 do 97 procenata toplote koju generiše server.
Hlađenje potapanjem
Jedna od egzotičnijih tehnologija tečnog hlađenja prikazanih na SC22 bilo je hlađenje potapanjem, koje je ponovo u modi u poslednjih nekoliko godina. Ovi sistemi mogu uhvatiti 100 posto toplote koju sistem generiše. Koliko god to zvučalo ludo, decenijama smo uranjali kompjuterske komponente u neprovodne tečnosti da bismo ih održali hladnim. Jedan od najpoznatijih sistema koji je koristio imerziono hlađenje bio je Cray 2 superkompjuter. Dok se tečnosti koje se koriste u ovim sistemima razlikuju od prodavca do prodavca, sintetička ulja poput Exxon-a ili Castrol-a ili specijalizovana rashladna sredstva kompanije 3M nisu neuobičajena. Submer je bila jedna od nekoliko kompanija za hlađenje potapanjem koje su pokazale svoju tehnologiju na SC22. SmartPod-ovi kompanije izgledaju kao da ste napunili zamrzivač uljem i počeli vertikalno da postavljate servere odozgo.
Submer nudi rezervoare u više veličina koje su otprilike ekvivalentne tradicionalnim policama za pola i punu veličinu. Ovi rezervoari su ocenjeni za 50-100kW toplotne disipacije, što ih stavlja u rang sa infrastrukturom za vazdušno i tečno hlađenje montiranom u stalak u smislu gustine snage. Demo rezervoar je imao tri servera od 21 inča, svaki sa tri Intel Sapphire Rapids blade-a sa dva soketa, kao i standardni 2U AMD sistem koji je prepravljen za upotrebu u njegovim rezervoarima. Međutim, rečeno je da je broj potrebnih modifikacija, posebno na OCP šasiji, prilično zanemarljiv, a jedine stvarne promene su zamena bilo kakvih pokretnih delova iz stvari poput izvora napajanja. Kao što možete očekivati, hlađenje potapanjem komplikuje održavanje i prilično je neurednije od vazdušnog ili direktnog tečnog hlađenja. Ne zahteva svako hlađenje potapanjem galone specijalizovanih tečnosti. Iceotopov sistem za hlađenje potapanjem u šasiju je jedan od primera. Zapečaćena serverska šasija kompanije funkcioniše kao rezervoar sa matičnom pločom potopljenom u nekoliko milimetara tečnosti. Redundantna pumpa na zadnjoj strani servera recirkuliše ulje do vrućih tačaka kao što su CPU, GPU i memorija pre nego što propušta vruće tečnosti kroz izmenjivač toplote. Tamo se toplota prenosi na sistem vode u objektu ili distributivne jedinice rashladne tečnosti (CDU – coolant distribution units).
Infrastruktura za podršku
Bez obzira da li koristite hlađenje direktno na čip ili uranjanje, oba sistema zahtevaju dodatnu infrastrukturu za izdvajanje i rasipanje toplote. Za podešavanja sa direktnim hlađenjem tečnošću, ovo može uključivati distribucione razvodnike, vodovodne instalacije na nivou stalka i što je najvažnije jedan ili više CDU-ova. CDU-ovi za velike rekove mogu se koristiti za hlađenje čitavog reda serverskih ormara. Na primer, Cooltera je pokazala nekoliko velikih CDU-ova koji su sposobni da obezbede do 600 kW hlađenja za centar podataka. Ili, za manje primene, može se koristiti CDU montiran u rack.
Dva primera iz Supermicro-a i Cooltera su obezbedili između 80 i 100kW mogućnosti hlađenja. Ovi CDU-ovi se sastoje od tri glavne komponente: izmenjivača toplote, redundantnih pumpi za cirkulaciju rashladne tečnosti kroz stalke i sistema za filtriranje koji sprečava čestice da začepe kritične komponente kao što su mikro rebra hladne ploče. Način na koji se toplota zapravo izvlači iz sistema rashladne tečnosti u velikoj meri zavisi od vrste izmenjivača toplote koji se koristi. Izmenjivači toplote tečnost-vazduh su među najjednostavnijim jer zahtevaju najmanje modifikacija na samom objektu. Cooltera CDU koristi velike radijatore za odlaganje toplote zarobljene tečnosti u vrući prolaz data centra. Međutim, većina CDU-a na SC22 koristila je izmenjivače toplote tečnost-tečnost.
Ideja je da se koristi poseban sistem za vodu u celom objektu za premeštanje toplote prikupljene od više CDU-a do suvih rashladnih uređaja na spoljašnjosti zgrade gde se raspršuje u vazduh. Ili, umesto da ispuštaju toplotu u atmosferu, neki centri podataka, kao što je najnoviji Microsoftov objekat u Helsinkiju, povezali su svoje sisteme za vodu sa sistemima daljinskog grejanja. Situacija je uglavnom ista za hlađenje potapanjem, iako su mnoge komponente CDU-a, poput pumpi, izmenjivača toplote tečnost-tečnost i sistema za filtriranje, ugrađene u rezervoare. Sve što je zaista potrebno je da budu priključeni na vodovodni sistem objekta.
Usvajanje hlađenja tečnošću u porastu
Dok tečno hlađenje danas čini samo delić potrošnje na upravljanje toplotom u centru podataka, toplije komponente i veća gustina snage rekova počinju da podstiču usvajanje tehnologije. Prema nedavnom izveštaju Dell’Oro grupe, očekuje se da će potrošnja na tečnu opremu i opremu za hlađenje potapanjem dostići 1,1 milijardu dolara ili 19 procenata potrošnje za upravljanje toplotom do 2026. U međuvremenu, rastuće cene energije i povećan naglasak na održivosti čine tečno hlađenje privlačnim na drugim nivoima. Ostavljajući po strani praktičnost hlađenja servera od 3 kW vazduhom, 30-40 procenata potrošnje energije data centra može se pripisati opremi za klimatizaciju koja je potrebna za održavanje sistema na radnoj temperaturi. Dakle, dok su prodavci servera pronašli načine da rashlade servere do 10 kW, u slučaju Nvidijinog DGX H100, na ovim gustinama snage i toplote postoje spoljni podsticaji za smanjenje potrošnje energije koja se sada koristi za računarstvo.
Izvor: Theregister
