Evo zašto će SSD-ovi od 100TB+ igrati ključnu ulogu u ultra velikim jezičkim modelima u bliskoj budućnosti

Veliki jezički modeli često generišu sadržaj koji deluje uverljivo, ali je činjenično netačan – drugim rečima, „izmišljaju“ informacije.

Rešenje Kioxia AiSAQ koristi diskove velikog kapaciteta za obradu velikih skupova podataka

Ove „halucinacije“ mogu narušiti pouzdanost u zadacima gde su tačne informacije ključne, poput medicinskih dijagnoza, pravnih analiza, finansijskih izveštaja i naučnih istraživanja.

Retrieval-Augmented Generation (RAG) smanjuje ovaj problem integracijom eksternih izvora podataka, omogućavajući jezičkim modelima da pristupe informacijama u realnom vremenu tokom generisanja odgovora. Ovo smanjuje greške i poboljšava kontekstualnu preciznost, oslanjajući se na ažurirane i tačne podatke. Međutim, efikasna implementacija RAG zahteva značajne memorijske i skladišne resurse, posebno za obimne vektorske podatke i indekse.

Tradicionalno, ovi podaci su čuvani u DRAM memoriji, koja je brza, ali i skupa i ograničenog kapaciteta. Da bi rešila ovaj izazov, kompanija Kioxia je na ovogodišnjem CES-u predstavila rešenje AiSAQ – All-in-Storage Approximate Nearest Neighbor Search (ANNS) sa produktnom kvantizacijom. AiSAQ koristi SSD diskove velikog kapaciteta za čuvanje vektorskih podataka i indeksa, značajno smanjujući potrebu za DRAM-om u poređenju sa DiskANN tehnologijom. Ovo omogućava pristupačniji i skalabilniji pristup podršci za velike AI modele.

Prelazak na SSD skladište omogućava obradu većih skupova podataka uz smanjenje troškova povezanih s korišćenjem velike količine DRAM memorije. Iako pristup podacima sa SSD-ova može izazvati blago kašnjenje u poređenju sa DRAM-om, prednosti uključuju niže troškove sistema i bolju skalabilnost. Ovo može doprineti boljem performansu modela i većoj tačnosti, jer veći skupovi podataka obezbeđuju bogatiju osnovu za učenje i izvođenje zaključaka.

Korišćenjem SSD diskova velikog kapaciteta, AiSAQ zadovoljava potrebe za skladištenjem podataka koje zahteva RAG, dok doprinosi širem cilju da napredne AI tehnologije budu dostupnije i isplativije. Iako Kioxia još uvek nije otkrila kada će AiSAQ biti dostupan na tržištu, realno je očekivati da će konkurenti poput Micron-a i SK Hynix-a raditi na sličnim rešenjima.

Portal ServeTheHome zaključuje:

„Sve je danas povezano sa AI, a Kioxia to prepoznaje. Realno gledano, RAG će biti važan deo mnogih aplikacija. Ako neka aplikacija treba da pristupi velikim količinama podataka koji se ne koriste često, ovo bi bila idealna prilika za rešenje poput Kioxia AiSAQ.“

Izvor: Techradar