DeepMind okvir nudi napredak u rasuđivanju LLM-a

Revolucionarni pristup u poboljšanju sposobnosti zaključivanja velikih jezičkih modela (LLM) otkrili su istraživači iz Google DeepMind-a i Univerziteta Južne Kalifornije.

Njihov novi okvir za podsticanje „SELF-DISCOVER“ – objavljen početkom februara – predstavlja značajan iskorak iznad postojećih tehnika, potencijalno uvodeći revoluciju u performanse vodećih modela kao što su OpenAI GPT-4 i Google-ov PaLM 2.

Okvir obećava značajna poboljšanja u rešavanju izazovnih zadataka zaključivanja. Pokazuje izuzetna poboljšanja, može se pohvaliti povećanjem performansi do 32% u poređenju sa tradicionalnim metodama kao što je Lanac misli (Chain of Thought -CoT). Ovaj novi pristup se vrti oko LLM-ova koji autonomno otkrivaju strukture zaključivanja koje su unutrašnji zadatak da bi se snašli u složenim problemima.

U svojoj srži, okvir ovlašćuje LLM da sami otkrivaju i koriste različite module atomskog rezonovanja – kao što su kritičko razmišljanje i analiza korak po korak – da konstruišu eksplicitnu strukturu zaključivanja.
Oponašajući strategije rešavanja ljudskih problema, okvir funkcioniše u dve faze:

Prva faza uključuje sastavljanje koherentne strukture zaključivanja svojstvenog zadatka, korišćenje skupa modula atomskog rezonovanja i primera zadataka.

Tokom dekodiranja, LLM zatim prate ovu samootkrivenu strukturu da bi došli do konačnog rešenja.

U opštem testiranju različitih zadataka razmatranja – uključujući Big-Bench Hard, Thinking for Doing, i Math – pristup samootkrivanju je dosledno nadmašio tradicionalne metode. Primetno je da je postigao tačnost od 81%, 85% i 73% u tri zadatka sa GPT-4, nadmašujući tehnike lanca misli i tehnike planiranja i rešavanja. Međutim, implikacije ovog istraživanja su daleko od pukog povećanja performansi.

Opremanjem LLM-a sa poboljšanim sposobnostima zaključivanja, okvir utire put za rešavanje izazovnijih problema i približava AI postizanja opšte inteligencije. Studije prenosivosti koje su sproveli istraživači dalje naglašavaju univerzalnu primenljivost sastavljenih struktura rasuđivanja, usklađene sa ljudskim obrascima rezonovanja.

Kako se situacija razvija, otkrića poput okvira za podsticanje SAMO-OTKRIVANJA predstavljaju ključne prekretnice u unapređenju mogućnosti jezičkih modela i nude uvid u budućnost AI.

Izvor: artificialintelligence-news.com