Istraživači otkrivaju da ChatGPT voli da ponavlja 25 viceva iznova i iznova
7. juna, dva nemačka istraživača, Sophie Jentzsch i Kristian Kersting, objavili su rad koji ispituje sposobnost OpenAI ChatGPT-3.5 da razume i generiše humor.
Preko 90% od 1008 generisanih viceva bilo je istih 25 viceva
Konkretno, otkrili su da je ChatGPT-ovo znanje o šalama prilično ograničeno: tokom probnog rada, 90 procenata od 1.008 generisanih je bilo istih 25 šala, što ih je navelo da zaključe da su odgovori verovatno naučeni i zapamćeni tokom obuke AI modela, a ne da su novo generisani.
Dva istraživača, povezana sa Institutom za softversku tehnologiju, Nemačkim vazduhoplovnim centrom (DLR) i Tehničkim univerzitetom u Darmštatu, istražili su nijanse humora koje se nalaze u ChatGPT-ovoj verziji 3.5 (ne novijoj verziji GPT-4) kroz seriju eksperimenata fokusiranih na generisanje šala, objašnjenje i otkrivanje. Oni su sproveli ove eksperimente tako što su pozvali ChatGPT bez pristupa unutrašnjem radu modela ili skupu podataka.
„Da bismo testirali koliko je bogata raznolikost šala ChatGPT-a, zamolili smo ga da ispriča vic hiljadu puta“, pišu oni. “Svi odgovori su bili gramatički tačni. Skoro svi rezultati su sadržali tačno jednu šalu. Samo upit: ‘Znate li neki dobar vic?’ izazvao više šala, što je dovelo do ukupno 1008 viceva koji su odgovorili. Osim toga, varijacije uputstava su imale primetan efekat.”
Uprkos tome, mali broj generisanih odgovora je bio jedinstven, ali izgleda da ih je ChatGPT uglavnom kreirao mešanjem elemenata iz različitih viceva koje već poznaje. Istraživači su otkrili da originalne kreacije jezičkog modela nisu uvek imale smisla, kao na primer: „Zašto je čovek stavio sat u blender? Želeo je da vreme leti“.
Na pitanje da objasni svaku od 25 najčešćih šala, ChatGPT je uglavnom davao validna objašnjenja prema metodologiji istraživača, ukazujući na „razumevanje“ stilskih elemenata kao što su igra reči i dvostruka značenja. Međutim, borio se sa sekvencama koje se nisu uklapale u naučene obrasce i nije moglo da kaže kada šala nije smešna. Umesto toga, to bi predstavljalo izmišljena objašnjenja koja zvuče uverljivo.
Generalno, Jentzsch i Kersting su otkrili da je na otkrivanje viceva od strane ChatGPT-a u velikoj meri uticalo prisustvo „površinskih karakteristika“ šale kao što je struktura šale, prisustvo igre reči ili uključivanje kalambura, što pokazuje stepen „razumevanja“ elemenata humora.
Uprkos ograničenjima ChatGPT-a u generisanju i objašnjenju šala, istraživači su istakli da njegov fokus na sadržaj i značenje humora ukazuje na napredak ka sveobuhvatnijem istraživačkom razumevanju humora u jezičkim modelima:
„Zapažanja ove studije ilustruju kako je ChatGPT radije naučio specifičan obrazac šale, umesto da nauči da bude smešan“, pišu istraživači. „Ipak, u generaciji, objašnjenju i identifikaciji viceva, fokus ChatGPT-a je na sadržaju i značenju, a ne toliko na površnim karakteristikama. Ovi kvaliteti se mogu iskoristiti za poboljšanje računarskih aplikacija za humor. U poređenju sa prethodnim LLM-ovima, ovo može smatrati ogromnim skokom ka opštem razumevanju humora.”
Jentzsch i Kersting planiraju da nastave proučavanje humora u velikim jezičkim modelima, posebno procenjujući OpenAI GPT-4 u budućnosti.
Izvor: Arstechnica
