Kako uočiti AI generisan tekst?

Ovu rečenicu je napisao AI—ili nije? OpenAI-jev novi chatbot, ChatGPT, predstavlja nam problem: Kako ćemo znati da li je ono što čitamo na mreži napisao čovek ili mašina?

Internet je sve više preplavljen tekstoovima koji je napisao AI softver. Potrebni su nam novi alati da to otkrijemo

Od kada je objavljen krajem novembra, ChatGPT je koristilo više od milion ljudi. AI zajednica je oduševljena i jasno je da je internet sve više preplavljen tekstom generisanim veštačkom inteligencijom. Ljudi ga koriste da smišljaju šale, pišu dečje priče i prave bolje imejlove. ChatGPT je OpenAI-jev spin-off svog velikog jezičkog modela GPT-3, koji generiše odgovore koji su zapanjujuće ljudski, na pitanja koja mu se postavljaju. Magija — i opasnost — ovih velikih jezičkih modela leži u iluziji ispravnosti. Rečenice koje proizvode izgledaju ispravno — koriste prave vrste reči u ispravnom redosledu.

Ali veštačka inteligencija ne zna šta sve to znači. Ovi modeli funkcionišu tako što predviđaju najverovatniju sledeću reč u rečenici. Nemaju pojma da li je nešto tačno ili lažno, i pouzdano predstavljaju informacije kao istinite čak i kada nisu. U već polarizovanom, politički ispunjenom onlajn svetu, ovi alati veštačke inteligencije mogu dodatno da iskrive informacije koje konzumiramo. Ako se unesu u stvarni svet u stvarnim proizvodima, posledice bi mogle biti razorne. Očajnički su nam potrebni načini da napravimo razliku između teksta koji je napisao čovek i teksta koji je napisala AI kako bismo se suprotstavili potencijalnim zloupotrebama tehnologije, kaže Irene Solaiman, direktorka politike u AI startupi Hugging Face, koja je nekada bila istraživač u OpenAI.

Novi alati će takođe biti ključni za sprovođenje zabrana teksta i koda generisanog veštačkom inteligencijom, poput onog koji je nedavno najavio Stack Overflow, web lokacija na kojoj koderi mogu da traže pomoć. ChatGPT može sa sigurnošću da povrati odgovore na probleme sa softverom, ali nije siguran u ispravnost. Pogrešan kod može dovesti do grešaka i pokvarenog softvera, koji je skup i potencijalno haotičan za popravljanje. Portparol Stack Overflow-a kaže da moderatori kompanije „pregledaju hiljade podnetih izveštaja članova zajednice putem brojnih alata, uključujući heuristiku i modele detekcije“, ali ne bi ulazili u više detalja.

U stvarnosti, to je neverovatno teško, a zabranu je verovatno gotovo nemoguće sprovesti. Postoje različiti načini na koje su istraživači pokušali da otkriju tekst generisan veštačkom inteligencijom. Jedan uobičajeni metod je korišćenje softvera za analizu različitih karakteristika teksta — na primer, koliko tečno se čita, koliko često se pojavljuju određene reči, ili da li postoje obrasci u interpunkciji ili dužini rečenice. „Ako imate dovoljno teksta, zaista jednostavan znak je da se reč „the“ pojavljuje previše puta“, kaže Dafne Ipolito, viši naučnik u Google Brain-u, istraživačkoj jedinici kompanije za duboko učenje. Pošto veliki jezički modeli funkcionišu tako što predviđaju sledeću reč u rečenici, veća je verovatnoća da će koristiti uobičajene reči kao što su „the“, „to“ ili „is“ umesto čudnih, retkih reči.

Upravo je to vrsta teksta koji automatizovani detektorski sistemi dobro prepoznaju, otkrili su Ipolito i tim istraživača iz Google-a u istraživanju koje su objavili 2019. Ali Ipolitova studija je takođe pokazala nešto zanimljivo: ljudski učesnici su imali tendenciju da misle da ova vrsta „čistog“ teksta izgleda bolje i sadrži manje grešaka, pa stoga mora da ga je napisala osoba. U stvarnosti, ljudski pisani tekst je prožet greškama u kucanju i neverovatno je promenljiv, uključujući različite stilove i sleng, dok „jezički modeli veoma, veoma retko prave greške u kucanju. Oni su mnogo bolji u generisanju savršenih tekstova“, kaže Ipolito. „Greška u kucanju u tekstu je zaista dobar pokazatelj da je napisan od strane ljudi“, dodaje ona. Veliki jezički modeli se takođe mogu koristiti za otkrivanje teksta generisanog veštačkom inteligencijom. Jedan od najuspešnijih načina da se to uradi je da se model ponovo obuči na nekim tekstovima koje su napisali ljudi, i drugim koje su kreirale mašine, kako bi naučio da pravi razliku između to dvoje.

Scott Aaronson, kompjuterski naučnik sa Univerziteta u Teksasu, koji je godinu dana radio kao istraživač u OpenAI, u međuvremenu je razvijao vodene žigove za duže delove teksta generisane modelima kao što je GPT-3—„inače neprimetan tajni signal u svom izboru reči, koje možete koristiti da kasnije dokažete da, da, ovo je došlo iz GPT-a“, piše on u svom blogu. Portparol OpenAI-a je potvrdio da kompanija radi na vodenim žigovima i rekao da njene politike navode da korisnici treba da jasno naznače tekst koji generiše AI „na način koji niko ne može razumno propustiti ili pogrešno razumeti“. Ali ove tehničke popravke dolaze sa velikim upozorenjima. Većina njih nema šanse protiv najnovije generacije AI jezičkih modela, jer su izgrađeni na GPT-2 ili drugim ranijim modelima.

Mnogi od ovih alata za otkrivanje najbolje funkcionišu kada je dostupno mnogo teksta; oni će biti manje efikasni u nekim konkretnim slučajevima upotrebe, kao što su chatbotovi ili pomoćnici za emailove, koji se oslanjaju na kraće razgovore i pružaju manje podataka za analizu. A korišćenje velikih jezičkih modela za detekciju takođe zahteva moćne računare i pristup samom AI modelu, što tehnološke kompanije ne dozvoljavaju. Što je model veći i moćniji, to je teže izgraditi AI modele da bi se otkrilo šta je tekst napisao čovek. Ono što je sada toliko zabrinjavajuće je da ChatGPT ima zaista impresivne rezultate. Modeli detekcije jednostavno ne mogu da prate. Ne postoji pouzdran način za otkrivanje teksta napisanog uz pomoć veštačke inteligencije. Da bismo imali šansu da rešimo problem, biće nam potrebne poboljšane tehničke ispravke i veća transparentnost kada ljudi komuniciraju sa veštačkom inteligencijom, a ljudi će morati da nauče da uočavaju znakove rečenica napisanih AI.

„Ono što bi bilo zaista lepo imati je dodatak za Chrome ili bilo koji web browser koji koristite koji će vas obavestiti da li je bilo koji tekst na vašoj web stranici generisan mašinski“, kaže Ipolito. Neka pomoć je već tu. Istraživači sa Harvarda i IBM-a razvili su alat pod nazivom Giant Language Model Test Room (GLTR), koji podržava ljude tako što naglašava odlomke koji su možda generisani kompjuterskim programom. Ali AI nas već zavarava. Istraživači sa Univerziteta Kornel otkrili su da ljudi smatraju da su lažni novinski članci koje generiše GPT-2 verodostojni oko 66% vremena. Druga studija je otkrila da su neobučeni ljudi bili u stanju da tačno uoče tekst koji generiše GPT-3 samo na nivou koji je u skladu sa statističkom greškom.

Dobra vest je da ljudi mogu biti obučeni da budu bolji u uočavanju teksta generisanog veštačkom inteligencijom, kaže Ipolito. Napravila je igru kako bi testirala koliko rečenica računar može da generiše pre nego što igrač shvati da to nije čovek, i otkrila je da su ljudi vremenom postajali sve bolji. „Ako pogledate mnogo generativnih tekstova i pokušate da shvatite šta u tome nema smisla, možete postati bolji u ovom zadatku“, kaže ona. Jedan od načina je da shvatite neverovatne izjave, kao što je veštačka inteligencija koja kaže da je potrebno 60 minuta da se napravi šolja kafe”. GPT-3, ChatGPT-ov prethodnik, postoji tek od 2020. OpenAI kaže da je ChatGPT demo, ali je samo pitanje vremena kada će se slični moćni modeli razviti i uvesti u proizvode kao što su chatbotovi za upotrebu u korisničkoj službi ili zdravstvenoj nezi. I to je suština problema: brzina razvoja u ovom sektoru znači da svaki način da se uoči tekst generisan veštačkom inteligencijom veoma brzo zastari. To je trka u naoružanju – i upravo je sada gubimo.

Izvor: Technologyreview