OpenAI potvrdio da detektori AI tekstova ne rade
Prošle nedelje, OpenAI je objavio blog post sa savetima za profesore i nastavnike, u kojima pokazuje kako ChatGPT može da se upotrebljava kao edukativno pomoćno sredstvo. Ali, u FAQ sekciji tog posta, zvanično su priznali da detektori AI tekstova nisu upotrebljivi, jer nisu u stanju da pravilno identifikuju upotrebu AI-a za svrhu pisanja tekstova i domaćih zadataka. To suštinski znači da su mnogi učenici i studenti verovatno bili kažnjeni zbog „lažno-pozitivnih“ rezultata kada su nastavnici proveravali njihove radove.
Tokom jula, eksperti su to već dokazali. Detektori AI tekstova, kao što je GPTZero, često su davali pogrešne procene, zasnivajući se na neadekvatnim i nedovoljno preciznim metodama detekcije. To znači da su tekstovi koje su pisali ljudi često etiketirani kao da ih je napisao AI, ali i da su tekstovi pisani putem AI-a, lako zaobilazili te detektore, tako što su korisnici jednostavno prepričali njihov sadržaj (ili preformulisali rečenice u njima). Uostalom, OpenAI je istog meseca odustao od svog eksperimentalnog alata, AI Classifier, za koji se pokazalo da je imao stepen preciznosti detekcije od samo 26 procenata.
U FAQ sekciji dato je objašnjenje i još jedne velike zablude korisnika. Primećeno je da su mnogi pokušavali da otkriju da li je ChatGPT napisao tekst tako što su mu postavljali direktno pitanje na tu temu. U FAQ-u je objašnjeno da ChatGPT nema znanja o tome koji sadržaj bi mogao da bude AI generisan. Stoga on na takva pitanja odgovara po slučajnom izboru, potvrdno ili negativno, ne uzimajući u obzir ni jednu relevantnu činjenicu.
Uz sve to, OpenAI je naglasio i da informacije koje daju AI modeli ne smeju da se uzimaju „zdravo za gotovo“. Ponekad ChatGPT odgovori deluju tačno, ali mogu da sadrže pogrešne informacije. Čak je moguće da određene stvari predstavi kao citate, iako oni to nisu, pa kompanija upozorava da se oni ne uzimaju kao jedini izvor informacija prilikom istraživanja.
Automatizovani AI detektori ipak nisu potpuno beskorisni. Na primer, nastavnici koji su upoznati sa stilom pisanja svojih učenika mogli bi na osnovu toga da otkriju da li su oni sami, ili uz pomoć veštačke inteligencije, napisali test. Drugim rečima, na današnjem nivou razvoja AI tehnologije, ipak je sigurnije potpuno izbegavati alate za detekciju AI tekstova, već se osloniti na sopstveno iskustvo i gledanje detalja u tekstovima koji bi mogli da ukažu na to.
Izvor: ArsTechnica
