Na nedavnom testu, AI napisala bolji phishing email od čoveka

Istraživači su otkrili da su alati poput OpenAI-jevog GPT-3 pomogli u stvaranju vrlo efikasnih phishing poruka.

Rezultati su zvučali „neobično ljudski“

“Natural Language Processing” nastavlja da pronalazi svoj put na neobičnim mestima. Ovaj put, to su phishing emailovi. U maloj studiji, istraživači su otkrili da bi mogli koristiti model jezika za duboko učenje GPT-3, zajedno sa drugim AI-as-a-service platformama, kako bi značajno smanjili prepreku za ulazak u masovne phishing kampanje. Na bezbednosnim konferencijama Black Hat i Defcon ove nedelje u Las Vegasu, tim Singapurske vladine tehnološke agencije predstavio je nedavni eksperiment u kome su kolegama poslali ciljane phishing emailove koje su sami izradili, kao i one koje je generisala AI-as-a-service platforma. Obe poruke su sadržale linkove koji zapravo nisu bili zlonamerni, već su jednostavno prijavile istraživačima stopu učestalosti klikova.

Mašinsko učenje usredsređeno na analizu ličnosti

Iznenadili su se kada su otkrili da je više ljudi kliknulo na linkove u porukama generisanim veštačkom inteligencijom nego one koje je napisao čovek. Istraživači su koristili OpenAI-jevu GPT-3 platformu zajedno sa drugim proizvodima AI-as-a-service, usredsređenim na analizu ličnosti za generisanje phishing emailova, prilagođenih poreklu i osobinama njihovih kolega. Mašinsko učenje usredsređeno na analizu ličnosti ima za cilj da predvidi sklonosti i mentalitet osobe na osnovu ulaznih podataka o ponašanju. Pokretanjem rezultata kroz više usluga, istraživači su uspeli da razviju kanal koji je doterao i poboljšao emailove, pre nego što ih je poslao. Kažu da su rezultati zvučali „neobično ljudski“ i da su platforme automatski donosile iznenađujuće specifičnosti, poput pominjanja singapurskog zakona kada im je naloženo da generišu sadržaj za ljude koji žive u Singapuru.

Iako su bili impresionirani kvalitetom sintetičkih poruka i koliko su klikova dobili od kolega u odnosu na one sastavljene od ljudi, istraživači primećuju da je eksperiment bio samo prvi korak. Veličina uzorka je bila relativno mala, a ciljna grupa prilično homogena u smislu zaposlenosti i geografskog regiona. Osim toga, i poruke koje je stvorio čovek i one koje je generisala AI-as-a-service, kreirali su kancelarijski insajderi, a ne spoljni napadači. Ipak, nalazi su podstakli istraživače da dublje razmisle o tome kako AI-as-a-service može odigrati ulogu u kampanjama za krađu identiteta i phishing.

Moguće zloupotrebe

Sam OpenAI, na primer, dugo se plašio mogućnosti zloupotrebe sopstvenih usluga ili drugih sličnih. Istraživači primećuju da on i drugi besprekorni provajderi AI-as-a-service imaju jasne kodekse ponašanja, pokušavaju da provere svoje platforme na potencijalno zlonamerne aktivnosti, ili čak pokušavaju da donekle verifikuju identitete korisnika. „Zloupotreba jezičkih modela je pitanje u čitavoj industriji koje veoma ozbiljno shvatamo kao deo naše posvećenosti sigurnom i odgovornom korišćenju veštačke inteligencije“, rekao je OpenAI u saopštenju. OpenAI radi sopstvene studije o merama protiv zloupotrebe, a istraživači Vladine tehnološke agencije obavestili su kompaniju o svom radu. Istraživači ipak naglašavaju da u praksi postoji tenzija između praćenja ovih usluga radi potencijalne zloupotrebe i sprovođenja invazivnog nadzora nad legitimnim korisnicima platforme. Ono što je još komplikovanije je da nisu svi provajderi AI-as-a-service zabrinuti za zloupotrebe svojih platformi. Neki se na kraju čak mogu svideti i prevarantima.

Okviri za upravljanje veštačkom inteligencijom poput onih koje razvijaju vlada Singapura i Evropska unija mogli bi pomoći preduzećima u rešavanju zloupotrebe, kažu istraživači. Ali takođe su usredsredili deo svog istraživanja na alate koji bi potencijalno mogli da otkriju sintetičke ili veštačke emailove koji su generisani veštačkom inteligencijom. Ideja je da se izgrade mehanizmi koji mogu označiti sintetičke medije u emailovima kako bi se olakšalo hvatanje mogućih phishing poruka koje generiše AI. Istraživači ipak primećuju da će, budući da se sintetički mediji koriste za sve legitimnije funkcije, poput komunikacije sa korisničkom službom i marketinga, biti još teže razviti alate za proveru koji označavaju samo phishing poruke.

Izvor: Wired