AI mreže ranjivije od očekivanog
Alati veštačke inteligencije obećavaju za aplikacije koje se kreću od autonomnih vozila do interpretacije medicinskih slika. Međutim, nova studija otkriva da su ovi alati veštačke inteligencije ranjiviji nego što se ranije mislilo na ciljane napade koji efikasno teraju sisteme veštačke inteligencije da donose loše odluke.
U pitanju su takozvani „neprijateljski napadi“, u kojima neko manipuliše podacima koji se unose u sistem veštačke inteligencije kako bi ih zbunio. Na primer, neko bi mogao znati da bi postavljanje određene vrste nalepnice na određeno mesto na znaku za zaustavljanje moglo efektivno učiniti znak za zaustavljanje nevidljivim za AI sistem. Ili bi haker mogao da instalira kod na rendgensku mašinu koja menja podatke o slici na način koji uzrokuje da AI sistem postavlja netačne dijagnoze.
„Uglavnom, možete napraviti razne promene u znaku za zaustavljanje, a AI koja je obučena da identifikuje znakove za zaustavljanje i dalje će znati da je to znak za zaustavljanje“, kaže Tianfu Wu, koautor rada o novog rada i vanredni profesor elektrotehnike i računarstva na Državnom univerzitetu Severne Karoline. „Međutim, ako AI ima ranjivost, a napadač zna ranjivost, napadač bi mogao da iskoristi ranjivost i izazove nesreću.
Nova studija Wua i njegovih saradnika fokusirala se na utvrđivanje koliko su česte ove vrste ranjivosti u AI dubokim neuronskim mrežama. Otkrili su da su ranjivosti mnogo češće nego što se ranije mislilo.
„Štaviše, otkrili smo da napadači mogu da iskoriste ove ranjivosti kako bi primorali AI da tumači podatke kako god žele“, kaže Wu. „Koristeći primer znaka za zaustavljanje, mogli biste naterati sistem veštačke inteligencije da misli da je znak za zaustavljanje poštansko sanduče, ili znak za ograničenje brzine, ili zeleno svetlo, i tako dalje, jednostavno korišćenjem malo drugačijih nalepnica – ili šta god da je ranjivost.
„Ovo je neverovatno važno, jer ako sistem veštačke inteligencije nije otporan na ove vrste napada, ne želite da stavite sistem u praktičnu upotrebu – posebno za aplikacije koje mogu da utiču na ljudske živote.
Da bi testirali ranjivost dubokih neuronskih mreža na ove neprijateljske napade, istraživači su razvili deo softvera pod nazivom QuadAttacK. Softver se može koristiti za testiranje bilo koje duboke neuronske mreže na ranjivosti protiv suprotstavljanja.
„U suštini, ako imate obučen AI sistem i testirate ga čistim podacima, AI sistem će se ponašati kako je predviđeno. QuadAttacK prati ove operacije i uči kako AI donosi odluke u vezi sa podacima. Ovo omogućava QuadAttacK-u da odredi kako se podacima može manipulisati da bi se prevarila AI. QuadAttacK tada počinje da šalje manipulisane podatke sistemu AI da vidi kako AI reaguje. Ako QuadAttacK identifikuje ranjivost, može brzo da učini da AI vidi šta god QuadAttacK želi da vidi.
U testiranju dokaza o konceptu, istraživači su koristili QuadAttacK da testiraju četiri duboke neuronske mreže: dve konvolucione neuronske mreže (ResNet-50 i DenseNet-121) i dva transformatora vida (ViT-B i DEiT-S). Ove četiri mreže su izabrane jer su u širokoj upotrebi u sistemima veštačke inteligencije širom sveta.
„Bili smo iznenađeni kada smo otkrili da su sve četiri ove mreže bile veoma ranjive na neprijateljske napade“, kaže Wu. „Bili smo posebno iznenađeni u kojoj meri smo mogli da fino podesimo napade kako bi mreže videle ono što želimo da vide.
Istraživački tim je učinio QuadAttacK javno dostupnim, tako da istraživačka zajednica može sama da ga koristi za testiranje ranjivosti neuronskih mreža. Program se može naći ovde: https://thomaspaniagua.github.io/quadattack_web/
„Sada kada možemo bolje da identifikujemo ove ranjivosti, sledeći korak je pronalaženje načina da se te ranjivosti minimiziraju“, kaže Vu. „Već imamo neka potencijalna rešenja – ali rezultati tog rada tek predstoje.
Izvor: autotech.news
