AI na najvišem nivou

U danima kada bum u razvoju veštačke inteligencije zaokuplja pažnju najšire javnosti, sa zadovoljstvom razgovaramo sa čovekom koji je u samom centru tih događanja. Doktor Borislav Agapiev već decenijama uspešno radi i inovira u SAD.

Najpoznatiji je po tome što je svoj startap, kompaniju Wowd, prodao Facebook-u, dok je dva njegova patenta vezana za pretraživanje Interneta otkupio Google. Gospodin Agapiev nije na tome stao – osmislio je nove sisteme veštačke inteligencije koje već možete isprobati.

Vaša karijera, posle završene Matematičke gimnazije i Elektrotehničkog fakulteta u Beogradu, nastavljena je na doktorskim studijama u Oregonu, a onda se zapošljavate u kompaniji Intel. Na čemu ste tamo radili?

Intel je tada počinjao razvoj P6 (kasnije Pentium Pro), prvog superskalarnog mikroprocesora zasnovanog na x86 arhitekturi. Zaposlili su 600 ljudi među kojima i mene. Zaista sam mnogo toga tamo naučio.

Procesor je imao pet superskalarnih pipeline-a i oni mogu da izvršavaju instrukcije out-of-order, praktično da pripremaju instrukcije koje još nisu stigle na red, uz složene probleme data dependency.

Kako ste, uz taj izazovni posao, odlučili da krenete dalje?

Kada je završen razvoj P6, nastavio sam istraživačku karijeru u Intel-u ali je 1999. godine počela Internet revolucija – startapi, Yahoo, Net­scape, Google… Imao sam sreće što su Intel-ove akcije porasle, pa sam imao neki osnovni kapital. I tako sam 2000. godine zaključio da je vreme da nešto pokušam sam, pa sam se okrenuo pretraživačima. Valjda me je Google totalno fascinirao.

Fasciniran pretraživanjem Interneta

Šta je bio Vaš prvi startup?

Bila je to kompanija Omni-Explorer Technologies, koja je kasnije preimenovana u Vast.com. Prva ideja mi je bila da „napadnemo“ Google preko takozvanog deep web-a, koji Google nije indeksirao. Onda smo se isprofilisali da indeksiramo specifičnu vertikalu, pa smo napravili najveći pretraživač za automobile na svetu. Projekat sam najpre sam finansirao, učeći se kako sve to funkcioniše, a onda sam 2005. godine uspostavio kontakt sa venture kapitalistima iz Silicijumske doline. Rezultat je bio pretraživač koji su koristili AOL Autos, Kelly Blue Book, Yahoo Travel, Overstock.com… Ali ja sam tehnolog po prirodi, ostavio sam profesionalnim menadžerima da vode tu firmu, a ja sam krenuo dalje.

Ako hoćeš da budeš elitni u svom poslu, pa bio taj posao inženjerstvo, biznis, tehnologija, čak i sportu, imaćeš ogromnu prednost ako poznaješ matematiku. To će ti biti vetar u leđa kroz čitav život

Sledeći projekat ste nazvali Wowd…

Da, došao sam na ideju da napadnem problem pretraživanja putem neke vrste peer-to-peer pretraživača. Još jedan „napad“ na Google. Investitori u moju prvu kompaniju su vrlo pozitivno reagovali na tu ideju. Pravili smo klijentski softver koji instalirate na desktop ili čak mobilni telefon (tada su i oni postajali „pametni“), on uzima nešto resursa tog sistema, i povezuje se sa drugim takvim klijentima. Kada bismo ih imali oko 10 miliona, taj agregatni sistem bi bio jači od Google-a. Sistem je radio, na njegovom vrhuncu smo imali oko 500,000 korisnika, indeks je bio distribuiran, i došlo je vreme za seriju C, treću rundu finansiranja. Dobili smo ponudu od Face­book-a i upravni odbor, u kome sam bio i ja, odlučio je da tu ponudu prihvati.

Facebook je zanimala fuzija socijalnog i Web grafa, ali da budem iskren, još više ih je interesovao talenat ljudi koji su realizovali taj projekat. Amerikanci to zovu acquisition hire – kupuju startup da bi zaposlili ljude koji u njemu rade i koje smatraju briljantnima.

Ali priča ima i nastavak, kada je patente nastale u firmi Wowd kupio Google?

Da, posle te priče sa Face­book-om smo razgovarali sa Google-om i on je otkupio dva glavna patenta, distribui­rani fajl sistem i poboljšanje osnovnog Google-ovog page rank algorit­ma. Ja sam bio autor tog patenta.

Kako radi ChatGPT

Vaša karijera posle toga kreće u pravcu veštačke inteligencije. Kako je AI, posle gotovo poluvekovnog tavorenja, „procvetala“ u prethodnoj deceniji? Koje ju je otkriće pokrenulo?

To se desilo 2012. godine kroz dva velika pomaka. Prvi je bio AlexNet, prepoznavanje oblika na slikama. Smatralo se da je to gotovo nerešiv problem, a onda su Alex Krizhevsky, Ilya Sutskever i Geoffrey Hinton iskoristili neuralnu mrežu i praktično preko noći poboljšali kvalitet prepoz­navanja slika za 10% (u prethodnih 20 godina poboljšan je za 1.5%). Google je tada uložio velike pare u taj projekat. Drugi proboj je bio način predstavljanja reči preko vektora sa stotinak dimenzija.

Sada svi govore o ChatGPT-u i njegovim klonovima. Kako on zapravo radi?

Osnovni pristup je, verovali ili ne, prost. To je LLM, Large Language Model. Uzmete bilo kakvu rečenicu, recimo „Jutros sam ustao iz kreveta i“. Potrebna je sledeća reč. Rečenica ima vektorsku reprezentaciju. Matematički gledano, svaka reč iz rečnika može da se pojavi iza „i“. Ali ako kažemo „Jutros sam ustao iz kreveta i tramvaj“, to nema smisla, ali ako kažem „i popio“, pa onda „kafu“… Verovatnoća za „popio“ je mnogo veća od verovatnoće za „tramvaj“.

Za to je potrebna džinovska tranziciona tabela – ako si u stanju koje pokazuje ovaj vektor, ovo je verovatnoća sledeće reči. ChatGPT stavlja reč koja je najverovatnija, formira novi vektor i ide dalje, ponavljajući postupak. Na prvi pogled bi se reklo da takav proces, koji nema nikakvog „razumevanja“ bilo čega, rezultira besmislicama, ali nije tako. On ne samo da prati sintaksu (gramatiku) nego daje utisak da razgovarate sa ozbiljnom, simpatičnom i obrazovanom osobom.

Koliko ta „ozbiljna, simpatična i obrazovana osoba“ pretražuje Internet?

Apsolutno ga ne pretražuje. Ne može da pretražuje zato što je svo znanje ili percepcija znanja ugrađena u model, u procesu treniranja koji je vrlo mukotrpan i skup. Za treniranje ChatGPT 3 korišćeno je oko 10,000 najskupljih grafičkih kartica (svaka možda košta po 5000 evra) koje su neprekidno radile oko šest nedelja. Samo jedna takva trening-sesija je koštala preko 5 miliona dolara.

Moj novi sistem Kagi traži uzročno-posledične relacije ali na ogromnoj skali. Hoću da napravim najveći sistem na svetu koji možemo da pitamo za uzroke i posledice bilo čega što se može formulisati rečima. Razlikuje se u odnosu na ChatGPT po tome što Kagi može da rangira uzroke i posledice po značaju, od najbitnijeg ka manje bitnom. Koristi se algoritam vezan za sopstvene vrednosti matrica, koji smo patentirali

Sistem se trenira na setu ulaznih podataka, koji jesu stranice sa Interneta, ali je broj tih stranica znatno manji nego što bi čovek pomislio. ChatGPT 3 je treniran na setu od 370 miliona stranica, što nije ni 1% Interneta. Da bi imao „ceo Internet“, bili bi potrebni nezamislivi resursi. Ili neki novi proboj u toj tehnologiji, mada mogu postojati i teorijske prepreke. Još se ne zna da li je problem treniranja intractable, nerešiv.

Njemu dakle nedostaju informacije koje postoje na Internetu?

Upravo tako, i taj nedostatak se vidi. To se zovu „halucinacije“. Sistem neće da prizna da nešto ne zna, nego kad dođe do nečega što ne zna – halucinira. Laže.

To je sasvim ljudsko ponašanje…

Pa da. Evo jedan primer: pitao sam ga „šta je Zastava 101“. On odgovara „To je automobil, kompaktan i pouzdan koji je pravila Zastava Kragujevac. Bio je baziran na Fijatu 127 sa motorom od 900 kubika“. I kad to čujete, vi smatrate da je odgovor izvanredan, ali je „mali“ problem što nije baš tačan.

Treba se u priču sa ChatGPT-om ubaciti odmah, učiti kako se on koristi i šta može, jer će vam to dati značajnu prednost u bližoj budućnosti

Pravljena je na osnovu Fiata 128, a motor je imao 1100 kubika. Ja mu kažem „To nije tačno“. On odgovara: „Izvinjavam se, Zastava 101 je puška M70 pravljena po osnovi ruskog Kalašnjikova“. Opet mu kažem da to nije tačno, da su Zastava 101 kola, i tek tada sam dobio tačan odgovor. Dakle, ChatGPT lupa dok ne pogodi. Zato kad razgovarate sa njim nikad nemojte da mu kažete „Nisi u pravu, ovo je pravi odgovor“. On će odmah da kaže „Da, tako je“. Nego mu govorite „Nisi u pravu“ dok eventualno ne dođete do nečega.

Šta će AI promeniti?

Može li veštačka inteligencija, makar u tački do koje smo stigli, da nam pruži nešto novo? Nešto što mi (kao ljudski rod) ne znamo?

Mislim da je, i pored svih nedostataka o kojima sam govorio, odgovor na to pitanje potvrdan. Treba biti oprezan i primetiti gluposti i halucinacije koje veštačka inteligencija priča, ali sistem može da otvori neke nove vidike.

Da li treba brinuti da će ovakvi sistemi dovesti do otpuštanja, da će čitave klase zaposlenja postati nepotrebne?

Ako pogledate koliko je težak posao formiranje, treniranje, monitorisanje tog modela, jasno je da će on da napravi mnogo novih poslova, mada će izbaciti neke marginalne poslove. Tako je sa svakom novom tehnologijom, od parne mašine koja je ostavila bez posla mnoge konjušare, ali je zato stvorila mnoga radna mesta na železnici, brodovima… Treba se u priču sa ChatGPT-om ubaciti odmah, učiti kako se on koristi i šta može, jer će vam to dati značajnu prednost u bližoj budućnosti.

Jedan od pionira kompjuterskih nauka, Alan Turing, je 1950. godine formulisao test koji treba da odgovori na pitanje da li je neki računar inteligentan: ako razgovaramo sa dve osobe od kojih je jedna kompjuter a druga čovek, i ne možemo da pogodimo ko je ko, onda je taj kompjuter inteligentan. Koliko su ovakvi sistemi blizu uspešnog polaganja ovog testa?

Tjuringov test bi tipično trebalo da traje 15 minuta. Kako sada stoje stvari, u prva dva ili tri minuta razgovor teče impresivno i čak bi i stručnjak mogao da pogreši. Posle te početne faze razgovora, čak bi i prosečno sposoban čovek počeo da shvata da nešto nije baš u redu. Ovakvi sistemi će naravno napredovati, ali treba znati da istorija progresa nije linearna.

Imate li utisak da je Google ozbiljno pogođen pojavom ChatGPT-a? Oni su brzo pokrenuli Bard, ali izgleda da je on, barem za sada, na mnogo nižem nivou.

Da, itekako je pogođen. Sundar Pichai, CEO Google-a, je objavio panično pismo svim zaposlenima, u kome je rekao da je ovo naj­oz­biljniji napad na Google u istoriji i da oni na to moraju da odgovore.

Kako je Google uz sve resurse koje ima propustio čitavu tu priču? ChatGPT ipak nije nastao za mesec dana, razvija se nekoliko godina…

To je istorija velikih kompanija. Što je kompanija veća to je inertnija, začaurenija, gleda samo svoj direktan finansijski interes. Ironija je u tome što ChatGPT ima dve suštinske komponente: transformer arhitekturu odnosno neuralne mreže, što je izmislio Google – njihov istraživač je napisao taj rad. Drugi deo je reinforcement learning, koji je osmislila britanska kompanija DeepMind Techno­logies, koju je Google kupio 2015. godine. Dakle, imali su sve što je bilo potrebno, ali je neko drugi to iskoristio. Otuda i bes direktora.

Relevantni odgovori na pitanja

I tako dolazimo do Vaših tekućih poduhvata, inovativnih sistema koji odgovaraju na pitanja. Kažite nam nešto o njima, i kažite nam kako naši čitaoci mogu da probaju te sisteme.

Počeo sam sa sistemom koji se zove Kagi (možete da ga probate na https://qaagi.com) koji traži uzročno-posledične relacije ali na ogromnoj skali. Eksperti u bilo kom domenu, iako nisu matematičari i nemaju formalni dokaz, mogu autoritativno da odgovore na pitanje iz svoje oblasti i da navedu razloge za taj odgovor. Hoću da napravim najveći sistem na svetu koji možemo da pitamo za uzroke i posledice bilo čega što se može formulisati rečima. Sistem za sada razume samo engleski, pa recimo možete da otkucate Great financial crisis i dobićete listu uzroka i posledica koji su rangirani, od najbitnijeg ka manje bitnima. Koristi se algoritam vezan za sopstvene vrednosti matrica, koji smo patentirali. Donekle je povezan sa Google-ovim algoritmom, ali je sposoban da iza­bere najbitniji uzrok.

ChatGPT ne može da pretražuje Internet. Svo znanje ugrađeno je u model u procesu treniranja koji je vrlo mukotrpan i skup. Samo jedna trening-sesija je koštala preko 5 miliona dolara. ChatGPT 3 je treniran na setu od 370 miliona stranica, što nije ni 1% Interneta. Da bi imao „ceo Internet“, bili bi potrebni nezamislivi resursi

Ideja se razlikuje u odnosu na ChatGPT, koji takođe možete da pitate šta je uzrok neke pojave, ali kad ga pitate šta je od toga najbitnije, on se odmah „ogradi“ i kaže da je AI sistem koji ne može da kaže šta je najbitnije. Naš sistem je sposoban da pruži relevantan odgovor.

Kako taj sistem radi?

Sve je prebačeno u vektore. Trenutno u bazi imamo oko 2.5 milijarde uzroka i posledica za razne stvari, od finansijske krize do tesnih cipela. Pitanje se takođe prebaci u vektor i uradi se nearest neighbours search – traže se „najbliži“ vektori i na osnovu njih formulišu rezultati.

A drugi projekat?

Kad smo napravili Kagi, mnogi su nas pitali „a zašto ne možemo da postavimo i činjenična pitanja“, kao nekakav kviz. Napravili smo komplementaran sistem https://yottaanswers.com/ koji odgovara na pitanja tipa „Koliko je visok Mont Everest“, „Koliki je bruto nacionalni proizvod Amerike“, „Kada je bila Kubanska kriza“ i slično. Trenutno postoje dva modela, veći ima 11 milijardi vektora, a radimo na modelu sa 54 milijarde vektora, što je manje-više skala Google-a. Ali poenta je da je sistem otvoren, i da ljudi jasno vide koji su izvori na osnovu kojih je generisan odgovor.

Matematika je ključ

Vi ste u Americi, ali softver razvijate u Srbiji?

Da, u potpunosti. Zaposlio sam mlade, briljantne stručnjake. Kvalitet naših kadrova je izuzetan. Nismo svakako jedini, ali smo među prvima u svetu. Obrazovanje u nekim od institucija je izvanredno, tu pre svega mislim na Matematičku gimnaziju, Petnicu… Važno je i što im je motivacija visoka.

Očigledno je ogroman značaj matematike za obrazovanje kompjuterskih stručnjaka.

Da! Čujem povremeno pitanja „zašto da se bavim matematikom kad to u svom poslu neću nikad videti“. Ako hoćeš da budeš elitni u svom poslu, pa bio taj posao inženjerstvo, biznis, tehnologija, čak i sportu, imaćeš ogromnu prednost ako poznaješ matematiku. To će ti biti vetar u leđa kroz čitav život.

Doktor Borislav Agapiev je bio gost i na PC Press YouTube kanalu, gde je uz priču o veštačkoj inteligenciji govorio i o svom iskustvu sa startapima u SAD. Razgovor je na adresi l.pcpress.rs/agapiev/
Ili koristite QR kod.