AI pretraživači moraće da plaćaju Redditu za korišćenje podataka

Kada je Reddit prošlog meseca najavio da će blokirati neovlašćeno skupljanje podataka sa svoje stranice, prva reakcija svih je bila “AI, AI, AI.” Međutim, sada kada je ta promena stupila na snagu, čini se da ne samo kreatori chatbotova bivaju blokirani. Ovaj popularni forum takođe blokira velike pretraživače osim Brave-a i Google-a, s kojim je, kako se izveštava, Reddit sklopio dogovor vredan 60 miliona dolara godišnje ranije ove godine. Međutim, portparol Reddita rekao je za Engadget da prazni rezultati pretrage dolaze od toga što konkurenti Google-a nisu pristali na uslove kompanije za AI obuku. Dodali su da su u pregovorima s nekoliko njih.

Blokiranje pristupa pretraživačima

404 Media je u sredu izvestila (i Engadget je potvrdio u svojim upitima) da pretraga za Reddit rezultatima iz prethodne nedelje na konkurentskom pretraživaču Bing (koristeći “site.com”) vraća prazne rezultate. Publikacija je izvestila da je DuckDuckGo dao sedam linkova bez ikakvih opisa, pružajući samo napomenu: “Želeli bismo da vam prikažemo opis ovde, ali sajt nam to ne dozvoljava.” Pretraživač sada izgleda da je uklonio i te rezultate, jer je naš test proizveo samo praznu stranicu s porukom “nije pronađeno nijedno rezultat.”

Kada je Reddit prošlog meseca rekao da će ažurirati svoj Robots Exclusion Protocol (robots.txt) kako bi blokirao automatizovano skupljanje podataka, sada je očigledno da to nije bilo samo kako bi se sprečile AI kompanije poput Perplexity i njegovog kontroverznog “answer engine.” Trenutno, Google izgleda kao jedini pretraživač koji može indeksirati Reddit i prikazivati rezultate sa “prve strane interneta.”

Portparol Reddita rekao je za Engadget u sredu da nije tačno reći da su nedostajući rezultati pretrage posledica dogovora s Google-om. “Blokiramo sve crawlers koji nisu voljni da se obavežu da neće koristiti podatke za AI obuku, što je u skladu s našom javnom politikom sadržaja i ažuriranim robots.txt fajlom,” rekla je kompanija. “Svi koji pristupaju Reddit sadržaju moraju se pridržavati naših politika, uključujući one koje su na snazi kako bi zaštitile redditore. Biramo s kim radimo i kome verujemo za pristup velikoj količini Reddit sadržaja.”

U međuvremenu, izvor upoznat s razmišljanjem Reddita rekao je za Engadget u sredu da je Bing-ovo isključenje posledica toga što je Microsoft odbio da se složi s Reddit-ovim uslovima u vezi sa AI pretraživanjem. Navodno, Bing-ov proizvođač je tvrdio da su njihovi standardni web kontrolni mehanizmi dovoljni. Izvor tvrdi da Microsoftova pozicija dolazi u sukob s politikom privatnosti podataka Reddita, što je dovelo do zastoja i praznih rezultata pretrage.

Ubičajeni robots.txt je web standard koji komunikuje koji delovi sajta mogu biti indeksirani. Iako je poznato da mnogi crawlers ignorišu njegova uputstva, Google-ova standardna procedura je da ih poštuje. Dakle, sa tehničke strane, kompanije uključene u unosan dogovor izgleda da su primenile neku vrstu ručne kontrole.

Saga se može videti kao efekat širenja AI chatbotova koji pretražuju živi internet za rezultate. Kako sudovi sporo određuju koliko otvorenog weba je fer koristiti za obuku chatbotova, kompanije poput Reddita, čija sadašnja vrednost zavisi od zaštite njihovih podataka od onih koji ne plaćaju, grade zidove na račun otvorenog weba. (Iako, s obzirom na integralnu ulogu koju je Microsoft imao u ovoj AI eri, udruživši se s OpenAI rano, čini se ironičnim što se Bing nalazi na gubitničkoj strani barem jednog aspekta posledica.)

Colin Hayhurst, izvršni direktor manje poznatog pretraživača “no-tracking” Mojeek, rekao je za 404 Media da Reddit “ubija sve za pretragu osim Google-a.” Pored toga, izvršni direktor je rekao da su njegovi pokušaji da kontaktira Reddit ostali bez odgovora. “Nikada nam se to nije desilo ranije,” rekao je. “Jer kada nam se to desi, obično rešimo problem kontaktiranjem sajta, ali nikada nismo ostali bez odgovora pre.”

Reddit nije krio svoju želju da blokira AI kompanije od pretraživanja svoje riznice podataka u ovoj rastućoj AI eri. Prošle godine, izvršni direktor Steve Huffman je rizikovao da otuđi velike delove svoje korisničke baze blokiranjem zahteva trećih strana za API, što je dovelo do gašenja omiljenih aplikacija poput Christian Seligove Apollo. Uprkos širokim protestima među moderatorima i korisnicima foruma, kompanija je samo privremeno izgubila neznatan broj korisnika.

Kocka se činila uspešnom, a Reddit se oporavio. Izašao je na berzu u martu.

Izvor: Engadget