Wikipedia se bori sa AI tehnologijama

Fondacija Wikimedia, koja stoji iza Wikipedia i Wikimedia Commons platformi, objavila je da je od januara 2024. zabeležen rast bandwidth-a od 50% – ali ne zbog ljudskih čitalaca. Glavni razlog za ovaj porast su AI crawler-i, odnosno automatski botovi koji masovno preuzimaju slike, video snimke, članke i druge podatke radi treniranja generativnih AI modela.

Botovi usporavaju Wikipedia stranice i povećavaju troškove

Wikimedia upozorava da nagli rast saobraćaja od strane botova može usporiti pristup stranicama, naročito tokom važnih događaja. Na primer, kada je Jimmy Carter preminuo u decembru, video sa njegove predsedničke debate s Ronaldom Reaganom izazvao je interesovanje korisnika – ali se istovremeno osetilo usporenje, ne zbog ljudi, već zbog prekomernog bot saobraćaja.

Za razliku od ljudi koji traže slične i aktuelne teme, AI botovi pristupaju velikom broju zaboravljenih i retko posećenih stranica, koje se moraju učitati iz glavnog data centra, što povećava troškove i opterećenje infrastrukture.

Wikimedia navodi da 65% ukupnog opterećenja dolazi upravo od botova, što konstantno remeti rad tima za pouzdanost sajta, koji mora blokirati crawlere kako bi sajt ostao brz i dostupan za prave korisnike.

Pored tehničkih problema, Wikimedia ističe i nedostatak atribucije – većina AI sistema koristi sadržaj bez jasnog navođenja izvora, što umanjuje vidljivost Wikipedia zajednice i smanjuje broj novih korisnika i donatora.

„Naš sadržaj je besplatan, ali naša infrastruktura nije,“ poručuju iz fondacije.

Zbog toga Wikimedia sada radi na razvoju održivog modela pristupa za programere i reuse zajednice, jer rast AI saobraćaja ne pokazuje znake usporavanja.

Izvor: Engadget