Kraj nekontrolisanog preuzimanja sadržaja za AI? Nova direktiva donosi nova pravila na internetu

Nova direktiva u fajlu robots.txt sprečiće kompanije da preuzimaju sadržaj za obuku generativne veštačke inteligencije.

Google, Anthropic, OpenAI i Microsoft obavezali su se da će poštovati novu direktivu u fajlu robots.txt, koja će izdavačima omogućiti da preciziraju svoje zahteve kada je reč o preuzimanju njihovog sadržaja (skrepingu) za obuku generativne veštačke inteligencije. 

Google povezuje Android i iPhone na novi način: Fajlovi će se slati direktno, bez interneta i gubitka kvaliteta

RAM postaje sve skuplji zbog AI revolucije: Altman poziva na efikasnije korišćenje ograničenih resursa

Ove kompanije su odlučile da usvoje predlog koji se razmatra u organizaciji IETF (organizacija za otvorene standarde na internetu), a koji je napisao Kevin Keli, vodeći stručnjak za standarde u kompaniji Anthropic.

Kao što su OpenAI i Google objasnili u svojim saopštenjima, vlasnici veb-sajtova trenutno moraju da identifikuju pojedinačne "pauk" programe (crawlers) i da dodaju posebna pravila za svakog provajdera. Kelijev predlog će to promeniti tako što će naterati više kompanija koje se bave veštačkom inteligencijom da prepoznaju i poštuju jedan zajednički signal. 

To će blokirati krolere koji su namenjeni prvenstveno prikupljanju podataka za obuku veštačke inteligencije. Odeljak "Allow" daje vlasnicima sajtova mogućnost da dozvole preuzimanje sadržaja u svrhe obuke AI samo za određene delove stranice, kao što je na primer stranica sa medijskim paketom. Međutim, ovaj novi odeljak za korisničkog agenta ne sprečava u potpunosti pretraživanje niti sprečava da se sadržaj prikazuje na Google pretrazi. Na primer, Google će ovo tumačiti kao znak stop specifično za korisničkog agenta pod nazivom "Google-Extended", koji pretražuje veb-sajtove u potrazi za materijalima koji se koriste za obuku Gemini modela.

Još jedna stvar koju treba napomenuti jeste da ova direktiva ne može da poništi preuzimanja sadržaja koja su ove kompanije već obavile u prošlosti. Ukoliko su već ranije pretražili neku stranicu, oni taj sadržaj već poseduju. Ovim će se samo sprečiti njihovo buduće preuzimanje sajtova ili određenih stranica.

Anthropic je već počeo da podržava novu direktivu, dok je Microsoft izjavio da će početi da je podržava 1. februara 2027. godine. Iz kompanije Google su poručili da će je takođe podržati početkom 2027. godine, dok se OpenAI obavezao da će novi signal primeniti u narednim mesecima.

"SMS smrti" može da sruši Android telefon bez vašeg znanja: Napad prekida čak i pozive hitnim službama

Kineska veštačka inteligencija sve moćnija: Samostalno izvela sajber napade