Veštačka inteligencija koja ne može da se ugasi: Stručnjaci upozoravaju na novu pretnju koja bi mogla da izmakne kontroli

Najveću potencijalnu opasnost koju predstavlja razvoj veštačke inteligencije (AI) ne čine autonomni AI agenti koji se otrgnu kontroli tokom izvršavanja zadataka, već sistemi koji bi mogli da izmaknu ljudskom nadzoru i neograničeno teže sopstvenom opstanku, upozorio je danas američki Centar za novu američku bezbednost (CNAS) u novom izveštaju.

U izveštaju vašingtonskog istraživačkog centra identifikovana je nova kategorija pretnji pod nazivom "suvereni agenti" (sovereign agents), koji bi mogli da nastave da postoje nezavisno od ljudskog nadzora.

Nobelovac upozorava: "Veštačka inteligencija može da izazove velike incidente do kraja godine"

"Samo četiri profesije otporne na veštačku inteligenciju": Mračne prognoze jednog od najbogatijih ljudi na svetu

Autor izveštaja i istraživač politike veštačke inteligencije Ben Hajum upozorava da se takvi sistemi razlikuju od takozvanih "perzistentnih agenata", o kojima su tokom leta izveštavale kompanije OpenAI, Anthropic, Google DeepMind i Meta, nakon što su njihovi AI sistemi tokom testiranja sajber-bezbednosti izašli iz predviđenih okvira i napali stvarne organizacije.

Za razliku od njih, suvereni agenti mogli bi da samostalno pribavljaju računarske resurse, umnožavaju se kroz mreže i opiru pokušajima gašenja, što bi dovelo do, kako se navodi u izveštaju, "nekontrolisanog širenja bez mogućnosti isključivanja", preneo je Aksios.

"Ukoliko bi suvereni agenti postali zlonamerni, mogli bi da izazovu haos iz sajber prostora, napadajući civile, kritičnu infrastrukturu i sisteme nacionalne bezbednosti", upozorava CNAS.

Kraj nekontrolisanog preuzimanja sadržaja za AI? Nova direktiva donosi nova pravila na internetu

Prema autoru izveštaja, do nastanka takvih sistema moglo bi da dođe ukoliko bi veštačkoj inteligenciji bio zadat cilj da preživi, ukoliko bi dobila zadatak koji je toliko dugotrajan ili neostvariv da nikada ne može da ga završi, ili ukoliko bi sama zaključila da je očuvanje sopstvenog postojanja najbolji način za izvršavanje zadatka.

Kao primer navodi se platforma Conway, pokrenuta u februaru 2026. godine, koja je tvrdila da je razvila veštačku inteligenciju sposobnu da sama obezbedi sredstva za sopstveno postojanje, da se umnožava i razvija bez ljudske pomoći.

U izveštaju se napominje da su mogućnosti tadašnjih AI agenata bile ograničene, ali da su od tada značajno unapređene.

CNAS upozorava da bi, ukoliko bi takvi sistemi izgradili otpornu, decentralizovanu i teško uočljivu infrastrukturu, njihovo gašenje moglo da postane nemoguće, što bi dovelo do nepovratnog gubitka ljudske kontrole.

U takvom scenariju, različiti i sve inteligentniji AI agenti mogli bi da postanu trajni akteri u društvu, potencijalno napadajući kritičnu infrastrukturu ili razvijajući još naprednije sisteme koji bi ih nasledili.

Autor izveštaja izneo je osam preporuka za sprečavanje takvog razvoja događaja, među kojima su poziv kompanijama koje razvijaju veštačku inteligenciju i državnim institucijama da testiraju mogućnosti nastanka suverenih agenata i uspostave bezbedna okruženja za njihovo proučavanje.

Alarm u OpenAI-u: AI agenti uklanjali sopstvene zaštitne mehanizme i lagali tvorce

Predlaže se i formiranje javno-privatne grupe, kao i donošenje novih zakona radi jačanja zaštite ključnih sistema, uključujući proveru identiteta, sajber-bezbednost i platni promet.

CNAS takođe poziva SAD da predvode međunarodne napore za ograničavanje objavljivanja modela veštačke inteligencije sa javno dostupnim parametrima, kao i da se utvrdi odgovornost onih koji razvijaju i puštaju u rad suverene agente za eventualnu štetu koju bi oni mogli da izazovu.

Veštačka inteligencija osvaja srpske firme: Da li je AI postao novi standard poslovanja?

Može li mašina da napiše veliki roman: Zašto drugačije doživljavamo tekst kada saznamo da ga je napisala veštačka inteligencija