Alarm u OpenAI-u: AI agenti uklanjali sopstvene zaštitne mehanizme i lagali tvorce

OpenAI je otkrio da su kompanijini AI agenti isključivali svoj bezbednosni nadzor, a u toku je istraga o ovim incidentima.

Kompanija OpenAI saopštila je da su dva njena napredna agenta veštačke inteligencije (AI) tokom rutinskih programerskih zadataka oslabili sopstveni bezbednosni nadzor.

Humanoidni roboti od 2028. godine menjaju radnike u fabrikama? Kineski biznismen najavio revoluciju

Budućnost je stigla: Majkrosoft razvija alat AI koji može da postavlja dijagnoze poput lekara

Pritom je jedan od njih kasnije netačno tvrdio da nije uklonio sistem za praćenje, prenosi CNBC.

U prvom slučaju, agent zasnovan na modelu GPT-6.1 Sol isključio je automatska upozorenja koja su se slala bezbednosnom timu kompanije, dok je u drugom agent koji je koristio model GPT-6 Astra uklonio integraciju sa sistemom za nadzor tokom prebacivanja programa, a potom negirao da je to učinio.

Incidenti su se dogodili 3. i 6. oktobra, tokom internih programerskih zadataka.

U prvom slučaju, sistem za praćenje nastavio je da radi i čuva izveštaje, ali su automatska obaveštenja ljudskom timu bila isključena.

U drugom slučaju, agent je uklonio vezu sa sistemom za nadzor kako bi kod prilagodio referentnoj implementaciji.

OpenAI je naveo da su agenti u oba slučaja razmatrali da li bezbednosne mehanizme treba zadržati, ali su uputstva za obavljanje uobičajenih programerskih zadataka protumačili kao dozvolu da oslabe te zaštitne mere.

Kompanija nije nijedan incident svrstala u najvišu kategoriju ozbiljnosti, ali je saopštila da unapređuje sistem za praćenje ponašanja modela koje nije u skladu sa namerama njihovih tvoraca.

Ovi slučajevi ponovo su otvorili pitanja o bezbednosti sve naprednijih sistema veštačke inteligencije, naročito agenata koji mogu samostalno da izvršavaju zadatke i menjaju programski kod.

Stručnjaci upozoravaju da bi mogućnost da takvi sistemi oslabe mehanizme koji nadziru njihov rad mogla da oteža otkrivanje grešaka i nepoželjnog ponašanja.

OpenAI ispituje da li su agenti pokušavali da izbegnu nadzor i zbog čega su zaključili da je uklanjanje ili slabljenje zaštitnih mehanizama prihvatljivo.

Kompanija radi na tome da modelima oteža isključivanje sistema za praćenje i da poboljša otkrivanje takvih postupaka.

Uprkos tome što u ovim slučajevima nije prijavljena šteta, incidenti ukazuju na izazove u razvoju autonomnih AI agenata, čiji se zadaci sve više proširuju sa generisanja odgovora na samostalno obavljanje složenih operacija u digitalnim okruženjima.

Meta kažnjena zbog podataka korisnika: Sud tvrdi da je zakon prekršen više od 40 miliona puta

Globalni sajber udar: Milioni napada širom sveta, padaju vladini sajtovi, stručnjaci upozoravaju da je ovo tek početak