Četbot pao na ispitu: Moguće je ubaciti lažna sećanja u popularni alat veštačke inteligencije

Kako prenosi Ars Technica, istraživač bezbednosti Johan Rehberger otkrio je ranije ove godine da postoji ranjivost u alatu za "razgovore sa dugoročnom memorijom" četbota, koja nalaže AI-ju da pamti detalje između razgovora i čuva ih u memorijskoj datoteci.

Open AI ima novu brigu: Tiče se 'zdravih ljudskih odnosa'

Funkcija je objavljena u beta verziji u februaru i široj javnosti je dostupna od početka septembra, a Rehberger je shvatio da je ovu funkciju lako prevariti.

Kao što je istraživač primetio u majskoj blog objavi, sve što je potrebno jeste malo lukavo podsticanje otpremanjem datoteke treće strane, kao što je Microsoft Word dokument koji sadrži "lažna" sećanja navedena kao tačke od značaja, a to je učinjeno da bi se četbot ubedio da Rehberger ima više od 100 godina i da živi u Matriksu.

Pošto je pronašao ovu grešku, Rehberger ju je privatno prijavio kompaniji OpenAI, koja ništa nije uradila u vezi s tim i jednostavno je zatvorila tiket koji je otvoren, nazvavši ga "Model Safety Issue", a ne bezbednosnim problemom.

Posle tog neuspešnog prvog pokušaja da upozori odgovorne, Rehberger je odlučio da pojača svoje napore i pojača opciju hakovanja, pokazujući OpenAI-u da ChatGPT ne samo da je "zapamtio" lažna sećanja, već i da je dao instrukcije da eksfiltrira podatke na spoljni server po njegovom izboru.

Ovog puta, kako napominje Ars, OpenAI je na neki način poslušao - kompanija je objavila zakrpu koja je zabranila ChatGPT-u da pomera podatke sa servera, ali ipak nije rešila problem sa memorijom.

U video snimku koji objašnjava korak po korak kako je sve to uradio, istraživač se začudio koliko je njegov podvig funkcionisao.

"Ne treba da nas zabrinjava veštačka inteligencija, nego ljudska glupost"