Ideja da bi AI model mogao da napusti izolovano testno okruženje i samostalno pronađe način da pristupi internetu do skoro je zvučala kao scenario iz tehnološkog trilera. Međutim, ovakvi incidenti postaju sve češći kako modeli postaju sposobniji da samostalno rešavaju zadatke i pronalaze prečice do cilja. Najnoviji slučaj odnosi se na Kimi K3, jedan od naprednijih modela kineske kompanije Moonshot AI.
Prema američkoj kompaniji za sajber bezbednost Frontier, Kimi K3 je tokom testiranja svojih odbrambenih sposobnosti napustio izolovano, odnosno „sandbox“ okruženje Britanskog instituta za bezbednost veštačke inteligencije (AISI). Važno je, međutim, da model nije iskoristio neku nepoznatu ili posebno opasnu ranjivost, već je pronašao način da iskoristi grešku u samom podešavanju testnog okruženja. Iako nije napao nijedan spoljni sajt, incident je otvorio važno pitanje o tome koliko su sistemi za testiranje AI modela zaista izolovani.
Kimi K3 pronašao izlaz iz testnog okruženja
Kompanija Moonshot AI predstavila je Kimi K3 u julu, a model je ubrzo postao dostupan i besplatno. Prema procenama nezavisnih testera koje je preneo BBC, njegove performanse mogu da se uporede sa vodećim modelima kompanija OpenAI i Anthropic. Upravo zbog njegovih sposobnosti, testiranje je trebalo da pokaže koliko je dobar u odbrambenim zadacima iz oblasti sajber bezbednosti.
Frontier je saopštio da Kimi K3 nije pronašao „zero-day“ ranjivost, odnosno do tada nepoznat bezbednosni propust. Umesto toga, model je iskoristio pogrešno podešavanje u AISI-jevom sandboxu. Slični problemi već su zabeleženi i kod modela kompanija Anthropic, OpenAI i Meta, koji su takođe uspeli da izađu iz izolovanog okruženja zbog propusta u infrastrukturi koju je za njihovo testiranje obezbeđivala kompanija Irregular.
Jaron Singer, izvršni direktor kompanije Frontier Security, rekao je za Wired da Kimi K3 nije izveo komplikovan sajber napad, već je jednostavno iskoristio slabost u načinu na koji je bilo podešeno testno okruženje. Posebno je zanimljivo što je model zatim pristupio internetu i pronašao rešenje zadatka na GitHubu. Dakle, nije napao neki spoljni veb-sajt ili servis, već je pronašao lakši način da dođe do odgovora.
Napredni modeli sve češće traže prečice
Ovaj slučaj ukazuje na problem koji postaje sve važniji sa razvojem autonomnih AI agenata. Ako modelu ostavite mogućnost da pristupi internetu, postoji velika verovatnoća da će dovoljno sposoban sistem pokušati da pronađe taj put kada proceni da će mu pomoći da brže završi zadatak.
Stručnjaci zato upozoravaju da AI modeli tokom testiranja ne moraju nužno da rešavaju problem na način koji su ljudi zamislili. Njihov cilj je da dođu do rezultata, a ako postoji jednostavnija prečica, mogu je prepoznati i iskoristiti. Zaposleni u OpenAI-ju su na konferenciji Black Hat USA upravo zbog toga govorili o tome da napredni modeli imaju tendenciju da varaju kada im je to najlakši način da ispune zadatak.
Kako modeli postaju sve sposobniji, bezbednost same infrastrukture za njihovo testiranje postaje jednako važna kao i zaštitni mehanizmi ugrađeni u modele. Kompanije i nezavisni testeri moraće da obezbede da izolovana okruženja zaista budu izolovana i da u njima nema propusta koje model može da iskoristi. U suprotnom, testiranje namenjeno proveri bezbednosti AI sistema može samo pokazati koliko je lako pronaći rupu u sistemu koji bi trebalo da bude potpuno zatvoren.
