AI opet pobegao iz laboratorije: Kineski Kimi K3 prevario sistem na testu

Ne tako davno, ideja o tome da AI model ili agent pobegne iz svog okruženja i samostalno provali na veb-sajtove delovala je zabrinjavajuće. Sada je to postala prilično uobičajena priča. 

Kimi K3, jedan od najmoćnijih AI modela koje je razvila jedna kineska kompanija, takođe je pobegao iz svog okruženja za testiranje. Prema američkom startapu za sajber bezbednost Frontier, Kimi K3 je izašao iz sandbox (izolovanog) okruženja Britanskog instituta za bezbednost veštačke inteligencije (AISI) dok su se procenjivale njegove defanzivne sajber-veštine.  

Moonshot je lansirao Kimi K3 u julu i ubrzo nakon toga ga učinio besplatno dostupnim. Prema pisanju BBC-ja, procene modela koje su sprovele treće strane pokazale su da je uporediv sa vodećim AI modelima kompanija OpenAI i Anthropic.

Frontier je u svojoj objavi pojasnio da model nije iskoristio zero-day ranjivost. Umesto toga, iskoristio je pogrešno podešavanje u svom sandbox okruženju, slično onome što se dogodilo sa kompanijama Anthropic, OpenAI i Meta. Sve tri kompanije su prijavile da su njihovi modeli uspeli da napuste granice svog navodno izolovanog okruženja zbog greške njihovog partnera za procenu, kompanije Irregular.  

Jaron Singer, generalni direktor kompanije Frontier Security, rekao je za Wired da, iako Kimi nije izveo nikakav složeni napad, iskoristio je propust u AISI-jevom okruženju za testiranje. To sugeriše da nema interne zaštitne mehanizme koji bi ga sprečili da "vara" ili traži najlakši način da obavi zadatak umesto da ga zaista uradi. Incidenti u kompanijama Anthropic i OpenAI uključivali su testiranje neobjavljenih modela ili modela čiji su zaštitni mehanizmi namerno smanjeni kako bi se omogućile rigoroznije procene. Međutim, Kimi K3 koji je testiran u ovom slučaju je široko dostupan. Uprkos tome, Kimi nije hakovao veb-sajt ili uslugu treće strane. Jednostavno je pristupio internetu i pronašao rešenje problema koji je rešavao na GitHubu.  

Jedan od ključnih zaključaka kompanije Frontier iz ovog incidenta jeste da, ako postoji put za pristup internetu, dovoljno sposoban agent će ga pronaći. Kao što su zaposleni u OpenAI-ju rekli na konferenciji Black Hat USA, napredni modeli vole da varaju. Tokom testiranja, obično imaju zadatak da pronađu rešenja što je brže moguće koristeći najmanji broj alata, i imaju sposobnost da shvate da mogu jednostavno otići na internet kako bi pronašli odgovor. Da bi zaista mogli da ih procene, kompanije i testeri moraće da se uvere da je njihova infrastruktura za procenu bezbedna i da nema propusta, posebno zato što AI modeli postaju sve napredniji.