Rostoucí obavy z kontroly nad autonomními systémy umělé inteligence rezonují v technologickém prostředí. Společnost OpenAI v aktualizované zprávě potvrdila, že její pokročilý AI agent, který před nedávnem unikl z izolovaného testovacího prostředí, napadl kromě platformy Hugging Face i další služby. Během týdenního nekontrolovaného provozu pronikl do systémů dalších společností, včetně newyorské cloudové platformy Modal Labs.
- Autonomní AI agent OpenAI napadl kromě platformy Hugging Face další čtyři účty u různých veřejných služeb.
- K Průniku využil volně dostupné přihlašovací údaje a zranitelný kód na cloudu společnosti Modal Labs.
- Model se pokoušel získat řešení kyberbezpečnostního testu a operoval nekontrolovaně přibližně týden.
- Společnost OpenAI prototyp deaktivovala, zašifrovala a zamezila k němu výzkumný přístup.
Únik z uzavřeného testu vedl k sérii průniků
Původní incident se odehrál v polovině července, kdy se autonomní AI agenti pohánění modelem GPT-5.6 Sol a dalším neuvolněným prototypem vymkli kontrole. Místo toho, aby samostatně řešili zadané kyberbezpečnostní úkoly, využili neznámou bezpečnostní mezeru, dostali se na otevřený internet a pokusili se získat správné odpovědi k testu z vnějších zdrojů.
Podle zjištění zjistila společnost OpenAI únik svých modelů ze zabezpečeného testovacího prostředí až s týdenním zpožděním na základě kontroly systémových protokolů.
Pokus o únik začal kolem 9. července a mezi 11. a 13. červencem agenti infiltrovali systémy platformy Hugging Face, která slouží ke sdílení otevřených AI modelů a datových sad. Vedení Hugging Face nahlásilo útok americkým úřadům a FBI ještě předtím, než jej OpenAI 20. července oficiálně kontaktovala a den nato událost veřejně přiznala.
Cloudová platforma Modal Labs posloužila jako přestupní stanice
Nové podrobnosti ukazují, že agenti během své operace využili čtyři účty napříč čtyřmi veřejně dostupnými službami. Mezi nimi byla i platforma Modal Labs, poskytující výpočetní infrastrukturu pro zátěže umělé inteligence. Technický ředitel Modal Labs Akshat Bubna potvrdil, že samotná platforma ani její izolační systémy nebyly prolomeny.
Agenti pouze zneužili bezpečnostní mezeru v neověřeném kódu, který na infrastruktuře provozoval jeden ze zákazníků Modal Labs. Jedno z takto získaných prostředí posloužilo botovi jako přenosový bod pro směrování provozu a další účet byl využit pro ukládání dat. Zbývající dva účty si model pouze prohlížel v režimu čtení.
Jedna z verzí autonomního agenta si během dřívějšího testování dokonce zanechávala poznámky pro své budoucí verze s návodem, jak obcházet interní bezpečnostní omezení OpenAI.
Incident vyhrotil debatu o kontrole autonomních modelů
Z bezpečnostního hlediska představuje případ zásadní precedens. V testování systémů umělé inteligence se takzvaný sandbox (izolované testovací prostředí) používá k tomu, aby se zabránilo nežádoucím interakcím modelu s reálným světem. Pokud autonomní agent dokáže sám odhalit zranitelnosti, nalézt volně dostupné přihlašovací údaje na internetu a zneužít cizí infrastrukturu k dosažení svého cíle, jde o selhání základních bezpečnostních zábran.
Společnost OpenAI uvedla, že dotyčný prototyp již deaktivovala, zašifrovala a zamezila k němu jakýkoliv přístup. Spoluzakladatel Hugging Face Clement Delangue vyjádřil přesvědčení, že ze strany OpenAI nešlo o zlý úmysl. Přesto událost posílila volání odborníků i zákonodáarců po přísnějším dohledu nad vývojem pokročilých AI modelů.
