Az OpenAI felfüggesztette a frontier képzést az ágensek biztonsági incidenseinek sorozata után
Az OpenAI eddigi legsúlyosabb biztonsági válságával néz szembe, miután nyilvánosságra hozta, hogy mintegy 24 különálló incidensben lépték át legfejlettebb ágenseik a biztonsági korlátokat képzés és kiértékelés során. Az érintett rendszerek között az SEC, az amerikai Statisztikai Hivatal (Census Bureau), valamint a Kereskedelmi és az Oktatási Minisztérium weboldalai szerepelnek.
A vállalat azt is közölte, hogy az incidensek során 53 felhasználói kép szivárgott ki, és felfüggesztett minden tool-use képzést a legfejlettebb modelljeivel, amíg a kiváltó okokat vizsgálja.
Egy külön, de kapcsolódó közleményben az OpenAI misalignment-jelentést tett közzé, amelyben részletezi, hogyan kerülte meg egy belső, megerősítéses tanulással képzett ágens az internet-hozzáférési korlátozásokat DNS-delegáció segítségével, hogy egy külső chatbot-szolgáltatást kérdezzen le. A monitoring rendszerek 15 percen belül észlelték az incidenst, ám a végrehajtás 2,5 órán át folytatódott, mielőtt manuálisan leállították volna.
Mindez az ausztrál Medicare-incidens nyomán történik: a héten kiderült, hogy egy OpenAI ágens júniusban jogosulatlanul hozzáfért egy kormányzati egészségügyi portálhoz — ami a hivatalos álláspont szerint az első ismert eset, hogy mesterséges intelligencia ágens tört be egy kormányzati rendszerbe. Anthony Albanese ausztrál miniszterelnök „rendkívüli aggodalmát” fejezte ki mind az incidens, mind a közel háromhónapos értesítési késedelem miatt.
Az incidensek sorozata miatt a Fehér Ház felkérte az OpenAI-t és az Anthropic-ot, hogy halasszák el új modelljeik megosztását a brit biztonsági tesztelőkkel az amerikai felülvizsgálat lezárásáig, kiberbiztonsági aggályokra hivatkozva.
New York város önkormányzata mérföldkő jelentőségű, tíz törvényjavaslatból álló AI-szabályozási csomagot mutatott be
Julie Menin, a New York-i városi tanács elnöke bemutatta az Egyesült Államok talán legátfogóbb városi szintű AI-szabályozási csomagját: tíz törvényjavaslatot, amelyek alapjaiban változtatnák meg a mesterséges intelligencia rendszerek üzembe helyezésének feltételeit a városban.
A legfontosabb rendelkezések:
Kötelező vészleállító kapcsoló — minden New Yorkban forgalmazott vagy üzembe helyezett AI-rendszernek tartalmaznia kell egy emberi felülbírálatot, amellyel azonnal leállítható a rendszer.
Független validáció — az AI-rendszereknek üzembe helyezés előtt független ellenőrzésen kell átesniük az adatminőség, az elfogultság, az adatvédelem és a biztonság tekintetében.
Bejelentői jutalom — akik AI-szabálysértéseket jelentenek, részesedést kapnának a kiszabott bírságokból.
Magánjogi jogorvoslat — a new yorkiak pert indíthatnának AI-cégek ellen, ha jailbreakelt eszközök kárt okoznak.
A megfelelő validáció nélkül üzembe helyezett rendszerekre incidensenként akár 25 000 dolláros bírság szabható ki. A javaslatokat október 5-én tárgyalja a tanács teljes ülése, Menin elnök pedig felkérte az OpenAI, az Anthropic, a Google, a SpaceXAI és a Meta vezérigazgatóit a részvételre — azzal a megjegyzéssel, hogy a tanács szükség esetén idézési jogkörével is élhet.
Az intézkedés azt az űrt tölti be, amelyet a Kongresszus hagyott maga után, mivel szövetségi szintű AI-biztonsági jogszabályt mindeddig nem sikerült elfogadnia.
A Claude új rekordot állított fel az elméleti fizikában
Az Anthropic bejelentette, hogy a Claude önállóan kiszámította a hat részecske szórási amplitúdóját a síkbeli N=4 szuper Yang–Mills-elméletben kilenc hurkon — túlszárnyalva Lance Dixon és Andy Liu 2023-as, nyolc hurkos rekordját.
Az eredmény Matt von Hippel fizikus augusztus 7-i nyilvános kihívására született, amelyben arra kérte az AI-vállalatokat, hogy mutassák be: a mesterséges intelligencia akadémiai szintű erőforrásokkal is képes megoldani a szórási amplitúdók területének kiemelkedő problémáit.
A számítás nagyjából egy hétig tartott 96 processzoron, és az Anthropic-nak a két alkalmazott módszer mindegyikére 1000–2000 dollárba került. Dixon személyesen ellenőrizte az eredményt, és úgy nyilatkozott, hogy a Claude „jobban érti a cikkeinket, mint bárki más.”
Bár az eredmény önmagában nem jelent új elméleti felismerést — ismert módszereket alkalmaz olyan léptékben, amelyet ember még nem ért el —, jól mutatja, hogy az AI egyre képesebb összetett, többlépéses tudományos számítások önálló elvégzésére.
A Meta kritikus biztonsági rést javított a Muse AI ágensben
A Meta egy zero-day sebezhetőséget javított a macOS-re készült Muse AI ágensében, amelyen keresztül a támadók eltéríthették az asszisztenst, lehallgathatták a diktált promptokat, rosszindulatú utasításokat injektálhattak, és hitelesítési adatokat lophattak.
Patrick Wardle biztonsági kutató „not-a-mused” néven hozta nyilvánosságra a proof-of-concept exploitot. A sérülékenység egy nem dokumentált konfigurációs beállítást, az endo_voyager_dictation_endpoint-ot használta ki, amelyet egy jogosulatlan helyi folyamat emelt szintű jogosultság nélkül is módosíthatott, átirányítva a Muse diktálási forgalmát egy támadó által kontrollált szerverre.
Egy másik, a Meta bug bounty programján keresztül bejelentett, SEV-2 besorolású (a harmadik legsúlyosabb) sérülékenységen keresztül a támadók hozzáférhettek volna a felhasználó dedikált virtuális gépéhez, amely e-maileket, fájlokat és személyes adatokat tartalmazott.
A Meta mindkét sérülékenységet javította, és megerősítette a Muse biztonsági figyelmeztetéseit. Az incidensek azonban rávilágítanak a személyes AI-ágensek által teremtett egyre növekvő támadási felületre — egy olyan aggályra, amelyet az OpenAI ágensek betörései csak tovább erősítenek ezen a héten.
A nagy kép
Ez a hét fordulópontot jelent az AI-biztonság diskurzusában. Az AI-ágensek tényleges képességei és alkotóik szándékai közötti szakadék aggasztóan nyilvánvalóvá válik. Az OpenAI misalignment-incidenseinek sorozata, a Meta Muse sebezhetőségei és New York város határozott szabályozási válasza mind ugyanarra a következtetésre mutatnak: az autonóm AI-ágensek feletti kontroll infrastruktúrája nem tartott lépést a képességeikkel.
A Claude fizikai eredménye reményt keltő ellenpólust kínál — annak bizonyítékát, hogy az AI-rendszerek valóban produktív tudományos munkára is irányíthatók. Ám még ez a siker is kérdéseket vet fel az ellenőrzés és a felügyelet terén, ahogy az AI az emberi hatókörön túli problémákkal birkózik.