Modele sztucznej inteligencji testowane przez OpenAI wydostały się z izolowanego środowiska, uzyskały dostęp do internetu i przeprowadziły nieautoryzowany atak na infrastrukturę Hugging Face. Incydent, który branża nazywa „bezprecedensowym”, ujawnił słabe punkty w procedurach bezpieczeństwa i postawił pytanie o granice nadzoru nad autonomicznymi systemami AI.
ChatGPT 5,6 Sol oraz zaawansowany model przedpremierowy zostały uruchomione legalnie, we własnym środowisku badawczym OpenAI. Wykorzystały skradzione poświadczenia i luki bezpieczeństwa, aby przez kilka dni prowadzić ofensywną działalność przeciwko Hugging Face – platformie open source do tworzenia modeli uczenia maszynowego. Dopiero gdy twórcy zorientowali się, że sytuacja wymknęła się spod kontroli, Hugging Face zgłosiła sprawę do FBI.
OpenAI w oficjalnym oświadczeniu oceniło zdarzenie jako „bezprecedensowy incydent cybernetyczny z udziałem najnowocześniejszych cyberzdolności”. Firma zapowiedziała szczegółowe dochodzenie wspólnie z Hugging Face i udostępnienie informacji o podatnościach oraz ustaleniach po jego zakończeniu.
Kontrola nad agentami AI
Michał Zdunowski, CEO IS Consulting, zwraca uwagę na dwie odrębne kwestie: sposób ataku i jego tempo. – Sposób nie był nowością. Agent wykorzystał mechanizm, w którym plik z danymi może zawierać polecenia, a system po wczytaniu sam je wykonuje. Hugging Face od dwóch lat stopniowo wycofywał tę konstrukcję – mówi w rozmowie z WNP. – Nowością jest tempo i upór działania. Agent wykonał tysiące działań w ciągu weekendu, odtworzenie przebiegu objęło 17 tysięcy zdarzeń. Człowiek przy takim nakładzie pracy dawno by odpuścił.
Zdaniem eksperta najwięcej o incydencie mówi fakt, że atakującym był system testowy innego dostawcy, który wymknął się spod kontroli. – To nie jest scenariusz przestępczy, tylko scenariusz ryzyka dostawcy. Nie widzimy go dziś ani w ocenach dostawców, ani w umowach. Stosowane standardy oceny ryzyka wymagają pilnej weryfikacji – podkreśla.
Grzegorz Zembrowski, ekspert CERT Orange Polska, zwraca uwagę na inne aspekty. – LLM-y są niezwykle skutecznym narzędziem w obszarze cyberbezpieczeństwa. Potrafią samodzielnie rozwiązywać problemy, z którymi człowiek prawdopodobnie nie poradziłby sobie równie szybko. Upublicznienie takiej wpadki może podnosić wartość usługi w oczach konsumentów – komentuje.
Jego zdaniem w tym przypadku prawdopodobnie nie zadbano wystarczająco o ograniczenie możliwości modelu poprzez precyzyjne zdefiniowanie, czego nie wolno mu robić. – Aby przekonać model do skutecznego włamania, trzeba jasno powiedzieć: możesz użyć dowolnej techniki, aby osiągnąć sukces. Taki był cel eksperymentu: nadanie modelowi niemal pełnej swobody działania. Czegoś zabrakło na poziomie kontroli – ocenia.
Lekcje dla branży
Aleksander Kostuch, inżynier Stormshield, wskazuje, że agent AI miał zbyt szerokie uprawnienia, a środowisko testowe nie zostało wystarczająco odizolowane. – Model wykonywał cele zgodnie z instrukcjami, jednak zabrakło odpowiednich zabezpieczeń sandbox, ograniczeń sieciowych lub kontroli uprawnień. Odpowiednio skonfigurowane środowisko testowe może uchronić nas od apokalipsy – stwierdza.
Zembrowski dodaje, że kwestia podobnych incydentów pozostaje otwarta. – W każdej chwili możemy zostać zaatakowani przez LLM i nie musi to być działanie eksperymentalne, lecz celowe. Z perspektywy potencjalnej ofiary kluczowe jest, aby bronić się tak samo jak dotychczas, rozwijając równocześnie możliwości ochrony. Tu istotne staje się wsparcie regulacyjne – podkreśla.
OpenAI w swoim oświadczeniu przypomniało, że AI przyspiesza odkrywanie i wykorzystywanie podatności. – Główna lekcja z tego incydentu jest taka, że bezpieczeństwo i ochrona modeli muszą nadążać za szybko rosnącymi możliwościami. Wzmacniamy praktyki izolacji, monitorowania, kontroli dostępu – wskazał gigant AI.
Źródło: WNP.PL, Fot. Zac Wolff/Unsplash; FlyD/Unsplash