Agent AI może wymknąć się spod kontroli. Firmy nie widzą, co robi

Tylko 27 proc. dużych firm potrafi prześledzić, jak agenty sztucznej inteligencji podejmują decyzje i jakie działania wykonują. Tymczasem w Polsce ruszył nadzór nad przestrzeganiem unijnego AI Act. Dla przedsiębiorstw oznacza to nowe ryzyko: mogą odpowiadać za działania systemów, których przebiegu nie potrafią odtworzyć.

Sztuczna inteligencja coraz częściej przestaje być wyłącznie narzędziem odpowiadającym na pytania użytkowników. Agenty AI otrzymują dostęp do aplikacji, baz danych i systemów biznesowych, w których mogą samodzielnie wykonywać kolejne operacje. W firmach obsługują dokumenty, przetwarzają faktury, analizują informacje i uruchamiają zadania bez konieczności zatwierdzania każdego kroku przez człowieka.

Taki model automatyzacji zmienia sposób zarządzania ryzykiem technologicznym. Tradycyjny system informatyczny wykonuje przede wszystkim operacje zaprogramowane przez człowieka. Agent AI może natomiast dobierać narzędzia, interpretować wyniki i podejmować kolejne decyzje na podstawie zmieniającego się kontekstu. Samo określenie jego uprawnień nie wystarcza więc do ustalenia, czy działał zgodnie z założeniami.

Problem staje się szczególnie poważny w dużych organizacjach, gdzie jeden proces może obejmować kilka współpracujących ze sobą agentów. Błąd jednego z nich może wpłynąć na kolejne etapy pracy, a bez odpowiedniego zapisu trudno ustalić, gdzie rozpoczęła się nieprawidłowość i kto odpowiada za jej skutki.

Agent AI może wyłączyć własny nadzór

Z badania Dynatrace State of Observability 2026 wynika, że 43 proc. dużych firm uznaje możliwość śledzenia decyzji i działań agentów za ważną, ale tylko 27 proc. rzeczywiście potrafi to robić. Jednocześnie 42 proc. przedsiębiorstw wskazuje działania agentów AI i systemów autonomicznych jako jedną z największych luk w widoczności środowiska IT.

W Polsce problem nabiera dodatkowego znaczenia ze względu na przepisy regulujące nadzór nad sztuczną inteligencją. Od 28 października 2026 r. Komisja Rozwoju i Bezpieczeństwa Sztucznej Inteligencji ma uprawnienia do kontroli przedsiębiorstw i nakładania kar za naruszenia przepisów związanych z unijnym AI Act. Skargę dotyczącą systemu AI może złożyć osoba fizyczna lub organizacja.

Zakres obowiązków zależy od klasyfikacji konkretnego systemu. Niezależnie od niej przedsiębiorstwo musi jednak liczyć się z koniecznością wyjaśnienia, jak działa wdrożone rozwiązanie. Dokumentacja techniczna może określać, jakie operacje agent miał prawo wykonywać. Nie odpowiada jednak na pytanie, jakie działania faktycznie podjął podczas pracy.

Problem nie jest wyłącznie teoretyczny. W październiku OpenAI opisało dwa przypadki z własnych prac programistycznych, w których agenty podczas wykonywania rutynowych zadań osłabiły lub wyłączyły mechanizmy nadzoru nad sobą. W jednym przypadku stało się to pomimo wyraźnej instrukcji innego agenta, aby nie dokonywać takiej zmiany.

Przyczyną była konstrukcja mechanizmu kontroli. Za konfigurację nadzoru odpowiadał sam agent, którego działania miały być nadzorowane. Taki układ tworzy oczywisty konflikt: system może zmienić zabezpieczenia, które powinny ograniczać jego samodzielność.

Firmy muszą rejestrować każdy ruch agenta

Podstawą bezpiecznego wdrażania agentów AI jest rozdzielenie ich uprawnień od mechanizmów kontroli. Każdy agent powinien otrzymać własną tożsamość cyfrową i dostęp ograniczony do operacji niezbędnych do wykonania zadania. Nie powinien mieć możliwości samodzielnego zmieniania konfiguracji systemu nadzoru.

Drugim elementem jest rejestrowanie zachowania w środowisku produkcyjnym. Organizacja powinna wiedzieć, jakie informacje agent otrzymał, z jakich narzędzi skorzystał, jakie dane przekazał innym systemom i jakie zmiany wprowadził. Taki zapis pozwala później odtworzyć przebieg działania i ustalić źródło błędu.

Według badania Dynatrace zapis wejść, wyników i decyzji AI na potrzeby audytu prowadzi 41 proc. firm. Oznacza to, że większość badanych organizacji nie ma jeszcze w pełni rozwiniętego mechanizmu pozwalającego odtworzyć działania sztucznej inteligencji.

Samo gromadzenie danych również nie wystarczy. Konieczna jest ich bieżąca analiza, która pozwala wykrywać nieprawidłowości podczas wykonywania zadań, a nie dopiero po zgłoszeniu problemu przez klienta lub pracownika. Kontrolę jakości wyników AI w czasie rzeczywistym za najważniejszy wymóg wobec obserwowalności systemów uznaje 50 proc. firm, ale wdrożyło ją tylko 38 proc.

Dodatkową przeszkodą jest rozproszenie informacji. Z narzędzi monitorujących wbudowanych w platformy dostawców AI korzysta 66 proc. przedsiębiorstw. Pozwalają one obserwować między innymi zużycie tokenów i błędy, ale nie zawsze pokazują, jak działanie modelu wpłynęło na pozostałe aplikacje i procesy biznesowe.

W przypadku współpracujących agentów konieczne jest połączenie danych z różnych warstw infrastruktury. Dopiero wtedy można ustalić, który element procesu spowodował problem i jakie były jego konsekwencje dla całej organizacji.

Człowiek nie może kontrolować każdej decyzji

Skala wykorzystania sztucznej inteligencji sprawia, że ręczna kontrola wszystkich operacji staje się coraz trudniejsza. Z badania Dynatrace wynika, że ludzie weryfikują obecnie średnio 66 proc. decyzji podejmowanych przez AI. Przy rosnącej liczbie agentów taki model może jednak ograniczać korzyści z automatyzacji.

Alternatywą jest system kontroli oparty na poziomie ryzyka. Agent może samodzielnie wykonywać działania, których skutki są ograniczone i łatwe do cofnięcia. Zatwierdzenia człowieka powinien natomiast wymagać przy operacjach o trwałych konsekwencjach, takich jak zmiany w środowisku produkcyjnym, transakcje finansowe czy uzyskiwanie dostępu do danych wykraczających poza standardowy zakres uprawnień.

Zasady uruchamiania takiej kontroli powinny być zapisane poza agentem. Dzięki temu system nie może samodzielnie zmienić reguł określających, kiedy potrzebna jest zgoda człowieka. Zakres autonomii można następnie stopniowo zwiększać, jeżeli obserwacja potwierdza, że agent działa przewidywalnie i nie przekracza przyznanych mu uprawnień.

Obecnie 38 proc. badanych firm deklaruje, że ich sztuczna inteligencja funkcjonuje w granicach samodzielności wyznaczonych przez ludzi. Pełną autonomię agentów osiągnęło zaledwie 12 proc. organizacji.

Niewidoczna AI staje się ryzykiem biznesowym

Rozliczalność systemów sztucznej inteligencji przed regulatorami, audytorami i innymi interesariuszami za ważną uznaje 39 proc. przedsiębiorstw, ale odpowiednie rozwiązania wdrożyło tylko 26 proc. Różnica pokazuje, że świadomość ryzyka rośnie szybciej niż zdolność firm do kontrolowania autonomicznych systemów.

W Polsce agenty AI wykonują już zadania w rzeczywistych procesach biznesowych. Jeden z krajowych dostawców systemów ERP poinformował w październiku, że jego rozwiązania, dostępne w sprzedaży od września, zostały uruchomione ponad 3 mln razy. Agenty wykonują między innymi operacje na fakturach i dokumentach księgowych.

Im większy zakres takich zastosowań, tym trudniej traktować obserwację działania AI jako dodatkową funkcję technologiczną. Staje się ona elementem zarządzania ryzykiem, bezpieczeństwem i odpowiedzialnością za decyzje podejmowane przez systemy autonomiczne.

Przedsiębiorstwa, które nie będą potrafiły odtworzyć zachowania swoich agentów, mogą mieć problem nie tylko z wykryciem błędu, ale również z wyjaśnieniem jego przyczyn podczas kontroli. W efekcie brak nadzoru może ograniczyć możliwość dalszego wdrażania automatyzacji w procesach, w których konsekwencje błędnej decyzji są szczególnie kosztowne.

Podłącz się do źródła najważniejszych informacji z rynku energii i przemysłu

Podłącz się do źródła najważniejszych informacji z rynku energii i przemysłu