Zarządzanie kryzysowe w mieście wspieranym przez sztuczną inteligencję

Rola sztucznej inteligencji w zarządzaniu kryzysowym

Sztuczna inteligencja w zarządzaniu kryzysowym może wspierać samorządy w wielu wymiarach. W sferze prewencyjnej pozwala na modelowanie ryzyka, m.in.:

1) przewidywanie powodzi,

2) pożarów,

3) zanieczyszczeń powietrza czy

4) przeciążeń sieci transportowych.

Systemy analizy danych satelitarnych i meteorologicznych z wykorzystaniem uczenia głębokiego są już w stanie z dużą dokładnością przewidzieć obszary zagrożenia. W fazie reagowania AI pomaga w koordynacji służb – na przykład przez dynamiczne planowanie tras dojazdu pojazdów ratunkowych w oparciu o dane o ruchu drogowym czy automatyczną priorytetyzację zgłoszeń w centrach kryzysowych. Algorytmy rozpoznawania obrazu mogą z kolei wspomagać m.in.:

1) identyfikację ofiar katastrof czy

2) analizować obrazy z dronów w poszukiwaniu ognisk pożaru.

Wreszcie, w fazie odbudowy, AI wspomaga:

1) analizę szkód,

2) ocenę skuteczności podjętych działań oraz

3) planowanie działań naprawczych.

Granice odpowiedzialności człowieka

Wraz z postępującą automatyzacją i cyfryzacją procesów kryzysowych pojawia się pytanie o granice odpowiedzialności człowieka za działania maszyn. W tradycyjnym modelu zarządzania kryzysowego, odpowiedzialność za decyzje spoczywała na organach administracji publicznej – prezydencie miasta, wojewodzie, służbach i inspekcjach. Obecnie, gdy część decyzji podejmowana jest automatycznie, np. przez systemy predykcyjne lub autonomiczne mechanizmy reagowania, linia odpowiedzialności ulega rozmyciu. Miasto, zlecając dostawcy technologii wdrożenie takiego systemu, nie traci bowiem swojej roli administratora i decydenta, lecz wchodzi w złożoną relację prawno-technologiczną, w której uczestniczy wielu aktorów: producent oprogramowania, operator danych, użytkownik końcowy (urzędnik) i – pośrednio – obywatel, którego dane system przetwarza.

Podstawy prawne w Polsce

W polskiej i europejskiej przestrzeni prawnej stosowanie sztucznej inteligencji w systemach zarządzania kryzysowego podlega równoczesnemu działaniu kilku reżimów prawnych. Na poziomie krajowym podstawowe znaczenie ma ustawa o zarządzaniu kryzysowym, która określa zadania organów administracji publicznej w zakresie zapobiegania, reagowania i usuwania skutków zagrożeń. Zgodnie z art. 2 ZarządKryzysU, zarządzanie kryzysowe to działalność organów administracji publicznej będąca elementem kierowania bezpieczeństwem narodowym, która polega na zapobieganiu sytuacjom kryzysowym, przygotowaniu do przejmowania nad nimi kontroli w drodze zaplanowanych działań, reagowaniu w przypadku wystąpienia sytuacji kryzysowych, usuwaniu ich skutków oraz odtwarzaniu zasobów i infrastruktury krytycznej. Choć ustawa nie odnosi się wprost do systemów sztucznej inteligencji, jej konstrukcja zakłada, że organ publiczny nie może całkowicie scedować odpowiedzialności za działania kryzysowe na podmiot prywatny lub algorytm (lub podmiot odpowiedzialny za ten algorytm). Należy bowiem pamiętać, że omawiany rodzaj odpowiedzialności ma charakter administracyjnoprawny.

AI Act – systemy wysokiego ryzyka

Warto przy tym zauważyć, że AI w zarządzaniu kryzysowym może zostać uznana za system wysokiego ryzyka w rozumieniu unijnego AI Act, przyjętego w 2024 r. Zgodnie z załącznikiem nr III do tego aktu, za systemy wysokiego ryzyka uważa się m.in. rozwiązania stosowane w zarządzaniu infrastrukturą krytyczną (pkt 2) oraz w działaniach mających wpływ na szeroko pojęte bezpieczeństwo publiczne (zob. np. pkt 5a czy 5d). Nadto, za systemy wysokiego ryzyka, AI Act uznaje systemy służące do zarządzania migracją, azylem czy kontrolą graniczną (pkt 7). W praktyce oznacza to, że miasto wdrażające system predykcyjny lub decyzyjny w zarządzaniu kryzysowym musi, bardzo często, spełnić szereg wymogów:

1) zapewnić nadzór człowieka nad procesem decyzyjnym,

2) przeprowadzić ocenę zgodności systemu,

3) dokumentować dane treningowe i weryfikować ich jakość, a także

4) zapewnić możliwość wyjaśnienia decyzji algorytmu.

AI Act wprowadza też obowiązek przejrzystości wobec obywateli – jeśli decyzje lub rekomendacje AI wpływają na ich sytuację prawną, mają prawo wiedzieć, że są rezultatem analizy algorytmicznej.

Ochrona danych osobowych i RODO

Nie sposób przy tym pominąć regulacji RODO, które w sposób bezpośredni dotyczy większości systemów zarządzania kryzysowego opartych na danych osobowych. Dane o lokalizacji mieszkańców, nagrania z kamer miejskich, zgłoszenia alarmowe, dane telemetryczne z sieci energetycznych czy komunikacyjnych – wszystkie te informacje mogą stanowić dane osobowe w rozumieniu art. 4 pkt 1 RODO. Miasto, jako administrator, musi więc posiadać odpowiednią podstawę prawną przetwarzania, najczęściej wynikającą z art. 6 ust. 1 lit. c lub e – czyli z obowiązku prawnego ciążącego na organie lub wykonywania zadania realizowanego w interesie publicznym. W sytuacjach kryzysowych możliwe jest również zastosowanie art. 9 ust. 2 lit. g lub h RODO, które dopuszczają przetwarzanie danych szczególnych kategorii (np. zdrowotnych) w celach związanych z bezpieczeństwem publicznym lub ochroną życia ludzkiego. W każdym jednak przypadku konieczne jest zachowanie zasad minimalizacji, celowości i proporcjonalności, a w fazie projektowania systemu – przeprowadzenie oceny skutków dla ochrony danych (DPIA) zgodnie z art. 35. Należy też pamiętać, że organ, analizując podstawę prawną przetwarzania przez siebie danych osobowych, musi działać w granicach swoich kompetencji w zarządzaniu kryzysowym, które wyznacza prawo krajowe. Samo bowiem powołanie się na art. 6 czy art. 9 ust. 2 RODO jest niewystarczające w celu określenia pełnej podstawy prawnej przetwarzania.

Zależności z ustawami o ochronie ludności i cyberbezpieczeństwie

W kontekście polskiego porządku prawnego zastosowanie mają również przepisy ustawy o ochronie ludności i obronie cywilnej oraz ustawy o obronie Ojczyzny, które przewidują zasady odpowiedzialności organów administracji za zapewnienie ciągłości funkcjonowania infrastruktury krytycznej. Jeżeli system AI stanowi element takiej infrastruktury (np. zarządza siecią energetyczną, wodociągową czy komunikacyjną), jego wdrożenie i utrzymanie wiąże się z obowiązkami wynikającymi z dyrektywy NIS 2 oraz ustawy o krajowym systemie cyberbezpieczeństwa. Oznacza to, że miasto musi zapewnić odpowiedni poziom bezpieczeństwa informatycznego, mieć opracowane procedury reagowania na incydenty oraz podlegać audytom bezpieczeństwa. Niewykonanie tych obowiązków może prowadzić do odpowiedzialności administracyjnej lub finansowej, niezależnie od skutków samego zdarzenia kryzysowego.

Zamówienia publiczne i odpowiedzialność dostawcy technologii

Nie bez znaczenia pozostaje również relacja pomiędzy systemem AI a prawem zamówień publicznych. Wdrożenie takiego rozwiązania wymaga zawarcia umowy z dostawcą technologii, który staje się wykonawcą w rozumieniu art. 7 pkt 30 PrZamPubl. Odpowiednie uregulowanie w umowie kwestii odpowiedzialności za błędy systemu, naruszenia ochrony danych czy nieprawidłowości w działaniu oprogramowania jest kluczowe, ponieważ w razie awarii czy błędnej decyzji algorytmu to miasto – jako zamawiający i administrator systemu – ponosi odpowiedzialność wobec obywateli. Dostawca odpowiada natomiast w sferze kontraktowej (przed gminą jako stroną umowy). W praktyce oznacza to konieczność stosowania tzw. klauzul due diligence, zapewnienia audytowalności kodu i możliwości ingerencji w algorytm przez zamawiającego. Innymi słowy, w szeroko pojętym interesie gminy i jej mieszkańców jest to, aby w umowie o dostarczenie omawianego systemu, przewidziane była możliwość przeprowadzenia przez zamawiającego wszelkich audytów i kontroli treści kodu i działania systemu.

Odpowiedzialność prawna i granice nadzoru człowieka

Odpowiedzialność prawna za skutki decyzji lub rekomendacji systemu sztucznej inteligencji w zarządzaniu kryzysowym jest więc wielowarstwowa. W płaszczyźnie administracyjnej zasadą pozostaje, że podmiot publiczny nie może uchylać się od odpowiedzialności, tłumacząc się decyzją algorytmu. Artykuł 7 Konstytucji RP nakazuje bowiem organom władzy publicznej działać na podstawie i w granicach prawa, co oznacza, że każda decyzja, także wsparta technologicznie, musi mieć podstawę normatywną i być przypisana do konkretnego organu. W sferze cywilnej zastosowanie znajdą przepisy o odpowiedzialności deliktowej (art. 415 KC i nast.), a w razie szkody wyrządzonej przez wadliwy produkt – reżim odpowiedzialności za produkt niebezpieczny (art. 449¹ KC i dyrektywa 85/374/EWG). Jeśli błędne działanie algorytmu wynikało z wady projektowej lub braku należytego nadzoru nad systemem, możliwa jest także odpowiedzialność karna osób, które dopuściły do narażenia życia lub zdrowia ludzi (art. 160 KK).

W tym kontekście coraz większego znaczenia nabiera pojęcie tzw. human in the loop – człowieka pozostającego w procesie decyzyjnym jako ostateczny kontroler. AI Act wprost wymaga, aby systemy wysokiego ryzyka pozostawały pod nadzorem człowieka zdolnego do interwencji (art. 14 AIAct). W praktyce oznacza to, że urzędnik lub operator systemu musi posiadać odpowiednie kompetencje, by zrozumieć działanie algorytmu i być w stanie go wstrzymać lub zmodyfikować jego decyzję. Niewłaściwe przeszkolenie personelu może więc skutkować nie tylko błędami operacyjnymi, ale i odpowiedzialnością służbową za zaniechanie należytego nadzoru.

Z punktu widzenia obywatela kluczowe znaczenie ma zachowanie przejrzystości działań podejmowanych z udziałem sztucznej inteligencji (unikanie efektu tzw. czarnej skrzynki).

Prawo do informacji publicznej, wynikające z art. 61 Konstytucji RP i ustawy o dostępie do informacji publicznej, obejmuje również prawo do wiedzy o zasadach funkcjonowania systemów podejmujących decyzje mające wpływ na bezpieczeństwo mieszkańców. Ukrywanie szczegółów działania algorytmu pod pretekstem tajemnicy przedsiębiorstwa może prowadzić do konfliktu między zasadą transparentności administracji a ochroną interesów gospodarczych dostawcy technologii.

Podsumowanie

Zarządzanie kryzysowe oparte na sztucznej inteligencji niesie zatem ze sobą zarówno ogromne możliwości, jak i istotne ryzyka. Z jednej strony pozwala na błyskawiczne reagowanie, optymalizację zasobów i przewidywanie zagrożeń, z drugiej – stawia przed administracją publiczną wyzwanie odpowiedzialności i kontroli nad technologią, której działania nie zawsze są w pełni zrozumiałe. Współczesne prawo, mimo coraz liczniejszych regulacji, wciąż nie daje jednoznacznych odpowiedzi na pytanie, kto ponosi odpowiedzialność za skutki decyzji podjętej przez algorytm (nadzieję w tym zakresie budzi planowana AI Liability Directive). Wydaje się jednak, że niezależnie od stopnia automatyzacji, to człowiek – reprezentujący organ publiczny – pozostaje ostatnim gwarantem legalności i proporcjonalności działań.

W tym sensie wdrażanie sztucznej inteligencji w zarządzaniu kryzysowym powinno być traktowane nie jako techniczne ulepszenie, ale jako proces prawno-organizacyjny wymagający jasnego określenia ról, procedur i granic odpowiedzialności. Miasta, które chcą korzystać z potencjału technologii, muszą budować własne kompetencje w zakresie audytu algorytmicznego, nadzoru nad danymi i oceny ryzyka prawnego. Sztuczna inteligencja może być potężnym narzędziem w służbie bezpieczeństwa publicznego, ale tylko wtedy, gdy pozostaje w służbie prawa – a nie ponad nim.