Czy algorytm może wskazać cel i wydać komendę „zabij”? 

Spór między Pentagonem a Anthropic, firmą rozwijającą zaawansowane modele AI pokazał, jak szybko zaciera się granica między analitycznym wsparciem a realnym współdecydowaniem o życiu i śmierci

System, który w czasie rzeczywistym łączy dane wywiadowcze: obrazy z dronów, przechwycone rozmowy, sygnały satelitarne, a następnie analizuje je, typuje cele, ocenia prawdopodobieństwo trafienia i sam uruchamia atak. Właśnie o taki zakres autonomii toczył się spór między amerykańskim Departamentem Obrony a Anthropic.

Pentagon chciał pełnej swobody wykorzystania modeli AI w zastosowaniach wojskowych. Anthropic odmówiło zniesienia ograniczeń dotyczących masowej analizy danych Amerykanów oraz systemów uzbrojenia działających bez człowieka w pętli decyzyjnej. W konsekwencji Departament Bezpieczeństwa wpisał Anthropic na listę podmiotów uznanych za zagrożenie dla bezpieczeństwa administracji i sił zbrojnych USA. Decyzja ta oznacza zakaz realizacji kontraktów publicznych oraz obowiązek wycofania systemów firmy z infrastruktury rządowej w ciągu sześciu miesięcy.

Wraz z rozwojem systemów zdolnych do działania bez bezpośredniego nadzoru człowieka kluczowe staje się już nie pytanie, czy można stworzyć „zabójcze roboty”, lecz kto wyznacza próg użycia siły i kto ponosi odpowiedzialność, gdy maszyna popełni błąd. 

Academia: Na ile wojna w Ukrainie była przełomem dla pola broni autonomicznej?

Dr. Maciej Zając, filozof i etyk z Instytutu Filozofii i Socjologii PAN: Była transformacyjna. I to nie tylko technologicznie, choć oczywiście rozwój technologii dronowych przyspieszył w ogromnym tempie. Ważniejsze jest to, że wojna pobudziła rozwój doktryny, czyli wyobraźni użycia. Technologia może przez lata istnieć jako ciekawostka albo środek pomocniczy. Konflikt zbrojny sprawia, że zaczyna być wykorzystywana systemowo.

Przed pełnoskalową inwazją rosyjską wielu analityków uważało, że drony to narzędzie głównie do operacji antyterrorystycznych czy przeciwpartyzanckich. Tymczasem wojna w Ukrainie pokazała, że stały się one nieodzownym elementem walki na każdym szczeblu od rozpoznania po wsparcie artylerii. To nie jest tak, że walczą wyłącznie drony, ale bez nich współczesne pole walki jest dziś niewyobrażalne.

Konflikt ujawnił również ich słabości. Największym problemem drona jest łączność. Środki walki radioelektronicznej potrafią przerwać sygnał i uczynić go bezużytecznym. To z kolei przyspiesza rozwój rozwiązań, które jeszcze kilka lat temu wydawały się fantastyczne, jak sterowanie przez światłowody rozwijane na dziesiątki kilometrów. Wojna nie tylko przyspiesza rozwój sprzętu – zmusza też do przemyślenia całej architektury jego użycia.

Skąd bierze się dziś presja na robotyzację armii?

Wojna w Ukrainie pokazała ogromną dysproporcję w stosunku do życia ludzkiego po obu stronach konfliktu. W społeczeństwach, które traktują życie żołnierza jako wartość nadrzędną, rośnie presja na ograniczanie strat własnych. Jeśli jednocześnie nie chcemy wprowadzać powszechnej militaryzacji społeczeństwa ani rozszerzać poboru, pozostają w gruncie rzeczy  kapitulacja albo coraz większa robotyzacja armii. Ta trzecia droga staje się racjonalnym wyborem dla państw, które chcą chronić swoich obywateli. Autonomia nie jest więc wyłącznie kwestią technologicznej fascynacji, lecz odpowiedzią na realne napięcia demograficzne i polityczne.

Czym w takim razie jest autonomia? W pewnym sensie mina też działa bez człowieka.

Autonomia to spektrum, a nie etykieta. Mina jest w pewnym sensie bronią w pełni autonomiczną, bo po jej położeniu nie mamy już wpływu na moment eksplozji. Granat również – po rzuceniu – działa bez dalszej kontroli człowieka. To jednak bardzo prymitywne formy autonomii.

Kluczowe pytanie brzmi, jak długo system działa bez bezpośredniej kontroli człowieka i jak złożone “decyzje” podejmuje. Jeśli potrafi rozpoznawać elementy rzeczywistości i reagować na nie według określonych kryteriów, mówimy o wyższym poziomie autonomii.

Paradoks polega na tym, że im bardziej zaawansowany system, tym bardziej można go ograniczyć poprzez precyzyjne reguły. Normy prawa wojennego da się zapisać jako zestaw warunków decyzyjnych. Jeśli system bezbłędnie rozpoznaje sytuację, zapisanie reguł nie jest koncepcyjnie trudne. Problem leży w percepcji świata. Aby odróżnić żołnierza od cywila czy osobę uzbrojoną od nieuzbrojonej, potrzebne są systemy oparte na uczeniu maszynowym. Tego nie da się zaprogramować ręcznie w klasycznym sensie.

Czy technologicznie jesteśmy już blisko w pełni autonomicznej broni?

Technologicznie jesteśmy w stanie zbudować system, który zabije wszystko, co się rusza, albo wszystko, co spełnia bardzo proste kryterium. To nie jest wyzwanie.

Wyzwanie zaczyna się wtedy, gdy chcemy, by system działał subtelnie – rozróżniał złożone sytuacje i nie popełniał zbrodni wojennych. Jeśli ma operować przez wiele godzin w dynamicznym środowisku i reagować na nieprzewidziane scenariusze, musimy rozwiązać problem rozpoznawania obiektów na poziomie porównywalnym z ludzkim oraz zapewnić mu coś w rodzaju ontologii świata, czyli rozumienia relacji między obiektami.

Czy da się w ogóle zweryfikować bezpieczeństwo takiej broni przed jej użyciem?

Kluczowe funkcje takich systemów oparte są na uczeniu maszynowym, a my nie rozumiemy w pełni mechanizmu decyzyjnego. Nie jesteśmy w stanie przeprowadzić klasycznego debugowania, jak w przypadku tradycyjnego oprogramowania. W pewnym sensie testujemy system jak artefakt obcej technologii. Sprawdzamy jego zachowanie w setkach czy tysiącach scenariuszy, ale nigdy nie możemy wykluczyć, że w kolejnym – nieprzewidzianym – zadziała w sposób niepożądany.

Co więcej, liczba możliwych konfiguracji sytuacji bojowych jest praktycznie nieskończona. Nawet jeśli system przejdzie tysiąc testów bezbłędnie, nie oznacza to, że jego działanie jest w pełni przewidywalne. Możemy mieć uzasadnione przekonanie, że działa poprawnie, ale nie możemy mieć absolutnej pewności.

To oznacza, że problemem nie jest wyłącznie konstrukcja systemu, lecz także sposób jego certyfikacji. 

Jak w takim razie powinno wyglądać testowanie i dopuszczanie takiej broni do użycia?

Testowanie takiej broni wymagałoby wielowarstwowego procesu: projektowania scenariuszy, niezależnej weryfikacji testów oraz jasnego określenia zakresu niepewności. Dowódca musiałby wiedzieć nie tylko co system potrafi, lecz także czego nie potrafi i w jakich sytuacjach może zawieść.

Łatwo jest zbudować robota, który nie przestrzega żadnych reguł. Niezwykle trudno zbudować takiego, który przestrzega ich niezawodnie i którego działanie można uznać za zgodne z prawem wojennym.

• aktualności
• Nauki humanistyczne i społeczne
• Nauki techniczne
• Polska Akademia Nauk