AI-drone koos zelf zijn doel in Zaporizja

Een tankstation aan de rand van Zaporizja, 6 juli. Zes drones komen binnenvliegen. Ze hebben waarschijnlijk een adres meegekregen en geen doelwit. Dat kiezen ze zelf, in de laatste seconden, boven de mensen die daar staan. Drie van hen komen om, onder wie de 19-jarige studente Tatiana Bubynets.

Specialisten haalden de brokstukken uit elkaar en trokken deze week hun conclusie: dit waren autonome drones. In de wrakstukken zaten chips van Nvidia, het soort dat zware AI-modellen draait. En er zaten geen antennes op. Geen antenne betekent geen verbinding met een piloot. Niemand keek mee, niemand drukte af. Nieuwsuur bracht het onderzoek naar buiten, samen met de reactie van de VN en het Rode Kruis.

Dit is dezelfde functie die in jouw drone zit, alleen zonder rem

Wie weleens met een moderne camera-drone heeft gevlogen, kent het gevoel. Je tikt op een persoon in beeld, de drone zet er een kadertje omheen en laat niet meer los. Hij volgt hem om een boom heen, langs een muur, hij verliest hem even en pakt hem terug. Dat is objectherkenning plus tracking, en die twee zijn in vijf jaar van experimenteel naar standaard gegaan.

Precies die combinatie beschrijft de Oekraïense drone-expert Vadym Kushnikov, die bij het onderzoek betrokken was. “Omdat de drone zelf het doelwit kan bepalen, kan die ook op het laatste moment van doelwit veranderen. Hij kan dus ook op een mens vergrendelen en die persoon tot aan de inslag blijven achtervolgen.”

De techniek is niet nieuw. De rem is weg. Dat is het hele verschil, en het is groter dan het klinkt.

Waarom de vraag in Genève al achterloopt op de wrakstukken

De VN en het Rode Kruis spreken van een morele grens waar we gevaarlijk dicht bij staan, en willen afspraken op de wapentop in Genève in november. Defensiespecialist Peter Wijninga schetst waar het Westen op aanstuurt: vliegen mag autonoom, doelherkenning mag autonoom, maar vóór de aanval moet er zinvolle menselijke tussenkomst zijn. Iemand die doorzet of afbreekt.

Dat is een nette grens, en wij denken dat hij aan de verkeerde kant van het probleem ligt. De grens gaat over de vraag wie de knop indrukt. De wrakstukken uit Zaporizja gaan over iets anders: over het feit dat er helemaal geen knop meer in het toestel zat. Een verdrag dat menselijke tussenkomst eist bij een drone zonder antenne, eist iets wat fysiek niet kan. Kushnikov zelf heeft er weinig verwachting van. “Ik denk niet dat het veel uitmaakt voor de praktijk die we nu zien, waarbij de Russen deze drones gebruiken tegen de burgerbevolking.”

“De eerste AI-moord” is meer dan het onderzoek aantoont

En dan het ongemakkelijke deel voor iedereen die dit nieuws groot maakt, wij erbij. De onderzoekers zeggen niet dat de drones die drie burgers als doelwit hebben aangemerkt. Ze zeggen dat de drones het zelf konden kiezen en dat het mogelijk is. Het benzinestation was de opdracht; wat er in de laatste seconden gebeurde, is niet vastgesteld.

Dat verschil doet ertoe. Chips en het ontbreken van antennes bewijzen wat het toestel kón, niet wat het besloot. Wie dit “de eerste AI-moord” noemt, gaat verder dan het bewijs en geeft iedereen die de discussie wil vertragen een gratis argument. Het is al erg genoeg zoals het is: er vloog daar iets rond dat zelf een doel mocht uitzoeken, en er zijn drie doden.

Pak je eigen drone erbij en tel de seconden

Wil je voelen waar dit over gaat, doe dan dit een keer boven een leeg veld. Zet de volgmodus van je eigen drone aan op een vriend die loopt, en tel hoe lang het toestel hem vasthoudt als hij achter een boom of een auto langsloopt. Bij de meeste consumentendrones is dat langer dan je verwacht. Die seconden zijn precies het stuk waar in Zaporizja geen mens meer tussen zat.

Blijf verder gewoon binnen de regels: volgen mag alleen binnen zicht en niet boven mensen. Wij schreven eerder over wat AI-beelden wel en niet bewijzen, en die vraag komt hier in het kwadraat terug.

November in Genève is de test, niet de tussenstand

Op de wapentop wordt duidelijk of landen bereid zijn iets vast te leggen dat verder gaat dan een intentie. Let daarbij op één woord: of er over doelherkenning wordt gesproken of over de aanval zelf. Blijft het bij de aanval, dan is er niets afgesproken over de drone die zonder antenne zijn eigen doel kiest. Intussen gaat de techniek gewoon door: de bewapende Reaper boven Nederland en de onderscheppingen boven Roemenië laten zien hoe snel militaire drones onderdeel van het gewone luchtbeeld worden.