Aktuelt

Følg våpnene

Hva har kunstig intelligens å si for utviklingen av drapsvåpen? Dag Hareide har besøkt Darpa – «Pentagons hjerne».

Darpa-ansatte John Seminatore, James Burton, Yoonchang Sung and Lakshitha Dantanarayana tester softwaren på en THOR-robot ved Darpa. Foto: Chip Somodevilla/Getty Images
Publisert Sist oppdatert

Menneske og maskin

Dette er tredje del i en essayserie av Dag Hareide om den siste forskningen på, og debatten rundt, kunstig intelligens.

Første del, «Trenger hjernen menneskerettigheter?» sto på trykk 9. februar 2018. Den handlet om ny forskning på forbindelsen mellom hjerne og teknologi: Brain-computer interface (BCI). Andre del, «En etikk med deadline» ble publisert 20 februar, basert på en reise til Silicon Valley.

Denne tredje og siste artikkelen handler om militærets rolle i teknologisk utvikling

Dag Hareide er forfatter, blant annet av boken Hva er humanisme?

Da jeg kommer til militærets hovedkvarter Pentagon (340 000 m² og 26 000 ansatte), kjører jeg forbi. Jeg skal heller ikke videre til de store svarte kubene til National Security Agency (280 000 m² og 35 000 ansatte).

Jeg stanser midtveis mellom dem, til en middels kjedelig og middels stor kontorbygning. Her er Darpa – verdens viktigste forskningsinstitusjon for teknologi. At den er militær burde heller ikke overraske. Militære står for ⅓ av all teknologiforskning i verden. Men det handler ikke om å være stor.

Darpa (Defence Advanced Research Project Agency) er kalt «Pentagons hjerne» og «Departementet for gale forskere». Den ble opprettet i 1958 etter at Sovjetunionen hadde overrasket med å sende opp Sputnik, verdens første romrakett. Reaksjonen i USA var hysterisk. Darpa ble startet for at USA aldri mer skulle bli overrasket. Og beste forsvar er selv å lage overraskelser. Det er Darpas eneste mål.

Hvordan kan jeg påstå at dette er verdens viktigste forskningsinstitusjon? Darpa driver jo nesten ikke egen forskning. I stedet plukker de forskning overalt. 120 programredaktører og noen hundre medhjelpere kontrollerer et tusentalls forskningsprogram, og kobler titusentalls forskere. Det som har gjort Darpa så effektiv og mytisk er helt enkelt at institusjonen har nok penger, er liten, rask og ubyråkratisk og visjonær på grensen til det uansvarlige. I tillegg har den et imponerende nettverk til alle betydelige universiteter og ledende private teknologiselskaper i USA og mange andre land, en direkte linje til ledelsen i Forsvarsdepartementet og uavhengighet fra de gigantiske militær- og etterretnings-institusjonenes brysomme byråkrati og harde hierarki.

Jeg blir geleidet av Timothy Kilbride. Han forteller at under 20 prosent av de ansatte kommer fra militære. De fleste kommer fra næringsliv eller universiteter. Programlederne er der bare tre til fem år – de rekker så vidt å gi fra seg sin spesialkunnskap, før de skiftes ut og nye folk håndplukkes. Alle er «ferskvare». Slik skapes en rastløs energi og en hemningsløs kreativitet som ligner mer på Silicon Valley enn på militære kommandosystemer. Det er lett å glemme krigens kustus og råskap når jeg vandrer gjennom korridorene.

I det øyeblikket jeg kommer inn døren til Justin Sanchez, direktøren for Darpas bioteknologiprogram, reagerer han instinktivt på min smarttelefon som jeg har med som opptager. Han slapper av først etter at min påpasser legger frem spesialtillatelsen. (Jeg sa jeg hadde betennelse i armen – det var passe sant). Så utnytter Sanchez situasjonen til å fortelle meg en av Darpas yndlingshistorier:

«Din smarttelefon ville vært umulig uten Darpa. De viktigste teknologiske gjennombruddene: Internett, GPS, touch-skjerm, taleassistent, språkoversettelse – skjedde i prosjekter i samarbeid med oss.»

Det som var laget for å bombe presist er blitt en utmerket hjelper for meg til å finne gode restauranter i alle byer, reflekterer jeg.

Juan Sanchez har bakgrunn som lege. I en tidligere artikkel (Morgenbladet 9.2) fortalte han om hvordan Darpa leder an i koblingen mellom hjerne og datamaskin. De skal hjelpe soldater med traumer, sier han og jeg tenker: kan de styre soldaters hjerner? Darpa er kritisert for å ofte lage en spennende snill sivil historie over sine militære aktiviteter, og slik fremstår de som den kule typen i militærfamilien. Det meste av det de driver med har såkalt «dobbel bruk»: sivil og militær. For eksempel var det Darpa som startet konkurransen om kjøring av autonome landkjøretøy i 2004. Det satt fart i digitale selskaper og bilfabrikker som nå lanserer førerløse biler. Samtidig gir det teknologi til å utvikle autonome drapsroboter. Et annet eksempel: Darpa startet en stor konkurranse i 2016 hvor digitale firma prøver autonome system for å stoppe cyberangrep. Det kan hjelpe oss som strever med virus på datamaskinen, samtidig som det utruster militære til angrep i en cyberkrig. Og Darpas arbeid med vaksiner og syntetisk biologi har også «dobbel bruk» ettersom det kan skape nye biologiske våpen.

Dette er tre våpentyper som har kommet ut av den nye teknologien: Autonome drapsroboter, cybervåpen og syntetiske biologiske våpen. «Følg pengene», heter det i krimetterforskning. I teknologiforskning bør det også hete «følg våpnene».

Eller som komikeren Will Rogers sa: «Man kan ikke påstå at sivilisasjonen ikke gjør fremskritt, for i hver krig dreper vi på en ny måte»

Jeg antar at 27. februar 1991 må ha vært en dag full av stolthet i Darpa. Da erklærte president George H.W. Bush slutt på den første Irak-krigen. «Operasjon Ørkenstorm» varte 43 dager. Bakkekampene varte bare 100 timer. Dagen før hadde general Colin Powell klaget på at TV-bildene fikk det til å se ut som de drev «slakting bare for slaktingens skyld».

Irak var en betydelig militærmakt. De hadde flere soldater enn USA og de allierte, et betydelig antall tanks og fly, og et luftforsvarssystem rundt Bagdad som i størrelse bare var overgått av Moskva.

Det ble en knusende seier for teknologien. De amerikanske styrkene som utgjorde 73 prosent av alliansen var stinne av ny teknologi. Darpa hadde utviklet den for å motstå et sovjetisk angrep i Europa – nå fikk de testet det ut. Det var Stealth-fly som så ut som en liten fugl på radar. Det var varmesøkende raketter, og laserstyrt presisjonsbomber. Det var infrarøde kikkerter som så i mørke og sandstorm. Det var en kommandosentral med internett og GPS i fly i 15 000 meters høyde som holdt oversikt over store kampområder. Det var 3D simulatorer hvor piloter og militære ledere testet ut kampene på forhånd. Det var fjernstyrte droner (og for første gang i historien overga en gruppe soldater seg til en drone). Amerikanerne bombet presist forsyninger og kommandolinjer. Når bakkekampene startet tok et massivt panservognslag bare noen minutter før irakerne måtte overgi seg.

Russere og kinesere ble skremt. USA viste en teknologisk overlegenhet de ikke hadde hatt siden de var alene om atomvåpen. Og de av oss som opplever teknologien i det sivile kan notere at nesten alle disse militære gjennombruddene er tilgjengelige i en eller annen form for oss.

12 år etter viste amerikanerne igjen sin teknologiske overlegenhet i en ny Irakkrig. Men så kom en overraskelse Darpa ikke hadde regnet med. Det ble kalt IED (Improvised explosive devise – et norsk uttrykk kan være «improviserte eksplosive dingser»). Det var nok sprengstoff rundt omkring til at mange kunne skaffe nok til for eksempel å lage en primitiv veibombe. Det drepte langt flere amerikanske soldater enn de som døde på slagmarken.

Det er flere eksempler i militær historie hvor den teknologiske overlegne taper mot enkel teknologi. Det skjer der motstanderne gjemmer seg blant folket, eller er folket. Det skjedde i jungelen i Vietnam. I fremtiden vil det antagelig skje mer, i et økende antall millionbyer.

Motstanden mot Vietnamkrigen i USA rammet Darpa fra slutten av 1960-tallet. Studenter okkuperte universiteter som samarbeidet med dem. Mange universiteter vedtok offisielt å avslutte samarbeidet. Kongressen laget en lov som begrenset Darpas arbeid. Men i dag har Darpa ingen problemer med å støvsuge teknologisk kunnskap fra universiteter i USA, og en rekke andre land. Også norske universiteter som NTNU dukker opp når du leser gjennom prosjektlistene. Forakten er erstattet med nysgjerrig beundring.

25 år gammel ble Arati Prabhakan den første kvinne som tok doktorgrad i anvendt fysikk ved Californias Institutt for Teknologi. Barack Obama kalte henne til jobben som leder for Darpa i 2012. Foto: Bryan Bedder/Getty Images

Arati Prabhakan bryter med mine fordommer om en militær leder. Hun flyttet fra India 10 år gammel sammen med en mor som ville ta doktorgrad i USA. Og datteren ville ikke være dårligere. 25 år gammel ble Arati Prabhakan den første kvinne som tok doktorgrad i anvendt fysikk ved Californias Institutt for Teknologi. Hun har hatt toppverv i statlige organer og i Silicon Valley før president Obama kalte henne til jobben som leder for Darpa i 2012. Da Donald Trump overtok gikk hun av som Darpas leder. Jeg finner henne på Stanford University, midt i Silicon Valley. Hun bruker ennå ordet «vi» om Darpa og skal bruke et par år på å skrive om sine erfaringer som Darpa-leder.

«Darpa har som oppgave å stille spørsmålene som folk synes er vanvittige, og gå for å løse den.» sier hun «Vår fordel er at vi kan tenke utenom markedet. Darpa begynte med internett og GPS tidlig på 1960-tallet. Etter 30 år ble det gitt fritt til markedet. I mellomtiden hadde vi samarbeidet med universiteter og selskaper for å utvikle det. Når vi har gjort teknologiske gjennombrudd, så gir vi slipp på det og overlater det til andre. Det er ikke vår oppgave å gjøre skritt-for-skritt forbedringer. Vi skal skape teknologiske overraskelser.»

Er ikke dette litt rart? undrer jeg. Darpa brukte milliarder av skattekroner som gjorde det mulig å lage en smarttelefon og plattformer på internett. Og så er det private selskaper som Google, Apple, Facebook som tjener hundretalls milliarder på å bruke det?

«Vi har en grunnleggende tro på det frie markedet i USA», svarer Prabhakan. «Og det er ikke slik at vi kan utvikle dette alene. Vi er avhengig av et marked for å teste og perfeksjonere mange produkter.»

Jeg tenker at Darpa og militær forskning har ledet an i teknologiutviklingen de siste tiårene, men vil det fortsette slik? De store digitale Silicon Valley selskapene har hatt en vanvittig vekst – og de lager nå allianser med store medisinselskap og bilindustri. Vil disse overta ikke bare teknologien, men også Darpas rolle som «overrasker»? Jeg tror oppmerksomheten om Silicon- selskapene ikke bør få oss til å glemme militærets avgjørende betydning. Mens Silicon Valley-selskapene har opplevd at opinionen har vendt seg mot dem de siste par årene, øker respekten (eller uoppmerksomheten) for militæret. Og mens Google og teknologiindustrien var Barak Obamas favoritter, omgir Donald Trump seg med folk fra militæret og finans.

Så om du – som jeg – er mest opptatt av hva som kommer om 30 år, så er Darpa et godt sted å starte. Og noe kan du finne på Darpas hjemmeside, i Darpas rapport til Kongressen og i stadige «avsløringer» om nye sensasjoner fra diverse kilder. Noen eksempler: Kikkerter som kan se rundt hjørner, øglehender som gjør at du kan klatre rett opp en vegg, autonome skip og droner som kan bevege seg uten menneskelig innblanding i lang tid, hansker som kan regulere din kroppstemperatur, spionroboter som ser ut som fluer, smarte kuler som oppsøker sitt offer. Mye av dette er utviklet for fremtidens bykriger.

Men det meste er hemmelig, eller strengt hemmelig. Og der er også gjennombruddene i de tre nye nevnte våpentypene cybervåpen, syntetisk biologiske våpen og autonome drapsroboter. Avhoppere avslørte på 1990-tallet at russerne hadde 40 000 som arbeidet med biologisk-kjemiske våpenprogram med nok gift til å drepe verdens befolkning flere ganger. Dette er i dag gårsdagens teknologi. Darpa startet 43 forskjellige programmer i syntetisk biologi etter avsløringen. Nå kan man manipulere naturens virus og bakterier – slik for eksempel nederlandske forskere har endret fugleinfluensaviruset til å smitte mellom mennesker. Det har 60 prosent dødelighet. Biologiske våpen er forbudt og lite brukt i krig til nå. Mye fordi det ikke er treffsikkert og kan ramme ens egne. Men hva om man kan programmere det til å treffe visse folkeslag ut fra kroppslige genetiske kjennetegn? Flere land forsket på dette allerede på 1980-tallet.

Når det gjelder cyberkrig har vi mange eksempler på angrep, men ingen som direkte har dødd fra det. Men hva skjer med innsamling av sårbarheter i verdens digitale systemer (såkalt «Zero Days Exploits») som flere aktører gjemmer og vil bruke i en cyberkrig når det gjelder? Når man får vite lite, så sitter man igjen med ekle spørsmål.

Og ikke minst: hva skjer med autonome drapsvåpen og bruk av kunstig intelligens?

Jeg spør Prabhakan hva hun anser som det største teknologiske skiftet de siste to-tre tiår. «Det handler om mer presise og intelligente våpen», sier hun. «Folk fikk se begynnelsen i første Irak-krig med presisjonsbombing. Og det har vært en sterk utvikling i et kvart århundre siden. Det har spart mange menneskers liv, men på den andre siden har det også senket barrieren for å gå inn i en krig.» Hun forteller at Darpa nå prioriterer kunstig intelligens og koblingen av computere til hjernen.

Russlands president Vladimir Putin sa det mer plumpt; at det landet som blir ledende i kunstig intelligens vil herske over verden. Det er også det som har fått over 24.000 vitenskapsfolk til å advare mot kunstig intelligens som «en tredje revolusjon» i våpenteknologien etter geværet og atombomben. «Når kunstig intelligens er utviklet, vil det tillate en væpnet konflikt som vil bli kjempet i en skala større enn noensinne, og i en hastighet raskere enn mennesker kan begripe».

Når kunstig intelligens og automatisering overtar forsvinner også folkehærer og allmenn verneplikt. Vi glemmer lett hvor viktig det har vært for fremveksten av demokratiet i Europa. Når herskeren er avhengig av folket sitt for å forsvare et territorium, begrenses deres makt. Kan det true demokratiet når herskere kan krige uten folk flest? Og for det andre: Folkeantall og solide naturressurser blir kanskje ikke så viktig. Dermed er det ikke selvsagt at land som USA, Russland og Kina er stormakter, men kanskje heller små land som Israel og Korea? Det er ikke noe nytt i historien. Vi har sett dette før – som når en liten øy England hersket over ⅓ av verden fordi de ble teknologisk overlegne etter den industrielle revolusjon.

Jeg tenker at de demokratiske institusjoner er avgjørende for å korrigere den teknologiske utviklingen slik at den tjener menneskene og naturen. Og jeg tenker at slike institusjoner finnes i de aller fleste land. Folk finner måter å uttrykke seg på og samarbeide om det de ønsker selv i enkelte diktaturer. Og i demokratier trenger vi stadig en kritisk masse av folk som deltar i en offentlig samtale om hva vi vil med teknologien. Den tidligere generalen og presidenten Dwight D. Eisenhower startet Darpa i 1958. Da han holdt sin siste berømte tale som president til det amerikanske folket tre år senere i 1961 valgte han ut to trusler han mente hadde blitt en fare for det amerikanske demokratiet. I Norge glemmer de fleste som siterer denne talen den ene av disse truslene (min egen oversettelse og utheving):

Finnes Darpa i Norge? Fremste kandidat er Forsvarets forskningsinstitutt (FFI) som ble grunnlagt i skogkanten utenfor Lillestrøm rett etter krigen. FFI var langt fremme med atomteknologien tidlig på 1950-tallet og var det første landet utenom USA som ble knyttet til ARPA-nett forløperen til internett tidlig på 1970-tallet. Instituttet har cirka 600 fagforskerstillinger – omtrent like mange som Darpa. Men de forsker for seg selv, en helt annen modell enn Darpas enorme nettverk, enorme pengemengder og radikale strategi om overraskelser. De forsker mer som en fortsettelse av «gutt på skauen».

Norge er et lite land. Men våpenproduksjonen har økt i dette århundret og vi har tidvis vært blant de ti største våpeneksportørene i verden. Når jeg skriver dette kommer nyheten om at Kongsberggruppen har fått sin største kontrakt noensinne med å levere våpensystemer til Qatar. Første fase i programmet er verdt minst 15 milliarder kroner og skal sikre 15.000 norske årsverk med 170 norske underleverandører. Samtidig skriver Economist at Norge er ledende i teknologi på selvgående ubåter og båter. Det henger åpenbart sammen med vår teknologi for oljeutvinning under havoverflaten. Det er som i Darpa: Dobbel bruk.

Dag Hareide er forfatter, blant annet av boken Hva er humanisme?