Flere hundre kvinner og menn, spredt over fem etasjer, sitter på rekke og rad og saumfarer PC-skjermene sine. Alle har undertegnet taushetserklæringer. Fire traumespesialister står til deres disposisjon, syv dager i uken.
De jobber med Facebook. Og de har makten til å avgjøre hva som er frie ytringer, og hva som er hatretorikk.
Dette er et slettesenter. Et av Facebooks største. Her arbeider mer enn 1200 innholdsmoderatorer med å rense vekk innhold som er ulovlig eller er i uoverensstemmelse med brukervilkårene – fra terrorpropaganda eller nazisymboler til misbruk av barn.
Tyskland, som nettopp har vedtatt en streng lov mot hatefulle ytringer på nettet, er blitt et forsøkslaboratorium for et av de mest påtrengende spørsmålene som myndighetene må ta stilling til i dag: hvorvidt og hvordan man skal regulere verdens største sosiale nettverk.
Over hele verden opplever Facebook og andre sosiale medier at den manglende evnen til å håndheve personvern, hindre spredning av falske nyheter og hatretorikk slår tilbake på dem.
I India ble syv personer slått i hjel etter at en falsk nyhet ble spredt på Whatsapp, et av Facebooks datterselskaper. I Myanmar kom det til voldshandlinger mot Rohingya-minoriteten, delvis på grunn av feilinformasjon som ble spredt på Facebook. I USA innkalte Kongressen Facebooks konsernsjef Mark Zuckerberg for å forklare seg om firmaets manglende evne til å verne om brukernes privatliv.
Regulerer industrien. Samtidig som hele verden konfronteres med disse problemstillingene, har Europa, og særlig Tyskland, stått frem med vilje til å regulere industrien og utøve makt langt utover sine egne grenser. Det er mange land som følger nøye med etter at Tysklands nye lovgivning mot digital hatretorikk trådte i kraft 1. januar i år. Og tyske myndigheter er drivkrefter bak Europas mest aggressive tiltak for å tøyle teknologiselskaper, nemlig den skjerpede personvernlovgivningen som nå innføres i hele Europa. De etterlyser også global handling.
– Data er råmaterialet som de tjener penger på, sier Gerd Billen, statssekretær i Tysklands justis- og forbrukerverndepartement.
– For oss er personvern en fundamental rettighet som underbygger våre demokratiske institusjoner, sier hun videre.
Tysklands problematiske fortid er forklaringen på at landet inntar en lederrolle i tautrekkingen mellom demokratiene og de digitale plattformene.
I landet som er ansvarlig for holocaust, føles forpliktelsen til å bekjempe hatretorikk like sterk som forpliktelsen til å forsvare det frie ord. Hitlers Mein Kampf er bare tilgjengelig i kommentert versjon. Hakekorset er forbudt. Og det å egge til hat kan straffes med opptil fem års fengsel.
Men ulovlige meldinger, bilder og videoer har regelmessig blitt liggende på Facebook og andre sosiale medier i lang tid. Nå kan selskaper som systematisk mislykkes med å fjerne «åpenbart ulovlig» innhold innen 24 timer, få bøter på opptil 50 millioner euro.
Kom i forkjøpet. Facebooks slettesenter kom lovgivningen i forkjøpet, men den har gjort at arbeidet har fått enda større aktualitet. Innholdsmoderatorene i Berlin er ansatt hos en tredjepart som utelukkende arbeider med Facebook. Hver eneste dag går de igjennom tusenvis av meldinger som er blitt rapportert av brukere som krenkende eller muligens ulovlige. Moderatorene foretar en kjapp vurdering: ignorere, slette, eller – i særlig krevende saker – «eskalere», det vil si å sende saken videre til et globalt team av Facebook-advokater med tysk lovgivning som spesialfelt.
Noen innlegg er enkle å slette. Holocaust-fornektelser eller drapstrusler mot spesielle grupper, som for eksempel flyktninger, slettes uten videre.
Men andre tilfeller er vanskeligere. Dagen før den nye lovgivningen trådte i kraft, den 31. desember 2017, reagerte en lovgiver fra ytre høyre på en twittermelding fra politiet i Köln i forbindelse med den arabiske nyttårsfeiringen. Politiet ble beskyldt for å gi etter for «barbariske, muslimske menn som driver gruppevoldtekt».
En bruker rapporterte meldingen, og en skjermdump av innlegget havnet hos Nils, en 35 år gammel ansatt i slettesenteret i Berlin. Han vurderte at meldingen kunne bli stående. En av hans kollegaer, derimot, mente at den burde fjernes. Til slutt ble meldingen sendt til advokater i Dublin, London, Silicon Valley og Hamburg, og i løpet av ettermiddagen ble meldingen slettet. Dette høstet en storm av kritikk mot den nye lovgivningen, som er blitt kjent som «Facebook-loven».
Mange saker i gråsonen. «Veldig mange saker er entydige», sier Nils, som av sikkerhetshensyn ikke får lov av Facebook til å oppgi etternavnet sitt. «Men så er det så mange saker som ligger i gråsonen.»
En rekke innviklede saker har vakt bekymring for at selskaper kan bli overivrige i slettingen for å unngå å overskride den lovpålagte 24-timersfristen og de skyhøye bøtene – en slags forebyggende sensur av innhold som faktisk ikke er ulovlig.
Det høyrepopulistiske partiet «Alternative für Deutschland», en støyende og flittig bruker av sosiale medier, var raskt ute med å erklære «slutten på ytringsfriheten». Og menneskerettighetsorganisasjoner frykter at autoritære regimer kan bli inspirert til å innføre tilsvarende lover.
Andre mener at lovgivningen gir et privat selskap for mye makt når det får myndighet til å definere hva som er ulovlige, hatefulle ytringer i et demokrati. Facebook selv har fremmet dette argumentet mot lovgivningen, og har i stedet gått inn for å formulere frivillige retningslinjer.
– Det er selvsagt helt i orden at den tyske regjeringen definerer standarder, sier Elliot Schrage, Facebooks direktør for kommunikasjon og offentlighetsarbeid.
– Men vi mener at det er en dårlig idé av den tyske regjeringen å sette ut avgjørelsen om hva som er lovlig og hva som ikke er det, sier han.
Richard Allen, Facebooks direktør for offentlighetsarbeid i Europa og leder for selskapets kampanje mot den tyske lovgivningen, sier det enklere: «Vi vil ikke være dommere i spørsmål om ytringsfriheten.»
Talspersoner for de tyske myndighetene svarer at sosiale medier har denne rollen uansett.
Ifølge Gerd Billen, som bidro til å få den nye lovgivningen på plass, koker det ned til et eneste spørsmål: «Hvem er det som bestemmer? Parlamentet eller Facebook?»
Hva kommer du til å se? Det første spørsmålet Nils fikk da han søkte på jobben ved slettesenteret var: «Vet du hva du kommer til å se her? »
Nils har sett alt. Barnemishandling. Lemlestelser. Selvmord. Til og med mord: En gang så han en video av en mann som skar hjertet ut av et levende menneske.
Og så er det hatet.
– Du ser verdens heslighet her, sier Nils, før han legger til:
– Det er alles kamp mot alle. Alle klager på noen andre. Og alle sier de samme grusomme tingene.
Det er alles kamp mot alle. Alle klager på noen andre. Og alle sier de samme grusomme tingene.
— Nils
For Nils er arbeidet dypt personlig. Han har en datter på fire år.
– Jeg gjør dette også for henne, sier han.
Innhold fra seks land. Senteret drives av Arvato, en tysk tjenesteleverandør som eies av storkonsernet Bertelsmann. De ansatte har et bredt ansvarsområde, og går gjennom innhold fra et halvt dusin land. De som arbeider spesielt med Tyskland må kjenne til Facebooks interne regler og de grunnleggende prinsippene i Tysklands nye lov om hatefulle ytringer og ærekrenkelser.
– To ansatte som ser på den samme meldingen bør komme til den samme konklusjonen, sier Karsten König, som leder Arvatos samarbeid med Facebook.
At det har kommet nesten 1,4 millioner flyktninger til Tyskland, har satt landets evne til å legge lokk på hatefulle ytringer på prøve.
Loven om hatefulle ytringer fantes fra før, men i den digitale verden var det ikke nok med innstramninger og tilpasninger; det trengtes en helt ny lov.
Meldinger som kalte flyktninger for voldtektsforbrytere, neandertalere og avskum ble liggende på nettet i flere uker, ifølge jugendschutz.net, en offentlig finansiert organisasjon for nettsikkerhet for ungdom. Mange ble aldri fjernet. Forskere fra samme organisasjon kunne fortelle om en tredobling av hatefulle ytinger i annen halvdel av 2015.
Gerd Billen, statssekretæren med ansvar for den nye loven, ble rystet. I september 2015 inviterte han ledere fra Facebook og andre sosiale medier til justisdepartementet, en bygning som i DDR-tiden var selveste episenteret for propagandameldinger fra det autoritære regimet. En arbeidsgruppe ble dannet for å bekjempe hatretorikk. To måneder senere undertegnet Facebook og andre selskaper en felles erklæring der de lovet å «gjennomgå rapportert innhold og blokkere eller slette mesteparten av de ulovlige meldingene innen 24 timer.»
Men problemet forsvant ikke. I de påfølgende 15 månedene engasjerte regjeringen to ganger uavhengige forskere, som utga seg for å være vanlige brukere og rapporterte ulovlig hatretorikk. Tester de foretok i etterkant viste at Facebook hadde slettet henholdsvis 46 og 39 prosent av de rapporterte meldingene.
– De visste at de var en plattform for kriminell adferd og oppfordringer til å utføre straffbare handlinger, men de presenterte seg for oss som ulver i fåreklær, sier Billen.
I mars 2017 mistet den tyske regjeringen tålmodigheten, og begynte å utrede en ny lov. Nettverkshåndhevelsesloven ble utformet og iverksatt. Den definerer 21 typer innhold som «absolutt ulovlig», og krever at plattformene for sosiale medier reagerer raskt på dem.
Ifølge offentlige tjenestemenn er det tegn som tyder på at reguleringen fungerer som den skal. Ifølge nye målinger, denne gangen utført av EU, klarte Facebook i 2017 å slette 100 prosent av de rapporterte meldingene.
Plattformene for sosiale medier er også forpliktet til å rapportere hva de har oppnådd annethvert år. Den første serien med rapporter ventes i juli.
På Facebooks Berlin-kontor innrømmer direktør Richard Allan at selskapet ikke handlet besluttsomt nok under den første, frivillige avtalen.
Han viser til en annen uavhengig rapport fra EU-kommisjonen, som ble publisert sommeren 2017, og som viser at Facebook allerede på det tidspunktet maktet å fjerne 80 prosent av all den innrapporterte hatretorikken i Tyskland.
Ikke bare Tyskland. Grunnen til forbedringen var ikke tysk lovgivning, mener han, men en frivillig avtale om en adferdskodeks som selskapet inngikk med EU. For Facebooks resultater er blitt bedre i alle EU-land, ikke bare i Tyskland, ifølge Allan.
Før var Tyskland en outsider i Europa på grunn av sin harde linje overfor hatefulle ytringer og for sitt personvern på internett. EUs justiskommisjonær i Brüssel, Vera Jourova, mener å kunne se en utvikling som plasserer Tyskland mer midtstrøms. Hun slettet for øvrig Facebook-kontoen sin i 2015 fordi hun ikke lenger orket alt hatet.
– Det føltes bra, sier hun om å trykke på slett-knappen.
– Jeg fikk tilbake følelsen av å ha kontroll.
Samtidig er Jourova, som vokste opp bak jernteppet i datidens Tsjekkoslovakia, skeptisk til at regjeringer skal lovregulere områder av ytringsfriheten – inkludert hatefulle ytringer.
Da Tyskland begynte å vurdere ny lovgivning, foretrakk hun selv en frivillig adferdskodeks. I 2016 lovet sosiale medier som Facebook brukerne sine enkle rapporteringsverktøy, og at de fleste innrapporterte, illegale poster ville bli fjernet innen 24 timer.
Ifølge Jourova fungerte denne fremgangsmåten tilstrekkelig bra. Det var også den raskeste veien å gå, fordi EUs 28 medlemsstater var svært uenige om og hvordan man skulle regulere feltet.
Men mange regjeringers holdning til Facebook endret seg etter at det ble kjent at konsulentselskapet Cambridge Analytica har høstet persondata fra opptil 87 millioner brukere. Medlemmer av EU-parlamentet har invitert Zuckerberg til Brüssel for «avklare spørsmål knyttet til bruken av personlige data», og han har sagt seg villig til å komme.
Bygger på tillit. Jourova, som har ansvar for personvernet til 500 millioner europeere, er også blitt mer skeptisk.
– Det systemet som vi har for tiden, bygger på tillit, og det som har skjedd har ikke styrket tilliten, sier hun.
Det systemet som vi har for tiden, bygger på tillit, og det som har skjedd har ikke styrket tilliten
— Vera Jourova
– Spørsmålet er hvordan vi skal fortsette i tiden fremover, sier Jourova.
EU-kommisjonen vurderer å innføre en lignende lovgivning som Tyskland når det gjelder terrorisme, voldelig ekstremisme og barnepornografi, inkludert bøter for sosiale medier som ikke fjerner ulovlig innhold innen en time etter at et varsel er mottatt.
Flere land – blant annet Frankrike, Israel, Italia og Canada – har sendt forespørsler til den tyske regjeringen for å høre om erfaringene med den nye lovgivningen mot hatretorikk.
Dessuten er Tysklands innflytelse tydelig i EUs nye forordning om personvern, allment kjent som GDPR (General Data Protection Regulation). Forordningen skal gir folk kontroll over hvordan personlig informasjon blir lagret og brukt.
Delvis inspirert av personvernlovgivningen på 1980-tallet, ble forordningen utformet av en rekke fremtredende tyskere. Jourovas stabsleder, Renate Nikolay, er tysk. Det samme er hennes forgjengers stabsleder, Martin Selmayr, som nå er EU-kommisjonens generalsekretær. Og i EU-parlamentet ligger saksordførerskapet for forordningen også i tyske hender.
– Vi har bygget på den tyske tradisjonen, som ser personvern som en del av borgernes grunnlovfestede rettigheter. På denne måten har vi skapt den meste moderne lovgivningen innen den digitale økonomien, sier Nicolay.
– For å lykkes i det lange løp, er selskaper avhengige av brukernes tillit, fortsetter hun, og legger til:
– Senest siden Cambridge Analytica er det blitt klart at personvern ikke er noe sprøtt påfunn fra EU, men at det handler om konkurranseevne.
Brev i posten. Den 26. mars sendte Jourova et brev – med vanlig post, ikke som e-post – til Sheryl Sandberg, som er administrerende direktør i Facebook.
«Er det behov for strengere regler for sosiale medier, slik det finnes for tradisjonelle medier?», spurte hun. «Er europeernes persondata berørt av den aktuelle skandalen?», tilføyet hun med henvisning til Cambridge Analytica-episoden. Og, i så fall: «Hvordan planlegger dere å informere brukerne om dette?»
Hun ba om et svar innen to uker, og det fikk hun. Rundt 2,7 millioner europeere ble berørt, skrev Sandberg. Men hun unnlot å svare på Jourovas spørsmål om behovet for regulering.
– Det brer nå om seg en følelse av at det haster, en følelse av at vi har å gjøre med noe som er svært farlig, og som i verste fall kan true de frie demokratiene, sier Jourova, som også prøver å bekjempe falske nyheter og kampanjer som driver med bevisst feilinformasjon.
– Vi vil at teknologigigantene respekterer og følger lovgivningen vår, legger hun til. Videre forteller hun at hun vil at gigantene skal utøve samfunnsansvar når det gjelder personvern og hatretorikk.
Det ønsker også de ansatte i Facebook, ifølge Facebook-direktør Richard Allan.
– Vi rekrutterer omtenksomme og prinsippfaste mennesker, sier han.
– Våre ansatte arbeider for oss fordi de ønsker å gjøre verden til et bedre sted. Så når det påstås at produktet de arbeider med er til skade for folk, så får det konsekvenser, fortsetter han, og avslutter med å fortelle at kritikken går hardt inn på de ansatte i selskapet.
Marerittmeldinger. Nils jobber åttetimersvakter. På travle dager ligger det 1500 rapporterte meldinger i bunken hans. På mindre travle dager er det bare 300. Noen av kollegene hans får mareritt om det de ser.
Rett som det er, er det noen som bryter sammen. En mor styrtet nylig gråtende fra plassen sin etter å ha sett på en video med et barn som ble seksuelt misbrukt. En ung mann ble fysisk dårlig etter å ha sett en video av en hund som ble torturert. De ansatte ser tenåringer som skader seg selv, og hører jenter fortelle hvordan de ble voldtatt.
De ansatte har ukentlige møter med en psykolog, og en traumespesialist står alltid beredt. I mer alvorlige tilfeller henter senteret inn eksperter fra sykehus i Berlin.
På senteret, som er dekorert med Facebook-logoer, finnes det et lite rom som er innredet for å lindre tynnslitte nerver: fargene er dempet, dekorativ mose pryder veggene, og et fat med fersk frukt står fremme.
For å lette på trykket, er det ikke uvanlig at de ansatte forteller hverandre om det de ser av meldinger. Ikke fordi de er kontroversielle, men «bare for moro skyld», sier en arabisktalende ansatt. Han er sønn av en libanesisk flyktning, og jobber med innhold knyttet til terrorisme generelt og Den islamske stat spesielt. Det er blitt slik, sier han, at bilder av «rare hudsykdommer» går mer inn på ham enn bilder av halshugging. Nils synes at idrettsskader, som benbrudd, er særlig forstyrrende.
Kollegaene på senteret har et godt fellesskap, og en følelse av at de har en viktig misjon: Nils sier at de ansatte er stolte av å bidra til å «rense vekk hatet.»
© 2018 New York Times News Service
Oversatt av GLOBALscandinavia AS