---
Ukens spørsmål
Noen ganger virker det som en får helt ulike svar fra forskere avhengig av hva slags forskere en spør. For å sette galskapen i et tverrfaglig system vil vi i denne spalten stille det samme spørsmålet til tre medlemmer av Akademiet for yngre forskere, fra ulike fagdisipliner.
[ Flere spørsmål – og ikke minst svar – finner du her. ]
---
Kjære forskere. I offentlige debatter skiller man ofte mellom opplysninger og argumenter som har dekning i forskning – og alt annet. Det som er vitenskapelig, og alt som ikke er det. Så til spørsmålet: Kan vi egentlig måle kvalitet i forskning? All forskning er vel ikke like bra?
Hilsen forskerfant
Marianne Hem Eriksen, førsteamanuensis i arkeologi, Universitetet i Oslo
Det finnes mange bløte vitser om arkeologi («I’m an archaeologist, I’ll date anything»). En vitenskapsteoretisk variant er at arkeologien som eneste fagdisiplin systematisk ødelegger sitt eget kildemateriale. Når arkeologer graver ut fortidens bosetninger, byer eller gravmonumenter, ødelegger vi samtidig de materielle sporene som er vårt primærmateriale. Vi sitter igjen med gjenstander, naturvitenskapelige prøver og dokumentasjon, men kulturlagene er borte. Samtidig er målet å forstå komplekse samfunnsstrukturer som forestillingsverdener, kroppspraksis, politikk, økonomi, sosial ulikhet, og så videre, ut fra gjenstander, byggverk, infrastruktur og landskap.
Spoiler alert: Vi har ikke tidsmaskiner. Vi har i bred forstand ikke mulighet til å foreta eksperimenter som bekrefter eller avkrefter en hypotese. Med unntak av samtidsarkeologene har vi ingen informanter å spørre. Og selv om man på 1960- og -70-tallet forsøkte å avdekke universelle lover for menneskelig adferd, tror jeg vi kan legge den ballen ganske død (nå kommer jeg til å hisse på meg evolusjonspsykologene).
Så hvordan kan vi skille mellom god og dårlig forskning om fortiden? Det er skrevet lange bøker om arkeologiens epistemologi, og jeg kan umulig lodde dybden her. Så her er en personlig kortversjon:
• Fortidens ting finnes. Det er grunndata som ikke tillater uhemmet spekulasjon.
• Hvis artikler eller bøker hevder å ha funnet den hele og fulle sannheten om et fortidig samfunn, tar de feil.
• Når man skriver om samfunnet kun fra perspektivet til overklassens menn (konger, høvdinger, krigereliten), er det også kun en brøkdel av fortiden man undersøker.
• Selv om DNA-analyser av mennesker fra forhistorien er mer populært enn noen gang, også hos forskningsrådene, er mennesket mer enn sin genetiske sammensetning.
• Det er aldri, aldri aliens.
Jeg hørte en gang en hjerneforsker si på radio at det gjenstår å se om hjernen er i stand til å forstå seg selv. Det gjenstår også å se om mennesket er i stand til å forstå seg selv. Antagelig ikke helt.
Har du et spørsmål til forskerne? Send det til ukens@morgenbladet.no
Jørgen Bølstad, førsteamanuensis i statsvitenskap, Universitetet i Stavanger
La meg først si at det har stor verdi at offentlige debatter forankres i forskning. Samtidig er det betydelig variasjon i kvaliteten på publiserte studier. Kan vi så måle dette på en effektiv måte? Det er fristende å si nei, men la oss heller si at det er vanskelig. Og som vanlig når noe er vanskelig å måle, så fokuserer vi gjerne heller på ting som er enklere å måle, men som ikke er helt det samme. Et eksempel her er hvor ofte en artikkel siteres. Det er selvsagt fint at en studie får oppmerksomhet og siteres, men det er vel få som vil påstå at dette i seg selv er kvalitet – noen studier siteres jo nettopp fordi de er dårlige eller kommer med kontroversielle påstander.
Et annet mål som mange lener seg på, er prestisjen til tidsskriftet en artikkel publiseres i (noe som igjen ofte måles i hvor mange siteringer tidsskriftet får per artikkel). Dette er ikke helt urimelig fordi fagfellevurderingen i anerkjente tidsskrifter typisk holder langt høyere kvalitet enn i svakere tidsskrifter. Grunnen er at dyktige forskere oftere takker nei til å være fagfelle i tidsskrifter som de hverken leser eller har tenkt å publisere i selv. Dessuten har mindre anerkjente tidsskrifter færre innsendte bidrag å velge mellom, slik at terskelen for å komme på trykk blir lavere.
Likevel fanger ikke slike mål opp det mest grunnleggende kvalitetskriteriet, nemlig hvorvidt det som rapporteres, faktisk er riktig. Det er tross alt fullt mulig å skrive en studie som ser fantastisk ut på overflaten, men som ikke holder vann. Hvorvidt funnene holder, vet vi strengt tatt ikke før andre forskere har forsøkt å reprodusere dem – og vi vet dessverre at det innen mange fag er en betydelig andel studier som ikke består denne testen. Derfor bør vi nok være forsiktige med å vektlegge enkeltstudier som presenterer overraskende funn – de mest overraskende resultatene er kanskje de som har høyest sannsynlighet for å være gale. Det fine med vitenskapen er imidlertid at den er selvkorrigerende: Feil og svakheter blir stort sett luket ut over tid.
Thomas Gjesteland, professor i fysikk, Universitetet i Agder
I realfagene bruker vi som oftest tall og matematikk når vi forsker. Vi bruker også ofte hypotetisk-deduktiv metode. Denne metoden går ut på at man har en mulig forklaring på et spørsmål, en hypotese. Hypotesen testes, og hvis den består prøven så er hypotesen styrket. Mange kjenner denne metoden fra skolen. Det er derfor lett å tro at all «god forskning» er basert på tall, matematikk og hypotetisk-deduktiv metode. Slik er det selvsagt ikke (se arkeologens svar over). Det finnes mange forskningsmetoder og det finnes mange forskningsfelt. Gjennom studiet lærer man det grunnleggende i faget, man lærer metodene som brukes og man veiledes til å bli forsker. Først etter avlagt doktorgrad er en klar til å forske på egen hånd. Denne grundige forskerutdanningen (minst åtte års studier og avlagt doktorgrad) er en måte å sikre god kvalitet i forskning på. Men fortsatt vil det nok alltid være forskjell i kvaliteten.
Det er ikke alltid så lett å vite hva som er god og dårlig forskning utenfor sitt eget fagfelt. Jeg klarer selv å skille mellom god og dårlig forskning på lyn og tordenskyer. Her kjenner jeg fagfeltet, jeg vet hva som er blitt gjort tidligere, og jeg kjenner til hvilke vitenskapelige metoder som fungerer. I andre fagfelt er jeg på tynnere is. La meg allikevel prøve å si noe om et annet fagfelt.
I 2013 publiserte strålingsonkolog Jonathan D. Schoenfeld og medisinprofessor John P.A. Ioannidis en artikkel i American Journal of Clinical Nutrition som heter «Is everything we eat associated with cancer?». I denne studien valgte de tilfeldig ut 50 råvarer fra oppskrifter i kokeboken The Boston Cooking-School Cook Book (1896). De gjennomgikk deretter forskningslitteraturen og undersøkte hvilke av disse råvarene som førte til kreft og hvilke som beskyttet mot kreft. De fant ut at for de fleste råvarer, som for eksempel smør, melk, kaffe og mais, viste halvparten av artiklene at råvaren beskytter mot kreft, mens de andre artiklene viste at råvaren førte til økt kreftfare. Hva skal vi så gjøre når forskning viser at melk både hjelper mot og fører til kreft?
Jeg mener vi kan bruke denne artikkelen til et logisk resonnement: Enten er forskningen til Schoenfeld og Ioannidis av dårlig kvalitet, eller så er flere av artiklene som er analysert i studien til Schoenfeld og Ioannidis, av dårlig kvalitet. Det er, med andre ord, forskjell på forskning.