Balladen om to vitenskapelige artikler

Et blikk bak den vitenskapelige publiseringens lukkede dører.

Det er tre ting du ikke vil vite hvordan blir til: Pølser, politikk og vitenskapelige papers; eller artikler, på litt bedre norsk. Veien frem mot å kunne slå seg på brystet og utbasunere at «forskning viser», kan være tornete. I ettertid kan den også være perverst underholdende. Her får du mine personlige historier om to relativt ferske papers, og hva de måtte gjennomgå før de kunne tres gjennom nåløyet og bli publisert. Den ene er en solskinnshistorie. Den andre er egnet til å skremme vannet av selv den mest velfinansierte PhD-student. Les videre på eget ansvar.

Forskning viser at klimagasser og aerosoler har ulik effekt på nedbør

Vi begynner på solsiden. 2. februar 2016 sendte jeg en artikkel inn for vurdering i tidsskriftet Geophysical Research Letters (GRL), som er et relativt anerkjent sted å publisere korte, poengterte artikler innen geo- og klimafag. Tittelen var tørr, mens temaet var fuktig: «Fast and slow precipitation responses to individual climate forcers: A PDRMIP multimodel study» beskriver de første resultatene fra en stor, internasjonal sammenligning av nedbør i ni store klimamodeller. 17 forfattere hadde bidratt, både med resultater og med å sjekke artikkelen før innsending. Jeg var hovedansvarlig.

Normal gang etter en slik innsending er som følger: Journalen velger en intern redaktør til å ta ansvar for artikkelen. Redaktørene hos GRL er fagpersoner som bidrar frivillig. Redaktøren finner så 2-3 uavhengige forskere med bakgrunn innen det artikkelen handler om, og ber dem vurdere innhold, figurer, faglig nivå, språk og så videre. Kort sagt: Er dette en artikkel som fortjener å publiseres i GRL? Bør det gjøres noe med den før den godtas og trykkes? Eller bør den avvises blankt?

Review-prosessen, eller fagfellevurdering, er hjertet av vitenskapelig publisering. Den kan være snill og nyttig, eller den kan være langtrukket, smertefull og høyst lite konstruktiv. Jeg var derfor, tross en del erfaring etter hvert, spent på hva som ville skje med min tungt tittulerte artikkel.

Resultatet var et sted mellom overraskende og sjokkerende.

Første svar kom alt en ukes tid etter innsending, noe som er veldig raskt i denne sammenhenegen. Artikkelen var vurdert av en reviewer, og denne personen var såpass positiv at redaktøren, som viste seg å være sjefsredaktøren for tidsskriftet, valgte å godta artikkelen. De enseste ønskede endringene var noen bittesmå klargjøringer og et par trykkfeil.

Jeg jublet, flyttet noen kommaer og la på et par ekstra referanser til tidligere forskning, og sendte den inn igjen. 19. februar, bare litt over to uker etter første innsending, var artikkelen endelig akseptert. 25. februar var den tilgjengelig på nett. Hittil i karriæren har jeg aldri opplevd en så rask publiseringsprosess. At den kom fra et såpass anerkjent tidsskrift gjør det enda mer tilfredsstillende.

Dette var solskinnshistorien. Men, før vi skrur av sola og stuper ut i mørket, la oss analysere hvorfor nettopp denne artikkelen gikk så greit gjennom systemet. Var det på grunn av mine enorme ferdigheter som forsker og artikkelforfatter? Naturligvis (kremt), men vi må kanskje se etter andre faktorer også…

Flaks kan være en av dem, ved at artikkelen ble sendt til en person som viste seg å både forstå den, og dessuten like den. Imidlertid tror jeg det er to, helt andre, hovedgrunner til suksessen. Begge springer ut av personene jeg hadde som medforfattere. Mange av dem er svært erfarne forskere, og har anerkjente navn innen klimafeltet. Den positive effekten av dette er at de ikke slipper gjennom en artikkel med navnet sitt på, før de er helt fornøyde. Den egentlige fagfellevurderingen av min artikkel startet måneder tidligere, da jeg sendte første utkast til medforfatterne. Deres innspill gjorde at den var ganske solid, alt før innsending. Den andre, ikke fullt så positive effekten, og som jeg bare gjetter på, er at redaktøren av tidsskriftet også la merke til disse navnene. Kjente forfattere, kombinert med en positiv review, var nok.

Hadde jeg (som nok ikke har et så kjent navn) vært eneforfatter, ville redaktøren garantert hentet inn både en og to vurderinger til – og da ville vi vært tilbake på flaksen. Ville de likt artikkelen, eller ville de hatt en eller annen merkelig innvending som jeg aldri ville greit å svare på? Synd men sant: Navn betyr noe, også i den forsøksvis objektive forskerverdenen. Flere tidsskrift har blitt klar over dette, og tilbyr nå fagfellevurdering der både forfatterne og fagfellene er anonyme for hverandre. Det høres for meg ut som en god ide.

Dette bringer oss til neste artikkel, og dens mange prøvelser:

Forskning viser at klimaeffekten av sot er mindre enn vi har trodd

For snart tre år siden startet en gruppe forskere på jobben med å få et dypt og detaljert studium publisert. De var interessert i hvor sterk klimaeffekt alle de enorme utslippene våre av sot har, relativt til andre utslipp som sulfater, nitrater og – så klart – drivhusgassene. Sot har mange måter å påvirke klimaet på, og betyr i tillegg mye for luftkvalitet og lungesykdommer.

Forfatterne av denne studien visste at det var en uoverensstemmelse mellom et sett med ganske grundige målinger fra rundt om i verden, og de fleste klimamodeller. De hadde også tilgang til informasjon om utslipp fra Asia, den største kilden til menneskeskapt sot, som var mye mer detaljert enn tidligere – såpass detaljert at klimamodellene slet med å utnytte den. Ved å tilpasse en stor, grundig modell til å ta i bruk denne nye informasjonen klarte de å sterkt bedre sammenligningene med målinger. De fikk dessuten resultater som viste at den totale klimaeffekten ble mindre. Ergo: Sot kan ha varmet verden mindre enn vi har antatt de siste hunde årene.

Så langt er alt vel. Slike studier er det ganske mange av, og hver gang noen gjør en forbedring i forståelsen av sot, så sjekker de gjerne også hva effekten er for klimaet. Resultatene spriker – som de gjerne gjør i et felt som er i rask utvikling. Jeg har også gjort dette i et par andre artikler, og fått resultater som stemmer godt med det denne nye artikkelen forsøkte å nå ut med.

Sot er imidlertid også et kontroversielt tema innen klimafaget, noe som raskt skulle bli tydelig.

Forfatterne av studien, som i første omgang ikke inkluderte meg, var ganske stolte av den. De ville forsøke å få den publisert i et av de absolutt beste tidsskriftene, for at den skulle bli lest av flest mulig. Disse tidsskriftene – Science, Nature og deres mer spesialiserte søstertidsskrifter – har et ekstra nivå i fagfellevurderingen. Først vurderer redaktøren om artikkelen i det hele tatt er verdt å ta imot for vurdering. En slik for-vurdering er nødvendig fordi de får så enormt mange artikler hver eneste uke. Bedre å sile ut de som uansett ikke vil nå opp alt på et tidlig tidspunkt, slik at de raskt kan gå videre til et annet tidsskrift. Slik forklarer Nature og Science det i hvert fall selv, og oppgir at bare en av ti innsendte artikler blir tatt videre til fagfelevurdering.

Ved første innsending ble sot-artikkelen ikke tatt videre. Forfatterne ga seg imidlertid ikke med det. De redigerte og forbedret, og sendte den så til et annet av dem: Nature Climate Change (NCC).

NCC var interessert i artikkelen, og sendte den til fagfellevurdering. En av fagfellene de kontaktet var meg. Jeg hadde jobbet med tilsvarende ting, så jeg tok imot oppdraget om å lese og vurdere de nye resultatene. Et par uker sendere sendte jeg svar til journalen, som så ble videreformidlet – anonymt – til forfatterne. Jeg var generelt positiv, og anbefalte NCC å trykke artikkelen, men bare hvis de først kontrollerte et par faktorer jeg mente de ikke hadde vurdert grundig nok. Faktorene var, kanskje ikke så rart, ting jeg selv hadde studert og dermed hadde enda bedre kjennskap til enn forfatterne.

Så skjedde en rar ting, som nok var med på å forsinke artikkelen. Forfatterne var enige i at de måtte ta hensyn til mine kommentarer, og valgte å kontakte en ekspert for å få hjelp: Meg.

I første omgang sendte jeg dem bare informasjonen de ba om, uten å si noe om at jeg hadde vurdert artikkelen og at jeg nå besvarte mine egne spørsmål. Imidlertid ble det raskt klart at artikkelen måtte utvides litt, både med ekstra figurer og tabeller, og siden jeg leverte tallene inviterte de meg – som er kotymet – til å bli medforfatter.

Å være både forfatter og fagfelle går naturligvis ikke. Jeg kontaktet derfor journalen og spurte hva jeg burde gjøre. De sa at situasjonen var helt uproblematisk så lenge jeg umiddelbart trakk meg som fagfelle, og at forfatterne fortsatt ville ha meg når de fikk hele sannheten. Det ville de. Hyggelig for meg – men hva med artikkelen?

NCC kalte inn en fagfelle til, som erstatning for meg. Dette tok litt tid, og så måtte personen få noen uker til å lese og jobbe. I alt tok det over en måned fra jeg trakk meg, og til den endelige vurderingen var klar. Den nye fagfellen var omtrent like positiv som jeg hadde vært, men påpekte samtidig noen nye, små momenter.

Var dette alt, så ville NCC ha trykket artikkelen. Imidlertid var det også en tredje fagfelle med på laget. Denne personen var sterkt negativ, og hadde noen ganske tekniske innvendinger til bruken av statistikk.

Vi jobbet, til tider ganske hardt, og følte at vi klarte å besvare kritikken. Metoden i artikkelen, Bayesiansk statistikk, er noe uvanlig innen klimafeltet, så det krevde en del ekstra forklaring. NCC brukte så en del tid på å vurdere, før de sendte svarene våre tilbake til fagfellene. Disse brukte i tur en del tid, før vi på ny fikk et sett med svar. Min erstatter var fornøyd. Den andre var ikke. I kommentarene ble det klart at personen ikke helt hadde sans for antydningen om at klimaeffekten av sot skulle være lav – noe som talte en annen fersk og svært autoritativ vurderingsartikkel midt i mot. Så måtte vi besvare igjen, og begrunne ytterligere. Fagfellen fikk artikkelen en tredje gang, men var fortsatt ikke fornøyd. De samme innvendingene kom på nytt, selv om vi mente at de var grundig besvart.

Da sa NCC stopp – og dessverre ikke i vår favør. De valgte å tolke uenigheten vår dithen at uansett om resultatene var korrekte og spennende, noe redaktøren sa at hun mente de var, så ville de kreve såpass mye forklaring at de passet bedre i et tidsskrift som tilbø bedre plass til tekniske begrunnelser. De sa nei – nesten et år etter første innsending.

Etter en slik runde slikker man gjerne sine sår en liten stund, før man sender inn til et tidsskrift med mer normal fagfelleprosedyre. Vi var jo aldri i tvil om at resultatene var gode og viktige, og ville bli publisert til slutt. Videre gang er imidlertid opp til hovedforfatter, og han mente vi burde forsøke noen topp-tidsskrifter til. Av og til gjør det gangen enklere hvis vi kan vise til at et annet tidsskrift nesten har tatt artikkelen, og at vi har vært utsatt for en litt kranglevoren fagfelle. Tre slike forsøk til ble gjort, men dessverre uten hell. Begrunnelsene varierte, men inneholdt gjerne en frase om at artikkelen var for teknisk og lite tilgjengelig. Det er ikke uten grunn at topp-tidsskriftene av og til omtales som forskningsverdenens tabloidaviser. De vil ha overskrifter og pene resultater – men ikke tekniske utlegninger og lange tankerekker.

Denne serien med mislykkede innsendelser forsinket naturligvis artikkelen – men ikke så mye, siden hvert tidsskrift ga svar relativt raskt. Den siste, virkelig utrolige rundten for vår etter hvert så kjære sot-artikkel kom da vi i 2015 sendte den til et svært anerkjent men «normalt» tidsskrift: Journal of Geophysical Research – Atmospheres (JGRA). (Tilfeldigvis et søster-tidsskrift til GRL, der den første artikkelen jeg fortalte om så raskt ble publisert.)

Hos JGRA ble artikkelen sendt til vurdering, slik alle manuskript de mottar blir. En måneds tid gikk, så fikk vi igjen tre vurderinger. To av dem var positive, og ga relativt korte kommentarer med få ønsker. Vi hadde tross alt forbedret artikkelen for hver runde i tidligere vurderinger, så mange av de åpenbare problemene var alt luket ut.

Den tredje fagfellen, derimot, likte IKKE artikkelen vår. Der den kritiske fagfellen i NCC hadde vært skeptisk, var denne direkte fientlig. «Innledningen,» begyyner vurderingen, «er tragisk utilstrekkelig. Hadde forfatterne lest , ville de funnet original forskning som dekket mange av deres problemstillinger. Den artikkelen ble sendt inn alt i 2012, men gjør likevel en bedre jobb med litteraturgjennomgangen.» Hele fjorten ganger blir vi fortalt at hadde vi bare lest et par andre artikler, som tilfeldigvis alle var skrevet av samme person (ja, vi skjønte raskt hvem den anonyme personen var…), ville vi visst bedre enn å hevde at klimaeffekten av sot kunne være LAV. I virkeligheten hadde vi så klart lest disse artiklene, og siterte til og med en av dem, men vurderte dem ikke som så sentrale at de burde være de eneste kildehenvisningene vi brukte… Vi siterte imidlertid mange andre artikler som var uenig med vår egen, så innvendingene her virket fra første stund lite faglig motiverte.

Kort fortalt var denne fagfellen uenig i konklusjonene våre, mer enn han var uenig i selve forskningen, og sint fordi vi ikke la nok vekt på hans egen forskning. Metoden vår hadde han lite å si på, men det hindret ham ikke i å sende fire runder med stadig sintere vurderinger av artikkelen.

Først i mai 2016, et halvt år ut i prosessen, skar redaktøren gjennom – og denne gangen gikk det vår vei. Innvendingene ble avvist som irrelevante, og artikkelen kom endelig på trykk. Jeg satt tilfeldigvis i samme rom som en del av medforfatterne da den gledelige eposten kom, og jubelscenene fra ellers sindige forskere var nesten rørende. Vi mener at resultatene er ganske viktige, så å endelig få dem presentert for resten av kollegene våre i ferdig form er et godt steg videre.

Alt i alt tok det nesten tre år fra innsendelse til publikasjon. Hvis hovedforfatteren hadde vært PhD-student, og sendt inn artikkelen tidlig i stipendiatperioden, ville den fortsatt ikke vært klar til disputasen… Grunnen til at det tok så lang tid var en blanding av ønsket om å publisere så høyt og synlig som mulig, og uflaks med fagfellene. Samtidig ga de andre fagfellene, de som var positive men konkstruktivt kritiske, svært gode og nyttige innspill gjennom mange runder, slik at artikkelen som nå er på trykk er noe av det mest bunnsolide jeg har vært med på.

Forskning viser at…

Det er tre ting du ikke vil vite hvordan blir til: Pølser, politikk og vitenskapelige papers.

Dette utsagnet er morsomt fordi vi skjønner at vi egentlig burde brydd oss om alle tre. Det er ikke vilkårlig hva som puttes i pølsene til barnas sommerfest. Ei heller er det irrelevant hvordan Norges eldre-, flyktninge- eller klimapolitikk blir som den blir. I et samfunn hvor «forskning viser» stadig oftere brukes uten begrunnelse, er det heller ikke irrelevant hva som skal til for å få forskning publisert i et tidsskrift. Fagfellevurdering er ikke ufeilbarlig, og den kan – dessverre – ofte være både tilfeldig og rar. Min erfaring er imidlertid at alle artiklene jeg har hatt inne til vurdering, har blitt bedre av prosessen. Noen bare litt, andre veldig mye. Dette er hovedverdien i fagfellevurdering. Om det «forskning viser» faktisk er fornuftig, det bør vi alle makte å stille kritiske spørsmål til – samme hvor høyt og flott en artikkel er publisert.

Kilder:
«Fast and slow precipitation responses to individual climate forcers: A PDRMIP multimodel study», DOI: 10.1002/2016GL068064
«Estimation of global black carbon direct radiative forcing and its uncertainty constrained by observations», DOI: 10.1002/2015JD024326