Peer-Reviewing – Come Funziona?

DISCLAIMER – La mia esperienza e conoscenza del processo di peer-reviewing è da ricercatore nel campo della chimica e di impiegato per un publisher in giornali che trattano di scienze come nanotecnologia, sensori e materia soffice. Le informazioni condivise qui sono sicuramente valide, ma probabilmente non totalmente applicabili ad articoli di scienze sociali, psicologia e altre discipline. Rivolto a chiunque trovi che sia necessario aggiungere informazioni, contattatemi pure scrivendo un commento all’articolo.

“Studi scientifici dicono che”, “un articolo scientifico dice che”, “la scienza dice che”. Quante volte è facile imbattersi in frasi di questo tipo.

Ma sappiamo veramente cosa voglia dire “articolo scientifico” e quale sia tutto il lavoro che c’è nella pubblicazione di uno studio?

In questa serie di articoli affronteremo insieme l’industria del publishing scientifico, cercando di imparare cosa vuol dire quando si afferma che “la scienza dice che”.

Parte 1.1 – Il Peer Reviewing

La definizione della locuzione “peer-reviewing“, in italiano “revisione paritaria”, è la seguente: “Nell’ambito della ricerca scientifica, la procedura di valutazione e di selezione degli articoli o dei progetti di ricerca effettuata da specialisti del settore per verificarne l’idoneità alla pubblicazione o al finanziamento.” – [Oxford Dictionary]

Insomma, quando un articolo è peer-reviewed  si porta addosso una sorta di stampo di approvazione da parte di altre persone competenti che lavorano nella ricerca e fanno parte della comunità scientifica.

Ma che vuol dire peer-reviewing?

Il funzionamento di questo processo di revisione si articola in più fasi, che possono durare mesi e che coinvolgono tantissime persone e tantissime entità editoriali.

Per capirci, questo articolo che state leggendo non è sottoposto a peer-reviewing.

I quotidiani e le testate giornalistiche non sono peer-reviewed, esattamente come non lo sono i libri di ricette e i romanzi.

Questo non vuol dire che quello che state leggendo sia falso o non di valore, né che non sia stato revisionato da persone diverse da chi lo ha scritto.

Il fatto che un articolo, o un testo in generale, sia sottoposto a peer-reviewing vuol dire che la sua pubblicazione dipende da una serie strutturata di passaggi legati all’approvazione di persone che lavorano nella comunità scientifica e dell’ufficio editoriale dell’ente che lo pubblica.

In questo articolo analizzeremo la “vita” di un articolo scientifico, dalla sua stesura alla sua pubblicazione. L’obiettivo è di cercare di fare chiarezza su cosa voglia dire “articolo scientifico” e su quale siano le implicazioni di questa definizione.

Per non farci mancare nulla, cercheremo di affrontare anche quali siano i metodi con i quali la scienza viene pubblicata e quali siano i loro punti forti e le loro criticità.

Partiamo dalle basi…

Gli articoli scientifici vengono pubblicati su specifici giornali.

Alcuni di questi giornali sono molto conosciuti anche al di fuori della comunità scientifica (ad esempio, Nature e Science), altri giornali sono famosissimi all’interno di specifiche comunità, ma non all’esterno di queste (Angewandte Chemie).

Esistono migliaia di giornali scientifici, più o meno specifici e più o meno focalizzati in uno specifico campo dello scibile umano.

I giornali scientifici sono raggruppati in grossi insiemi, ossia i “gruppi editoriali” che li gestiscono (in inglese publisher).

Un esempio molto chiaro di questa cosa è il publisher di nome Frontiers, che accoglie sotto la sua ala decine e decine di giornali differenti. I giornali del gruppo editoriale Frontiers sono facilmente individuabili, perché si chiamano tutti “Frontiers in qualcosa”.

L’appartenenza dei giornali ad altri gruppi editoriali può essere meno direttamente comprensibili, altri publisher noti sono Springer (che contiene Nature) e ACS Publishing, il gruppo editoriale della Società Chimica Statunitense.

I publisher sono, di fatto, aziende che gestiscono la parte pratica della pubblicazione degli articoli.

Tutte le persone che lavorano per un publisher si occupano della parte “tecnica” della pubblicazione: gestione e progettazione dei siti internet, formattazione, impaginazione, management delle risorse, immagazzinamento e manutenzione delle informazioni, eccetera eccetera.

Ma quindi chi si occupa di sincerarsi che gli articoli pubblicati abbiano effettivamente “senso” dal punto di vista scientifico?

Chi lavora in un publisher ha necessariamente un bagaglio culturale tecnico-scientifico? No, ad assicurarsi della “qualità” degli articoli che vengono mandati ai giornali si occupando delle figure affiliate al giornale, ma esterne ed indipendenti, il cosiddetto “consiglio di redazione”, o editorial board.

Ogni giornale ha un insieme di persone appartenenti alla comunità scientifica che servono da “editor” per il giornale stesso. L’editor è partner indipendente del giornale, non riceve retribuzione diretta da parte del publisher e offre consulenza specializzata nel campo in cui lavora.

Il fatto che non ci sia un rapporto contrattuale fra editor e publisher garantisce che non ci siano conflitti di interesse e che ogni decisione presa dal gruppo di editor sia indipendente dalla volontà dell’azienda.

I consigli di redazione indipendenti sono davvero 100% indipendenti, non devono fare l’interesse dell’azienda, anzi. Ci sono stati casi (un esempio lo trovate qui) in cui i consigli di redazione si sono messi completamente di traverso alla “volontà” del gruppo editoriale, con l’obiettivo di mantenere il processo di revisione etico e corretto.

Parte 1.2 – il processo di Peer-Review

Step 1 – consegnare l’articolo al giornale, desk rejection e il potere del publisher

Una volta che l’articolo è completo, va deciso a quale giornale inviarlo.

La scelta del giornale dipende da vari fattori, di cui primo fra tutti è l’impatto che quel giornale ha (e, quindi, la visibilità che l’articolo potrà avere, di conseguenza). Cosa blocca le persone dal mandare tutti gli articoli a Nature a Science? Il fenomeno della desk rejection.

Quando un articolo arriva nella casella di posta del giornale scelto il primo passo è una serie di screening sul contenuto, la forma e il format dell’articolo. Questo controllo è messo in atto sia dall’editor a capo del giornale (che, vi ricordo, non è pagato dall’azienda), sia da uno o più team dell’azienda stessa.

Si controllano potenziali conflitti di interessi, qualità della lingua, struttura del testo, tutta una serie di dettagli pratici sulla leggibilità e valore generale dell’articolo.

La maggior parte degli articoli (più del 75-80%, nel caso di Nature) non passa questa fase e viene, in gergo tecnico, desk rejected, ossia, rigettato all’arrivo, “sulla scrivania”.

Step 2 – l’articolo va in mano all’editor che decide su chi sarà a revisionare l’articolo

Una volta che l’articolo passa la prima fase, entrano in gioco altre persone esterne all’azienda che pubblica, dette reviewer (ossia, “che revisionano”). Queste persone sono scelte dall’editor sulla base della loro esperienza nel campo e, come l’editor, anche loro fanno questo lavoro in maniera totalmente gratuita e pro bono.

Ovviamente, essendo un processo basato sul volontariato, una persona chiamata a gestire la revisione di un’articolo si può sempre rifiutare (sia per eventuali problemi di conflitto di interessi, sia per effettiva mancanza di tempo).

Per capirci, un articolo scientifico, in media, è revisionato da due o tre reviewer.

Step 3 – il processo di revisione e le sue varianti

Una volta che il gruppo di reviewer accetta di revisionare un articolo, inizia il vero e proprio processo che, a onor del vero, varia sensibilmente da publisher a publisher.

Nella stragrande maggioranza dei casi, però, la revisione è un processo che ogni reviewer gestisce in maniera relativamente indipendente: si legge l’articolo e si elabora un commento a riguardo (più o meno specifico, a seconda dei casi).

Commenti di reviewer possono essere incredibilmente non tecnici, a vari livelli di specificità [esempi che ho vissuto personalmente comprendono frasi come “questo articolo è coerente con la letteratura” a “il grafico 2.3 a pagina 8 è poco leggibile a causa della scelta dei colori”], oppure altamente tecnici e relativi alla scienza contenuta nell’articolo [esempi che ho vissuto personalmente comprendono frasi come “il gruppo autoriale descriva meglio la reazione chimica descritta a pagina 2” o “è necessario acquisire più dati per supportare l’affermazione nelle conclusioni”].

Il processo di revisione è sempre anonimo. Alcuni publisher seguono un modello “single blind“, ossia chi revisiona sa chi ha scritto l’articolo, ma chi ha scritto l’articolo non sa chi revisiona, altri un modello “double blind“, ossia chi revisiona non sa chi ha scritto l’articolo e chi ha scritto l’articolo non sa chi revisiona.

L’anonimato è importante per ridurre il pregiudizio che sia chi revisiona, sia chi scrive, potrebbe avere all’interno del processo.

Step 4 – le revisioni vanno all’editor che prende la decisione finale

Ogni reviewer lascerà, alla fine del proprio commento, una raccomandazione riguardo all’articolo. Questa raccomandazione risponde alla domanda “questo articolo può essere pubblicato?”.

Sulla base di questi commenti, e sulla sua personale opinione, l’editor in carica deciderà di offrire a chi ha scritto l’articolo varie opzioni:

Respinto (Rejected): l’articolo non è accettato per la pubblicazione, e le ragioni possono essere varie. Non è abbastanza innovativo, contiene troppi pochi esperimenti e dati a supporto della tesi, non è adatto al giornale a cui è stato sottoposto, eccetera, eccetera.

Pesante Revisione (Major Revisions): L’articolo non è respinto. Tuttavia, per essere rivalutato, chi ha scritto l’articolo deve modificarlo sulla base di specifici commenti. Alcuni temi, ad esempio, potrebbero essere stati trattati in maniera troppo superficiale, vanno aggiunti esperimenti e nuovi dati a supporto delle tesi. Insomma, l’articolo va riscritto.

Revisione Minimale (Minor Revisions): L’articolo non è respinto, anzi, per procedere alla sua pubblicazione sono, però, necessarie delle modifiche. Un grafico non è chiaro, delle frasi sono troppo convolute, vanno aggiunte delle considerazioni a supporto della tesi.

Accettato (Accepted): L’articolo è accettato così com’è per la pubblicazione.

Nella mia esperienza personale, è molto raro che un articolo venga accettato senza commenti (minori o pesanti che siano). Quando un articolo riceve minor o major revisions, la palla torna a chi ha scritto l’articolo. Ogni commento da parte di chi ha fatto la revisione deve essere affrontato e ogni domanda deve ottenere risposta.

Una volta che la risposta è pronta, viene inviata al gruppo di reviewers, che valuterà se la risposta è soddisfacente o no.

Step 5 – Accettazione e produzione

Due cosa importanti da notare sono che: 1) I gruppo di reviewer non deve essere unanime perché l’articolo venga pubblicato. La decisione finale spetta all’editor. Se due reviewer su tre raccomandano caldamente di pubblicare l’articolo, mentre reviewer 3 non è d’accordo, l’editor può decidere di dare l’ok alla pubblicazione. 2) Chi scrive l’articolo non deve necessariamente accettare che l’articolo sia respinto e può mandare una lettera all’editor per spiegare come la rejection sia stata ingiusta. Ovviamente, questa cosa non garantisce che l’editor sia d’accordo.

Entrambe le cose mi sono successe personalmente più di una volta.

Una volta che l’articolo è accettato, l’azienda entra in gioco per formattare l’articolo, rivedere se ci sono piccoli errori di battitura o di struttura (molto comuni, dato che il testo viene maneggiato da moltissime persone), e pubblicarlo nella sua versione finale online.

Parte 1.3 – Che cosa vuol dire peer-reviewing per la scienza?

Questo articolo ha l’obiettivo di mostrare qual è il laborioso processo dietro la pubblicazione di un singolo articolo scientifico.

Vogliamo avere un’idea delle tempistiche?

La raccolta di dati può durare anche anni. A seconda del campo, raccogliere dati significa giorni e giorni di lavoro in laboratorio, analizzare dati, ottenere certificazioni etiche, ideare strategie sperimentali innovative, discutere e pianificare il progetto passaggio dopo passaggio.

Utilizzare i dati per mettere nero su bianco un articolo, ancora prima di mandarlo in revisione, significa mesi e mesi di lavoro e confronto con membri del proprio gruppo di ricerca e, spesso, altri gruppi di ricerca. I nomi dietro ogni articolo sono molti, e tutte le persone coinvolte devono essere contente e soddisfatte con il prodotto finale.

La scelta del giornale e il primo controllo, a loro volta, coprono mesi. Personalmente, il periodo più lungo che ho aspettato prima di ricevere una risposta da un editor è stato quattro mesi, e si parla prima dell’effettivo processi di revisione.

La revisione, a seconda della quantità di modifiche richieste, può anche in questo caso durare mesi. Se chi revisiona l’articolo richiede più dati sperimentali, bisogna tornare in laboratorio e, nella peggiore delle ipotesi, ricominciare tutto da capo.

Ogni articolo scientifico rappresenta ore e ore di lavoro di decine di persone. Nessuna persona si sveglia la mattina e decide, in giornata, di pubblicare qualcosa su Nature.

Questo vuol dire che un articolo che attraversa il processo di peer-reviewing è per forza inattaccabile?

Assolutamente no.

Il processo di pubblicazione scientifica ha moltissimi problemi, legati a doppio filo con la pressione sociale ed economica verso il progresso.

Vi sorprenderà sapere, però, che “peer-reviewing” non significa necessariamente “verificato”. La scienza non funziona così.

Quindi, se il peer-reviewing non serve a verificare, a cosa serve?

Il processo di peer-reviewing obbliga chiunque lavori nella scienza a confrontarsi con il resto della comunità scientifica, il cui lavoro è cercare di trovare falle, problemi, minuzie su quello che un particolare gruppo di ricerca osserva (o dice di aver osservato). Non è un mistero che tutte le affermazioni pseudo-scientifiche (terrapiattismo, scie chimiche, omeopatia, anti-5G, e compagnia cantando) non si sono mai sottoposte ad un processo di revisione paritaria.

Il valore della revisione paritaria non è nella verifica, ma nel confronto.

L’importanza di una scoperta scientifica si scopre con il tempo, non nel momento della pubblicazione, e una affermazione scientifica si valida con la riproduzione, non esclusivamente con il peer-reviewing.

Esistono casi (pochissimi, a fronte della totalità degli studi pubblicati) in cui cose passate attraverso il processo di peer-reviewing si sono rivelate false, o comunque non totalmente vere. Questo significa che il peer-reviewing non funziona? Assolutamente no. Infatti, questo significa che il nostro sistema scientifico funziona bene.

Le cose vere restano vere, le cose false, con il tempo, vengono scovate.

Il problema è che questa particolare caratteristica del sistema rende la comunicazione scientifica molto complessa, in particolare se rivolta ad un pubblico generalista.

“Mi viene detto che mi devo fidare della scienza, ma allo stesso tempo mi viene detto che se un articolo scientifico è pubblicato non necessariamente è vero. Dunque la mia conclusione è che tutto è falso e non mi devo fidare di nulla.”

Questo è il tenore di alcuni commenti che si leggono quando si parla di questi temi.

Tuttavia, se posso offrirvi un parallelismo, si sa che gli aerei possono avere malfunzionamenti e schiantarsi, lo abbiamo visto succedere più di una volta (a volte per errori umani, a volte per totale fatalità). Ci sono tantissime persone che hanno paura di prendere aerei proprio perché esiste il rischio che si schiantino. Ogni volta che un aereo si schianta, per quanto raramente, i media montano un polverone infinito che dura settimane.

Questo ferma il traffico aereo internazionale? Direi proprio di no.

Sapete perché? Perché gli aerei funzionano.

La soluzione quando vediamo un aereo schiantarsi è smettere di far volare gli aerei? No, la soluzione è avere una regolazione più stringente su cosa può o non può volare.

Allo stesso modo, il processo di peer-reviewing non è immune agli errori umani o al caso. Tuttavia, la soluzione è migliorarlo sempre di più, perché nella stragrande maggioranza dei casi funziona e ci è immensamente utile.