Anche lo scienziato imbroglia!

Nota: si ricorda che le opinioni espresse in questo blog non sono da ascrivere alla SCI o alla redazione ma al solo autore del testo.

a cura di C. Della Volpe

L’occasione di questo post è stata la pubblicazione di un articolo di Nature sugli imbrogli del Peer review (480 | NATURE | VOL 515 | 27 NOVEMBER 2014, scaricabile liberamente da http://www.nature.com/news/publishing-the-peer-review-scam-1.16400), generata da un episodio denunciato da un nostro collega della SCI, Claudiu Supuran, di UniFi, Editor di The Journal of Enzyme Inhibition and Medicinal Chemistry.

La frase inglese peer review corrisponde ad una attività che il grande pubblico non conosce affatto ma che è basilare per la ricerca scientifica. Peer review significa letteralmente “revisione dei pari”, ossia controllo del proprio lavoro da parte di persone con pari conoscenze. Siamo al cuore del meccanismo che dà credibilità alla ricerca scientifica: in pratica quando un ricercatore termina un lavoro e vuole farlo conoscere ad altri ricercatori, renderlo pubblico in modo che altri possano ripeterlo e confermarlo si rivolge ad una rivista; la rivista effettua una prima operazione di verifica, chiedendo ad alcuni esperti del settore, a persone quindi che abbiano a loro volta pubblicato in passato e che siano riconosciute come esperti di quella disciplina, di leggere il lavoro e di fare i loro commenti proponendo di accettare o meno il lavoro ed eventualmente di farci delle modifiche. La revisione è “cieca” (blind in inglese) ossia tali revisori sono sconosciuti a chi ha spedito il lavoro, mentre nella quasi generalità dei casi il revisore sa chi è l’autore del lavoro (ossia la revisione non è double blind, in doppio cieco). Tuttavia molte riviste hanno un cosiddetto editorial board, ufficio editoriale, costituito da un certo numero di scienziati riconosciuti nel loro settore e che vengono “dichiarati” pubblicamente dalla rivista e ai quali viene poi affidato a rotazione il ruolo di peer review, cosicchè il singolo reviewer rimane comunque sconosciuto all’autore.

Questo processo che può durare settimane, anche parecchi mesi o perfino anni precede la pubblicazione di ogni lavoro scientifico. In realtà questa fase è a sua volta preceduta da una fase in cui l’editor, ossia il responsabile scientifico della rivista legge il lavoro se ce la fa o comunque “ci dà un occhio” non foss’altro che per decidere a chi chiedere di fare il peer review. Alcuni editor fanno una verifica personale dopo il peer review. Riviste come Nature o Science prevedono un controllo pre-review da parte dell’Editor o dell’ufficio editoriale molto spinto e spesso fatto non da scienziati ma da giornalisti, sia pur esperti e solo dopo si ricorre al peer review.

Ma comunque sia organizzato il lavoro di “referaggio”, di verifica, come si chiama, solo dopo aver superato questa fase il lavoro scientifico può essere pubblicato. Si tratta di un metodo di lavoro che si è evoluto nel corso dei secoli dall’inizio del metodo scientifico, evoluto molto lentamente e che presta il fianco a parecchi problemi. Meccanismi simili vengono applicati nella scelta delle linee di ricerca da finanziare o dei progetti da accettare.

da PhD Jokes, pagina di Facebook

Si capisce quindi che il revisore sia un ruolo delicato; come vengono scelti i revisori?

Partiamo da una considerazione base: il numero di articoli scientifici pubblicati cresce in modo esponenziale (http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2909426/pdf/11192_2010_Article_202.pdf) e nel solo 2006 si stima siano stati pubblicati 1.350.000 articoli peer reviewed; dato che si parla di due o tre o perfino quattro revisori per ciascun articolo, stiamo parlando di tre –quattro milioni di operazioni di revisione necessarie ai soli articoli effettivamente pubblicati; ma considerate che la maggior parte degli articoli proposti NON vengono publicati affatto, la percentuale di rigetto degli articoli raggiunge spesso il 50 o perfino il 90% in riviste come Nature; di fatto quindi stiamo parlando di decine di miloni di operazioni di peer review; tali operazioni, è da sottolineare sono volontarie e GRATUITE (il totale del lavoro gratuito è stato stimato a parecchi miliardi di dollari all’anno http://www.timeshighereducation.co.uk/402189.article)**; è lavoro gratuito o al massimo pagato in natura, ossia concedendo a chi lo fa il diritto di accedere gratuitamente a qualche tipo di data base che consente di analizzare la ricerca scientifica in corso. La revisione, se fatta con coscienza, è un’operazione complessa e lunga, mentre è da dire che oggi è normale che un editor ti chieda di farla in una o due settimane, roba da catena di montaggio.

Quanti sono i potenziali revisori? Beh la popolazione mondiale dei ricercatori assomma in totale ad alcuni milioni, un numero che non supera i 10 milioni sommando ogni tipo di disciplina e di attività (il conto è semplice; io abito in Trentino che ha una dimensione circa 1/100 dell’Italia; ci sono circa 1000 ricercatori; in Italia ce ne sono all’incirca 100.000 fra Università, enti di ricerca e mondo privato; l’Italia a sua volta è all’incirca 1/100 dell’intero mondo, forse più a causa del fatto che si tratta di un paese fra primi 10; in conclusione i ricercatori del mondo sono per eccesso 10 Milioni. Come si vede il numero di operazioni di referaggio coinvolge quindi una percentuale certamente molto alta del totale.

Ne segue che nel tempo è diventato sempre più difficile reclutare verificatori gratuiti del lavoro scientifico; questo è aggravato dal fatto che l’attività di pubblicazione editoriale è quasi tutta privata, è una attività di lucro, in gran parte e dominata dalle esigenze di sempre maggiore velocità produttiva tipiche del settore privato; l’editore, (non l’Editor) inteso questa volta nel senso della casa editrice guadagna sulla pubblicazione, un articolo scientifico alla fine del suo percorso diventa in gran parte una merce da acquistare al prezzo di qualche decina di euro, come un libro. Si tratta in effetti del prodotto di una attività in massima parte pubblica, finanziata dagli stati che però viene poi acquisita, come una sorta di “bene comune” da pochi grandissimi privati, le case editrici che ci lucrano sopra. Questa è una cosa che non ho mai capito bene. Ci sarebbe da parlarne per molto tempo. Anche l’Open Source ossia la pubblicazione su riviste aperte a tutti non risolve, perchè le spese sono poi scaricate sull’autore (cornuto e mazziato si direbbe a Napoli). Insomma i problemi della pubblicazione scientifica come aspetto del più generale problema dei “commons”, The tragedy of commons”, la tragedia dei beni comuni (http://www.sciencemag.org/content/162/3859/1243.full), come definita nel famoso articolo di Hardin.

Ma torniamo al nostro caso. La difficoltà di reperire verificatori gratuiti in numero sufficiente è una delle difficoltà degli editor delle riviste, che sono poi in grandissima parte scienziati, che non fanno quella attività a tempo pieno e non ci guadagnano nulla; e quindi si ricorre a mezzi per accelerare il lavoro; per esempio si chiede agli autori di segnalare loro stessi dei verificatori adatti; in fondo chi conosce un settore meglio di chi ci pubblica? La specializzazione è estrema e perfino nel caso di argomenti di confine fra discipline il numero effettivo degli esperti diminuisce anzichè crescere, in un continuo e caleidoscopico processo di sviluppo della conoscenza.

E qui si inseriscono gli imbrogli, la malafede.

Nel caso segnalato da Claudiu Supuran per esempio

Hyung-In Moon, un ricercatore nel settore delle piante medicinali allora alla Dongguk University in Gyeongju, South Korea, aveva sottomesso dei lavori i cui referaggi non furono particolarmente negativi o positivi: in genere favorevoli, con alcuni suggerimenti su come migliorarli. Ciò che risultava inusuale era la velocità con cui i referaggi venivano completati, spesso in meno di 24 ore. Il ciclo appariva un po’ troppo veloce e Claudiu Supuran cominciò ad insospettirsi.

Nel 2012 egli affrontò Moon, che facimente ammise che i referaggi erano stati così veloci perchè ne aveva scritti molti lui stesso. L’imbroglio non era stato difficile da organizzare. Il giornale di Supuran e parecchi altri editi dalla Informa Healthcare di Londra invitano gli autori a suggerire potenziali revisori per i loro lavori.NEWS

Così Moon aveva suggerito nomi, a volte di veri scienziati e a volte pseudonimi, spesso con indirizzi di posta elettronica fasulli che riconducevano a lui o a suoi colleghi. La sua confessione ha portato al ritiro di 28 lavori da parecchi giornali della Informa ed alle dimissioni di un editor. Quello di Moon non è stato un caso isolato. Negli scorsi due anni, alcuni giornali sono stati obligati a ritrattare più di 110 pubblicazioni in almeno sei casi di manipolazione del peer-review.

Il numero degli articoli ritirati è relativemente elevato in certi settori, attorno all’1% del totale (http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2246630/); secondo una analisi recente una percentuale dell’ordine del 40% degli articoli che vengono ritirati nel settore delle scienze della vita viene ritirato per frode scientifica (http://www.nature.com/news/misconduct-is-the-main-cause-of-life-sciences-retractions-1.11507).

Ovviamente, a gloria del metodo scientifico e del meccanismo del peer review, questo vuol dire che la percentuale di articoli “sani” è almeno del 99%.

Vi invito a leggere l’articolo originale e a ringraziare Supuran e tutti coloro che onestamente fanno il loro lavoro di revisori: sarebbe il caso di ripensare a parecchi aspetti di questi meccanismi, che sono poi collegati molto spesso anche ad altri dettagli della nostra vita di ricercatori e scienziati come le carriere; in Italia l’abilitazione è oggi collegata a meccanismi semiautomatici di valutazione che hanno mostrato già tutta la loro superficialità.

Ma questa è un’altra storia.

********************************

per approfondire:

c’è anche un recente articolo di PLOS che stima una percentuale di frodi scientifiche su un più ampio settore; la percentuale di articoli ritirata si è incrementata negli ultimi anni passando dallo 0.004% degli anni 70 fino ad arrivare allo 0.02% totale, ossia circa 200 articoli su un milione di articoli all’anno considerati in PubMed (con una percentuale di frodi su questi ritiri dell’ordine del 40%): http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0068397   ; questo di converso corrisponde ad un 99.98% di articoli corretti.

si veda anche per i costi “unpaid” gratuiti del lavoro di referaggio: http://www.erevistas.csic.es/boletin-erevistas/pdf/Income_.pdf