Occhio alla bufala

Peer review o revisioni a pera?

Come funziona il referaggio
Il processo di peer review (letteralmente, revisione dei pari) è il sistema con cui viene valutata la qualità di una ricerca, per decidere se pubblicarla su una rivista o finanziarla. In pratica, prima dell'accettazione ufficiale, l'elaborato presentato alla rivista o il progetto di ricerca sono sottoposti al giudizio di altri scienziati, detti referee, esperti nello stesso campo dell'autore e scelti nella comunità internazionale. Per garantire l'imparzialità, l'identità dei referee rimane segreta.

La peer-review: uno strumento imperfetto
La peer-review funziona? Uno degli strumenti per selezionare gli articoli da pubblicare nelle riviste scientifiche è la cosiddetta peer-review, una procedure che consiste nel sottoporre in forma anonima il lavoro a uno o più revisori esperti in quella materia.
Ebbene, secondo una recente revisione della Cochrane Collaboration la peer-review non garantisce la validità dell'articolo scelto. A questo fine sono stati analizzati 135 studi che prendono in considerazione le prove di efficacia dei procedimenti di selezione degli articoli da pubblicare adottati dai giornali biomedici.
Il risultato di questa revisione è che non si trovano prove convincenti che questi procedimenti di selezione funzionino. Questo perché il metodo di revisione, nonostante il suo uso massiccio, non è ben definito, e lascia spazio a una grande variabilità di usi e a revisioni di qualità scientifica molto variabile. L'intera revisione è disponibile a pagamento sul sito della Cochrane Library.
Qui sotto il resoconto di uno degli autori delle studio.



Peer review inutile?

Tom Jefferson, Cochrane Collaboration

Immaginate di essere un decisore in un'agenzia internazionale di registrazione di farmaci e interventi, simile alla FDA americana, e immaginate che sia capitato sulla vostra scrivania una domanda di registrazione per una importante procedura di screening. La procedura è nota e apprezzata e viene distribuita da un'industria che chiameremo Farmatom.

Immaginate ora di aprire il faldone intitolato "prove a sostegno della pratica di registrazione" e di trovarvi i rapporti di nove trial clinici con una popolazione totale di poco più di duemilacinquecento individui e una serie di studi non randomizzati di poco meno di seicento persone. Gli studi sono tutti stati condotti in setting clinici atipici, usando misure di outcome diverse e misurando obiettivi marginali, quali la leggibilità delle istruzioni per la procedura di screening in lingue differenti. Nessuno studio ha provato il potere predittivo della procedura e in più gli obiettivi della procedura non sono stati sufficientemente definiti.

Che fareste in una simile situazione? Prima di sbattere la testa contro il muro, vi interesserà forse sapere che questa è la situazione attuale delle nostre conoscenze sul peer review editoriale, su quel meccanismo cioè che viene invocato con furore quasi messianico da editori e redattori di riviste scientifiche in tutto il mondo some garanzia di qualità della scienza da loro pubblicata.

Se avete mandato un rapporto di un trial al New England Journal of Medicine e questa augusta rivista ve lo ha riamandato con una cortese nota di rifiuto informandovi che il vostro sudato prodotto non ha passato il test del peer review, e se il collega Rossi è stato promosso sulla base del successo delle sue publicazioni su riviste internazionali che praticano il peer review, consolatevi ricordando che mentre le conclusioni del vostro trial hanno una base empirica, la pratica del " dei pari" attualmente ha una ben più sfuggente consistenza.

Sono queste le conclusioni di una revisione Cochrane pubblicate recentemente sulla Cochrane Library. Abbiamo analizzato 135 studi che prendono in considerazione le prove di efficacia dei procedimenti di selezione degli articoli da pubblicare adottati dai giornali biomedici. Il risultato di questa revisione è appunto che non si trovano prove convincenti che questi procedimenti di selezione (noti con il nome di peer review) funzionino. Questo perché il metodo di revisione, nonostante il suo uso massiccio, non è ben definito, e lascia spazio a una grande variabilità di usi e a revisioni di qualità scientifica molto variabile.

Sebbene si sappia veramente poco riguardo ai processi di decisione e di scelta di pubblicazione degli studi da parte delle riviste, la revisione Cochrane ha messo in luce come alcuni metodi specifici come l'uso delle checklist e l'editing tecnico (dal controllo ortografico e grammaticale al controllo della completezza della bibliografia) siano da annoverare tra i principali responsabili della leggibilità e della qualità degli articoli scientifici.

La ricerca del gruppo Cochrane si conclude sottolineando la necessità di uno specifico programma che approfondisca potenzialità e limiti delle peer review.

-------------------------------------------------------------------------------------

Il controllo di qualità è bacato

Tom Jefferson, Cochrane Collaboration
fonte: Scienza Esperienza

Il meccanismo della peer review editoriale si basa sulla critica per lo più anonima di manoscritti scientifici da parte di revisori: i cosiddetti peers, cioè, nella confusa e implicita scala gerarchica della ricerca scientifica, di pari rango rispetto agli autori del manoscritto.

La ratio dell'uso della peer review si basa sulla capacità dei peers di identificare lavori di buona qualità da quelli di qualità inferiore. Questa valutazione, che dovrebbe essere imparziale, è uno dei fattori che vengono presi in considerazione da redattori e direttori di riviste scientifiche quando devono decidere se pubblicare il lavoro scientifico oggetto della peer review. In altre parole quello della peer review è un meccanismo di screening, e chi legge riviste che lo applicano dovrebbe avere una garanzia della validità di ciò che legge; una specie di marchio di qualità.

La peer review è uno strumento universalmente usato da riviste, editori di libri, comitati erogatori di fondi e di onorificenze. E' quindi uno strumento che ha il potere di creare, distruggere o semplicemente "sopire e troncare" (nelle parole del Conte Zio di manzoniana memoria) coloro che non si adeguano ai canoni della scienza e ai moderni paradigmi. Basti pensare che aggiudicarsi il premio Nobel o pubblicare un lavoro su New England Journal of Medicine, entrambi oggetto di peer review anonima (in cui il ricercatore non conosce l'identità del revisore e alle volte viceversa), spesso significa attrarre fondi di ricerca e benefici per sé, per la propria famiglia e per i propri collaboratori.

Due anni fa, al quarto congresso internazionale sulla peer review di Barcellona, un gruppo di ricercatori della Cochrane Collaboration (di cui chi scrive fa parte) ha presentato tre revisioni sistematiche su aspetti diversi della peer review (quella editoriale, quella per la domanda di fondi e la semplice correzione delle bozze) in campo biomedico. Le revisioni avevano il compito di valutare l'efficacia e gli effetti indesiderati di quel meccanismo. I risultati hanno mostrato che l'unica delle tre forme di peer review per cui ci sono prove di ragionevole quantità e qualità è l'attività di revisione delle bozze. Avere uno o più correttori di bozze che setacciano il testo alla ricerca di errori di sintassi, refusi, sgrammaticature e bibliografie mutilate aiuta notevolmente a fornire un prodotto di buona qualità.

Proprio la qualità è invece il tasto dolente per le altre due forme di peer review. I ricercatori della Cochrane hanno trovato pochi studi che valutavano gli effetti dell'applicazione del meccanismo su ciò che viene pubblicato e, soprattutto, sulla scelta dei progetti da finanziare. Non solo: hanno trovato anche che la maggior parte questi studi era di potenza inadeguata, e hanno concluso che non vi era una definizione o un accordo fra i ricercatori su ciò che si intende per "buono".

E' chiaro che, se non esiste nemmeno una definizione operativa di ciò che il peer review deve identificare (studi o progetti "buoni") è pressoché impossibile al momento trarre conclusioni sull'utilità di questa pratica che tanto potere detiene nel mondo della ricerca.

Che cosa è successo al congresso? I ricercatori Cochrane non sono stati messi al rogo. Del resto, i direttori di riviste più preparati e assennati conoscono bene le limitazioni della peer review; anzi, sono stati proprio loro a stimolare le ricerche su tale meccanismo. Sarebbero ben lieti di abbandonare la peer review se vi fossero alternative all'orizzonte. Purtroppo non è così.