Skip to content

La religión de la “peer review”

24 de julio de 2012

1. ¿Para qué sirve la revisión inter pares?

(Texto para rumiantes)

En las discusiones sobre el lienzo de Turín es frecuente la contraposición de trabajos “peer reviewed” con otros que no lo son como un medio de contrastación de la calidad o validez de los mismos. “Writing in not-peer-reviewed forums, Fischer et al. allege [contra H&A] (…) H&A write in their second peer-reviewed article that…”[1] “We try to reduce subjective bias by the scientific method and by peer review”.[2]  Etc, etc. Quizás una aclaración sobre los límites de este tipo de controles de calidad pueda hacernos entender el mecanismo y las falacias que encierra la religión de la peer review.

 “The mistake, of course, is to have thought that peer review was any more than a crude means of discovering the acceptability — not the validity — of a new finding. Editors and scientists alike insist on the pivotal importance of peer review. We portray peer review to the public as a quasi-sacred process that helps to make science our most objective truth teller. But we know that the system of peer review is biased, unjust, unaccountable, incomplete, easily fixed, often insulting, usually ignorant, occasionally foolish, and frequently wrong”.[3]

(“El error, por supuesto, es haber pensado que la revisión por pares era más que un simple medio de descubrir la aceptabilidad -no la validez – de un nuevo hallazgo. Los editores y científicos insisten por igual en la importancia fundamental de la revisión por pares. Nos retratan ante el público la revisión por pares como un proceso cuasi-sagrado que ayuda a hacer de la ciencia el mayor medio objetivo de decir la verdad. Pero sabemos que el sistema de revisión por pares es parcial, injusto, inexplicable, incompleto, fácilmente rígido, a menudo insultante, por lo general ignorante, tonto de vez en cuando, y equivocado con frecuencia “).

Esta cita contundente se debe a Richard Horton, editor de la prestigiosa revista médica The Lancet, que debe saber de qué está hablando, puesto que su publicación se ha caracterizado por un continuo análisis de la calidad de los trabajos científicos publicados en el ámbito sanitario.

El problema con la revisión inter pares es que se le ha atribuido una importancia exagerada. En realidad, es un fenómeno relativamente reciente. Comenzó a utilizarse hacia los años 70 del siglo pasado, como un método de evitar la inclusión de fraudes y trabajos sin rigor en las revistas científicas, y se generalizó tan rápidamente que ya en los 80 era prácticamente imposible encontrar una publicación que no presumiera de comité de revisión. Que esa revisión sea de calidad, es otro tema.

De vez en cuando se airea en la prensa el caso de algún científico que ha colado a revistas prestigiosas artículos totalmente fraudulentos. Como Hwang Woo-suk  y sus famosos clones humanos. También hay que recordar el escándalo provocado por Alan Sokal , que publicó un artículo repleto de demencialidades en una conocida revista dedicada a las ciencias humanas para demostrar lo fácil que es escribir sin decir nada y sin que nadie se de cuenta.  Un experimento similar es debido a Peters y Ceci[4], consistente en reenviar a revistas trabajos que ya habían sido publicados con otros nombres. Sólo tres revisores de 38 se dieron cuenta de la trampa y, del resto de trabajos que fueron reevaluados de nuevo, 8 fueron rechazados. En el caso del lienzo de Turín, un científico ruso, Dimitri Kuznetsov  tuvo encandilado al mundo de la “sindonología” con un artículo publicado en una revista “peer reviewed”, “Antiquity”, en el que demostraba una fuente de contaminación de las pruebas de radiocarbono que no había sido detectada por nadie. Hasta que se descubrió que en su artículo había inventado experimentos e incluso yacimientos arqueológicos que no existían.  Pero también hay suficientes ejemplos de artículos de gran importancia, incluyendo algún premio nóbel como Severo Ochoa, que fueron rechazados o que aparecieron fuera de publicaciones con control.

cien53franz13kq

La situación se ha puesto bastante crítica: The Cochrane Collaboration y la Royal Society, han elaborado sendos estudios que se abonan a la idea de una reforma del sistema de revisión. Incluso ha habido un informe de The Parliamentary Office of Science and Technology (Londres) en 2002 en este sentido.

Por otra parte, las personas poco versadas en el tema de las publicaciones científicas suelen confundir publicar en una revista peer review con haber pasado un proceso de revisión interpares. Tomemos por ejemplo el artículo de Rogers: “Studies on the Radiocarbon Sample from the Shroud of Turin”, Thermochimica Acta, 425, (2005). La aparición de un artículo sindonista en una revista revisada no es frecuente. Mucho menos desde la datación de 1988. Por eso se recibió el artículo como una “refutación definitiva” de la prueba del carbono-14. ¿Cómo no, si había aparecido en una revista con comité de revisión? Sobre tal cosa existen motivos de duda más que razonables.

En la página Web de Thermochimica Acta podemos leer: The Editor first evaluates all manuscripts. It is rare, but it is entirely feasible for an exceptional manuscript to be accepted at this stage”. Raymond Rogers fue miembro del consejo editor de la revista de 1970 a 1988. Es muy posible, pues, que su artículo hubiera sido admitido por el Editor sin más preámbulos, como suele ocurrir con firmas prestigiosas o vinculadas a “la casa”. Sin embargo, parece que Rogers pasó una revisión. ¿Con qué intensidad? ¿Recibió algún trato de favor? Es más que posible.

Podemos leer más adelante que, entre otros criterios, la revista exige para publicar los trabajos que estos correspondan a la finalidad que marca la línea editorial (“Concerned with All Aspects of Thermoanalytical and Calorimetric Methods and their Application to Experimental Chemistry, Physics, Biology and Engineering”) y que utilice bibliografía relevante en este campo. Cualquiera que haya leído el artículo de Rogers se da cuenta de que, independiente de su valor intrínseco, no cumplía con esos dos criterios, a no ser que hagamos una interpretación muy laxa de los mismos: no se refiere a la aplicación de aspectos termoanalíticos, ni utiliza una sola obra relevante previa en el terreno de su trabajo. A no ser que consideremos como tal cosa artículos publicados en una revista diocesana y en PDF. Es por todo ello que decir que el artículo ha sido publicado en una revista con comité de revisión no quiere decir que haya sido revisado, o que los criterios de esa revisión tengan que ver con la calidad de lo presentado.

2. Conclusiones (o síntesis para canguros).

Lo que he llamado la “religión de la peer review” es una creencia totalmente injustificada que debe ser tratada como cualquier otra. En buena parte es debida a la intrusión de personas sin conocimientos adecuados en el contexto de debates con un cierto grado de especialización. Sus presuposiciones ocultas residen en un concepto fideísta de la ciencia, en la que esta sería un saber esotérico cuyos practicantes se estratificaran jerárquicamente, de tal manera que determinadas señales serían percibidas como un sistema de encajar a quienes las detentan en el nivel de la escala correspondiente. Habría un sistema de “estrellas” que indicaría a los catecúmenos el respeto que se debe a quien detenta un número considerable de distinciones.

Contra tal conceptualización de tipo mítico no hay más arma que la crítica racional basada en el conocimiento real de la materia. Sólo el tiempo y el trabajo en una materia permiten un grado cada vez mayor de autonomía en la evaluación. Y quien no tiene ni lo uno ni lo otro, haría bien en suspender el juicio ante temas que le superan.

Termino con una cita:

“El peer review sigue siendo el canon, pero es preciso reconocer que, de ninguna manera, debe hacerse sinónimo de calidad. El peer review no es una religión obligatoria”. (Antonio Lafuente: “La crisis del peer review” ).

.


[1] Ford, David: The Shroud of Turin’s ‘Blood’ Images: Blood, or Paint? A History of Science Inquiry; http://www.shroud.com/pdfs/ford1.pdf

[2] Whanger, Alan: “A Reply to Professor Antonio Lombatti About the Coins and Other Shroud Issues”,  http://www.shroud.com/lombatti.htm

[3] Horton, Richard (2000). “Genetically modified food: consternation, confusion, and crack-up”. MJA 172 (4): 148–9, cit. on line: http://www.mja.com.au/public/issues/172_04_210200/horton/horton.html.

[4] Peters, D. P. y Ceci, S. J.:  “Peer-review practices of psychological journals: The fate of published articles, submitted again”, . The Behavioral and Brain Sciences, 1982, vol 5, p. 187-195.

Dejar un comentario

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: