¿Quién teme a la revisión por pares? Así comienza un artículo que publica esta semana la revista Science protagonizado por John Bohannon, biólogo, periodista, bailarín y científico de la Universidad de Harvard. Bohannon explica cómo un trabajo ficticio enviado a varias publicaciones de acceso abierto fue aceptado en más de 150 revistas, un tercio de ellas con sede en la India.
(3-octubre-2013)
El 4 de julio de este año, John Bohannon, biólogo, periodista, bailarín y científico de la Universidad de Harvard recibía «una buena noticia»: su trabajo como «biólogo en el Wassee Institute of Medicine» había sido aceptado en el Journal of Natural Pharmaceuticals.
El artículo describía las propiedades anticancerígenas de una sustancia química denominada Cobange que se extraía de un liquen. Sin embargo, la alegría no era tal. Todo el estudio era un engaño.
«Debería haber sido rechazado rápidamente. Cualquier revisor con algo más de formación en química que la Educación Secundaria y con capacidad para entender un gráfico de datos básico tendría que haber visto las deficiencias del estudio inmediatamente. Sus experimentos son tan deficientes que los resultados no tienen sentido», apunta el investigador.
Ni el instituto al que dijo pertenecer, Wassee Institute of Medicine, ni la sustancia Ocorrafoo Cobange existen. El Journal of Natural Pharmaceuticals es una publicación de acceso abierto formado por un consejo editorial y asesor de profesores de ciencias farmacéuticas de universidades de todo el mundo.
Este es tan sólo un ejemplo de los trabajos que Bohannon presentó durante los pasados 10 meses a 304 revistas de open access —accesibles de forma abierta sin tener que pagar una suscripción—. «Más de la mitad de las revistas aceptaron el estudio sin darse cuenta de sus enormes defectos. Más allá de este resultado, los datos de esta operación encubierta revelan una emergente tierra sin ley en publicaciones académicas», subraya Bohannon.
El estudio se realizó a partir de dos listas de revistas: el Directorio de Revistas de Open Access (DOAJ, por sus siglas en inglés) y el listado de Jeffrey Beall, documentalista científico de la Universidad de Colorado (EE UU).
«La lista Beall es una página de internet con nombres de revistas, y abochorna a aquellas que él denomina como 'editoriales rapaces'. El término es un cajón de sastre de las que él ha detectado como prácticas poco profesionales», explica Bohannon.
Entre enero y agosto de 2013, Bohannon presentó diferentes versiones de este estudio a aquellas revistas cuya temática más se ajustaba al contenido de la investigación. Primero las de ciencias farmacológicas o biología del cáncer, seguidas por otras de medicina general, biología y química.
Del listado definitivo de 304 editoriales de acceso abierto al que envió el trabajo, 167 pertenecían a la lista DOAJ, 121 a la de Beall, y 16 estaban en ambas.
Según el autor del engaño, algunas revistas de acceso abierto que habían sido criticadas previamente por su falta de control en la calidad de las publicaciones le proporcionaron las respuestas más rigurosas de todas. «Por ejemplo, PLoS ONE fue la única que me llamó la atención ante los potenciales problemas éticos de la investigación, como la falta de documentación respecto al tratamiento aplicado a los animales utilizados en el estudio para generar células para el experimento», explica.
Sin noticias de la revisión por pares
En el momento de publicar este artículo en la revista Science, 157 de las revistas a las que envió la investigación habían aceptado el estudio y 98 lo habían rechazado. De las 49 publicaciones restantes, 29 «parecen estar abandonadas por sus creadores», señala Bohannon.
Con estos resultados en la mano, el científico demuestra que la lista Beall es muy efectiva a la hora de detectar editoriales con una baja calidad de control. De las revistas de la lista que completaron el proceso de revisión, el 82% aceptó el estudio.
«Por supuesto esto también implica que casi una de cada cinco de las revistas que aparecen en dicha lista actuó correctamente, por lo menos con mi estudio. La mayor sorpresa es que, de los editores que aparecen en la lista del DOAJ y que completaron el proceso de revisión, el 45% aceptó el documento falso», añade el científico.
Por otro lado, para aceptar el artículo, las revistas se tomaron 40 días de promedio, en contraste con los 24 días de media que tardaron en contestar las que lo rechazaron.
Asimismo, de los 255 documentos que se sometieron a todo el proceso editorial de aceptación o rechazo, aproximadamente el 60% de las decisiones finales se hizo sin señales de una revisión por pares, método para validar los trabajos científicos que consiste en el escrutinio del estudio por parte de investigadores de rango igual o superior al del autor del estudio.
«Este es un síntoma positivo en el caso de las revistas que lo rechazaron, porque implica que el sistema de control de calidad es lo suficientemente alto como para que el editor que examina el estudio lo rechace sin mandarlo a revisión. En el caso de las revistas que lo aceptaron, pasa lo contrario. El documento es suscrito sin ser leído por otra persona», argumenta el científico.
La India, principal sede de revistas de acceso abierto
Otro de los resultados relevantes del trabajo es que a la hora de detectar la distribución mundial de las revistas de open access, Bohannon se dio cuenta de que la mayoría encubrían su verdadera ubicación geográfica.
«Crean revistas con nombres como el American Journal of Medical and Dental Sciences o el European Journal of Chemistry para imitar y, en algunos casos, clonar literalmente las editoriales académicas occidentales. Sin embargo, las direcciones IP de las webs y las facturas bancarias de estas dos revistas revelaron que se publican en Pakistán y Turquía, respectivamente», enfatiza el investigador. Ambas aceptaron el estudio.
Alrededor de un tercio de las revistas a las que se envió la investigación ficticia tenían sede en la India, lo que convierte a este país en el lugar del mundo con mayor número de editoriales de open access. Del total de revistas con sede en la India de la muestra, 64 aceptaron la investigación falsa y solo 15 la rechazaron.
Referencia bibliográfica:
John Bohannon «Who’s Afraid of Peer Review? A spoof paper concocted by Science reveals little or no scrutiny at many open-access journals» Science, 342, 4 de octubre de 2013. www.sciencemag.or
El artículo describía las propiedades anticancerígenas de una sustancia química denominada Cobange que se extraía de un liquen. Sin embargo, la alegría no era tal. Todo el estudio era un engaño.
«Debería haber sido rechazado rápidamente. Cualquier revisor con algo más de formación en química que la Educación Secundaria y con capacidad para entender un gráfico de datos básico tendría que haber visto las deficiencias del estudio inmediatamente. Sus experimentos son tan deficientes que los resultados no tienen sentido», apunta el investigador.
Ni el instituto al que dijo pertenecer, Wassee Institute of Medicine, ni la sustancia Ocorrafoo Cobange existen. El Journal of Natural Pharmaceuticals es una publicación de acceso abierto formado por un consejo editorial y asesor de profesores de ciencias farmacéuticas de universidades de todo el mundo.
Este es tan sólo un ejemplo de los trabajos que Bohannon presentó durante los pasados 10 meses a 304 revistas de open access —accesibles de forma abierta sin tener que pagar una suscripción—. «Más de la mitad de las revistas aceptaron el estudio sin darse cuenta de sus enormes defectos. Más allá de este resultado, los datos de esta operación encubierta revelan una emergente tierra sin ley en publicaciones académicas», subraya Bohannon.
El estudio se realizó a partir de dos listas de revistas: el Directorio de Revistas de Open Access (DOAJ, por sus siglas en inglés) y el listado de Jeffrey Beall, documentalista científico de la Universidad de Colorado (EE UU).
«La lista Beall es una página de internet con nombres de revistas, y abochorna a aquellas que él denomina como 'editoriales rapaces'. El término es un cajón de sastre de las que él ha detectado como prácticas poco profesionales», explica Bohannon.
Entre enero y agosto de 2013, Bohannon presentó diferentes versiones de este estudio a aquellas revistas cuya temática más se ajustaba al contenido de la investigación. Primero las de ciencias farmacológicas o biología del cáncer, seguidas por otras de medicina general, biología y química.
Del listado definitivo de 304 editoriales de acceso abierto al que envió el trabajo, 167 pertenecían a la lista DOAJ, 121 a la de Beall, y 16 estaban en ambas.
Según el autor del engaño, algunas revistas de acceso abierto que habían sido criticadas previamente por su falta de control en la calidad de las publicaciones le proporcionaron las respuestas más rigurosas de todas. «Por ejemplo, PLoS ONE fue la única que me llamó la atención ante los potenciales problemas éticos de la investigación, como la falta de documentación respecto al tratamiento aplicado a los animales utilizados en el estudio para generar células para el experimento», explica.
Sin noticias de la revisión por pares
En el momento de publicar este artículo en la revista Science, 157 de las revistas a las que envió la investigación habían aceptado el estudio y 98 lo habían rechazado. De las 49 publicaciones restantes, 29 «parecen estar abandonadas por sus creadores», señala Bohannon.
Con estos resultados en la mano, el científico demuestra que la lista Beall es muy efectiva a la hora de detectar editoriales con una baja calidad de control. De las revistas de la lista que completaron el proceso de revisión, el 82% aceptó el estudio.
«Por supuesto esto también implica que casi una de cada cinco de las revistas que aparecen en dicha lista actuó correctamente, por lo menos con mi estudio. La mayor sorpresa es que, de los editores que aparecen en la lista del DOAJ y que completaron el proceso de revisión, el 45% aceptó el documento falso», añade el científico.
Por otro lado, para aceptar el artículo, las revistas se tomaron 40 días de promedio, en contraste con los 24 días de media que tardaron en contestar las que lo rechazaron.
Asimismo, de los 255 documentos que se sometieron a todo el proceso editorial de aceptación o rechazo, aproximadamente el 60% de las decisiones finales se hizo sin señales de una revisión por pares, método para validar los trabajos científicos que consiste en el escrutinio del estudio por parte de investigadores de rango igual o superior al del autor del estudio.
«Este es un síntoma positivo en el caso de las revistas que lo rechazaron, porque implica que el sistema de control de calidad es lo suficientemente alto como para que el editor que examina el estudio lo rechace sin mandarlo a revisión. En el caso de las revistas que lo aceptaron, pasa lo contrario. El documento es suscrito sin ser leído por otra persona», argumenta el científico.
La India, principal sede de revistas de acceso abierto
Otro de los resultados relevantes del trabajo es que a la hora de detectar la distribución mundial de las revistas de open access, Bohannon se dio cuenta de que la mayoría encubrían su verdadera ubicación geográfica.
«Crean revistas con nombres como el American Journal of Medical and Dental Sciences o el European Journal of Chemistry para imitar y, en algunos casos, clonar literalmente las editoriales académicas occidentales. Sin embargo, las direcciones IP de las webs y las facturas bancarias de estas dos revistas revelaron que se publican en Pakistán y Turquía, respectivamente», enfatiza el investigador. Ambas aceptaron el estudio.
Alrededor de un tercio de las revistas a las que se envió la investigación ficticia tenían sede en la India, lo que convierte a este país en el lugar del mundo con mayor número de editoriales de open access. Del total de revistas con sede en la India de la muestra, 64 aceptaron la investigación falsa y solo 15 la rechazaron.
Referencia bibliográfica:
John Bohannon «Who’s Afraid of Peer Review? A spoof paper concocted by Science reveals little or no scrutiny at many open-access journals» Science, 342, 4 de octubre de 2013. www.sciencemag.or
No hay comentarios:
Publicar un comentario