Tag: peer review

 

Nota ThinkEPI publicada el 5 de marzo de 2018 en la lista de distribución IWETEL.

Autores:

Rafael Repiso, Universidad  Internacional de La Rioja, Miembro del Grupo ThinkEPI
Nicolás Robinson-Garcia, School of Public Policy, Georgia Institute of Technology, Atlanta GA

 Introducción

La calidad y el prestigio asociado de las revistas científicas se debe en buena parte a las comunidades científicas que hay detrás de ellas. A diferencia de los medios convencionales de comunicación de masas, las revistas científicas se caracterizan por su horizontalidad, no hay un grupo de creadores de contenidos y otro de consumidores, sino que el lector de las revistas es con frecuencia también autor y revisor de los artículos que se publican en ella (Mey, 1992). A pesar de su importancia dentro del sistema de publicación científica, de estas tres figuras, es la de revisor la más ignorada y menos valorada. Sin embargo, la plataforma que aquí presentamos, Publons, pretende poner en valor el trabajo de revisión latente en la comunicación científica. El objetivo de esta breve nota es presentar este producto y las funcionalidades que ofrece al investigador y los editores de revistas con el convencimiento de que iniciativas como ésta no sólo benefician a investigadores y revistas visibilizando una labor hasta ahora oculta y no reconocida, sino también dotando de mayor transparencia a la actividad investigadora.

¿Qué es Publons?

Publons es una empresa fundada por Andrew Preston y Daniel Johnston en 2012 y adquirida en 2017 por Clarivate Analytics. Publons ha pasado desde su adquisión por Clarivate Analytics hasta ahora, en ocho meses, de 150.000 a 260.000 usuarios que colaboran en trabajos de revisión y edición con unas 25.000 revistas. Publons es una plataforma virtual que registra, valida y visibiliza las revisiones científicas, permitiendo a revisores y revistas crear sus propios perfiles. El estímulo para los investigadores es obtener crédito por una labor hasta ahora poco reconocida al permitirles crear de manera rápida y fácil un CV científico como revisores de manuscritos científicos. Para las revistas, el mayor incentivo está en el acceso a una bolsa de potenciales revisores conociendo su experiencia como revisores, el tipo de revisiones que realizan (extensión) o su tasa de aceptación de manuscritos. Finalmente, dota a toda la comunidad científica de una mayor transparencia al permitir (siempre que tanto investigador como revisor accedan) hacer públicas las revisiones enviadas a los manuscritos una vez éstos han sido aceptados.

Publons no es la única plataforma que se dedica a registrar las revisiones de los autores y generar perfiles de revisores. Existen otros productos cuyo interés es reconocer el tiempo y el esfuerzo que los científicos dedican a esta contribución crucial a la ciencia, pero a menudo subestimada.

Elsevier cuenta su propia plataforma; Elsevier Reviews Profile, producto similar cuya versión oficial nació en septiembre de 2015 basado en una idea que el científico Simon Gosling presentó al Elsevier’s Peer Review Challenge en el año 2012. Al igual que Publons, ofrece reconocimientos honoríficos a los revisores notorios, pero también los premia con reconocimientos tangibles como descuentos en la tienda de Elsevier. Sin embargo, este producto tiene dos características que lastran su desarrollo; se limita a los trabajos publicados en los últimos cinco años en revistas editadas por Elsevier, mientras que su principal competidor, Publons, no posee límite temporal y está abierta a cualquier revisión sin distinguir el origen. De hecho, diferentes editoriales científicas están asociadas con Publons, editoriales del peso y la relevancia de SAGE, Oxford University Press, Springer Nature, WileyAmerican Psychological Association, Cambridge University Press, Taylor and Francis o Wolters Kluwer entre otros.

¿Qué servicios aporta Publons?

Publons se presenta como una plataforma centrada en el investigador, sin descuidar otros perfiles de usuarios como editores o revistas. A continuación, destacamos sus principales servicios:

• Creación de perfiles para revisores, editores y revistas en relación con las revisiones realizadas. Además, permite importar las revisiones a los perfiles ORCID de los usuarios. Asimismo, es posible exportar los registros de Publons al perfil general de ORCID.
• Acreditación a los revisores registrados aquellos trabajos revisados y validados por la plataforma mediante la creación de informes en PDF.
• Formación online de revisores. La plataforma incluye tutoriales de formación para revisores divididos en diez temas.
• Generación de listados ordenados por número de revisiones según revistas, universidades, países y áreas temáticas. En combinación con los perfiles públicos de usuarios permite a las revistas buscar e identificar revisores potenciales.
• Ofrece un servicio de pago a las revistas para utilizar directamente Publons como gestor de revisores.

Figura 1. Perfil de usuario en Publons

Una de las cuestiones que más polémica puede generar es la posibilidad de los usuarios de hacer públicas sus revisiones. La revisión por pares abierta ha sido discutida ampliamente y sugerida como un mecanismo para hacer más transparente el proceso de publicación. De hecho, revistas y plataformas de publicación como F1000 o PeerJ la practican. Sin embargo, esta solución también tiene sus detractores ya que puede crear confrontación entre investigadores. En el caso de Publons, el autor de las revisiones puede mostrar desde el año en que se hizo la revisión y la revista para que se revisó, hasta el título del artículo y el texto completo de la revisión. Sin embargo, estas dos últimas opciones sólo están disponibles si el trabajo es finalmente aceptado, lo que puede atenuar en cierto modo cualquier polémica. Editoriales como Elsevier, de hecho, prohíben hacer público siquiera el mes en el que se revisó para ellos y son cada vez más las revistas que se verán obligadas a incluir en sus políticas datos pueden publicitar de sus revisiones.

Otra función de Publons es incentivar a los revisores a través de la presencia en diferentes rankings, generales, por áreas o por instituciones. Trimestralmente la plataforma adjudica diferentes menciones honoríficas y en alguna ocasión ha recompensado a usuarios con licencias de software, cuentas de Amazon Web Services o incluso camisetas.

Figura 2. Top ten de revisores españoles en Publons (enero de 2018)

¿Cómo obtiene Publons los datos?

Publons se nutre de la información aportada por los usuarios. Para incorporar revisiones a la base de datos hay tres posibilidades. La primera es que el revisor, una vez registrado en la plataforma, indique que ha hecho una revisión en una revista, esta evaluación estará a la espera de ser validada por la propia revista si es que ésta último cuenta con algún personal registrado en la plataforma. La forma más frecuente y recomendada es que el revisor reenvíe a Publons el correo de agradecimiento que se suele recibir por parte de la revista una vez que ha enviado la revisión de un manuscrito. Publons validará el correo e incorporará automáticamente la revisión verificada a su perfil. La última forma de incorporar revisiones tiene a las revistas como protagonistas. Aquellas revistas que estén registradas en Publons y tengan contratado el servicio de gestión de revisores podrán certificar de forma automática las revisiones, registrando de manera automática la revisión en el perfil de Publons de los revisores (si lo tuviesen).

Aunque el modo más aconsejable de añadir revisiones al perfil del usuario consiste en reenviar el correo de agradecimiento del editor posterior a la ejecución de la revisión, este correo debe  atenerse a ciertos criterios para su correcta validación por parte de Publons. Por una parte, debe de poderse identificar que el correo emisor pertenece a la revista en cuestión. En segundo lugar, el objeto del correo debe estar claro; carta de agradecimiento por la revisión de un trabajo, en el que se debe aclarar el título del manuscrito. Por último, la datación del trabajo, indicando la fecha de recepción de la revisión del manuscrito. Con todos estos datos Publons es capaz de acreditar la veracidad de la revisión, registrar y asignar la revisión a cada revisor.

Figura 3. Ranking de países en Publons según el número de revisores destacados (Top 10 – enero de 2018)

¿Por qué es una buena idea?

Iniciativas como Publons y otras similares dotan de mayor transparencia al sistema de publicación científica. Asimismo, lo hace de un modo poco intrusivo, al contrario de iniciativas como PeerJ o F1000 que hacen público el nombre de revisores y autores, pudiendo coartar a los primeros, Publons desvela el nombre de revisores y manuscritos revisados una vez todo el proceso de revisión ha finalizado.

Hace visible y reconoce el trabajo de los investigadores como revisores, un trabajo poco valorado y que puede ocupar gran parte de su tiempo. La idea del currículo de revisor es sin duda algo positivo. Permitir que se visualice este callado trabajo e incluso premiándolo es un estímulo para el sistema que no se encuentra sobrado de energías. Por otra parte, beneficia a las revistas que encuentran cada vez mayores obstáculos a la hora de buscar revisores y demandarles cada vez periodos de revisión más cortos. Las recurrentes críticas al sistema de revisión por pares, lo cada vez más costoso que resulta a las revistas animar a investigadores a que revisen y que lo hagan con dedicación y seriedad han dado lugar en los últimos años a iniciativas muy similares a la que aquí describimos.

Con otros fines, han nacido plataformas como Rubriq y Peereviewers.com cuyo objetivo es externalizar las revisiones de las revistas o incluso ofrecer a los autores evaluaciones previas al envío de sus manuscritos. Estos servicios de pago garantizan revisiones más rápidas y completas. “Estas plataformas se basan [en] el cobro de unas tasas a sus clientes (autores o editoriales) y en el reconocimiento a los revisores” (Menéndez-González, 2015). Parece que es unánime que se necesita mejorar el proceso de revisión y una parte esencial de este desarrollo pasa por reconocer el trabajo de los revisores.

 

En un sistema de publicación cambiante donde el modelo actual de publicación tiende a ponerse continuamente en cuestión, figuras como la del evaluador deben ponerse en valor. Iniciativas como Publons, Rubriq o Peereviewers.com permiten que estos perfiles manifiesten su filantrópica actitud conectando revisores con editores.

Conclusiones

El papel del revisor es clave en el sistema de publicación científica actual. Los revisores son filtro y tamiz del proceso de publicación científica. Paradójicamente este rol es el más denostado por los sistemas de incentivos que reciben los investigadores y menos reconocido por parte de las revistas que cada vez exigen más de sus revisores. Es justo reconocer y estimular su trabajo.

Publons no sólo pone en valor el papel del investigador como revisor, sino que al recopilar estos datos en una sola plataforma y hacerlos públicos, permite el estudio profundo del fenómeno y permite a las revistas optimizar aspectos de la revisión como es el control del trabajo o la búsqueda de revisores.

Publons ha levantado gran expectación dentro de la comunidad científica (van Noorden, 2014) y son muchos los investigadores y editores que confían que la capacidad de generar currículos de revisión científica permita crear incentivos que animen al investigador a seguir con su laborioso trabajo como revisor del trabajo de terceros y permita a las revistas seguir manteniendo los estándares de calidad que la comunidad científica demanda de sus publicaciones.  Pues depende de la calidad de sus revisiones el prestigio de las revistas. El simple hecho de ser evaluador en una revista debe ser reconocimiento.

El fenómeno de Publons y de otras plataformas de revisores puede llevar aparejada una necesaria modificación en la forma de trabajar de las revistas. En primer lugar, obligará a las revistas a hacer cambios en sus normativas, indicando instrucciones explícitas a los académicos sobre qué pueden hacer público en su relación como evaluador de la revista y qué no.

Por último, indicar que Publons representa una oportunidad para investigar un fenómeno que hasta ahora ha estado oculto, el de la evaluación por pares y sus protagonistas, gracias a que concentra en una sola plataforma información que antes estaba mayormente oculta o en algunas ocasiones desperdigada.

Bibliografía

Menéndez-González, M. (2015). Revisión por pares: plataformas de reconocimiento para revisores de artículos científicos. Archivos de Medicina, 11(3), 3.

Mey, M. de. (1992). The cognitive paradigm: An integrated Understanding of Scientific Development. Chicago: The University of Chicago Press.

Van Noorden, R. (2014). The scientists who get credit for peer review. Nature News. doi: 10.1038/nature.2014.16102

Cover photograph: power lines at https://flic.kr/p/aq5iQ5