Category: SciComm

PUBLONS, aprovechando el poder de las revisiones por pares

 

Nota ThinkEPI publicada el 5 de marzo de 2018 en la lista de distribución IWETEL.

Autores:

Rafael Repiso, Universidad  Internacional de La Rioja, Miembro del Grupo ThinkEPI
Nicolás Robinson-Garcia, 
School of Public Policy, Georgia Institute of Technology, Atlanta GA

 Introducción

La calidad y el prestigio asociado de las revistas científicas se debe en buena parte a las comunidades científicas que hay detrás de ellas. A diferencia de los medios convencionales de comunicación de masas, las revistas científicas se caracterizan por su horizontalidad, no hay un grupo de creadores de contenidos y otro de consumidores, sino que el lector de las revistas es con frecuencia también autor y revisor de los artículos que se publican en ella (Mey, 1992). A pesar de su importancia dentro del sistema de publicación científica, de estas tres figuras, es la de revisor la más ignorada y menos valorada. Sin embargo, la plataforma que aquí presentamos, Publons, pretende poner en valor el trabajo de revisión latente en la comunicación científica. El objetivo de esta breve nota es presentar este producto y las funcionalidades que ofrece al investigador y los editores de revistas con el convencimiento de que iniciativas como ésta no sólo benefician a investigadores y revistas visibilizando una labor hasta ahora oculta y no reconocida, sino también dotando de mayor transparencia a la actividad investigadora.

¿Qué es Publons?

Publons es una empresa fundada por Andrew Preston y Daniel Johnston en 2012 y adquirida en 2017 por Clarivate Analytics. Publons ha pasado desde su adquisión por Clarivate Analytics hasta ahora, en ocho meses, de 150.000 a 260.000 usuarios que colaboran en trabajos de revisión y edición con unas 25.000 revistas. Publons es una plataforma virtual que registra, valida y visibiliza las revisiones científicas, permitiendo a revisores y revistas crear sus propios perfiles. El estímulo para los investigadores es obtener crédito por una labor hasta ahora poco reconocida al permitirles crear de manera rápida y fácil un CV científico como revisores de manuscritos científicos. Para las revistas, el mayor incentivo está en el acceso a una bolsa de potenciales revisores conociendo su experiencia como revisores, el tipo de revisiones que realizan (extensión) o su tasa de aceptación de manuscritos. Finalmente, dota a toda la comunidad científica de una mayor transparencia al permitir (siempre que tanto investigador como revisor accedan) hacer públicas las revisiones enviadas a los manuscritos una vez éstos han sido aceptados.

Publons no es la única plataforma que se dedica a registrar las revisiones de los autores y generar perfiles de revisores. Existen otros productos cuyo interés es reconocer el tiempo y el esfuerzo que los científicos dedican a esta contribución crucial a la ciencia, pero a menudo subestimada.

Elsevier cuenta su propia plataforma; Elsevier Reviews Profile, producto similar cuya versión oficial nació en septiembre de 2015 basado en una idea que el científico Simon Gosling presentó al Elsevier’s Peer Review Challenge en el año 2012. Al igual que Publons, ofrece reconocimientos honoríficos a los revisores notorios, pero también los premia con reconocimientos tangibles como descuentos en la tienda de Elsevier. Sin embargo, este producto tiene dos características que lastran su desarrollo; se limita a los trabajos publicados en los últimos cinco años en revistas editadas por Elsevier, mientras que su principal competidor, Publons, no posee límite temporal y está abierta a cualquier revisión sin distinguir el origen. De hecho, diferentes editoriales científicas están asociadas con Publons, editoriales del peso y la relevancia de SAGE, Oxford University Press, Springer Nature, WileyAmerican Psychological Association, Cambridge University Press, Taylor and Francis o Wolters Kluwer entre otros.

¿Qué servicios aporta Publons?

Publons se presenta como una plataforma centrada en el investigador, sin descuidar otros perfiles de usuarios como editores o revistas. A continuación, destacamos sus principales servicios:

  • Creación de perfiles para revisores, editores y revistas en relación con las revisiones realizadas. Además, permite importar las revisiones a los perfiles ORCID de los usuarios. Asimismo, es posible exportar los registros de Publons al perfil general de ORCID.
  • Acreditación a los revisores registrados aquellos trabajos revisados y validados por la plataforma mediante la creación de informes en PDF.
  • Formación online de revisores. La plataforma incluye tutoriales de formación para revisores divididos en diez temas.
  • Generación de listados ordenados por número de revisiones según revistas, universidades, países y áreas temáticas. En combinación con los perfiles públicos de usuarios permite a las revistas buscar e identificar revisores potenciales.
  • Ofrece un servicio de pago a las revistas para utilizar directamente Publons como gestor de revisores.

Figura 1. Perfil de usuario en Publons

Una de las cuestiones que más polémica puede generar es la posibilidad de los usuarios de hacer públicas sus revisiones. La revisión por pares abierta ha sido discutida ampliamente y sugerida como un mecanismo para hacer más transparente el proceso de publicación. De hecho, revistas y plataformas de publicación como F1000 o PeerJ la practican. Sin embargo, esta solución también tiene sus detractores ya que puede crear confrontación entre investigadores. En el caso de Publons, el autor de las revisiones puede mostrar desde el año en que se hizo la revisión y la revista para que se revisó, hasta el título del artículo y el texto completo de la revisión. Sin embargo, estas dos últimas opciones sólo están disponibles si el trabajo es finalmente aceptado, lo que puede atenuar en cierto modo cualquier polémica. Editoriales como Elsevier, de hecho, prohíben hacer público siquiera el mes en el que se revisó para ellos y son cada vez más las revistas que se verán obligadas a incluir en sus políticas datos pueden publicitar de sus revisiones.

Otra función de Publons es incentivar a los revisores a través de la presencia en diferentes rankings, generales, por áreas o por instituciones. Trimestralmente la plataforma adjudica diferentes menciones honoríficas y en alguna ocasión ha recompensado a usuarios con licencias de software, cuentas de Amazon Web Services o incluso camisetas.

Figura 2. Top ten de revisores españoles en Publons (enero de 2018)

¿Cómo obtiene Publons los datos?

Publons se nutre de la información aportada por los usuarios. Para incorporar revisiones a la base de datos hay tres posibilidades. La primera es que el revisor, una vez registrado en la plataforma, indique que ha hecho una revisión en una revista, esta evaluación estará a la espera de ser validada por la propia revista si es que ésta último cuenta con algún personal registrado en la plataforma. La forma más frecuente y recomendada es que el revisor reenvíe a Publons el correo de agradecimiento que se suele recibir por parte de la revista una vez que ha enviado la revisión de un manuscrito. Publons validará el correo e incorporará automáticamente la revisión verificada a su perfil. La última forma de incorporar revisiones tiene a las revistas como protagonistas. Aquellas revistas que estén registradas en Publons y tengan contratado el servicio de gestión de revisores podrán certificar de forma automática las revisiones, registrando de manera automática la revisión en el perfil de Publons de los revisores (si lo tuviesen).

Aunque el modo más aconsejable de añadir revisiones al perfil del usuario consiste en reenviar el correo de agradecimiento del editor posterior a la ejecución de la revisión, este correo debe  atenerse a ciertos criterios para su correcta validación por parte de Publons. Por una parte, debe de poderse identificar que el correo emisor pertenece a la revista en cuestión. En segundo lugar, el objeto del correo debe estar claro; carta de agradecimiento por la revisión de un trabajo, en el que se debe aclarar el título del manuscrito. Por último, la datación del trabajo, indicando la fecha de recepción de la revisión del manuscrito. Con todos estos datos Publons es capaz de acreditar la veracidad de la revisión, registrar y asignar la revisión a cada revisor.

Figura 3. Ranking de países en Publons según el número de revisores destacados (Top 10 – enero de 2018)

¿Por qué es una buena idea?

Iniciativas como Publons y otras similares dotan de mayor transparencia al sistema de publicación científica. Asimismo, lo hace de un modo poco intrusivo, al contrario de iniciativas como PeerJ o F1000 que hacen público el nombre de revisores y autores, pudiendo coartar a los primeros, Publons desvela el nombre de revisores y manuscritos revisados una vez todo el proceso de revisión ha finalizado.

Hace visible y reconoce el trabajo de los investigadores como revisores, un trabajo poco valorado y que puede ocupar gran parte de su tiempo. La idea del currículo de revisor es sin duda algo positivo. Permitir que se visualice este callado trabajo e incluso premiándolo es un estímulo para el sistema que no se encuentra sobrado de energías. Por otra parte, beneficia a las revistas que encuentran cada vez mayores obstáculos a la hora de buscar revisores y demandarles cada vez periodos de revisión más cortos. Las recurrentes críticas al sistema de revisión por pares, lo cada vez más costoso que resulta a las revistas animar a investigadores a que revisen y que lo hagan con dedicación y seriedad han dado lugar en los últimos años a iniciativas muy similares a la que aquí describimos.

Con otros fines, han nacido plataformas como Rubriq y Peereviewers.com cuyo objetivo es externalizar las revisiones de las revistas o incluso ofrecer a los autores evaluaciones previas al envío de sus manuscritos. Estos servicios de pago garantizan revisiones más rápidas y completas. “Estas plataformas se basan [en] el cobro de unas tasas a sus clientes (autores o editoriales) y en el reconocimiento a los revisores” (Menéndez-González, 2015). Parece que es unánime que se necesita mejorar el proceso de revisión y una parte esencial de este desarrollo pasa por reconocer el trabajo de los revisores.

 

En un sistema de publicación cambiante donde el modelo actual de publicación tiende a ponerse continuamente en cuestión, figuras como la del evaluador deben ponerse en valor. Iniciativas como Publons, Rubriq o Peereviewers.com permiten que estos perfiles manifiesten su filantrópica actitud conectando revisores con editores.

Conclusiones

El papel del revisor es clave en el sistema de publicación científica actual. Los revisores son filtro y tamiz del proceso de publicación científica. Paradójicamente este rol es el más denostado por los sistemas de incentivos que reciben los investigadores y menos reconocido por parte de las revistas que cada vez exigen más de sus revisores. Es justo reconocer y estimular su trabajo.

Publons no sólo pone en valor el papel del investigador como revisor, sino que al recopilar estos datos en una sola plataforma y hacerlos públicos, permite el estudio profundo del fenómeno y permite a las revistas optimizar aspectos de la revisión como es el control del trabajo o la búsqueda de revisores.

Publons ha levantado gran expectación dentro de la comunidad científica (van Noorden, 2014) y son muchos los investigadores y editores que confían que la capacidad de generar currículos de revisión científica permita crear incentivos que animen al investigador a seguir con su laborioso trabajo como revisor del trabajo de terceros y permita a las revistas seguir manteniendo los estándares de calidad que la comunidad científica demanda de sus publicaciones.  Pues depende de la calidad de sus revisiones el prestigio de las revistas. El simple hecho de ser evaluador en una revista debe ser reconocimiento.

El fenómeno de Publons y de otras plataformas de revisores puede llevar aparejada una necesaria modificación en la forma de trabajar de las revistas. En primer lugar, obligará a las revistas a hacer cambios en sus normativas, indicando instrucciones explícitas a los académicos sobre qué pueden hacer público en su relación como evaluador de la revista y qué no.

Por último, indicar que Publons representa una oportunidad para investigar un fenómeno que hasta ahora ha estado oculto, el de la evaluación por pares y sus protagonistas, gracias a que concentra en una sola plataforma información que antes estaba mayormente oculta o en algunas ocasiones desperdigada.

Bibliografía

Menéndez-González, M. (2015). Revisión por pares: plataformas de reconocimiento para revisores de artículos científicos. Archivos de Medicina11(3), 3.

Mey, M. de. (1992). The cognitive paradigm: An integrated Understanding of Scientific Development. Chicago: The University of Chicago Press.

Van Noorden, R. (2014). The scientists who get credit for peer review. Nature News. doi: 10.1038/nature.2014.16102

Cover photograph: power lines at https://flic.kr/p/aq5iQ5

Movilidad científica, un fenómeno con múltiples caras

 

I wrote to Luria to save me

J.D. Watson (1968)

En su relato acerca del descubrimiento de la estructura del ADN, son muchas las menciones que hace James D. Watson a su mentor Salvador Luria y el papel clave que jugó en buscarle la financiación necesaria para que pudiera mantenerse durante su etapa postdoctoral en Europa. Primero Copenhague y finalmente, tras un infructuoso intento por ir a Londres y una pequeña estancia en Nápoles, Cambridge, donde conoció a Francis Crick dando lugar a uno de los grandes y tal vez el más conocido de los descubrimientos del siglo XX. Salvador Luria, premio Nobel de Medicina en 1969 por sus descubrimientos sobre el mecanismo de replicación de los virus, siempre acudía al rescate de su discípulo ya fuera buscando financiación o introduciéndole a otros colegas para que Watson pudiera seguir viajando y expandiendo sus conocimientos. La libertad para viajar, experimentar, fracasar y reinventarse fue clave en el descubrimiento de la estructura del ADN.

No obstante, el papel de la movilidad en la ciencia nunca ha estado exento de cierta polémica. ¿Quiénes ganan, quiénes pierden? ¿Tienen los investigadores que se mueven una carrera más brillante que aquellos que no lo hacen? ¿Se produce mejor ciencia cuando se viaja? ¿Qué costes familiares tiene para el investigador? Es evidente que la movilidad científica es per se positiva para el sistema científico. Favorece el intercambio de ideas, tecnología y conocimiento. Asimismo, los investigadores móviles suelen colaborar más con sus colegas extranjeros que aquellos que no lo hacen y su investigación suele tener mayor repercusión dentro de la comunidad científica. Sin embargo, la carrera por el talento, especialmente incentivada por los rankings de universidades, así como la llamada fuga de cerebros amenazan con estratificar y aumentar las diferencias entre países en relación a su potencial científico y, por ende, su capacidad para formar a las generaciones futuras. Es más, eventos recientes como el Brexit en el Reino Unido o los intentos del presidente Trump por limitar la inmigración de ciertos países, ponen en peligro la libre circulación de investigadores y amenazan con daños irreparables a los países afectados por dichas políticas.

En este contexto, queda patente la necesidad de desarrollar metodologías y técnicas que nos permitan conocer mejor esta realidad para poder analizar sus efectos, consecuencias y repercusión de cara a elaborar políticas científicas que favorezcan el crecimiento del sistema científico nacional. Hasta ahora, el estudio de la movilidad científica se ha hecho a través de encuestas que hacían un seguimiento de la carrera del investigador o analizando los currículos científicos de los investigadores. No obstante, estas metodologías de recogida de datos son costosas (tanto en dinero como en tiempo) y problemáticas a la hora de hacer análisis globales que permitan hacer comparativas entre países, así como monitorizar periódicamente los cambios y fluctuaciones de investigadores que se van produciendo.

En busca de un método universal para estudiar la movilidad científica

Asimismo, el tipo de movilidad que se analiza también difiere. Un investigador puede hacer estancias temporales en otros institutos de investigación, puede cambiar de institución o puede estar afiliado a más de una institución. El tipo de movilidad no sólo tendrá repercusiones distintas para el investigador, sino también para las instituciones que lo acojan. Es evidente la repercusión que tuvo para Watson su viaje a Europa durante su periodo postdoctoral. Pero también la que tuvo para su país de origen, Estados Unidos, al que regresó poco después para ingresar en la Universidad de Harvard. Concebida de este modo, la movilidad científica es un fenómeno que fortalece la colaboración entre países y permite una mayor interacción beneficiando tanto al país que recibe al investigador como a aquel que lo recibe. Programas como Fulbright en Estados Unidos, Marie Slokowska Curie en Europa o Ramón y Cajal en España, fueron diseñados precisamente para estimular dicho intercambio de capital humano. Por otra parte, las noticias sobre jóvenes talentos obligados a abandonar su país de origen ante la falta de oportunidades o debido a atractivas políticas de captación de otros países son frecuentes reflejan el lado más oscuro de este fenómeno.

Figura 1 Flujos de movilidad entre países europeos (imagen superior) y mapa de calor con los países que más investigadores envían y reciben en Europa (imagen inferior)

Pero, ¿cómo cuantificar y analizar de manera objetiva el fenómeno de la movilidad científica a nivel global? Una de las propuestas más prometedoras que se han hecho es el empleo de las publicaciones científicas para rastrear el movimiento entre países de los investigadores. El punto de partida es bien sencillo. Si somos capaces de identificar todas las publicaciones de cada uno de los investigadores del mundo de las bases de datos internacionales, podremos rastrear los cambios de afiliación en la firma de cada uno de sus artículos. Obviamente, contaremos con importantes limitaciones, empezando por la necesidad de que el investigador o investigadora publique para poder contar con la información necesaria. Asimismo, el tipo de movilidad que rastrearemos será aquella en la que se produzca un cambio de afiliación institucional, ignorando estancias de investigación cortas y visitas a otros centros.

Aun así, el poder de dicho método es evidente, ya que utilizamos una misma fuente para rastrear movilidad en todos los países del mundo para cualquier periodo de tiempo. Asimismo, podemos analizar el fenómeno de la movilidad desde dos puntos de vista tradicionalmente enfrentados: visto como un juego donde unos países pierden y otros ganan o como una red global donde los países se relacionan e integran compartiendo talento. La figura 1 integra estas dos perspectivas, en la imagen superior vemos una red de países unidos entre sí en función del número de trabajadores que comparten. Países como Alemania, Francia, Italia o Suiza se sitúan en posiciones centrales, convirtiéndose en nexos de unión entre los distintos países europeos. Si nos detenemos en las imágenes inferiores, la lectura es diametralmente opuesta. Los investigadores móviles en Europa vienen principalmente de países del sur y este de Europa, mientras que los países de destino se sitúan en el centro y el norte de Europa.

Viajar y migrar, dos caras de la misma moneda

Pero esta visión más pesimista de la movilidad de ganadores (aquellos que atraen talento) y perdedores (aquellos que lo pierden) es excesivamente reducida tal y como muestran los datos. Entendiendo a los investigadores móviles como aquellos que publicaron trabajos científicos con afiliaciones de más de un país, observamos que el fenómeno de la movilidad científica no se reduce únicamente a la migración entre países. Es más, los migrantes son los menos (aquellos que abandonan un país para marcharse a otro) y que casi el 70% de los investigadores móviles del mundo son viajeros, gente que nunca deja de estar afiliada a su país de origen pero que también está afiliada a otros países.

Esto no sólo refleja lo complejo del fenómeno de la movilidad científica, sino la manera trivial y simplista en la que es muchas veces tratada en la prensa. Ejemplo de ello es la figura 2, donde mostramos el caso de José Baselga. Este ilustre investigador fue objeto de noticias en las que se criticaba la fuga de cerebros del sistema español (algo que lamentablemente es una realidad) pero que en su caso no queda patente al analizar los países a los que está afiliado este investigador. De manera que, si observamos sus primeros cuatro años de carrera investigadora, comprobamos cómo siempre firma al menos una publicación con una entidad española, ya sea una co-afiliación (firmando con más de una institución de más de un país) o afiliación única (varias publicaciones firmadas con distintas afiliaciones). Y es que es cada vez más común en el mundo científico el tener varias afiliaciones ya sea como investigador visitante o repartiendo el tiempo de trabajo (y el sueldo) entre varias instituciones.

Figura 2 Recorrido científico de los cuatro primeros años de investigación de José Baselga. El asterisco indica que el trabajo se firmó con más de una afiliación

España y el eterno dilema

En España la movilidad siempre ha sido un tema polémico. El sistema universitario, señalado en múltiples ocasiones como excesivamente endogámico ha diseñado con mayor o menor éxito políticas de movilidad nacional (por ejemplo, el programa Juan de la Cierva) como de captación de talento externo (por ejemplo, el programa Ramón y Cajal). Sin embargo, el programa que mayor reconocimiento ha tenido hasta la fecha ha sido el diseñado por la Generalitat de Catalunya, el programa ICREA, emulado con mayor o menor acierto por otras comunidades como Madrid o País Vasco. Muchos de los investigadores que participan en estos programas de captación de talento suelen ser españoles retornados. Pero también los hay de potencias científicas como Estados Unidos o Reino Unido, países vecinos como Italia o Francia y países latinoamericanos como Argentina o Brasil.

Figura 3 Flujos de investigadores que comenzaron a publicar en el año 2008 en el top 10 de países de los que España recibe más investigadores que acabaron en España en 2015.

Figura 4 Investigadores móviles que comenzaron a publicar en 2008 y dónde fueron. Sólo se muestra el top 10 de países con mayor número de investigadores de España recibidos.

El panorama es relativamente similar si nos fijamos en aquellos que abandonan España. Estados Unidos y Reino Unido vuelven a ser los destinos preferidos junto con aquellos que retornan. Pero la preferencia por quedarse en Europa es mayor en términos comparativos. Países como Alemania, Francia y en menor medida Portugal e Italia, cobran fuerza como destinos preferidos frente a los países latinoamericanos. Solamente Chile figura entre los diez destinos preferidos de los investigadores españoles. Y aunque las motivaciones que llevan a viajar o migrar son variadas y no siempre positivas, los números muestren que son aquellos investigadores que cuentan con movilidad los que tienen mayor repercusión científica. Para poder establecer políticas científicas que beneficien al sistema español, es necesario comprender el fenómeno de la movilidad en toda su extensión y huir de visiones simplistas y reduccionistas de dicho fenómeno.

Referencias

Sugimoto, C. R., Robinson-Garcia, N., Murray, D. S., Yegros-Yegros, A., Costas, R., & Larivière, V. (2017). Scientists have most impact when they’re free to move. Nature, 550(7674), 29–31. https://doi.org/10.1038/550029a