La financiación de las universidades británicas a examen: ¿Excelencia científica o relevancia social?

Entrada publicada originalmente en Nada es Gratis el día 9 de marzo de 2018

Autores: Nicolás Robinson-Garcia y Richard Woolley.

Siempre que se habla de financiación y evaluación de la actividad científica, el Reino Unido aparece como el lugar donde mirar y  analizar qué funciona y qué no. Lo que sucede en las islas británicas suele ser visto con expectación por la comunidad que trabaja en evaluación de la ciencia, por la gran cantidad de recursos que se destinan a dicha evaluación, cuyos resultados determinan buena parte de la financiación total que las universidades van a recibir. Este complejo sistema de evaluación, que tiene lugar cada siete años y distribuye más de un billón y medio de euros entre las universidades británicas, se conoce por sus siglas en inglés REF (Research Excellence Framework). Visto desde fuera, lo que más interés suscita es el intenso debate que se genera entre investigadores y gestores de investigación cada vez que se comienza con el diseño del siguiente ejercicio de evaluación. Cualquiera que esté interesado en el tema no tiene más que seguir la gran cantidad de entradas que el Impact Blog del London School of Economics publica sobre el tema.

En estos meses, se está diseñando el próximo ejercicio que tendrá lugar en 2021 y son muchas y notables las reflexiones y análisis que se están realizando sobre el anterior ejercicio que tuvo lugar en 2014. Con el objetivo de hacer extensible ese debate a la comunidad española, queremos aprovechar la generosidad de los editores de NEG para describir cómo funciona el sistema de evaluación nacional en el Reino Unido y compartir nuestra perspectiva sobre las implicaciones que los resultados del REF2014 tienen sobre el modo en que actualmente se evalúa la investigación.

Sin ánimo de entrar en excesivos detalles, el proceso de evaluación en el Reino Unido se puede resumir del siguiente modo. Las universidades deben de enviar casos de estudio o unidades de evaluación a los distintos paneles de expertos encargados de asesorar la calidad de los mismos. Dichas unidades deben incluir un número cuatro o cinco publicaciones. Esto significa que 1) no se evalúa la totalidad de la actividad investigadora de la universidad y 2) las universidades deben llevar a cabo una preselección de candidatos a presentar. Ahora bien, la gran novedad del REF2014 radica en:

  • La inclusión junto con la selección de publicaciones, de casos de estudio en los que cada unidad de evaluación presentaba la relevancia social que tenía su investigación (no necesariamente ligada con las publicaciones que se presentaban).
  • La no utilización oficial de los revisores de indicadores cuantitativos para medir la relevancia social, tal y como determinó un comité de expertos externo. Esto no significa que las universidades no pudieran emplearlos para defender sus propuestas.
  • La inclusión en los paneles de revisores de individuos ajenos a la academia, cuestión que a pesar de haberse considerado positiva, ha sido criticada recientemente en Nature por su implementación.

Hablar del impacto social de la ciencia son palabras mayores dentro del mundo de la evaluación de la actividad científica. Tan sólo discernir qué significa tener impacto social (¿salir en los periódicos, descubrir la cura de enfermedades, favorecer el tejido económico?) es motivo de arduos debates. Es precisamente por ello por lo que se tiende a asumir que excelencia científica e impacto social van de la mano. Algo que desde hace tiempo se empieza a cuestionar (ver por ejemplo aquí) y que los resultados del REF2014 también reflejan.

Sin entrar en si la metodología empleada es mejorable o no, recientemente analizamos el porcentaje de casos de estudio de cada unidad de evaluación enviada por las universidades que habían recibido la mayor puntuación en cada categoría (cuatro estrellas). Todos los datos están disponibles aquí. Nuestro objetivo no era comprobar el desajuste entre impacto social y científico, sino reforzar la idea de que hay una gran diversidad de impactos heterogéneos entre sí que pueden o no estar relacionados. En la figura anterior mostramos, a la izquierda, la correlación para cada unidad de evaluación entre impacto social y científica. En el lado derecho, mostramos para cada panel, la relación entre impacto científico (Outputsen el eje de la y) e impacto social (Impact en el eje de la x). Como se puede observar, existe una gran diversidad de combinaciones de impactos. Mayor impacto científico no siempre viene acompañado de mayor impacto social y viceversa. Esta heterogeneidad pone en cuestión los modelos de evaluación que se emplean tradicionalmente para financiar la investigación,  puesto que tienden a fomentar y privilegiar la investigación que produce altos niveles de impacto en las dos dimensiones (científica y social), reduciendo así la diversidad de resultados existente y por tanto el abanico de impactos sociales posibles.

Establecer comparativas entre el Reino Unido y España en este contexto es complicado, puesto que aquí nunca se abogó por una financiación y una evaluación institucional, sino por una evaluación a nivel individual, excesivamente burocrática e intrusiva. Sin embargo, la introducción de programas como el Severo Ochoa o María Maeztu, apuntan en cierto modo hacia la introducción de medidas evaluadoras para distribuir financiación a nivel institucional, con criterios que pueden poner en peligro la diversidad de impactos. El uso indiscriminado de indicadores cuantitativos es cada vez más cuestionado. Sin embargo, una evaluación concienzuda y responsable exige una gran inversión acorde con la financiación que se pretende otorgar y que aquí nadie parece dispuesto a asumir. Las innovaciones en materia de evaluación y las discusiones que están teniendo lugar en otros países como el Reino Unido, Noruega o Países Bajos debieran servirnos para dejar de hablar de criterios y empezar a plantearnos las consecuencias que tiene la introducción de sistemas de financiación de la investigación que ignoran la heterogeneidad de impactos que puede producir la actividad investigadora.

Cover photograph: money at https://flic.kr/p/chEwR9

PUBLONS, aprovechando el poder de las revisiones por pares

 

Nota ThinkEPI publicada el 5 de marzo de 2018 en la lista de distribución IWETEL.

Autores:

Rafael Repiso, Universidad  Internacional de La Rioja, Miembro del Grupo ThinkEPI
Nicolás Robinson-Garcia, 
School of Public Policy, Georgia Institute of Technology, Atlanta GA

 Introducción

La calidad y el prestigio asociado de las revistas científicas se debe en buena parte a las comunidades científicas que hay detrás de ellas. A diferencia de los medios convencionales de comunicación de masas, las revistas científicas se caracterizan por su horizontalidad, no hay un grupo de creadores de contenidos y otro de consumidores, sino que el lector de las revistas es con frecuencia también autor y revisor de los artículos que se publican en ella (Mey, 1992). A pesar de su importancia dentro del sistema de publicación científica, de estas tres figuras, es la de revisor la más ignorada y menos valorada. Sin embargo, la plataforma que aquí presentamos, Publons, pretende poner en valor el trabajo de revisión latente en la comunicación científica. El objetivo de esta breve nota es presentar este producto y las funcionalidades que ofrece al investigador y los editores de revistas con el convencimiento de que iniciativas como ésta no sólo benefician a investigadores y revistas visibilizando una labor hasta ahora oculta y no reconocida, sino también dotando de mayor transparencia a la actividad investigadora.

¿Qué es Publons?

Publons es una empresa fundada por Andrew Preston y Daniel Johnston en 2012 y adquirida en 2017 por Clarivate Analytics. Publons ha pasado desde su adquisión por Clarivate Analytics hasta ahora, en ocho meses, de 150.000 a 260.000 usuarios que colaboran en trabajos de revisión y edición con unas 25.000 revistas. Publons es una plataforma virtual que registra, valida y visibiliza las revisiones científicas, permitiendo a revisores y revistas crear sus propios perfiles. El estímulo para los investigadores es obtener crédito por una labor hasta ahora poco reconocida al permitirles crear de manera rápida y fácil un CV científico como revisores de manuscritos científicos. Para las revistas, el mayor incentivo está en el acceso a una bolsa de potenciales revisores conociendo su experiencia como revisores, el tipo de revisiones que realizan (extensión) o su tasa de aceptación de manuscritos. Finalmente, dota a toda la comunidad científica de una mayor transparencia al permitir (siempre que tanto investigador como revisor accedan) hacer públicas las revisiones enviadas a los manuscritos una vez éstos han sido aceptados.

Publons no es la única plataforma que se dedica a registrar las revisiones de los autores y generar perfiles de revisores. Existen otros productos cuyo interés es reconocer el tiempo y el esfuerzo que los científicos dedican a esta contribución crucial a la ciencia, pero a menudo subestimada.

Elsevier cuenta su propia plataforma; Elsevier Reviews Profile, producto similar cuya versión oficial nació en septiembre de 2015 basado en una idea que el científico Simon Gosling presentó al Elsevier’s Peer Review Challenge en el año 2012. Al igual que Publons, ofrece reconocimientos honoríficos a los revisores notorios, pero también los premia con reconocimientos tangibles como descuentos en la tienda de Elsevier. Sin embargo, este producto tiene dos características que lastran su desarrollo; se limita a los trabajos publicados en los últimos cinco años en revistas editadas por Elsevier, mientras que su principal competidor, Publons, no posee límite temporal y está abierta a cualquier revisión sin distinguir el origen. De hecho, diferentes editoriales científicas están asociadas con Publons, editoriales del peso y la relevancia de SAGE, Oxford University Press, Springer Nature, WileyAmerican Psychological Association, Cambridge University Press, Taylor and Francis o Wolters Kluwer entre otros.

¿Qué servicios aporta Publons?

Publons se presenta como una plataforma centrada en el investigador, sin descuidar otros perfiles de usuarios como editores o revistas. A continuación, destacamos sus principales servicios:

  • Creación de perfiles para revisores, editores y revistas en relación con las revisiones realizadas. Además, permite importar las revisiones a los perfiles ORCID de los usuarios. Asimismo, es posible exportar los registros de Publons al perfil general de ORCID.
  • Acreditación a los revisores registrados aquellos trabajos revisados y validados por la plataforma mediante la creación de informes en PDF.
  • Formación online de revisores. La plataforma incluye tutoriales de formación para revisores divididos en diez temas.
  • Generación de listados ordenados por número de revisiones según revistas, universidades, países y áreas temáticas. En combinación con los perfiles públicos de usuarios permite a las revistas buscar e identificar revisores potenciales.
  • Ofrece un servicio de pago a las revistas para utilizar directamente Publons como gestor de revisores.

Figura 1. Perfil de usuario en Publons

Una de las cuestiones que más polémica puede generar es la posibilidad de los usuarios de hacer públicas sus revisiones. La revisión por pares abierta ha sido discutida ampliamente y sugerida como un mecanismo para hacer más transparente el proceso de publicación. De hecho, revistas y plataformas de publicación como F1000 o PeerJ la practican. Sin embargo, esta solución también tiene sus detractores ya que puede crear confrontación entre investigadores. En el caso de Publons, el autor de las revisiones puede mostrar desde el año en que se hizo la revisión y la revista para que se revisó, hasta el título del artículo y el texto completo de la revisión. Sin embargo, estas dos últimas opciones sólo están disponibles si el trabajo es finalmente aceptado, lo que puede atenuar en cierto modo cualquier polémica. Editoriales como Elsevier, de hecho, prohíben hacer público siquiera el mes en el que se revisó para ellos y son cada vez más las revistas que se verán obligadas a incluir en sus políticas datos pueden publicitar de sus revisiones.

Otra función de Publons es incentivar a los revisores a través de la presencia en diferentes rankings, generales, por áreas o por instituciones. Trimestralmente la plataforma adjudica diferentes menciones honoríficas y en alguna ocasión ha recompensado a usuarios con licencias de software, cuentas de Amazon Web Services o incluso camisetas.

Figura 2. Top ten de revisores españoles en Publons (enero de 2018)

¿Cómo obtiene Publons los datos?

Publons se nutre de la información aportada por los usuarios. Para incorporar revisiones a la base de datos hay tres posibilidades. La primera es que el revisor, una vez registrado en la plataforma, indique que ha hecho una revisión en una revista, esta evaluación estará a la espera de ser validada por la propia revista si es que ésta último cuenta con algún personal registrado en la plataforma. La forma más frecuente y recomendada es que el revisor reenvíe a Publons el correo de agradecimiento que se suele recibir por parte de la revista una vez que ha enviado la revisión de un manuscrito. Publons validará el correo e incorporará automáticamente la revisión verificada a su perfil. La última forma de incorporar revisiones tiene a las revistas como protagonistas. Aquellas revistas que estén registradas en Publons y tengan contratado el servicio de gestión de revisores podrán certificar de forma automática las revisiones, registrando de manera automática la revisión en el perfil de Publons de los revisores (si lo tuviesen).

Aunque el modo más aconsejable de añadir revisiones al perfil del usuario consiste en reenviar el correo de agradecimiento del editor posterior a la ejecución de la revisión, este correo debe  atenerse a ciertos criterios para su correcta validación por parte de Publons. Por una parte, debe de poderse identificar que el correo emisor pertenece a la revista en cuestión. En segundo lugar, el objeto del correo debe estar claro; carta de agradecimiento por la revisión de un trabajo, en el que se debe aclarar el título del manuscrito. Por último, la datación del trabajo, indicando la fecha de recepción de la revisión del manuscrito. Con todos estos datos Publons es capaz de acreditar la veracidad de la revisión, registrar y asignar la revisión a cada revisor.

Figura 3. Ranking de países en Publons según el número de revisores destacados (Top 10 – enero de 2018)

¿Por qué es una buena idea?

Iniciativas como Publons y otras similares dotan de mayor transparencia al sistema de publicación científica. Asimismo, lo hace de un modo poco intrusivo, al contrario de iniciativas como PeerJ o F1000 que hacen público el nombre de revisores y autores, pudiendo coartar a los primeros, Publons desvela el nombre de revisores y manuscritos revisados una vez todo el proceso de revisión ha finalizado.

Hace visible y reconoce el trabajo de los investigadores como revisores, un trabajo poco valorado y que puede ocupar gran parte de su tiempo. La idea del currículo de revisor es sin duda algo positivo. Permitir que se visualice este callado trabajo e incluso premiándolo es un estímulo para el sistema que no se encuentra sobrado de energías. Por otra parte, beneficia a las revistas que encuentran cada vez mayores obstáculos a la hora de buscar revisores y demandarles cada vez periodos de revisión más cortos. Las recurrentes críticas al sistema de revisión por pares, lo cada vez más costoso que resulta a las revistas animar a investigadores a que revisen y que lo hagan con dedicación y seriedad han dado lugar en los últimos años a iniciativas muy similares a la que aquí describimos.

Con otros fines, han nacido plataformas como Rubriq y Peereviewers.com cuyo objetivo es externalizar las revisiones de las revistas o incluso ofrecer a los autores evaluaciones previas al envío de sus manuscritos. Estos servicios de pago garantizan revisiones más rápidas y completas. “Estas plataformas se basan [en] el cobro de unas tasas a sus clientes (autores o editoriales) y en el reconocimiento a los revisores” (Menéndez-González, 2015). Parece que es unánime que se necesita mejorar el proceso de revisión y una parte esencial de este desarrollo pasa por reconocer el trabajo de los revisores.

 

En un sistema de publicación cambiante donde el modelo actual de publicación tiende a ponerse continuamente en cuestión, figuras como la del evaluador deben ponerse en valor. Iniciativas como Publons, Rubriq o Peereviewers.com permiten que estos perfiles manifiesten su filantrópica actitud conectando revisores con editores.

Conclusiones

El papel del revisor es clave en el sistema de publicación científica actual. Los revisores son filtro y tamiz del proceso de publicación científica. Paradójicamente este rol es el más denostado por los sistemas de incentivos que reciben los investigadores y menos reconocido por parte de las revistas que cada vez exigen más de sus revisores. Es justo reconocer y estimular su trabajo.

Publons no sólo pone en valor el papel del investigador como revisor, sino que al recopilar estos datos en una sola plataforma y hacerlos públicos, permite el estudio profundo del fenómeno y permite a las revistas optimizar aspectos de la revisión como es el control del trabajo o la búsqueda de revisores.

Publons ha levantado gran expectación dentro de la comunidad científica (van Noorden, 2014) y son muchos los investigadores y editores que confían que la capacidad de generar currículos de revisión científica permita crear incentivos que animen al investigador a seguir con su laborioso trabajo como revisor del trabajo de terceros y permita a las revistas seguir manteniendo los estándares de calidad que la comunidad científica demanda de sus publicaciones.  Pues depende de la calidad de sus revisiones el prestigio de las revistas. El simple hecho de ser evaluador en una revista debe ser reconocimiento.

El fenómeno de Publons y de otras plataformas de revisores puede llevar aparejada una necesaria modificación en la forma de trabajar de las revistas. En primer lugar, obligará a las revistas a hacer cambios en sus normativas, indicando instrucciones explícitas a los académicos sobre qué pueden hacer público en su relación como evaluador de la revista y qué no.

Por último, indicar que Publons representa una oportunidad para investigar un fenómeno que hasta ahora ha estado oculto, el de la evaluación por pares y sus protagonistas, gracias a que concentra en una sola plataforma información que antes estaba mayormente oculta o en algunas ocasiones desperdigada.

Bibliografía

Menéndez-González, M. (2015). Revisión por pares: plataformas de reconocimiento para revisores de artículos científicos. Archivos de Medicina11(3), 3.

Mey, M. de. (1992). The cognitive paradigm: An integrated Understanding of Scientific Development. Chicago: The University of Chicago Press.

Van Noorden, R. (2014). The scientists who get credit for peer review. Nature News. doi: 10.1038/nature.2014.16102

Cover photograph: power lines at https://flic.kr/p/aq5iQ5

Movilidad científica, un fenómeno con múltiples caras

 

I wrote to Luria to save me

J.D. Watson (1968)

En su relato acerca del descubrimiento de la estructura del ADN, son muchas las menciones que hace James D. Watson a su mentor Salvador Luria y el papel clave que jugó en buscarle la financiación necesaria para que pudiera mantenerse durante su etapa postdoctoral en Europa. Primero Copenhague y finalmente, tras un infructuoso intento por ir a Londres y una pequeña estancia en Nápoles, Cambridge, donde conoció a Francis Crick dando lugar a uno de los grandes y tal vez el más conocido de los descubrimientos del siglo XX. Salvador Luria, premio Nobel de Medicina en 1969 por sus descubrimientos sobre el mecanismo de replicación de los virus, siempre acudía al rescate de su discípulo ya fuera buscando financiación o introduciéndole a otros colegas para que Watson pudiera seguir viajando y expandiendo sus conocimientos. La libertad para viajar, experimentar, fracasar y reinventarse fue clave en el descubrimiento de la estructura del ADN.

No obstante, el papel de la movilidad en la ciencia nunca ha estado exento de cierta polémica. ¿Quiénes ganan, quiénes pierden? ¿Tienen los investigadores que se mueven una carrera más brillante que aquellos que no lo hacen? ¿Se produce mejor ciencia cuando se viaja? ¿Qué costes familiares tiene para el investigador? Es evidente que la movilidad científica es per se positiva para el sistema científico. Favorece el intercambio de ideas, tecnología y conocimiento. Asimismo, los investigadores móviles suelen colaborar más con sus colegas extranjeros que aquellos que no lo hacen y su investigación suele tener mayor repercusión dentro de la comunidad científica. Sin embargo, la carrera por el talento, especialmente incentivada por los rankings de universidades, así como la llamada fuga de cerebros amenazan con estratificar y aumentar las diferencias entre países en relación a su potencial científico y, por ende, su capacidad para formar a las generaciones futuras. Es más, eventos recientes como el Brexit en el Reino Unido o los intentos del presidente Trump por limitar la inmigración de ciertos países, ponen en peligro la libre circulación de investigadores y amenazan con daños irreparables a los países afectados por dichas políticas.

En este contexto, queda patente la necesidad de desarrollar metodologías y técnicas que nos permitan conocer mejor esta realidad para poder analizar sus efectos, consecuencias y repercusión de cara a elaborar políticas científicas que favorezcan el crecimiento del sistema científico nacional. Hasta ahora, el estudio de la movilidad científica se ha hecho a través de encuestas que hacían un seguimiento de la carrera del investigador o analizando los currículos científicos de los investigadores. No obstante, estas metodologías de recogida de datos son costosas (tanto en dinero como en tiempo) y problemáticas a la hora de hacer análisis globales que permitan hacer comparativas entre países, así como monitorizar periódicamente los cambios y fluctuaciones de investigadores que se van produciendo.

En busca de un método universal para estudiar la movilidad científica

Asimismo, el tipo de movilidad que se analiza también difiere. Un investigador puede hacer estancias temporales en otros institutos de investigación, puede cambiar de institución o puede estar afiliado a más de una institución. El tipo de movilidad no sólo tendrá repercusiones distintas para el investigador, sino también para las instituciones que lo acojan. Es evidente la repercusión que tuvo para Watson su viaje a Europa durante su periodo postdoctoral. Pero también la que tuvo para su país de origen, Estados Unidos, al que regresó poco después para ingresar en la Universidad de Harvard. Concebida de este modo, la movilidad científica es un fenómeno que fortalece la colaboración entre países y permite una mayor interacción beneficiando tanto al país que recibe al investigador como a aquel que lo recibe. Programas como Fulbright en Estados Unidos, Marie Slokowska Curie en Europa o Ramón y Cajal en España, fueron diseñados precisamente para estimular dicho intercambio de capital humano. Por otra parte, las noticias sobre jóvenes talentos obligados a abandonar su país de origen ante la falta de oportunidades o debido a atractivas políticas de captación de otros países son frecuentes reflejan el lado más oscuro de este fenómeno.

Figura 1 Flujos de movilidad entre países europeos (imagen superior) y mapa de calor con los países que más investigadores envían y reciben en Europa (imagen inferior)

Pero, ¿cómo cuantificar y analizar de manera objetiva el fenómeno de la movilidad científica a nivel global? Una de las propuestas más prometedoras que se han hecho es el empleo de las publicaciones científicas para rastrear el movimiento entre países de los investigadores. El punto de partida es bien sencillo. Si somos capaces de identificar todas las publicaciones de cada uno de los investigadores del mundo de las bases de datos internacionales, podremos rastrear los cambios de afiliación en la firma de cada uno de sus artículos. Obviamente, contaremos con importantes limitaciones, empezando por la necesidad de que el investigador o investigadora publique para poder contar con la información necesaria. Asimismo, el tipo de movilidad que rastrearemos será aquella en la que se produzca un cambio de afiliación institucional, ignorando estancias de investigación cortas y visitas a otros centros.

Aun así, el poder de dicho método es evidente, ya que utilizamos una misma fuente para rastrear movilidad en todos los países del mundo para cualquier periodo de tiempo. Asimismo, podemos analizar el fenómeno de la movilidad desde dos puntos de vista tradicionalmente enfrentados: visto como un juego donde unos países pierden y otros ganan o como una red global donde los países se relacionan e integran compartiendo talento. La figura 1 integra estas dos perspectivas, en la imagen superior vemos una red de países unidos entre sí en función del número de trabajadores que comparten. Países como Alemania, Francia, Italia o Suiza se sitúan en posiciones centrales, convirtiéndose en nexos de unión entre los distintos países europeos. Si nos detenemos en las imágenes inferiores, la lectura es diametralmente opuesta. Los investigadores móviles en Europa vienen principalmente de países del sur y este de Europa, mientras que los países de destino se sitúan en el centro y el norte de Europa.

Viajar y migrar, dos caras de la misma moneda

Pero esta visión más pesimista de la movilidad de ganadores (aquellos que atraen talento) y perdedores (aquellos que lo pierden) es excesivamente reducida tal y como muestran los datos. Entendiendo a los investigadores móviles como aquellos que publicaron trabajos científicos con afiliaciones de más de un país, observamos que el fenómeno de la movilidad científica no se reduce únicamente a la migración entre países. Es más, los migrantes son los menos (aquellos que abandonan un país para marcharse a otro) y que casi el 70% de los investigadores móviles del mundo son viajeros, gente que nunca deja de estar afiliada a su país de origen pero que también está afiliada a otros países.

Esto no sólo refleja lo complejo del fenómeno de la movilidad científica, sino la manera trivial y simplista en la que es muchas veces tratada en la prensa. Ejemplo de ello es la figura 2, donde mostramos el caso de José Baselga. Este ilustre investigador fue objeto de noticias en las que se criticaba la fuga de cerebros del sistema español (algo que lamentablemente es una realidad) pero que en su caso no queda patente al analizar los países a los que está afiliado este investigador. De manera que, si observamos sus primeros cuatro años de carrera investigadora, comprobamos cómo siempre firma al menos una publicación con una entidad española, ya sea una co-afiliación (firmando con más de una institución de más de un país) o afiliación única (varias publicaciones firmadas con distintas afiliaciones). Y es que es cada vez más común en el mundo científico el tener varias afiliaciones ya sea como investigador visitante o repartiendo el tiempo de trabajo (y el sueldo) entre varias instituciones.

Figura 2 Recorrido científico de los cuatro primeros años de investigación de José Baselga. El asterisco indica que el trabajo se firmó con más de una afiliación

España y el eterno dilema

En España la movilidad siempre ha sido un tema polémico. El sistema universitario, señalado en múltiples ocasiones como excesivamente endogámico ha diseñado con mayor o menor éxito políticas de movilidad nacional (por ejemplo, el programa Juan de la Cierva) como de captación de talento externo (por ejemplo, el programa Ramón y Cajal). Sin embargo, el programa que mayor reconocimiento ha tenido hasta la fecha ha sido el diseñado por la Generalitat de Catalunya, el programa ICREA, emulado con mayor o menor acierto por otras comunidades como Madrid o País Vasco. Muchos de los investigadores que participan en estos programas de captación de talento suelen ser españoles retornados. Pero también los hay de potencias científicas como Estados Unidos o Reino Unido, países vecinos como Italia o Francia y países latinoamericanos como Argentina o Brasil.

Figura 3 Flujos de investigadores que comenzaron a publicar en el año 2008 en el top 10 de países de los que España recibe más investigadores que acabaron en España en 2015.

Figura 4 Investigadores móviles que comenzaron a publicar en 2008 y dónde fueron. Sólo se muestra el top 10 de países con mayor número de investigadores de España recibidos.

El panorama es relativamente similar si nos fijamos en aquellos que abandonan España. Estados Unidos y Reino Unido vuelven a ser los destinos preferidos junto con aquellos que retornan. Pero la preferencia por quedarse en Europa es mayor en términos comparativos. Países como Alemania, Francia y en menor medida Portugal e Italia, cobran fuerza como destinos preferidos frente a los países latinoamericanos. Solamente Chile figura entre los diez destinos preferidos de los investigadores españoles. Y aunque las motivaciones que llevan a viajar o migrar son variadas y no siempre positivas, los números muestren que son aquellos investigadores que cuentan con movilidad los que tienen mayor repercusión científica. Para poder establecer políticas científicas que beneficien al sistema español, es necesario comprender el fenómeno de la movilidad en toda su extensión y huir de visiones simplistas y reduccionistas de dicho fenómeno.

Referencias

Sugimoto, C. R., Robinson-Garcia, N., Murray, D. S., Yegros-Yegros, A., Costas, R., & Larivière, V. (2017). Scientists have most impact when they’re free to move. Nature, 550(7674), 29–31. https://doi.org/10.1038/550029a

Notes on papers I read this week (II)

This week I have been reading a bunch of work on foreign-born scientists. I have focused on the works by Paula Stephan and colleagues. Here is some of the stuff and notes for future me.

Levin, S.G., Stephan, P. (1999). Are the foreign born a source of strength for U.S. science? Science, 285(5431), 1213-1214.

Inflow of foreign talent started in the 1970. This has been increasing for both, those coming before and after their PhD. The question posed in this paper is the following do foreign scientists (understood as both, born and educated) contribute disproportionally to US science? The authors conclude that this is actually happening especially with foreign-educated scientists. They conclude that the US is benefiting from foreign investment although they are unable to capture to what extent this poses a threat to US born or educated scientists.

Levin, G.S., Stephan, P. (1991). Research productivity over the life cycle: Evidence for academic scientists. The American Economic Review, 81(1), 114-132

They combine bibliometric and survey data. The goal of the paper is to analyze if productivity is motivated by either of two factors: investment for future rewards or consumption and the satisfaction of pursuing scientific advancement. They find that productivity tends to decline with age even when controlling for other factors. They conclude that therefore, productivity is investment-motivated rather than consumption-motivated.

Stephan, P.E., Levin, S.G. (2001). Exceptional contributions to US science by foreign-born and foreign-educated. Population Research and Policy Review, 20(1-2), 59-79.

Seems to be the paper used as basis for their Science policy forum. The dataset and conclusions are the same. They reinforce that the US has benefited overall from the attraction of foreign talent. When focusing on countries of origin of foreign scientists who make an exceptional contribution to the US (measured by their citation impact in both publications and patents) come mainly from the United Kingdom and Germany. Other contributing countries are Austria, Canada, China and India. They indicate higher rates of foreign scientists in later age cohorts (younger scientists).

Stephan, P. E., & Levin, S. (2003). Foreign scholars in US science: Contributions and costs. Science and the University, 237.

This paper wraps-up the findings from their different studies, some reviewed already above. Especially interesting is their analysis on displacement from and within academ of US scientists due to the increasing number of foreign scientists. In this case they find that there is a displacement from academe, as foreigners seem to be more competitive. However, this displacement within academia, only takes place on temporary jobs and not on permanent positions.

Franzoni, C., Scellato, G., & Stephan, P. (2014). The mover’s advantage: The superior performance of migrant scientists. Economics Letters, 122(1), 89–93.

This paper aims at isolating the effect of moving on productivity of scientists. They are trying to unveil if it is the movement itself what makes migrant scientists outperform non-mobile scientists. They measure performance based on the quartile of publications according to their journal impact factor. They combine survey and bibliometric data. According to their findings migrant scientists consistently outperform non-mobile despite of previous international collaboration or despite time of migration (before or after their PhD). This means that not only investing on scientists trained abroad is good business even bringing them to the country and training them.

Cover photograph: Reverse brain drain at http://www.stack.com.ph/brain-gain-linkedin-shows-that-smart-filipinos-are-coming-home/

Los resultados del REF2014 del Reino Unido marca el camino a seguir en la evaluación científica

Entrada publicada originalmente en el Blok de BiD el día 13 de diciembre de 2017.

Empiezan a aparecer nuevas noticias sobre el REF2021, el ejercicio evaluativo más importante para el sistema científico en el Reino Unido. Se tratará de la segunda ocasión en la que se evalúa a las universidades británicas según el sistema actual. Aprovechando la proximidad de dicho ejercicio, aprovechamos para comentar los resultados de su primera implementación allá en 2014 e introducir algunas reflexiones sobre las importantes novedades que introduce en el sistema de evaluación británico.

Recientemente mi compañero Richard Woolley, investigador de INGENIO (CSIC-UPV), y servidor publicamos en el LSE Impact Blog un pequeño artículo de opinión sobre el Research Excellence Framework del Reino Unido conocido como el REF. Este ejercicio, cuya última edición sigue siendo motivo de continuo debate pese a haber transcurrido en 2014, es el proceso de evaluación de la actividad investigadora más importante del Reino Unido. Pese a su alto coste, alrededor de 250 millones euros, distribuye más de un billón y medio de euros entre las universidades británicas, convirtiéndose su diseño, metodología e implementación, en un tema de continuo debate dentro del sistema universitario británico. Pese a la amplia tradición evaluativa del Reino Unido (sus primeros ejercicios de evaluación institucional datan de 1986), el año 2014 supuso todo un hito al revolucionar radicalmente tanto de métodos como de objetivos. En esta breve nota, revisaremos cómo funciona el REF, qué objetivos persigue y cuáles son los resultados obtenidos. Resumiremos las principales conclusiones derivadas de nuestros análisis en los resultados del REF. Finalmente, acabaremos con una pequeña reflexión sobre las importantes diferencias entre el sistema de evaluación de la investigación en España con el del Reino Unido.

El Reino Unido, un pionero en la evaluación de la actividad investigadora

Desde 1986, el Reino Unido se ha postulado como el gran pionero en apostar fuerte por fórmulas evaluativas, nunca exentas de polémicas, con el objetivo de incentivar la competencia entre instituciones. Contrariamente a lo que sucede en España, la evaluación se realiza a nivel institucional o departamental (ya que lo que se evalúan son ‘unidades de evaluación’ dentro de áreas científicas). Dicho proceso evaluativo cuenta con paneles de evaluadores y exige por parte de las instituciones un importante esfuerzo tanto económico como humano. Cada unidad deberá seleccionar tanto a personal a tiempo completo como publicaciones. En sus múltiples ediciones, ha sufrido notables cambios que reflejan los cambios de dirección y objetivos del país en materia de investigación.

En un principio, se evaluaba el número total de publicaciones. En 1996, se cambió la metodología con el fin de incentivar la producción de investigación de ‘calidad’ (entendida como aquella altamente citada) frente a la ‘cantidad’, introduciendo un número fijo de publicaciones a someter a evaluación. Sin embargo y a pesar de continuados esfuerzos y modificaciones en las sucesivas ediciones, el entonces RAE, siguió premiando la productividad de los investigadores frente al impacto científico. Al mismo, las críticas empezaron a arreciar contra un sistema de evaluación cada vez más costoso. Entre otras cuestiones, destacamos aquí dos críticas. En primer lugar, cabía cuestionarse la necesidad de emplear evaluación por pares cuando ésta era fácilmente sustituibles por indicadores bibliométricos, ya que el foco de atención era la publicación científica. Más dura era la crítica relativa a si, una evaluación basada en la publicación científica tenía sentido y si realmente esta era la forma más adecuada de capturar la repercusión que tiene la investigación en la sociedad.

2014 fue un año clave en la evaluación de las universidades británicas. Atrás quedó el antiguo RAE, refundado y conocido ahora como REF. Dicho sistema de evaluación siguió manteniendo un apartado para publicaciones científicas, pero introdujo la variable de ‘impacto social’ de la actividad investigadora. Un concepto ambiguo que se definió como ‘un efecto, cambio o beneficio económico, social, cultural, de política pública o servicios, a la salud, el medio ambiente o la calidad de vida más allá del académico’. La tarea se complicaba, ya que los objetivos del REF ya no eran simplemente distribuir fondos o establecer un marco de comparación entre universidades, sino también producir evidencias de los beneficios públicos generados por la inversión en investigación. Para ello, se crearon 36 unidades de evaluación divididas en cuatro paneles (Ciencias Biomédicas y de la Salud; Ciencias Físicas, de la Vida e Ingeniería; Ciencias Sociales; Humanidades y Artes) a las que las universidades debían enviar tanto una selección de publicaciones como casos de estudio sobre su contribución social. Un verdadero experimento de laboratorio en el que los revisores de cada panel (formado tanto por científicos como por otros actores sociales) debían asesorar el impacto social de cada caso de estudio y puntuarlos de acuerdo a un sistema de 4 estrellas, (siendo 4 la puntuación más alta).

La temeridad fue extrema. Previamente, un comité de expertos en evaluación científica, señaló la falta de indicadores cuantitativos para evaluar el impacto social. Esto hizo que todo el proceso quedara en manos de los paneles de expertos, que desplegaron un importante esfuerzo por dotarlo de la máxima transparencia[1]. El éxito en dicho modelo es aún incipiente y aunque es loable el esfuerzo y cambio de dirección en la evaluación, quedan muchas preguntas en el aire sobre cómo se ha interpretado qué es impacto social. Tanto los resultados de la evaluación como la implementación de la misma, han sido objeto de evaluación y de gran debate en la comunidad científica británica.

Excelencia científica versus relevancia social

Gran parte de la discusión se ha centrado en analizar cómo se ha interpretado el concepto de impacto social y su relación con indicadores bibliométricos o indicadores altmétricos. Asimismo, se tiende a buscar una relación positiva entre excelencia investigadora e impacto social, infiriendo no sólo que están relacionados, sino que dicha relación es deseable. En nuestros análisis sobre el REF, Richard y yo partíamos de una premisa totalmente distinta. La búsqueda de impacto social, por un lado, y excelencia investigadora por otro, abre la puerta a un escenario más heterogéneo y diverso de la actividad investigadora y de los distintos perfiles académicos que existen. Supongamos que el REF llevó a cabo una evaluación exhaustiva y veraz tanto del impacto social como de la producción científica. Supongamos que el impacto social es de hecho algo medible y positivo. Ahora, analicemos las universidades para cada unidad de evaluación. Lo que observamos es un escenario de lo más variopinto, donde no sólo la correlación entre actividad investigadora e impacto social no es para todas las unidades de evaluación alta (en algún caso, como el de Medicina Clínica, es hasta negativo), sino que existen sobrados casos de universidades con una alta puntuación en una y no en la otra.

Esto sugiere, nuevos caminos y más heterogéneos para la evaluación. Supone abandonar el sistema lineal y homogéneo hasta ahora empleado de concebir la investigación, donde se premia a la (falsa) figura del investigador todoterreno, que excede en todos los ámbitos de la actividad académica (transferencia, investigación, docencia, administración…); y pasamos a otro donde existen diversos perfiles, todos ellos necesarios para enriquecer el sistema universitario.

¿Qué podemos aprender en España del REF2014?

España ha sido siempre un sistema complejo, donde la tensión al ‘café para todos’ frente al reconocimiento al individuo ha favorecido un sistema caótico, burocrático y lleno de contradicciones. Contrasta la fuerza investigadora en bibliometría con la ignorancia y los fallos de bulto de nuestro sistema que parte de una evaluación individual que daña la colaboración y, por ende, la proyección internacional. El sistema británico es claramente imperfecto, parte de definiciones ambiguas y de una implementación de carácter más bien experimental. Sin embargo, cuenta con unos objetivos claramente definidos (la distribución de recursos) que pretenden fortalecer el sistema universitario y de investigación británico. Asimismo, se fomenta el debate en las cuestiones de fondo, con análisis pormenorizados y serios sobre los efectos de dicho sistema. En España, el objetivo de sistemas de evaluación como los sexenios o las acreditaciones es cuanto menos, dudoso, convirtiéndose al final en una mera cuestión burocrática con un sentido más bien de monitorización que de mejora del sistema.

Queda cuestionarse si se trata de una excesiva atención a los criterios e indicadores empleados, que no permiten centrar la discusión en los objetivos de la evaluación. O tal vez, simplemente se deba a que aún nos encontramos históricamente en un estadio anterior al británico. Sea la razón que sea, la experiencia británica es una gran oportunidad para observar los importantes cambios que están por venir en evaluación científica y reflexionar sobre si estamos siguiendo un camino adecuado a las demandas actuales de la sociedad.


[1] Todas las minutas de las conversaciones así como los casos de estudio están disponibles en la web http://www.ref.ac.uk/2014/

Cover photograph: Wrong direction at https://flic.kr/p/SmQyhA

Notes on papers I read this week (I)

Cañibano, C. & Bozeman, B. Curriculum vitae method in science policy and research evaluation: the state-of-the-art. Research Evaluation, 18(2), 86-94

This paper reviews the use of CV analysis in science policy. The value of CVs lies in the fact that they serve as personal services advertisement and the fact that researchers are strongly encouraged to provide timely and accurate data. Until early 1990s CV analysis has been used anecdotally and as complementary. However, the Research Value Mapping programme developed by Bozeman and Rogers among others, has fostered its expansion as a solid methodology. Contrarily to other methodological approaches, CV analysis is characterized by being theory-driven. There are three main research topics in which this method has been applied: Career trajectories, mobility and mapping collective capacity. However, CV analysis is not free of many methodological limitations, namely: availability, heterogeneity, truncation, missing information, and coding inconsistency. They suggest solving part of this problems by complementing the data with other sources such as bibliometric data or survey data.

Dietz, J.S. & Bozeman, B. (2005). Academic careers, patents, and productivity: industry experience as scientific and technical human capital. Research Policy, 34(2), 349-367

This paper intends to analyze productivity differences based on career paths of scientists within industry, government and academia who have ended up in academia. The paper is framed within Bozeman’s STHC framework. They argue that most studies have focused until then either in industry or academia and few on the collaboration patterns between academia and industry, but always considering researchers as either academic or industry, instead of acknowledge the diversity of career patterns observed in their trajectories. One of the arguments made is that by favoring capacity (in this case seen as richness in career trajectories) one favors knowledge production. Hence their first hypothesis is that those with more diversified career patterns will be more productive and confront it to another hypothesis which states that scientist who always worked in academia will be more productive. While the former is based on social capital grounds (more ties, more connections, more productivity), the latter is based on job priorization and incentives, as publication is one of the main tasks of scientists. Two alternative hypotheses are also formulated: 1) early career experiences in academia will lead to more productivity, and 2) publishing before PhD will also warrant being more productive in the future. They observe that precocity and homogeneity in career patterns has a weak positive relation with productivity while years in industry and time of PhD. They compared productivity means between those groups who moved from industry to academia and viceversa, before and after the moving and observed increased productivity in movements. While the framing of the paper is really strong and inspiring, its results are not sufficiently convincing.

Interesting points:

  • Homogeny variable. They ‘quantify’ careers based on how distant they are from the norm based on the probability of a given trajectory being similar to the always academic one.
  • Education and traning precocity. Based on PhD year and whether they had academic experience soon in their career and if they published before PhD.

 

Cover photograph: Workers of the world, unite! at https://flic.kr/p/5znVpk

Scientific excellence is just one of the many paths to societal impact

Recently the LSE Impact blog posted and entry by Richard Woolley and I where we comment on the dangers of trying to link scientific excellence and societal impact. Assessing the societal impact of research is now the big challenge in research evaluation. Until recently, evaluative and policy efforts were placed on promoting the so-called ‘excellent research’, following the logic that it is the best research the one that can lead to social change and respond to current societal challenges. But the UK 2014 REF has been a game-changer by introducing a complex peer review system by which committees assess the impact of submitted case studies in which researchers explain how their research has contributed to society (in which ever terms they find suitable).

The result is a complex system in which quantitative indicators are relegated leaving mixed feelings as to the process followed and its success. Still, it is a worthy initiative and the first attempt to assess the societal impact of research at a national scale. In our post entry, we part from the premise that the assessment made by the committees is acceptable and explore the relationship between the scores received by each submission unit for their scientific output and societal impact. What we find is that such relationship between scientific excellence or quality and societal impact is not always correlated, suggesting that there are many ways of having and impact in society without doing excellent research and the contrary, doing good research does not neccessarily always leads to having a societal impact.

International collaboration: It is not only a matter of with whom but with how many?

Collaboration through co-authorship is a long studied field of work in scientometrics. The notion of international collaboration has been widely acknowledged through bibliometric data as a positive factor to improve the citation impact and visibility of publications. What is more, the share of international collaboration is an indicator of success used in many evaluation exercises at the individual level (e.g., Ramón y Cajal in Spain) and it is included in the set of indicators pre-calculated in many bibliometric suites such as Clarivate’s InCites.

At the country level, international collaboration can be seen as a way of bridging with other countries or belonging to the global community. However, little is known on the mechanisms that lead to this or the type of collaboration needed to do so. With regard to developing research systems, international collaboration can serve as a means to increase investment and capacity building1,2. Still, is international collaboration good no matter with whom or how many. Can we observe differences in terms of fields or type of development depending on the partners countries collaborate with?

My colleagues and I have recently got accepted a paper3 at the Globelics Conference 2017 in which we explore types of international collaborating partners for selected countries in South-East Asia. We part from the concepts of multilateral and bilateral collaboration developed by Glänzel and de Lange4,5 to analyze the international collaboration trend of six leading science systems among the ASEAN group of countries (Thailand, Singapore, Malaysia, Philippines, Vietnam and Indonesia). While the analysis is yet very preliminary, we do observe differences on the major partners and fields of these countries depending on the type of multi or bilateral collaboration they have with the country. We also find different temporal trends on the evolution of international collaboration between these six countries, suggesting different developing stages of their national system. We hope to explore and expand these analyses in the future.

References

1.
Wagner CS, Leydesdorff L. Network structure, self-organization, and the growth of international collaboration in science. Research Policy. 2005;34(10):1608-1618. doi: 10.1016/j.respol.2005.08.002
2.
Wagner CS, Park HW, Leydesdorff L. The Continuing Growth of Global Cooperation Networks in Research: A Conundrum for National Governments. Glanzel W, ed. PLoS ONE. 2015;10(7):e0131816. doi: 10.1371/journal.pone.0131816
3.
Woolley R, Robinson-Garcia N, Costas R. Global research collaboration: Partners and networks in South-East Asia. In: Athens, Greece; 2017.
4.
Glänzel W, De Lange C. Modelling and measuring multilateral co-authorship in international scientific collaboration. Part II. A comparative study on the extent and change of international scientific collaboration links. Scientometrics. 1997;40(3):605-626. doi: 10.1007/bf02459304
5.
De Lange C, Glänzel W. Modelling and measuring multilateral co-authorship in international scientific collaboration. Part I. Development of a new model using a series expansion approach. Scientometrics. 1997;40(3):593-604. doi: 10.1007/bf02459303

esss 2017: European Summer School for Scientometrics

Berlin, Germany
September 17 – 22, 2017

http://www.esss.info

Dear colleagues,

We are happy to announce that this year’s registration for the European
Summer School for Scientometrics (esss) is open NOW. The event will take place in Berlin, Germany from September 17 – 22, 2017.

Like in previous years the programme offers an Introduction to Bibliometrics, lectures, tutorials and practical exercises. “Identification of Research Focuses. National & Institutional Profiles and Strategic Partnerships “ will be this year`s focus.

For further information regarding the programme, please visit our website:

http://www.esss.info/programme.html

For registration please use the following link:

http://www.esss.info/registration.html

The regular participation fee is 900 EUR, reduced fee for students is 650 EUR.
This includes all courses, all lunch and coffee breaks and all course material. It excludes travel, accommodation and social events. In order to benefit from the reduced student fee it is necessary to confirm your student status by sending an appropriate record (scan) to congress@univie.ac.at.

Please note that there is NO application procedure and that the limited seats will be sold on a “first come, first serve” basis.

If you have any further questions or are in need of invitation letters, please do not hesitate to contact our esss office (mailto: office@ scientometrics-school.eu).

We are looking forward to seeing you in Berlin!