Tag: UK REF

La financiación de las universidades británicas a examen: ¿Excelencia científica o relevancia social?

Entrada publicada originalmente en Nada es Gratis el día 9 de marzo de 2018

Autores: Nicolás Robinson-Garcia y Richard Woolley.

Siempre que se habla de financiación y evaluación de la actividad científica, el Reino Unido aparece como el lugar donde mirar y  analizar qué funciona y qué no. Lo que sucede en las islas británicas suele ser visto con expectación por la comunidad que trabaja en evaluación de la ciencia, por la gran cantidad de recursos que se destinan a dicha evaluación, cuyos resultados determinan buena parte de la financiación total que las universidades van a recibir. Este complejo sistema de evaluación, que tiene lugar cada siete años y distribuye más de un billón y medio de euros entre las universidades británicas, se conoce por sus siglas en inglés REF (Research Excellence Framework). Visto desde fuera, lo que más interés suscita es el intenso debate que se genera entre investigadores y gestores de investigación cada vez que se comienza con el diseño del siguiente ejercicio de evaluación. Cualquiera que esté interesado en el tema no tiene más que seguir la gran cantidad de entradas que el Impact Blog del London School of Economics publica sobre el tema.

En estos meses, se está diseñando el próximo ejercicio que tendrá lugar en 2021 y son muchas y notables las reflexiones y análisis que se están realizando sobre el anterior ejercicio que tuvo lugar en 2014. Con el objetivo de hacer extensible ese debate a la comunidad española, queremos aprovechar la generosidad de los editores de NEG para describir cómo funciona el sistema de evaluación nacional en el Reino Unido y compartir nuestra perspectiva sobre las implicaciones que los resultados del REF2014 tienen sobre el modo en que actualmente se evalúa la investigación.

Sin ánimo de entrar en excesivos detalles, el proceso de evaluación en el Reino Unido se puede resumir del siguiente modo. Las universidades deben de enviar casos de estudio o unidades de evaluación a los distintos paneles de expertos encargados de asesorar la calidad de los mismos. Dichas unidades deben incluir un número cuatro o cinco publicaciones. Esto significa que 1) no se evalúa la totalidad de la actividad investigadora de la universidad y 2) las universidades deben llevar a cabo una preselección de candidatos a presentar. Ahora bien, la gran novedad del REF2014 radica en:

  • La inclusión junto con la selección de publicaciones, de casos de estudio en los que cada unidad de evaluación presentaba la relevancia social que tenía su investigación (no necesariamente ligada con las publicaciones que se presentaban).
  • La no utilización oficial de los revisores de indicadores cuantitativos para medir la relevancia social, tal y como determinó un comité de expertos externo. Esto no significa que las universidades no pudieran emplearlos para defender sus propuestas.
  • La inclusión en los paneles de revisores de individuos ajenos a la academia, cuestión que a pesar de haberse considerado positiva, ha sido criticada recientemente en Nature por su implementación.

Hablar del impacto social de la ciencia son palabras mayores dentro del mundo de la evaluación de la actividad científica. Tan sólo discernir qué significa tener impacto social (¿salir en los periódicos, descubrir la cura de enfermedades, favorecer el tejido económico?) es motivo de arduos debates. Es precisamente por ello por lo que se tiende a asumir que excelencia científica e impacto social van de la mano. Algo que desde hace tiempo se empieza a cuestionar (ver por ejemplo aquí) y que los resultados del REF2014 también reflejan.

Sin entrar en si la metodología empleada es mejorable o no, recientemente analizamos el porcentaje de casos de estudio de cada unidad de evaluación enviada por las universidades que habían recibido la mayor puntuación en cada categoría (cuatro estrellas). Todos los datos están disponibles aquí. Nuestro objetivo no era comprobar el desajuste entre impacto social y científico, sino reforzar la idea de que hay una gran diversidad de impactos heterogéneos entre sí que pueden o no estar relacionados. En la figura anterior mostramos, a la izquierda, la correlación para cada unidad de evaluación entre impacto social y científica. En el lado derecho, mostramos para cada panel, la relación entre impacto científico (Outputsen el eje de la y) e impacto social (Impact en el eje de la x). Como se puede observar, existe una gran diversidad de combinaciones de impactos. Mayor impacto científico no siempre viene acompañado de mayor impacto social y viceversa. Esta heterogeneidad pone en cuestión los modelos de evaluación que se emplean tradicionalmente para financiar la investigación,  puesto que tienden a fomentar y privilegiar la investigación que produce altos niveles de impacto en las dos dimensiones (científica y social), reduciendo así la diversidad de resultados existente y por tanto el abanico de impactos sociales posibles.

Establecer comparativas entre el Reino Unido y España en este contexto es complicado, puesto que aquí nunca se abogó por una financiación y una evaluación institucional, sino por una evaluación a nivel individual, excesivamente burocrática e intrusiva. Sin embargo, la introducción de programas como el Severo Ochoa o María Maeztu, apuntan en cierto modo hacia la introducción de medidas evaluadoras para distribuir financiación a nivel institucional, con criterios que pueden poner en peligro la diversidad de impactos. El uso indiscriminado de indicadores cuantitativos es cada vez más cuestionado. Sin embargo, una evaluación concienzuda y responsable exige una gran inversión acorde con la financiación que se pretende otorgar y que aquí nadie parece dispuesto a asumir. Las innovaciones en materia de evaluación y las discusiones que están teniendo lugar en otros países como el Reino Unido, Noruega o Países Bajos debieran servirnos para dejar de hablar de criterios y empezar a plantearnos las consecuencias que tiene la introducción de sistemas de financiación de la investigación que ignoran la heterogeneidad de impactos que puede producir la actividad investigadora.

Cover photograph: money at https://flic.kr/p/chEwR9

Los resultados del REF2014 del Reino Unido marca el camino a seguir en la evaluación científica

Entrada publicada originalmente en el Blok de BiD el día 13 de diciembre de 2017.

Empiezan a aparecer nuevas noticias sobre el REF2021, el ejercicio evaluativo más importante para el sistema científico en el Reino Unido. Se tratará de la segunda ocasión en la que se evalúa a las universidades británicas según el sistema actual. Aprovechando la proximidad de dicho ejercicio, aprovechamos para comentar los resultados de su primera implementación allá en 2014 e introducir algunas reflexiones sobre las importantes novedades que introduce en el sistema de evaluación británico.

Recientemente mi compañero Richard Woolley, investigador de INGENIO (CSIC-UPV), y servidor publicamos en el LSE Impact Blog un pequeño artículo de opinión sobre el Research Excellence Framework del Reino Unido conocido como el REF. Este ejercicio, cuya última edición sigue siendo motivo de continuo debate pese a haber transcurrido en 2014, es el proceso de evaluación de la actividad investigadora más importante del Reino Unido. Pese a su alto coste, alrededor de 250 millones euros, distribuye más de un billón y medio de euros entre las universidades británicas, convirtiéndose su diseño, metodología e implementación, en un tema de continuo debate dentro del sistema universitario británico. Pese a la amplia tradición evaluativa del Reino Unido (sus primeros ejercicios de evaluación institucional datan de 1986), el año 2014 supuso todo un hito al revolucionar radicalmente tanto de métodos como de objetivos. En esta breve nota, revisaremos cómo funciona el REF, qué objetivos persigue y cuáles son los resultados obtenidos. Resumiremos las principales conclusiones derivadas de nuestros análisis en los resultados del REF. Finalmente, acabaremos con una pequeña reflexión sobre las importantes diferencias entre el sistema de evaluación de la investigación en España con el del Reino Unido.

El Reino Unido, un pionero en la evaluación de la actividad investigadora

Desde 1986, el Reino Unido se ha postulado como el gran pionero en apostar fuerte por fórmulas evaluativas, nunca exentas de polémicas, con el objetivo de incentivar la competencia entre instituciones. Contrariamente a lo que sucede en España, la evaluación se realiza a nivel institucional o departamental (ya que lo que se evalúan son ‘unidades de evaluación’ dentro de áreas científicas). Dicho proceso evaluativo cuenta con paneles de evaluadores y exige por parte de las instituciones un importante esfuerzo tanto económico como humano. Cada unidad deberá seleccionar tanto a personal a tiempo completo como publicaciones. En sus múltiples ediciones, ha sufrido notables cambios que reflejan los cambios de dirección y objetivos del país en materia de investigación.

En un principio, se evaluaba el número total de publicaciones. En 1996, se cambió la metodología con el fin de incentivar la producción de investigación de ‘calidad’ (entendida como aquella altamente citada) frente a la ‘cantidad’, introduciendo un número fijo de publicaciones a someter a evaluación. Sin embargo y a pesar de continuados esfuerzos y modificaciones en las sucesivas ediciones, el entonces RAE, siguió premiando la productividad de los investigadores frente al impacto científico. Al mismo, las críticas empezaron a arreciar contra un sistema de evaluación cada vez más costoso. Entre otras cuestiones, destacamos aquí dos críticas. En primer lugar, cabía cuestionarse la necesidad de emplear evaluación por pares cuando ésta era fácilmente sustituibles por indicadores bibliométricos, ya que el foco de atención era la publicación científica. Más dura era la crítica relativa a si, una evaluación basada en la publicación científica tenía sentido y si realmente esta era la forma más adecuada de capturar la repercusión que tiene la investigación en la sociedad.

2014 fue un año clave en la evaluación de las universidades británicas. Atrás quedó el antiguo RAE, refundado y conocido ahora como REF. Dicho sistema de evaluación siguió manteniendo un apartado para publicaciones científicas, pero introdujo la variable de ‘impacto social’ de la actividad investigadora. Un concepto ambiguo que se definió como ‘un efecto, cambio o beneficio económico, social, cultural, de política pública o servicios, a la salud, el medio ambiente o la calidad de vida más allá del académico’. La tarea se complicaba, ya que los objetivos del REF ya no eran simplemente distribuir fondos o establecer un marco de comparación entre universidades, sino también producir evidencias de los beneficios públicos generados por la inversión en investigación. Para ello, se crearon 36 unidades de evaluación divididas en cuatro paneles (Ciencias Biomédicas y de la Salud; Ciencias Físicas, de la Vida e Ingeniería; Ciencias Sociales; Humanidades y Artes) a las que las universidades debían enviar tanto una selección de publicaciones como casos de estudio sobre su contribución social. Un verdadero experimento de laboratorio en el que los revisores de cada panel (formado tanto por científicos como por otros actores sociales) debían asesorar el impacto social de cada caso de estudio y puntuarlos de acuerdo a un sistema de 4 estrellas, (siendo 4 la puntuación más alta).

La temeridad fue extrema. Previamente, un comité de expertos en evaluación científica, señaló la falta de indicadores cuantitativos para evaluar el impacto social. Esto hizo que todo el proceso quedara en manos de los paneles de expertos, que desplegaron un importante esfuerzo por dotarlo de la máxima transparencia[1]. El éxito en dicho modelo es aún incipiente y aunque es loable el esfuerzo y cambio de dirección en la evaluación, quedan muchas preguntas en el aire sobre cómo se ha interpretado qué es impacto social. Tanto los resultados de la evaluación como la implementación de la misma, han sido objeto de evaluación y de gran debate en la comunidad científica británica.

Excelencia científica versus relevancia social

Gran parte de la discusión se ha centrado en analizar cómo se ha interpretado el concepto de impacto social y su relación con indicadores bibliométricos o indicadores altmétricos. Asimismo, se tiende a buscar una relación positiva entre excelencia investigadora e impacto social, infiriendo no sólo que están relacionados, sino que dicha relación es deseable. En nuestros análisis sobre el REF, Richard y yo partíamos de una premisa totalmente distinta. La búsqueda de impacto social, por un lado, y excelencia investigadora por otro, abre la puerta a un escenario más heterogéneo y diverso de la actividad investigadora y de los distintos perfiles académicos que existen. Supongamos que el REF llevó a cabo una evaluación exhaustiva y veraz tanto del impacto social como de la producción científica. Supongamos que el impacto social es de hecho algo medible y positivo. Ahora, analicemos las universidades para cada unidad de evaluación. Lo que observamos es un escenario de lo más variopinto, donde no sólo la correlación entre actividad investigadora e impacto social no es para todas las unidades de evaluación alta (en algún caso, como el de Medicina Clínica, es hasta negativo), sino que existen sobrados casos de universidades con una alta puntuación en una y no en la otra.

Esto sugiere, nuevos caminos y más heterogéneos para la evaluación. Supone abandonar el sistema lineal y homogéneo hasta ahora empleado de concebir la investigación, donde se premia a la (falsa) figura del investigador todoterreno, que excede en todos los ámbitos de la actividad académica (transferencia, investigación, docencia, administración…); y pasamos a otro donde existen diversos perfiles, todos ellos necesarios para enriquecer el sistema universitario.

¿Qué podemos aprender en España del REF2014?

España ha sido siempre un sistema complejo, donde la tensión al ‘café para todos’ frente al reconocimiento al individuo ha favorecido un sistema caótico, burocrático y lleno de contradicciones. Contrasta la fuerza investigadora en bibliometría con la ignorancia y los fallos de bulto de nuestro sistema que parte de una evaluación individual que daña la colaboración y, por ende, la proyección internacional. El sistema británico es claramente imperfecto, parte de definiciones ambiguas y de una implementación de carácter más bien experimental. Sin embargo, cuenta con unos objetivos claramente definidos (la distribución de recursos) que pretenden fortalecer el sistema universitario y de investigación británico. Asimismo, se fomenta el debate en las cuestiones de fondo, con análisis pormenorizados y serios sobre los efectos de dicho sistema. En España, el objetivo de sistemas de evaluación como los sexenios o las acreditaciones es cuanto menos, dudoso, convirtiéndose al final en una mera cuestión burocrática con un sentido más bien de monitorización que de mejora del sistema.

Queda cuestionarse si se trata de una excesiva atención a los criterios e indicadores empleados, que no permiten centrar la discusión en los objetivos de la evaluación. O tal vez, simplemente se deba a que aún nos encontramos históricamente en un estadio anterior al británico. Sea la razón que sea, la experiencia británica es una gran oportunidad para observar los importantes cambios que están por venir en evaluación científica y reflexionar sobre si estamos siguiendo un camino adecuado a las demandas actuales de la sociedad.


[1] Todas las minutas de las conversaciones así como los casos de estudio están disponibles en la web http://www.ref.ac.uk/2014/

Cover photograph: Wrong direction at https://flic.kr/p/SmQyhA

Scientific excellence is just one of the many paths to societal impact

Recently the LSE Impact blog posted and entry by Richard Woolley and I where we comment on the dangers of trying to link scientific excellence and societal impact. Assessing the societal impact of research is now the big challenge in research evaluation. Until recently, evaluative and policy efforts were placed on promoting the so-called ‘excellent research’, following the logic that it is the best research the one that can lead to social change and respond to current societal challenges. But the UK 2014 REF has been a game-changer by introducing a complex peer review system by which committees assess the impact of submitted case studies in which researchers explain how their research has contributed to society (in which ever terms they find suitable).

The result is a complex system in which quantitative indicators are relegated leaving mixed feelings as to the process followed and its success. Still, it is a worthy initiative and the first attempt to assess the societal impact of research at a national scale. In our post entry, we part from the premise that the assessment made by the committees is acceptable and explore the relationship between the scores received by each submission unit for their scientific output and societal impact. What we find is that such relationship between scientific excellence or quality and societal impact is not always correlated, suggesting that there are many ways of having and impact in society without doing excellent research and the contrary, doing good research does not neccessarily always leads to having a societal impact.