Month: December 2017

Los resultados del REF2014 del Reino Unido marca el camino a seguir en la evaluación científica

Entrada publicada originalmente en el Blok de BiD el día 13 de diciembre de 2017.

Empiezan a aparecer nuevas noticias sobre el REF2021, el ejercicio evaluativo más importante para el sistema científico en el Reino Unido. Se tratará de la segunda ocasión en la que se evalúa a las universidades británicas según el sistema actual. Aprovechando la proximidad de dicho ejercicio, aprovechamos para comentar los resultados de su primera implementación allá en 2014 e introducir algunas reflexiones sobre las importantes novedades que introduce en el sistema de evaluación británico.

Recientemente mi compañero Richard Woolley, investigador de INGENIO (CSIC-UPV), y servidor publicamos en el LSE Impact Blog un pequeño artículo de opinión sobre el Research Excellence Framework del Reino Unido conocido como el REF. Este ejercicio, cuya última edición sigue siendo motivo de continuo debate pese a haber transcurrido en 2014, es el proceso de evaluación de la actividad investigadora más importante del Reino Unido. Pese a su alto coste, alrededor de 250 millones euros, distribuye más de un billón y medio de euros entre las universidades británicas, convirtiéndose su diseño, metodología e implementación, en un tema de continuo debate dentro del sistema universitario británico. Pese a la amplia tradición evaluativa del Reino Unido (sus primeros ejercicios de evaluación institucional datan de 1986), el año 2014 supuso todo un hito al revolucionar radicalmente tanto de métodos como de objetivos. En esta breve nota, revisaremos cómo funciona el REF, qué objetivos persigue y cuáles son los resultados obtenidos. Resumiremos las principales conclusiones derivadas de nuestros análisis en los resultados del REF. Finalmente, acabaremos con una pequeña reflexión sobre las importantes diferencias entre el sistema de evaluación de la investigación en España con el del Reino Unido.

El Reino Unido, un pionero en la evaluación de la actividad investigadora

Desde 1986, el Reino Unido se ha postulado como el gran pionero en apostar fuerte por fórmulas evaluativas, nunca exentas de polémicas, con el objetivo de incentivar la competencia entre instituciones. Contrariamente a lo que sucede en España, la evaluación se realiza a nivel institucional o departamental (ya que lo que se evalúan son ‘unidades de evaluación’ dentro de áreas científicas). Dicho proceso evaluativo cuenta con paneles de evaluadores y exige por parte de las instituciones un importante esfuerzo tanto económico como humano. Cada unidad deberá seleccionar tanto a personal a tiempo completo como publicaciones. En sus múltiples ediciones, ha sufrido notables cambios que reflejan los cambios de dirección y objetivos del país en materia de investigación.

En un principio, se evaluaba el número total de publicaciones. En 1996, se cambió la metodología con el fin de incentivar la producción de investigación de ‘calidad’ (entendida como aquella altamente citada) frente a la ‘cantidad’, introduciendo un número fijo de publicaciones a someter a evaluación. Sin embargo y a pesar de continuados esfuerzos y modificaciones en las sucesivas ediciones, el entonces RAE, siguió premiando la productividad de los investigadores frente al impacto científico. Al mismo, las críticas empezaron a arreciar contra un sistema de evaluación cada vez más costoso. Entre otras cuestiones, destacamos aquí dos críticas. En primer lugar, cabía cuestionarse la necesidad de emplear evaluación por pares cuando ésta era fácilmente sustituibles por indicadores bibliométricos, ya que el foco de atención era la publicación científica. Más dura era la crítica relativa a si, una evaluación basada en la publicación científica tenía sentido y si realmente esta era la forma más adecuada de capturar la repercusión que tiene la investigación en la sociedad.

2014 fue un año clave en la evaluación de las universidades británicas. Atrás quedó el antiguo RAE, refundado y conocido ahora como REF. Dicho sistema de evaluación siguió manteniendo un apartado para publicaciones científicas, pero introdujo la variable de ‘impacto social’ de la actividad investigadora. Un concepto ambiguo que se definió como ‘un efecto, cambio o beneficio económico, social, cultural, de política pública o servicios, a la salud, el medio ambiente o la calidad de vida más allá del académico’. La tarea se complicaba, ya que los objetivos del REF ya no eran simplemente distribuir fondos o establecer un marco de comparación entre universidades, sino también producir evidencias de los beneficios públicos generados por la inversión en investigación. Para ello, se crearon 36 unidades de evaluación divididas en cuatro paneles (Ciencias Biomédicas y de la Salud; Ciencias Físicas, de la Vida e Ingeniería; Ciencias Sociales; Humanidades y Artes) a las que las universidades debían enviar tanto una selección de publicaciones como casos de estudio sobre su contribución social. Un verdadero experimento de laboratorio en el que los revisores de cada panel (formado tanto por científicos como por otros actores sociales) debían asesorar el impacto social de cada caso de estudio y puntuarlos de acuerdo a un sistema de 4 estrellas, (siendo 4 la puntuación más alta).

La temeridad fue extrema. Previamente, un comité de expertos en evaluación científica, señaló la falta de indicadores cuantitativos para evaluar el impacto social. Esto hizo que todo el proceso quedara en manos de los paneles de expertos, que desplegaron un importante esfuerzo por dotarlo de la máxima transparencia[1]. El éxito en dicho modelo es aún incipiente y aunque es loable el esfuerzo y cambio de dirección en la evaluación, quedan muchas preguntas en el aire sobre cómo se ha interpretado qué es impacto social. Tanto los resultados de la evaluación como la implementación de la misma, han sido objeto de evaluación y de gran debate en la comunidad científica británica.

Excelencia científica versus relevancia social

Gran parte de la discusión se ha centrado en analizar cómo se ha interpretado el concepto de impacto social y su relación con indicadores bibliométricos o indicadores altmétricos. Asimismo, se tiende a buscar una relación positiva entre excelencia investigadora e impacto social, infiriendo no sólo que están relacionados, sino que dicha relación es deseable. En nuestros análisis sobre el REF, Richard y yo partíamos de una premisa totalmente distinta. La búsqueda de impacto social, por un lado, y excelencia investigadora por otro, abre la puerta a un escenario más heterogéneo y diverso de la actividad investigadora y de los distintos perfiles académicos que existen. Supongamos que el REF llevó a cabo una evaluación exhaustiva y veraz tanto del impacto social como de la producción científica. Supongamos que el impacto social es de hecho algo medible y positivo. Ahora, analicemos las universidades para cada unidad de evaluación. Lo que observamos es un escenario de lo más variopinto, donde no sólo la correlación entre actividad investigadora e impacto social no es para todas las unidades de evaluación alta (en algún caso, como el de Medicina Clínica, es hasta negativo), sino que existen sobrados casos de universidades con una alta puntuación en una y no en la otra.

Esto sugiere, nuevos caminos y más heterogéneos para la evaluación. Supone abandonar el sistema lineal y homogéneo hasta ahora empleado de concebir la investigación, donde se premia a la (falsa) figura del investigador todoterreno, que excede en todos los ámbitos de la actividad académica (transferencia, investigación, docencia, administración…); y pasamos a otro donde existen diversos perfiles, todos ellos necesarios para enriquecer el sistema universitario.

¿Qué podemos aprender en España del REF2014?

España ha sido siempre un sistema complejo, donde la tensión al ‘café para todos’ frente al reconocimiento al individuo ha favorecido un sistema caótico, burocrático y lleno de contradicciones. Contrasta la fuerza investigadora en bibliometría con la ignorancia y los fallos de bulto de nuestro sistema que parte de una evaluación individual que daña la colaboración y, por ende, la proyección internacional. El sistema británico es claramente imperfecto, parte de definiciones ambiguas y de una implementación de carácter más bien experimental. Sin embargo, cuenta con unos objetivos claramente definidos (la distribución de recursos) que pretenden fortalecer el sistema universitario y de investigación británico. Asimismo, se fomenta el debate en las cuestiones de fondo, con análisis pormenorizados y serios sobre los efectos de dicho sistema. En España, el objetivo de sistemas de evaluación como los sexenios o las acreditaciones es cuanto menos, dudoso, convirtiéndose al final en una mera cuestión burocrática con un sentido más bien de monitorización que de mejora del sistema.

Queda cuestionarse si se trata de una excesiva atención a los criterios e indicadores empleados, que no permiten centrar la discusión en los objetivos de la evaluación. O tal vez, simplemente se deba a que aún nos encontramos históricamente en un estadio anterior al británico. Sea la razón que sea, la experiencia británica es una gran oportunidad para observar los importantes cambios que están por venir en evaluación científica y reflexionar sobre si estamos siguiendo un camino adecuado a las demandas actuales de la sociedad.


[1] Todas las minutas de las conversaciones así como los casos de estudio están disponibles en la web http://www.ref.ac.uk/2014/

Cover photograph: Wrong direction at https://flic.kr/p/SmQyhA

Notes on papers I read this week (I)

Cañibano, C. & Bozeman, B. Curriculum vitae method in science policy and research evaluation: the state-of-the-art. Research Evaluation, 18(2), 86-94

This paper reviews the use of CV analysis in science policy. The value of CVs lies in the fact that they serve as personal services advertisement and the fact that researchers are strongly encouraged to provide timely and accurate data. Until early 1990s CV analysis has been used anecdotally and as complementary. However, the Research Value Mapping programme developed by Bozeman and Rogers among others, has fostered its expansion as a solid methodology. Contrarily to other methodological approaches, CV analysis is characterized by being theory-driven. There are three main research topics in which this method has been applied: Career trajectories, mobility and mapping collective capacity. However, CV analysis is not free of many methodological limitations, namely: availability, heterogeneity, truncation, missing information, and coding inconsistency. They suggest solving part of this problems by complementing the data with other sources such as bibliometric data or survey data.

Dietz, J.S. & Bozeman, B. (2005). Academic careers, patents, and productivity: industry experience as scientific and technical human capital. Research Policy, 34(2), 349-367

This paper intends to analyze productivity differences based on career paths of scientists within industry, government and academia who have ended up in academia. The paper is framed within Bozeman’s STHC framework. They argue that most studies have focused until then either in industry or academia and few on the collaboration patterns between academia and industry, but always considering researchers as either academic or industry, instead of acknowledge the diversity of career patterns observed in their trajectories. One of the arguments made is that by favoring capacity (in this case seen as richness in career trajectories) one favors knowledge production. Hence their first hypothesis is that those with more diversified career patterns will be more productive and confront it to another hypothesis which states that scientist who always worked in academia will be more productive. While the former is based on social capital grounds (more ties, more connections, more productivity), the latter is based on job priorization and incentives, as publication is one of the main tasks of scientists. Two alternative hypotheses are also formulated: 1) early career experiences in academia will lead to more productivity, and 2) publishing before PhD will also warrant being more productive in the future. They observe that precocity and homogeneity in career patterns has a weak positive relation with productivity while years in industry and time of PhD. They compared productivity means between those groups who moved from industry to academia and viceversa, before and after the moving and observed increased productivity in movements. While the framing of the paper is really strong and inspiring, its results are not sufficiently convincing.

Interesting points:

  • Homogeny variable. They ‘quantify’ careers based on how distant they are from the norm based on the probability of a given trajectory being similar to the always academic one.
  • Education and traning precocity. Based on PhD year and whether they had academic experience soon in their career and if they published before PhD.

 

Cover photograph: Workers of the world, unite! at https://flic.kr/p/5znVpk