Un ejemplo simple y claro de contexto de la investigación para evaluar la productividad e impacto de los investigadores.
La propuesta viene descrita en el articulo "Assessing Research Productivity". Los autores no inventan un indice bibliométrico nuevo, sino que simplemente utilizan sumas y restas para combinar indicadores existentes con algo de sentido común. Lo describen así:
The metric we used calculates the impact of a research article as its number of citations divided by the publishing journal’s impact factor for that year, divided by the number of years since the article was published. The higher the number, the greater the work’s impact.
Y el resultado obtenido para un artículo se compara, para tener contexto, con el resto de artículos publicados en la misma revista para ese mismo año siguiendo el mismo método:
This value is plotted together with the average impact of all research articles the journal published in that same year (average number of citations for all research articles published that year divided by the journal impact factor for that year divided by the number of years since publication)
Este método no es perfecto, pero es muy sencillo de calcular y es mucho más coherente para evaluar el impacto de un artículo en particular, así como toda la trayectoria científica de un investigador. Un número solo no sirve de nada si no se compara con su contexto.
Convocatoria tras convocatoria, es una realidad que un científico únicamente vale lo larga que sea su lista de publicaciones en revistas científicas. En realidad, serviría únicamente una lista de pares al estilo "2,5: Q1; 1,32: Q2; 0,45: Q4; ..." , donde cada par se corresponde con el índice de impacto de la revista (2,5) y el cuartil que ocupa (Q1). Los científicos nos ahorraríamos tiempo y esfuerzo en compilar todos los datos de las publicaciones cuando únicamente "valen" dos.
Ya he hablado anteriormente de lo nefasto que es el actual sistema de evaluación científica (aquí, aquí y aquí). Y estoy seguro que muchos científicos están de acuerdo. Pero las reglas son las misma cada año, y cada una de las nuevas convocatorias a proyectos de investigación o a investigadores no paran de recordarlo. Ahora está a punto de cerrar la convocatoria Ramón y Cajal 2014. Unos 2000 científicos y científicas estarán rellenando su CV, y contando minuciosamente el número de artículo en Q1, Q2, o en el top5 , y haciendo sus pronósticos sobre sí con 10, 15, o 20 artículos este año hay suerte y se pasa el corte de los 175 afortunados.
Y yo me pregunto: ¿Es mejor un científico con 20 artículos con 0 citas o uno con 5 artículos y 250 citas? ¿Qué científico de los dos tiene mayor impacto? ¿Cual es más productivo? A día de hoy, el volumen es el único criterio, y por lo tanto, el científico con más artículos es el que se lleva el gato al agua. La productividad se mide únicamente por el volumen. Se trata de un sistema cruel para los investigadores que están condenados a publicar sin parar para obtener un puesto fijo universitario por cada 10 pretendientes.
La productividad también se puede medir en función del impacto de los resultados científicos. Y este criterio debería primar sobre el volumen. Si definimos impacto como la capacidad de que los resultados de un científico son bien recibidos por la comunidad científica e integrados en la base de conocimiento de una disciplina, obviamente el científico con más citas es el ganador esta vez.
Impacto y volumen son los criterios mínimos para valorar la productividad de un científico. Pero hay que ponerlos en contexto. Un número solo (total de artículos o de citas), sin su contexto, lleva a menudo a interpretaciones erróneas. Contexto es tener en cuenta la distribución de los artículos a lo largo del tiempo para saber si un científico sigue una tendencia creciente o decreciente en su producción científica. Contexto es tener en cuenta la depreciación de un artículo desde que se publicó hasta la fecha actual: mantiene un ritmo de citas regular a lo largo de los años o únicamente se citó durante los dos años siguientes tras su publicación. Contexto es también comparar el impacto de un artículo en un revista con todos los demás artículos publicados en esa misma revista durante el mismo año, para apreciar si el articulo esta por encima o debajo de la media. Y contexto puede ser mucho más...
El actual sistema de evaluación científica mide la productividad de los científicos en función únicamente del volumen de publicaciones. Es muy fácil crear un simple programa que compare dos cadenas de texto (como 2,5: Q1; 1,32: Q2; 0,45: Q4; ...") y escoja la más larga. El actual sistema deja deliberadamente fuera dos variables críticas: impacto y contexto. Si se quiere ser serios en el proceso de evaluación y selección, hay que valorar la productividad en función del volumen y de su impacto, y todo ello enmarcado en el contexto adecuado que permita evaluar sin ambigüedades la trayectoria de un científico a lo largo de su carrera y compararla con la de otros.
Desvelo aquí la fórmula del asunto de la entrada:
Productividad científica = Contexto(Volumen + Impacto)
