Mucho ruido y pocas nueces

Ligado a entradas previas sobre posibles alternativas al sistema de evaluación científica (aquí, aquí y aquí), una de los críticas más comunes, aunque los comités de selección siguen haciendo oídos sordos, es el mal uso del Factor de Impacto (IF) para evaluar la carrera científica de un investigador.  A esta crítica se suma también el editor de Nature en un artículo corto titilado "Escape from the IF" en Ethics in Science and Environmental Politics 8:5-7. De hecho este número especial contiene una interesante lista de artículos dedicados al uso y mal uso de los índices bibliométricos para cuantificar el rendimiento individual de los investigadores. 

En realidad, Philip Campbel no se moja mucho. Es políticamente correcto en admitir que los comités de selección de procesos de contratación y/o promoción de investigadores o de evaluación de propuestas de proyectos, no deben fijarse exclusivamente en el factor de impacto de una revista como medida para juzgar la relevancia y claridad de un artículo publicado en esa revista. El autor evidencia su argumento con datos de artículos publicados en 2002 y 2003  en Nature que contribuyen directamente al IF de 2004 (algo más de un 32). Únicamente un 25% de los artículos publicados durante los dos años anteriores atrajeron casi el 90% de las citas totales que contabilizaban para el IF en 2004. Es decir, la aportación conjunta al IF de las tres cuartas parte de los artículos publicados en ese bienio es casi residual. Los datos no mienten y otra vez más la famosa regla del  80:20 del economista italiano Vilfredo Pareto (quien descubrió que el 80% de la riqueza en un país pertenecía únicamente al 20% de su población)  explica también la distribución de citas  en los artículos de Nature.

Tampoco quiero insinuar que el 75% de los artículos publicados en Nature no son de calidad. Simplemente, la comunidad investigadora no los ha citado durante dos años con la relevancia del otro 25 por ciento. Puede que pasado cierto tiempo, por causas varias, las citas de esos artículos aumenten considerablemente. O simplemente pasen a la posteridad como artículo publicado en Nature con cero citas. Pero para entonces, pasados dos años desde su publicación, tanto si un artículo es citado cero o 2000 veces en un año, ya no importa porque no contribuye nada al IF de la revista.  Y ya está, eso quiere decir el IF y nada más. Tratar de ir más allá del contexto del IF para inferir la calidad, relevancia e impacto científico y social de un artículo individual es un error de libro.

Lamentablemente, parece que quienes deciden sobre el futuro de los investigadores, se aferran al IF (recordamos: indicador a nivel de revista y válido durante una ventana de 2 años) como "el instrumento más preciado" para cuantificar la relevancia e impacto de los artículos de un investigador durante su carrera investigadora. No hace falta ser un analista de datos curtido para darse cuenta que tratar de aplicar un indicador definido en un contexto dado en otro contexto totalmente diferente que varía en granularidad (nivel de revista vs. nivel  de artículo) y temporalidad (dos años vs. toda la carrera científica) es simplemente algo que como mínimo revolvería el estómago de Pareto. 

Para ser justos, hay que admitir que los propios investigadores también tenemos parte de culpa en seguir alimentando la autoridad del FI en busca de nuestro beneficio propio a pesar de que sabemos que, ni es la forma de hacer ciencia dirigida y para el beneficio de la sociedad, ni tampoco sirve para mejorar en general la sostenibilidad y calidad del sistema científico a largo plazo . Arturo Casadevall y Ferric Fang lo explican claramente en su último artículo "Causes fo the Persistence of Impact Factor Mania" publicado en mBIO 5(2):e00064-14.