Contexto para la productividad cientifica

Un ejemplo simple y claro de contexto de la investigación para evaluar la productividad e impacto de los investigadores. 

La propuesta viene descrita en el articulo "Assessing Research Productivity". Los autores no inventan un indice bibliométrico nuevo, sino que simplemente utilizan sumas y restas para combinar indicadores existentes con algo de sentido común. Lo describen así:

The metric we used calculates the impact of a research article as its number of citations divided by the publishing journal’s impact factor for that year, divided by the number of years since the article was published. The higher the number, the greater the work’s impact.

Y el resultado obtenido para un artículo se compara, para tener contexto, con el resto de artículos publicados en la misma revista para ese mismo año siguiendo el mismo método:

This value is plotted together with the average impact of all research articles the journal published in that same year (average number of citations for all research articles published that year divided by the journal impact factor for that year divided by the number of years since publication)

Este método no es perfecto, pero es muy sencillo de calcular y es mucho más coherente para evaluar el impacto de un artículo en particular, así como toda la trayectoria científica de un investigador. Un número solo no sirve de nada si no se compara con su contexto.

P = C(V +I)

Convocatoria tras convocatoria, es una realidad que un científico únicamente vale lo larga que sea su lista de publicaciones en revistas científicas. En realidad, serviría únicamente una lista de pares al estilo "2,5: Q1; 1,32: Q2; 0,45: Q4; ..." , donde cada par se corresponde con el índice de impacto de la revista (2,5) y el cuartil que ocupa (Q1). Los científicos nos ahorraríamos tiempo y esfuerzo en compilar todos los datos de las publicaciones cuando únicamente "valen" dos.

Ya he hablado anteriormente de lo nefasto que es el actual sistema de evaluación científica (aquí, aquí y aquí). Y estoy seguro que muchos científicos están de acuerdo. Pero las reglas son las misma cada año, y cada una de las nuevas convocatorias a proyectos de investigación o a investigadores no paran de recordarlo. Ahora está a punto de cerrar la convocatoria Ramón y Cajal 2014. Unos 2000 científicos y científicas estarán rellenando su CV, y contando minuciosamente el número de artículo en Q1, Q2, o en el top5 , y haciendo sus pronósticos sobre sí con 10, 15, o 20 artículos este año hay suerte y se pasa el corte de los 175 afortunados. 

Y yo me pregunto: ¿Es mejor un científico con 20 artículos con 0 citas o uno con 5 artículos y 250 citas? ¿Qué científico de los dos tiene mayor impacto? ¿Cual es más productivo? A día de hoy, el volumen es el único criterio, y por lo tanto, el científico con más artículos es el que se lleva el gato al agua. La productividad se mide únicamente por el volumen. Se trata de un sistema cruel para los investigadores que están condenados a publicar sin parar para obtener un puesto fijo universitario por cada 10 pretendientes. 

La productividad también se puede medir en función del impacto de los resultados científicos. Y este criterio debería primar sobre el volumen. Si definimos impacto como la capacidad de que los resultados de un científico son bien recibidos por la comunidad científica e integrados en la base de conocimiento de una disciplina, obviamente el científico con más citas es el ganador esta vez. 

Impacto y volumen son los criterios mínimos para valorar la productividad de un científico. Pero hay que ponerlos en contexto. Un número solo (total de artículos o de citas), sin su contexto, lleva a menudo a interpretaciones erróneas. Contexto es tener en cuenta la distribución de los artículos a lo largo del tiempo para saber si un científico sigue una tendencia creciente o decreciente en su producción científica. Contexto es tener en cuenta la depreciación de un artículo desde que se publicó hasta la fecha actual: mantiene un ritmo de citas regular a lo largo de los años o  únicamente se citó durante los dos años siguientes tras su publicación. Contexto es también comparar el impacto de un artículo en un revista con todos los demás artículos publicados en esa misma revista durante el mismo año, para apreciar si el articulo esta por encima o debajo de la media. Y contexto puede ser mucho más...

El actual sistema de evaluación científica mide la productividad de los científicos en función únicamente del volumen de publicaciones. Es muy fácil crear un simple programa que compare dos cadenas de texto (como 2,5: Q1; 1,32: Q2; 0,45: Q4; ...") y escoja la más larga. El actual sistema deja deliberadamente fuera dos variables críticas: impacto y contexto. Si se quiere ser serios en el proceso de evaluación y selección, hay que valorar la productividad en función del volumen y de su impacto, y todo ello enmarcado en el contexto adecuado que permita evaluar sin ambigüedades la trayectoria de un científico a lo largo de su carrera y compararla con la de otros.

Desvelo aquí la fórmula del asunto de la entrada:
Productividad científica = Contexto(Volumen + Impacto) 

Multidisciplinariedad sí, pero no

Amarga semana. Esta semana me han notificado los resultados negativos de dos procesos selectivos. Uno el programa Ramón y Cajal, el otro, un puesto en una Agencia Europea. No es lugar de plasmar los detalles de mi cabreo, pero para resumirlo en un palabra: mi problema es la multidisciplinariedad (según el comité de selección). 

Todo el mundo concibe la multidisciplinariedad como una característica valiosa y positiva en un individuo, grupo de investigación e incluso proyecto. De hecho, los proyectos de investigación actuales están formados generalmente por grupos de investigadores de distintas disciplinas. El reto es entenderse para resolver un problema que va más allá de los límites de una única disciplina. El beneficio inmediato se palpa en los nuevos conocimientos adquiridos y formas de trabajo que se entremezclan con el conocimiento propio de uno para ir moldeando con el tiempo un investigador multidisciplinario.

Todo el mundo concibe la innovación como algo positivo. Sin innovación, no hay avances y progreso. Se necesitan individuos creativos, que piensen diferente e innoven en métodos y procesos para empaquetar viejas ideas de forma fresca y novedosa. Muchos autores sobre la innovación, y puedo decir que lo respaldo por la experiencia propia de vivir en el extranjero, recomiendan conocer mundo, conocer otras culturas, gentes, formas de trabajo, leer libros de otras disciplinas distintas a la tuya de formación, y aprender otras perspectivas de atacar el mismo problema. En definitiva, la multidisciplinariedad es una incubadora para que nazca el chispazo de la innovación. La innovación es caprichosa y no siempre ocurre aunque viajes sin parar por el mundo. Pero no cabe duda que la multidisciplinariedad ayuda a crear el contexto adecuado para que surjan los procesos creativos e innovativos. 

Todo el mundo concibe la educación y formación como un proceso continuo a lo largo de toda la vida. Te inicias en la escuela, aprendes a pensar, disciplina de trabajo, y los pilares fundamentales de tu especialidad en la universidad, pero sigues formándote por la curiosidad de aprender cosas nuevas durante tu carrera profesional, tanto científica o no. La educación es un reflejo de la vida en sí: variada, dinámica, en constante evolución . Estar vivo implica formación continua multidisciplinar para adaptarse constantemente a lo que puede venir mañana.

Todo el mundo concibe la multidisciplinariedad como una característica natural y fundamental para llevar a cabo ciencia-investigación, para el desarrollo de la innovación y la educación. Pero una pequeñísima fracción, los gestores de la ciencia, parece que no predican con el ejemplo. Se empecinan en encasillar a los investigadores en una única disciplina. "¿Multidisciplinariedad? Está muy bien, chaval, pero soló puedes coger una especialidad para que evaluemos tu producción científica o propuesta de proyecto de investigación". Cogiendo prestado el título de la increíble presentación TED de Sir Ken Robinson "Schools kill creativity", los gestores de la ciencia e investigación matan la multidisciplinariedad.  

Aunque algo alegado del hilo principal de esta entrada, un breve comentario de hoy en Nature titulado Metrics market termina con un elocuente aviso:

It has never been more important to demand clarity and transparency from research managers on exactely which metrics they are using to evaluate scholars, and why 

Ojala se convierta en realidad y sabré a que atenerme en el futuro. De todas formas, no cambio la experiencia ganada en ser multidisciplinario por nada del mundo aunque me cueste mi carrera científica en ello. 

Somos investigadores invisibles, estadísticamente hablando, claro!

Parece como que se olviden del colectivo de investigadores de las universidades españolas que no ocupan un puesto fijo de funcionario (Profesor Titular, Catedrático, etc.) cuando se trata de estudios sobre la evaluación de la producción científica en España. 

Esto viene a colación porque recientemente he leído un artículo en la Revista Española de Documentación Científica, donde los autores realizan un análisis de la actividad científica de las universidades públicas españolas en el área de las tecnologías informáticas. Como informático de formación, e investigador de profesión, me llamó enseguida la atención. Los autores parten de la lista oficial de profesores universitarios funcionarios de todas las universidades españolas para recoger todos los artículos científicos publicados en un periodo de tiempo. Luego realizan el análisis de los datos y la discusión pertinente. 

Mi crítica no va con el estudio en sí, el cual es lícito y de valor en cierto modo en cuanto a política científica. Mi enfurecimiento se desata cuando leo estadísticas descriptivas calculadas por los autores como el número de artículos por categoría de profesor, citaciones recibidas por artículo, número de colaboradores internacionales por artículo, y similares que todos conocemos. Si se produce, digamos, 100 artículos en un año por los 25 TU de una universidad, una simple división deja claro que cada profesor TU genera 4 artículos al año de media. Y basta. Toda la producción científica dividida equitativamente. 

No importa si un TU ha escrito 12 artículos mientras otros dos colegas ninguno, al final la media es 4. 

No importa si un artículo viene firmado por investigadores postdocs, predoctorales u otros investigadores no pertenecientes a la plantilla de profesores funcionarios, al final el único TU que firma el artículo es el único en recibir la gloria estadística.

No importa que la mitad de la plantilla investigadora de las universidades españolas sea no funcionaria, al final los caprichos de la estadística siempre recaen en la otra mitad funcionaria. 

Después de leer el artículo, mi primer pensamiento ha sido: "vaya, no contamos para nada estadísticamente hablando, claro. Eso me consuela. Pero por ciento, no mucho más estadísticamente no hablando". ¿Para cuando algún estudio que analice en su justa medida la investigación profunda e invisible (en analogía a la Deep Web), realizada por los investigadores no funcionarios de este país? 

Mucho ruido y pocas nueces

Ligado a entradas previas sobre posibles alternativas al sistema de evaluación científica (aquí, aquí y aquí), una de los críticas más comunes, aunque los comités de selección siguen haciendo oídos sordos, es el mal uso del Factor de Impacto (IF) para evaluar la carrera científica de un investigador.  A esta crítica se suma también el editor de Nature en un artículo corto titilado "Escape from the IF" en Ethics in Science and Environmental Politics 8:5-7. De hecho este número especial contiene una interesante lista de artículos dedicados al uso y mal uso de los índices bibliométricos para cuantificar el rendimiento individual de los investigadores. 

En realidad, Philip Campbel no se moja mucho. Es políticamente correcto en admitir que los comités de selección de procesos de contratación y/o promoción de investigadores o de evaluación de propuestas de proyectos, no deben fijarse exclusivamente en el factor de impacto de una revista como medida para juzgar la relevancia y claridad de un artículo publicado en esa revista. El autor evidencia su argumento con datos de artículos publicados en 2002 y 2003  en Nature que contribuyen directamente al IF de 2004 (algo más de un 32). Únicamente un 25% de los artículos publicados durante los dos años anteriores atrajeron casi el 90% de las citas totales que contabilizaban para el IF en 2004. Es decir, la aportación conjunta al IF de las tres cuartas parte de los artículos publicados en ese bienio es casi residual. Los datos no mienten y otra vez más la famosa regla del  80:20 del economista italiano Vilfredo Pareto (quien descubrió que el 80% de la riqueza en un país pertenecía únicamente al 20% de su población)  explica también la distribución de citas  en los artículos de Nature.

Tampoco quiero insinuar que el 75% de los artículos publicados en Nature no son de calidad. Simplemente, la comunidad investigadora no los ha citado durante dos años con la relevancia del otro 25 por ciento. Puede que pasado cierto tiempo, por causas varias, las citas de esos artículos aumenten considerablemente. O simplemente pasen a la posteridad como artículo publicado en Nature con cero citas. Pero para entonces, pasados dos años desde su publicación, tanto si un artículo es citado cero o 2000 veces en un año, ya no importa porque no contribuye nada al IF de la revista.  Y ya está, eso quiere decir el IF y nada más. Tratar de ir más allá del contexto del IF para inferir la calidad, relevancia e impacto científico y social de un artículo individual es un error de libro.

Lamentablemente, parece que quienes deciden sobre el futuro de los investigadores, se aferran al IF (recordamos: indicador a nivel de revista y válido durante una ventana de 2 años) como "el instrumento más preciado" para cuantificar la relevancia e impacto de los artículos de un investigador durante su carrera investigadora. No hace falta ser un analista de datos curtido para darse cuenta que tratar de aplicar un indicador definido en un contexto dado en otro contexto totalmente diferente que varía en granularidad (nivel de revista vs. nivel  de artículo) y temporalidad (dos años vs. toda la carrera científica) es simplemente algo que como mínimo revolvería el estómago de Pareto. 

Para ser justos, hay que admitir que los propios investigadores también tenemos parte de culpa en seguir alimentando la autoridad del FI en busca de nuestro beneficio propio a pesar de que sabemos que, ni es la forma de hacer ciencia dirigida y para el beneficio de la sociedad, ni tampoco sirve para mejorar en general la sostenibilidad y calidad del sistema científico a largo plazo . Arturo Casadevall y Ferric Fang lo explican claramente en su último artículo "Causes fo the Persistence of Impact Factor Mania" publicado en mBIO 5(2):e00064-14.

¿Hay alternativa al actual sistema de evaluación científica? (III)

Puede que al final se logren sistemas de evaluación sensatos y transparentes que tengan en cuenta al menos las dimensiones del individuo, del grupo que forma parte, y de la sociedad, y que las conciba todas como partes integrales del ser de un investigador. Incluso así, lamentablemente, parece que para los próximos años todos los aspirantes a investigador/profesor en la universidad española simplemente no cabemos.
Aquí caben dos posibilidades. Se aumenta la oferta en la universidad, o se disminuye la demanda. Lo primero no va a suceder en un futuro próximo. Lo segundo podría solucionar parcialmente el problema si por ejemplo los programas de doctorado no fueran destinados únicamente a la formación de doctores "académicos". Estaría bien formar doctores para la industria, que formara parte de grupos de I+D de empresas privadas, ligados a los objetivos del mercado, y en general en busca de patentes en vez de artículos.  

El grupo Biotechnology and Life Science Advising (BALSA) nos cuenta su caso de éxito en el incipiente camino de la formación de investigadores para sel sector I+D privado en el artículo "The missing piece to changing the university culture", publicado en Nature Biotechnology 31, 938–941, 2013. Realmente vale la pena su lectura. 

¿Hay alternativa al actual sistema de evaluación científica? (II)

Hace unos meses comentábamos la importancia de la evaluación colectiva para complementar la evaluación individual de la ciencia. En mi parece, basar la evaluación científica únicamente en méritos individuales o en los del grupo, distorsiona la realidad. 
Lo primero porque la ciencia se hace actualmente en el marco de un grupo, un colectivo que trabaja hacia un mismo objetivo. Un investigador no trabaja solo sino que colabora con muchos. Los resultados científicos son los frutos de trabajo colectivo. Evaluar al individuo omitiendo al grupo supone, al menos, perder el contexto y la motivación de la investigación, por lo que puede ignorarse o malinterpretarse el peso de un individuo en su grupo. Lo segundo porque ceñir la evaluación únicamente a los méritos del grupo en su conjunto esconde obviamente la participación individual de cada uno de los miembros del grupo. De esto hay un sinfín de ejemplos que todos conocemos y no vale la pena profundizar más.
Una evaluación híbrida, que tenga en cuenta la contribución individual en el contexto de un grupo, puede dar más contexto y transparencia para entender mejor la trayectoria y contribución científica de un individuo.

Todo lo anterior se resume como el impacto científico de un individuo, que pierde toda su esencia para procesos de evaluación científica si no se tiene también en cuenta el impacto social de la investigación. ¿Que beneficios aporta mi investigación a la sociedad,  a la naturaleza, a los animales, a las ciudades, a la historia, en definitiva, en hacer un mundo mejor? ¿Se ha enterado la sociedad de los resultados alcanzados en la investigación? ¿El investigador se ha puesto en el lugar del ciudadano y se ha preguntado para qué puede servir lo que está haciendo? Algunos ejemplos imaginativos de divulgación y para involucrar a los ciudadanos en proyectos científicos como charlas en colegios, libros para niños, y otros tantos ejemplos nos lo cuenta el artículo "Impact: Pack a punk", publicado en Nature 502, 397-398, 2013.

Digital Science, H2020 y blogs divulgativos

Horizon2020 (H2020), el nuevo Programa Marco de la CE,  está a la vuelta de esquina. H2020 se convertirá en el instrumento fundamental para la financiación de proyectos europeos de investigación competitivos para los próximos 7 años, comenzando en el 2014. Aun se están ultimando detalles pero parece claro que el término Digital Science cobra importancia en el nuevo programa.  En esencia, lo que persigue la Comisión es que se fomente la investigación colaborativa a través de la puesta en marcha de infraestructuras de investigación que permitan compartir herramientas, métodos, datos, resultados,  y cualquier recurso científico que se genere de una proyecto de investigación. Pare ello, se requieren clara políticas de acceso abierto a los datos generados y las publicaciones, un aspecto clave para la Comisión. No solo recursos sino que también, por supuesto, para que los investigadores y científicos de diferentes instituciones colaboren, dialoguen y trabajen juntos de la forma mas efectiva y eficiente posible.

Cualquier iniciativa para llevar a cabo investigación colaborativo es loable, necesaria y bien recibida. Pero hasta ahora estamos hablando de la colaboración científico-científico. Lo que me llama la atención del vocablo Digital Science es que pone especial énfasis en al relación sociedad-científico o ciudadano-científico en ambos sentidos. Por un lado, se pretende que los ciudadanos se involucren de forma directa en el método científico,  es decir, que literalmente participen de forma activo en las diferentes fases de un proyecto científicos. Por ejemplo en la recogida de datos, la identificación de datos, en la propuesta de métodos de análisis , o la discusión de resultados. Evidentemente, dependiendo de cada tipo de proyecto,  algunas tareas son más propensas que otras para que el ciudadano se involucre en el proyecto científico. Se trata pues de llevar al extremo la idea de Ciencia Ciudadana. 

Por otra parte, lo novedoso (aunque el párrafo anterior también lo es, claro) es la comunicación en el sentido inverso, del científico al ciudadano o sociedad. Por fin, se identifica explícitamente y se valora la necesidad de diseminar los resultados del proyecto a la sociedad, en hacer hincapié en actividades de divulgación científica y comunicación de la ciencia al público.  

Y aquí es donde aparecen los blogs divulgativos. 

Leí recientemente una entrada que, acertadamente, proponía el uso de los blogs como herramientas de divulgación perfectamente alineadas a los tiempos de un proyecto de investigación. Una descripción de un proyecto contiene una división de tareas temporal, y cada tarea viene con una descripción, los resultados esperados, y los informes de fin de tarea correspondientes. La idea que se exponía era simplemente "usar la descripción de los proyectos de investigación como marco para el desarrollo de las entradas del blog". Así, a medida que se avanza en la ejecución del proyecto, también se divulgan las entradas del blog con las descripciones y resultados de las tareas del proyecto.  Parece un mecanismo sencillo, eficaz  y que costaría muy poco introducirlo en las propuestas de proyectos de investigación, como parte de la estrategia de divulgación científica de los nuevos proyectos H2020.

¿Hay alternativa al actual sistema de evaluación científica?

Cada Junio surge la misma discusión a raíz de la publicación  de los nuevos índices de impacto JCR. Parece claro, aunque en realidad  no es así, que estos índices no son adecuados  para la evaluación  de la carrera investigadora de un individuo. Pero las agencias de evaluación y  comités de promoción en las universidades se apoyan casi exclusivamente en el número de artículos publicados en revistas de impacto. Podría y hay alternativas a la métrica basada en únicamente  el numero de artículos. Vamos a desgranar algunas ideas a lo largo de los próximos días.

Se habla de excelencia  en la  investigación e impacto internacional, pero se omite completamente el impacto real de los artículos, es decir, no se tiene en cuenta su contenido. Hay otras métricas que pueden ayudar a dar un valor aproximado de ese impacto. Lo más inmediato es el número citas recibidas de un artículo. Pero claro, otra vez estamos hablando de un número aislado, sin contexto . Todo esto nos lleva a que, mas que hablar del impacto de un único artículo, deberíamos analizar y evaluar el impacto científico de toda una línea de investigación  realizada por un individuo. El impacto científico de una investigación puede incluir varios proyectos de investigación, artículos, capítulos de libros, aportaciones a estándares, colaboraciones en congresos, captación de recursos  y otros tantos  tipos de "recursos" científicos  que analizados de forma conjunta muestren claramente el progreso realizado de un individuo y entonces poder apreciar y analizar su impacto científico.

Tampoco tiene mucho sentido hablar de línea de investigación de un único individuo, sino del grupo o colaboradores con los que ha trabajado. La ciencia no se hace de forma individual, sino colectivamente y estableciendo colaboraciones. Tiene sentido hablar de cómo y en qué grado contribuye un individuo en el grupo y en definitiva a la linea de investigación. Al igual que en un película tenemos el director, guionista, actores, y demás personal con roles bien definidos que llevan a cabo de forma conjunto una película, en ciencia tenemos un grupo de investigadores que persigue desarrollar una línea de investigación  y cada uno de ellos tiene un rol bien definido:  captador de recursos, jefe proyecto, establecer colaboraciones, análisis de datos, buena mano en escribir informes y artículos, etc. A un guionista se le premia por su rol de guionista en una película, a un investigador  se le debería evaluar en función de su contribución al grupo y a la linea de investigación.

El sistema de evaluación  actual cuenta los guiones escritos, sin interesarse si han acabado en película, en el cajón, y ni siquiera saber que historia cuentan.