Nuevo baremo ANECA

Al hilo de la productividad científica y de como medir la productividad de los investigadores (aquí y aquí),  el nuevo baremo de la ANECA , programa ACADEMIA, para la acreditación de profesores titulares y catedráticos de universidad viene como anillo al dedo. 

Empecemos por la pregunta más fácil. ¿Es mejor o peor el nuevo sistema de evaluación que propone la ANECA? Sin duda alguna, el nuevo sistema es mejor que el anterior (aun actual), en cuanto que permite al candidato identificar aquellas aportaciones de su carrera científica que son relevantes y que serán finalmente evaluadas. No hace falta enumerar y justificar cada uno de los items de un investigador, sino únicamente aquellos de calidad y con impacto. Esto simplemente ya supone un ahorro de tiempo y energía considerable para todos. Además, los paneles de evaluación se estructuran en disciplinas concretas, y el resultado positivo de la evaluación da al candidato el derecho de presentarse a concursos de la figura acreditada únicamente del  área (o panel) acreditada. Por ejemplo, si yo me acredito en el panel de Informática, únicamente puedo optar a concursos de departamentos de Informática (antes la acreditación valía para todas las áreas) . 

La pregunta que más me inquieta no es si el nuevo baremo de la ANECA es mejor o peor, más cualitativo o menos cuantitativo, más justo o menos justo. (Todos los baremos son injustos por definición.)  El meollo del asunto está en si necesitamos un sistema de evaluación de profesorado. ¿Se puede prescindir del programa ACADEMIA? 

Imaginemos un escenario en el que las empresas privadas cobran en función del número de clientes, y no en función del valor añadido de sus productos. No importa si el producto es más bueno, rápido o bonito que el de la competencia. Al final de día, el reparto de las ventas globales se reparten entre las empresas de forma proporcional al número de clientes de cada una de ellas. Que una empresa tenga al mejor ingeniero o comercial, no implica que va a tener más beneficios. El valor añadido que pueden aportar empleados de calidad y productivos a sus productos no repercute en los beneficios.  La única forma de aumentar beneficios es aumentando la cartera de clientes, a costa de aumentar los gastos. En ese mercado ficticio, los procesos de contratación de nuevos empleados se devaluarían porque las empresas ya no persiguen fichar al mejor, sino a alguien que puede realizar el trabajo sin mas, exigiendo unos mínimos aceptables a modo de acreditación profesional.

Pero volvamos a la realidad del "mercado" universitario para compararlo con el mercado ficticio de antes. Las universidades son las empresas. Las universidades se financian en base al número de estudiantes (sus clientes). No importa la calidad de tu producto en cuanto a resultados de investigación o docencia que producen los profesores e investigadores. Al final del día: tantos estudiantes, tanto recibes. Entonces, no hace falta fichar investigadores estrella, porque lo que pueden producir influye escasamente en el grueso de la financiación para la universidad. En ese "mercado" real, los procesos de contratación de nuevos investigadores y profesores (empleados) están devaluados porque las universidades ya no persiguen fichar al mejor, sino a alguien que puede realizar el trabajo sin mas, exigiendo unos mínimos aceptables a modo de acreditación a profesor, como hace la ANECA. 

Se puede prescindir del programa ACADEMIA solo si se produce un cambio profundo en el sistema de gobernanza y financiación de las universidades. En ese supuesto, las propias universidad se preocuparían, y mucho, de fichar a los mejores y de realizar sus propios baremos de contratación. Mientras todo siga igual como hasta ahora, el programa ACADEMIA tiene su razón de existir.

Contexto para la productividad cientifica

Un ejemplo simple y claro de contexto de la investigación para evaluar la productividad e impacto de los investigadores. 

La propuesta viene descrita en el articulo "Assessing Research Productivity". Los autores no inventan un indice bibliométrico nuevo, sino que simplemente utilizan sumas y restas para combinar indicadores existentes con algo de sentido común. Lo describen así:

The metric we used calculates the impact of a research article as its number of citations divided by the publishing journal’s impact factor for that year, divided by the number of years since the article was published. The higher the number, the greater the work’s impact.

Y el resultado obtenido para un artículo se compara, para tener contexto, con el resto de artículos publicados en la misma revista para ese mismo año siguiendo el mismo método:

This value is plotted together with the average impact of all research articles the journal published in that same year (average number of citations for all research articles published that year divided by the journal impact factor for that year divided by the number of years since publication)

Este método no es perfecto, pero es muy sencillo de calcular y es mucho más coherente para evaluar el impacto de un artículo en particular, así como toda la trayectoria científica de un investigador. Un número solo no sirve de nada si no se compara con su contexto.

P = C(V +I)

Convocatoria tras convocatoria, es una realidad que un científico únicamente vale lo larga que sea su lista de publicaciones en revistas científicas. En realidad, serviría únicamente una lista de pares al estilo "2,5: Q1; 1,32: Q2; 0,45: Q4; ..." , donde cada par se corresponde con el índice de impacto de la revista (2,5) y el cuartil que ocupa (Q1). Los científicos nos ahorraríamos tiempo y esfuerzo en compilar todos los datos de las publicaciones cuando únicamente "valen" dos.

Ya he hablado anteriormente de lo nefasto que es el actual sistema de evaluación científica (aquí, aquí y aquí). Y estoy seguro que muchos científicos están de acuerdo. Pero las reglas son las misma cada año, y cada una de las nuevas convocatorias a proyectos de investigación o a investigadores no paran de recordarlo. Ahora está a punto de cerrar la convocatoria Ramón y Cajal 2014. Unos 2000 científicos y científicas estarán rellenando su CV, y contando minuciosamente el número de artículo en Q1, Q2, o en el top5 , y haciendo sus pronósticos sobre sí con 10, 15, o 20 artículos este año hay suerte y se pasa el corte de los 175 afortunados. 

Y yo me pregunto: ¿Es mejor un científico con 20 artículos con 0 citas o uno con 5 artículos y 250 citas? ¿Qué científico de los dos tiene mayor impacto? ¿Cual es más productivo? A día de hoy, el volumen es el único criterio, y por lo tanto, el científico con más artículos es el que se lleva el gato al agua. La productividad se mide únicamente por el volumen. Se trata de un sistema cruel para los investigadores que están condenados a publicar sin parar para obtener un puesto fijo universitario por cada 10 pretendientes. 

La productividad también se puede medir en función del impacto de los resultados científicos. Y este criterio debería primar sobre el volumen. Si definimos impacto como la capacidad de que los resultados de un científico son bien recibidos por la comunidad científica e integrados en la base de conocimiento de una disciplina, obviamente el científico con más citas es el ganador esta vez. 

Impacto y volumen son los criterios mínimos para valorar la productividad de un científico. Pero hay que ponerlos en contexto. Un número solo (total de artículos o de citas), sin su contexto, lleva a menudo a interpretaciones erróneas. Contexto es tener en cuenta la distribución de los artículos a lo largo del tiempo para saber si un científico sigue una tendencia creciente o decreciente en su producción científica. Contexto es tener en cuenta la depreciación de un artículo desde que se publicó hasta la fecha actual: mantiene un ritmo de citas regular a lo largo de los años o  únicamente se citó durante los dos años siguientes tras su publicación. Contexto es también comparar el impacto de un artículo en un revista con todos los demás artículos publicados en esa misma revista durante el mismo año, para apreciar si el articulo esta por encima o debajo de la media. Y contexto puede ser mucho más...

El actual sistema de evaluación científica mide la productividad de los científicos en función únicamente del volumen de publicaciones. Es muy fácil crear un simple programa que compare dos cadenas de texto (como 2,5: Q1; 1,32: Q2; 0,45: Q4; ...") y escoja la más larga. El actual sistema deja deliberadamente fuera dos variables críticas: impacto y contexto. Si se quiere ser serios en el proceso de evaluación y selección, hay que valorar la productividad en función del volumen y de su impacto, y todo ello enmarcado en el contexto adecuado que permita evaluar sin ambigüedades la trayectoria de un científico a lo largo de su carrera y compararla con la de otros.

Desvelo aquí la fórmula del asunto de la entrada:
Productividad científica = Contexto(Volumen + Impacto) 

Multidisciplinariedad sí, pero no

Amarga semana. Esta semana me han notificado los resultados negativos de dos procesos selectivos. Uno el programa Ramón y Cajal, el otro, un puesto en una Agencia Europea. No es lugar de plasmar los detalles de mi cabreo, pero para resumirlo en un palabra: mi problema es la multidisciplinariedad (según el comité de selección). 

Todo el mundo concibe la multidisciplinariedad como una característica valiosa y positiva en un individuo, grupo de investigación e incluso proyecto. De hecho, los proyectos de investigación actuales están formados generalmente por grupos de investigadores de distintas disciplinas. El reto es entenderse para resolver un problema que va más allá de los límites de una única disciplina. El beneficio inmediato se palpa en los nuevos conocimientos adquiridos y formas de trabajo que se entremezclan con el conocimiento propio de uno para ir moldeando con el tiempo un investigador multidisciplinario.

Todo el mundo concibe la innovación como algo positivo. Sin innovación, no hay avances y progreso. Se necesitan individuos creativos, que piensen diferente e innoven en métodos y procesos para empaquetar viejas ideas de forma fresca y novedosa. Muchos autores sobre la innovación, y puedo decir que lo respaldo por la experiencia propia de vivir en el extranjero, recomiendan conocer mundo, conocer otras culturas, gentes, formas de trabajo, leer libros de otras disciplinas distintas a la tuya de formación, y aprender otras perspectivas de atacar el mismo problema. En definitiva, la multidisciplinariedad es una incubadora para que nazca el chispazo de la innovación. La innovación es caprichosa y no siempre ocurre aunque viajes sin parar por el mundo. Pero no cabe duda que la multidisciplinariedad ayuda a crear el contexto adecuado para que surjan los procesos creativos e innovativos. 

Todo el mundo concibe la educación y formación como un proceso continuo a lo largo de toda la vida. Te inicias en la escuela, aprendes a pensar, disciplina de trabajo, y los pilares fundamentales de tu especialidad en la universidad, pero sigues formándote por la curiosidad de aprender cosas nuevas durante tu carrera profesional, tanto científica o no. La educación es un reflejo de la vida en sí: variada, dinámica, en constante evolución . Estar vivo implica formación continua multidisciplinar para adaptarse constantemente a lo que puede venir mañana.

Todo el mundo concibe la multidisciplinariedad como una característica natural y fundamental para llevar a cabo ciencia-investigación, para el desarrollo de la innovación y la educación. Pero una pequeñísima fracción, los gestores de la ciencia, parece que no predican con el ejemplo. Se empecinan en encasillar a los investigadores en una única disciplina. "¿Multidisciplinariedad? Está muy bien, chaval, pero soló puedes coger una especialidad para que evaluemos tu producción científica o propuesta de proyecto de investigación". Cogiendo prestado el título de la increíble presentación TED de Sir Ken Robinson "Schools kill creativity", los gestores de la ciencia e investigación matan la multidisciplinariedad.  

Aunque algo alegado del hilo principal de esta entrada, un breve comentario de hoy en Nature titulado Metrics market termina con un elocuente aviso:

It has never been more important to demand clarity and transparency from research managers on exactely which metrics they are using to evaluate scholars, and why 

Ojala se convierta en realidad y sabré a que atenerme en el futuro. De todas formas, no cambio la experiencia ganada en ser multidisciplinario por nada del mundo aunque me cueste mi carrera científica en ello. 

Somos investigadores invisibles, estadísticamente hablando, claro!

Parece como que se olviden del colectivo de investigadores de las universidades españolas que no ocupan un puesto fijo de funcionario (Profesor Titular, Catedrático, etc.) cuando se trata de estudios sobre la evaluación de la producción científica en España. 

Esto viene a colación porque recientemente he leído un artículo en la Revista Española de Documentación Científica, donde los autores realizan un análisis de la actividad científica de las universidades públicas españolas en el área de las tecnologías informáticas. Como informático de formación, e investigador de profesión, me llamó enseguida la atención. Los autores parten de la lista oficial de profesores universitarios funcionarios de todas las universidades españolas para recoger todos los artículos científicos publicados en un periodo de tiempo. Luego realizan el análisis de los datos y la discusión pertinente. 

Mi crítica no va con el estudio en sí, el cual es lícito y de valor en cierto modo en cuanto a política científica. Mi enfurecimiento se desata cuando leo estadísticas descriptivas calculadas por los autores como el número de artículos por categoría de profesor, citaciones recibidas por artículo, número de colaboradores internacionales por artículo, y similares que todos conocemos. Si se produce, digamos, 100 artículos en un año por los 25 TU de una universidad, una simple división deja claro que cada profesor TU genera 4 artículos al año de media. Y basta. Toda la producción científica dividida equitativamente. 

No importa si un TU ha escrito 12 artículos mientras otros dos colegas ninguno, al final la media es 4. 

No importa si un artículo viene firmado por investigadores postdocs, predoctorales u otros investigadores no pertenecientes a la plantilla de profesores funcionarios, al final el único TU que firma el artículo es el único en recibir la gloria estadística.

No importa que la mitad de la plantilla investigadora de las universidades españolas sea no funcionaria, al final los caprichos de la estadística siempre recaen en la otra mitad funcionaria. 

Después de leer el artículo, mi primer pensamiento ha sido: "vaya, no contamos para nada estadísticamente hablando, claro. Eso me consuela. Pero por ciento, no mucho más estadísticamente no hablando". ¿Para cuando algún estudio que analice en su justa medida la investigación profunda e invisible (en analogía a la Deep Web), realizada por los investigadores no funcionarios de este país? 

Mucho ruido y pocas nueces

Ligado a entradas previas sobre posibles alternativas al sistema de evaluación científica (aquí, aquí y aquí), una de los críticas más comunes, aunque los comités de selección siguen haciendo oídos sordos, es el mal uso del Factor de Impacto (IF) para evaluar la carrera científica de un investigador.  A esta crítica se suma también el editor de Nature en un artículo corto titilado "Escape from the IF" en Ethics in Science and Environmental Politics 8:5-7. De hecho este número especial contiene una interesante lista de artículos dedicados al uso y mal uso de los índices bibliométricos para cuantificar el rendimiento individual de los investigadores. 

En realidad, Philip Campbel no se moja mucho. Es políticamente correcto en admitir que los comités de selección de procesos de contratación y/o promoción de investigadores o de evaluación de propuestas de proyectos, no deben fijarse exclusivamente en el factor de impacto de una revista como medida para juzgar la relevancia y claridad de un artículo publicado en esa revista. El autor evidencia su argumento con datos de artículos publicados en 2002 y 2003  en Nature que contribuyen directamente al IF de 2004 (algo más de un 32). Únicamente un 25% de los artículos publicados durante los dos años anteriores atrajeron casi el 90% de las citas totales que contabilizaban para el IF en 2004. Es decir, la aportación conjunta al IF de las tres cuartas parte de los artículos publicados en ese bienio es casi residual. Los datos no mienten y otra vez más la famosa regla del  80:20 del economista italiano Vilfredo Pareto (quien descubrió que el 80% de la riqueza en un país pertenecía únicamente al 20% de su población)  explica también la distribución de citas  en los artículos de Nature.

Tampoco quiero insinuar que el 75% de los artículos publicados en Nature no son de calidad. Simplemente, la comunidad investigadora no los ha citado durante dos años con la relevancia del otro 25 por ciento. Puede que pasado cierto tiempo, por causas varias, las citas de esos artículos aumenten considerablemente. O simplemente pasen a la posteridad como artículo publicado en Nature con cero citas. Pero para entonces, pasados dos años desde su publicación, tanto si un artículo es citado cero o 2000 veces en un año, ya no importa porque no contribuye nada al IF de la revista.  Y ya está, eso quiere decir el IF y nada más. Tratar de ir más allá del contexto del IF para inferir la calidad, relevancia e impacto científico y social de un artículo individual es un error de libro.

Lamentablemente, parece que quienes deciden sobre el futuro de los investigadores, se aferran al IF (recordamos: indicador a nivel de revista y válido durante una ventana de 2 años) como "el instrumento más preciado" para cuantificar la relevancia e impacto de los artículos de un investigador durante su carrera investigadora. No hace falta ser un analista de datos curtido para darse cuenta que tratar de aplicar un indicador definido en un contexto dado en otro contexto totalmente diferente que varía en granularidad (nivel de revista vs. nivel  de artículo) y temporalidad (dos años vs. toda la carrera científica) es simplemente algo que como mínimo revolvería el estómago de Pareto. 

Para ser justos, hay que admitir que los propios investigadores también tenemos parte de culpa en seguir alimentando la autoridad del FI en busca de nuestro beneficio propio a pesar de que sabemos que, ni es la forma de hacer ciencia dirigida y para el beneficio de la sociedad, ni tampoco sirve para mejorar en general la sostenibilidad y calidad del sistema científico a largo plazo . Arturo Casadevall y Ferric Fang lo explican claramente en su último artículo "Causes fo the Persistence of Impact Factor Mania" publicado en mBIO 5(2):e00064-14.

¿Hay futuro para los trabajos de estado del arte?

Un artículo es únicamente la punta del iceberg de una investigación. Unos cuantos folios no son suficientes si que quiere ir más allá de su lectura.

Algunas revistas como GigaScience ya enlazan el artículo científico a un repositorio de datos (GigaDB Dataset) que aloja los recursos relacionados al propio artículo, ya sean datos, scripts, o documentación adicional. Todo el conjunto de recursos queda identificado con un DOI, que habitualmente se incluye como una referencia más del propio artículo científico. 

En Mayo 2014 se lanza la revista Scientific Data, cuyos artículos serán descripciones de datos junto con un enlace a los propios datos alojados en repositorios públicos como biosharing.

Scientific Data is a new open-access, online-only publication for descriptions of scientifically valuable datasets. Scientific Data exists to help you publish, discover and reuse research data.

Esta  tendencia parece que coge forma: hacer públicamente accesible y citable cualquier recurso (artículo, datos, software) relacionado con una investigación para otros puedan beneficiarse y asegurar al mismo tiempo su validez científica. La fusión de revistas y repositorios podría ser el siguiente paso. La idea de centralizar artículos por disciplinas y sus datos asociados en un mismo sitio web permitiría tener, hasta cierto punto, controlado el conocimiento generado sobre una misma disciplina. 

Dejando a parte los pros y contras de un hipotético mega-journal-repositorio, si verdaderamente existiera, podría ofrecer servicios que a día de hoy todavía no existen. Por ejemplo: revisiones del estado del arte dinámicas. 

Como cualquier investigador, últimamente me he visto inmerso en trabajos de este estilo. Como ejemplo, la última revisión publicada en Computers, Environment and Urban Systems. Mi problema de fondo creo que generalizable a otros investigadores:  Ni he podido beneficiarme de los datos de análisis de revisiones anteriores ni otros colegas podrá hacerlo en el futuro con mi revisión. Si hubiera tenido acceso por ejemplo a las tablas utilizadas durante el análisis de la revisión, justo con los criterios de comparación (columnas) para cada uno de los artículos revisados (filas), seguramente me hubiera ahorrado tiempo, duplicación de esfuerzos, y el trabajo de revisión colaborativo final hubiera sido mucho de mayor calidad y precisión. Como decía, hay tareas para las cuales se necesita mucha más información que la que viene en el artículo publicado. 

¿Sería posible un sistema que mantuviera el estado del arte de una disciplina continuamente actualizado? Y no me refiero únicamente a la lista de artículos, sino a los datos utilizados para compararlos, los criterios utilizados, las gráficas estadísticas de resultados, las tablas sumarios, etc. Imagínate: un sistema que fuera capaz de añadir cada artículo nuevo relevante para el estado del arte de una disciplina como una fila más a su base de datos, que extrajera los datos relevantes para el análisis, determinara los valores de la comparación, y visualizar los resultados al instante. 

El resultado:  un conjunto de datos vivo, referenciable, público, colaborativo  y accesible a toda la comunidad investigadora. Dejaría de ser un trabajo de revisión del estado del arte de una disciplina para convertirse en una herramienta de visión de tendencias de una disciplina. 

Resumen "visual": ¿necesario o superfluo?

Elsevier acaba de anunciar hace unos días el ganador de "Earth and Planetary Innovation Challenge". El afortunado ha sido Edzer Pebesma, profesor de geo-estadística en el Institute for Geoinformatics, Muenster (Alemania), bien conocido por ser uno de los autores de un libro de referencia en análisis espacial con R. Su propuesta ganadora se llama "One-Click-Reproduce" y trata de resolver un viejo pero todavía presente problema de la ciencia: la reutilización de los datos de entrada y el análisis, qeu juntos, producen los datos de salida: los resultados de la investigación. Cuando se publica un artículo científico, las tablas y gráficas que aparecen en él normalmente sintetizan los resultados del análisis de datos empleado en la investigación. El problema es que dichas tablas no son reproducibles por otros científicos sin los datos de entrada ni los pasos concretos seguidos durante el análisis. Edzer propone hacer públicos, junto al artículo, tanto los datos de entrada, como el análisis (código en R) . Con un solo click, un lector podrá, mientras lee el artículo, reproducir el análisis y ver dinámicamente como se generan los resultados en forma de tablas y gráficas. Elsevier se ha comprometido a llevar a cabo esta idea!

Esta noticia me ha hecho pensar sobre el papel del resumen visual (graphical abstract) que aparece en algunos artículos junto al resumen convencional. No es todavía un práctica muy extendida, Elsevier la lanzó en 2010, pero tiene su interés. Elsevier lo define como:

A Graphical Abstract is a single, concise, pictorial and visual summary of the main findings of the article. This could either be the concluding figure from the article or a figure that is specially designed for the purpose, which captures the content of the article for readers at a single glance. 

Entonces, al igual que un resumen convencional, el resumen visual trata de sintetizar visualmente los resultados más importantes de un artículo. A día de hoy,  para autores y lectores, el resumen visual no es una característica esencial de un artículo . Tal como esta planteado, se trata simplemente de la versión visual del resumen convencional (descriptivo), por lo tanto no aporta, en la inmensa mayoría de los casos, información adicional y complementaria al resumen convencional. ¿Para quétener dos resúmenes si ambos transmiten la misma información?

Creo que su uso actual es bastante limitado, conservativo y esta muy lejos de explotar el verdadero potencial de la visualización de información. Otros enfoques imaginativos son posibles. Lo positivo es que el resumen visual ya tiene su "hueco" en un artículo, ahora falta encontrarle su "uso" para que aporte valor añadido a un artículo. Aquí me surgen algunas ideas al respecto:

• ¿Y si fuera indexable? ¿Podríamos realizar búsquedas por sus características visuales? 
• ¿Y si fuera una tira cómica, o una infografía, etc.? Sinceramente, me cuesta ver la utilidad de un resumen visual cuando replica una figura del propio artículo, pero ¿y si lo explicamos de otra forma?
• ¿Y si fuera enlazable en vez de ser una figura estática? ¿Podría servir para navegar por las secciones del artículo? Más interesante aún, ¿podría servir como punto de entrada para ir directamente a los párrafos donde se detallan las contribuciones más destacables de un artículo? 
• ¿Y si fuera dinámico? Como sucede con la propuesta de Edzer, ¿podría un lector interaccionar con el resumen visual para descubrir las relaciones existentes entre hipótesis-análisis-resultados del artículo? No parece tan descabellado, la verdad, todos hemos jugado alguna vez con los doodles interactivos de Google.

¿Cuándo un artículo merece ser citado?

Recientemente leí un artículo que era una verdadera patata, pero ahí estaba, publicado en una revista con impacto. A pesar de que el título prometía, porque ponía en relación dos cosas, aparentemente no relacionadas con anterioridad, el contenido del artículo y la base eran verdaderamente malas.

Esto me hizo reflexionar sobre si debería o no citar este artículo. Creo que, si escribo un trabajo sobre una temática relacionada, probablemente debería citarlo, bien sea por la escasez de conclusiones a las que llega (para motivar mi trabajo) o porque es lo primero que apareció (aunque fuera una patata) en su día, ambos motivos más anecdóticos que científicos.  Porque, si bien, cuando se cita un documento lo que se pretende es:

• primero, dar muestras de rigor científico al haber consultado la literatura previamente publicada, y compararla con el trabajo que lo cita;
• segundo, ayudar a otros investigadores a que sigan el curso de la investigación y puedan derivar a otros materiales de su interés;
• tercero, diferenciar las ideas propias de aquellas de otros autores; y
• cuarto, y como "subproducto", lo que provocamos es dar "impacto" a un documento que no siempre tiene porque ser enormemente relevante, interesante, correcto o adecuado.

Si citara al artículo-patata las tres primeras pretensiones de una cita bibliográfica se cumplen, pero, ¿y la cuarta? ¿Merece ese artículo recibir más impacto allá de la anécdota? Y si tenemos en cuenta todo lo que puede implicar, en relación a darle una importancia y relevancia a un documento que puede o no puede tenerla, ¿hasta qué punto merece un artículo ser citado?

Esta línea de pensamiento la he encontrado después en un debate en Iwetel sobre los comentarios del premio nobel Randy Schekman (http://www.theguardian.com/science/2013/dec/09/nobel-winner-boycott-science-journals?CMP=twt_fd) y he pensado que podría ser interesante que los artículos citados se presentaran con:

• algún tipo de orden de importancia;
• nivel de aplicación y relación con respecto al artículo que lo cita;
• nivel de contribución al artículo que lo cita, esto es, en qué medida nos hemos basado en el trabajo citado para construir trabajo que lo cita.

Quizá podríamos encontrar alguna forma de mecanismo de rating que nos ayudara a medir su importancia e interés y así nos ayudara a otorgar "su impacto", tanto positivo como negativo, de una forma más acertada. Por otra parte conviene no olvidar que el (factor de) impacto se otorga a revistas, pero no a nivel de artículo individual, por lo que hay documentos que pueden salir beneficiados "inesperadamente".

Seguro que alguien que yo ha pensado esto antes, y no lo he citado ;-) Si conocéis alguna iniciativa que esté trabajando sobre esto, os agradecería que la compartierais.

Abocados a publicar en abierto, ¿a qué coste?

El gobierno español, a través de la nueva convocatoria de ayudas a la investigación, acaba de apuntar hacia la obligatoriedad de publicar en acceso abierto los resultados de investigación originados con fondos de dichas convocatorias.
Por otro lado también hemos leído una reciente nota publicada en el boletín IPR Helpdesk donde se remarca la necesidad de definir políticas de acceso abierto a las publicaciones científicas, especialmente aquellas que han estado financiadas con fondos públicos. Además de explicar de forma muy sencilla qué es la vía verde y la vía dorada, el artículo recoge varios datos interesantes.

Por un lado el indudable beneficio económico que supone publicar en abierto, en cuanto al desarrollo de ciencia nueva, basada en ciencia accesible, por lo tanto generada a partir de investigaciones previas

[...] the overall economic benefit from increased access to scientific information for the EU 27 at €5 billion a year. This implies potential economic benefits  from  increased  access  to  the scientific  information  emanating  from public funding at €1.8 billion a year [...] (The European IPRHelpdesk bulletin, 11, 2013.p.2 )
Por otro lado, el crecimiento exorbitante de la publicación de trabajos de investigación en abierto nos hace plantearnos algunas preguntas en relación a cuál será la actitud que los investigadores ante esta situación y cómo esto podría influir en la calidad de las investigaciones, refiriéndonos al proceso de revisión del estado del arte.


[...] A recent report by Science Metrix suggests that open access has grown faster than expected with around 50% of the papers published in 2011 being available for free in 2013. [...]

Dentro del mundo de consumo rápido e instantáneo de información, ¿Estarán los investigadores dispuestos a esperar que les llegue un artículo a través de su servicio de obtención de documentos de una biblioteca (si tuvieran acceso a ella) o por contra se decidirán a leer exclusivamente los artículos a los que tengan acceso inmediato?

¿Qué pasará con los artículos antiguos, pero quizá muy interesantes, que no han llegado a formar parte de este movimiento de acceso abierto y, por lo tanto, se publicaron tradicionalmente sin el mandato, sea nacional o europeo, de publicar en acceso abierto?¿Acabarán estos citándose únicamente por hacerse eco de otras publicaciones relacionadas, sin ninguna lectura real ni consulta? 

¿Y todos aquellos artículos que nunca serán leídos por nadie, por su bajo interés, quizá más alto si estuvieran en acceso abierto, y que simplemente quedan en un limbo? ¿Merece la pena invertir tiempo en ellos, sobre todo desde el punto de vista del esfuerzo de sus autores? Publicar artículos que nadie va a consultar, leer, ni citar...

Lo que sí que parece claro es que, a parte de los mandatos de diferentes niveles gubernativos, cada vez es menos interesante para un investigador que sus artículos aparezcan en revistas maravillosas e "impactantes", pero antiguas y cerradas. Faltaría ver, si las políticas de evaluación de investigadores también se adaptan a los nuevos tiempos, y empiezan a valorar de otra forma la calidad de la investigación, más allá del Factor de Impacto.

¿Hay alternativa al actual sistema de evaluación científica? (III)

Puede que al final se logren sistemas de evaluación sensatos y transparentes que tengan en cuenta al menos las dimensiones del individuo, del grupo que forma parte, y de la sociedad, y que las conciba todas como partes integrales del ser de un investigador. Incluso así, lamentablemente, parece que para los próximos años todos los aspirantes a investigador/profesor en la universidad española simplemente no cabemos.
Aquí caben dos posibilidades. Se aumenta la oferta en la universidad, o se disminuye la demanda. Lo primero no va a suceder en un futuro próximo. Lo segundo podría solucionar parcialmente el problema si por ejemplo los programas de doctorado no fueran destinados únicamente a la formación de doctores "académicos". Estaría bien formar doctores para la industria, que formara parte de grupos de I+D de empresas privadas, ligados a los objetivos del mercado, y en general en busca de patentes en vez de artículos.  

El grupo Biotechnology and Life Science Advising (BALSA) nos cuenta su caso de éxito en el incipiente camino de la formación de investigadores para sel sector I+D privado en el artículo "The missing piece to changing the university culture", publicado en Nature Biotechnology 31, 938–941, 2013. Realmente vale la pena su lectura. 

¿Hay alternativa al actual sistema de evaluación científica? (II)

Hace unos meses comentábamos la importancia de la evaluación colectiva para complementar la evaluación individual de la ciencia. En mi parece, basar la evaluación científica únicamente en méritos individuales o en los del grupo, distorsiona la realidad. 
Lo primero porque la ciencia se hace actualmente en el marco de un grupo, un colectivo que trabaja hacia un mismo objetivo. Un investigador no trabaja solo sino que colabora con muchos. Los resultados científicos son los frutos de trabajo colectivo. Evaluar al individuo omitiendo al grupo supone, al menos, perder el contexto y la motivación de la investigación, por lo que puede ignorarse o malinterpretarse el peso de un individuo en su grupo. Lo segundo porque ceñir la evaluación únicamente a los méritos del grupo en su conjunto esconde obviamente la participación individual de cada uno de los miembros del grupo. De esto hay un sinfín de ejemplos que todos conocemos y no vale la pena profundizar más.
Una evaluación híbrida, que tenga en cuenta la contribución individual en el contexto de un grupo, puede dar más contexto y transparencia para entender mejor la trayectoria y contribución científica de un individuo.

Todo lo anterior se resume como el impacto científico de un individuo, que pierde toda su esencia para procesos de evaluación científica si no se tiene también en cuenta el impacto social de la investigación. ¿Que beneficios aporta mi investigación a la sociedad,  a la naturaleza, a los animales, a las ciudades, a la historia, en definitiva, en hacer un mundo mejor? ¿Se ha enterado la sociedad de los resultados alcanzados en la investigación? ¿El investigador se ha puesto en el lugar del ciudadano y se ha preguntado para qué puede servir lo que está haciendo? Algunos ejemplos imaginativos de divulgación y para involucrar a los ciudadanos en proyectos científicos como charlas en colegios, libros para niños, y otros tantos ejemplos nos lo cuenta el artículo "Impact: Pack a punk", publicado en Nature 502, 397-398, 2013.

¿Hay alternativa al actual sistema de evaluación científica?

Cada Junio surge la misma discusión a raíz de la publicación  de los nuevos índices de impacto JCR. Parece claro, aunque en realidad  no es así, que estos índices no son adecuados  para la evaluación  de la carrera investigadora de un individuo. Pero las agencias de evaluación y  comités de promoción en las universidades se apoyan casi exclusivamente en el número de artículos publicados en revistas de impacto. Podría y hay alternativas a la métrica basada en únicamente  el numero de artículos. Vamos a desgranar algunas ideas a lo largo de los próximos días.

Se habla de excelencia  en la  investigación e impacto internacional, pero se omite completamente el impacto real de los artículos, es decir, no se tiene en cuenta su contenido. Hay otras métricas que pueden ayudar a dar un valor aproximado de ese impacto. Lo más inmediato es el número citas recibidas de un artículo. Pero claro, otra vez estamos hablando de un número aislado, sin contexto . Todo esto nos lleva a que, mas que hablar del impacto de un único artículo, deberíamos analizar y evaluar el impacto científico de toda una línea de investigación  realizada por un individuo. El impacto científico de una investigación puede incluir varios proyectos de investigación, artículos, capítulos de libros, aportaciones a estándares, colaboraciones en congresos, captación de recursos  y otros tantos  tipos de "recursos" científicos  que analizados de forma conjunta muestren claramente el progreso realizado de un individuo y entonces poder apreciar y analizar su impacto científico.

Tampoco tiene mucho sentido hablar de línea de investigación de un único individuo, sino del grupo o colaboradores con los que ha trabajado. La ciencia no se hace de forma individual, sino colectivamente y estableciendo colaboraciones. Tiene sentido hablar de cómo y en qué grado contribuye un individuo en el grupo y en definitiva a la linea de investigación. Al igual que en un película tenemos el director, guionista, actores, y demás personal con roles bien definidos que llevan a cabo de forma conjunto una película, en ciencia tenemos un grupo de investigadores que persigue desarrollar una línea de investigación  y cada uno de ellos tiene un rol bien definido:  captador de recursos, jefe proyecto, establecer colaboraciones, análisis de datos, buena mano en escribir informes y artículos, etc. A un guionista se le premia por su rol de guionista en una película, a un investigador  se le debería evaluar en función de su contribución al grupo y a la linea de investigación.

El sistema de evaluación  actual cuenta los guiones escritos, sin interesarse si han acabado en película, en el cajón, y ni siquiera saber que historia cuentan.