Quiero pero no puedo publicar mis datos

En el mundo académico se ha hablado mucho de la compartición de datos (data sharing). El avance de la ciencia ocurre en gran medida cuando se comparten los resultados de las investigaciones entre la comunidad científica. El artículo científico fundamentalmente cubre esta necesidad. Pero una investigación involucra también datos, datos con los que se realizan análisis y se obtienen resultados de interés. Los datos son igual o más importantes que el artículo escrito en sí. De ahí la necesidad imperiosa - para el avance de la ciencia - en fomentar la publicación de estos datos de forma que otros puedan utilizarlos en sus propias investigaciones. Kratz y Strasser (2015) profundizan en el concepto de publicación de datos desde la visión de los investigadores en un reciente artículo en Plos ONE

John Ernest Kratzm Carly Strasser (2015). Researcher  Perspective on Publication and Peer review of Data. Plos ONE 10(2): e0117619

Los autores nos cuentan que los científicos quieren pero no pueden publicar sus datos. Perciben que es un factor clave en el proceso de investigación científica y entienden los potenciales beneficios de no sólo compartir datos, sino de hacerlos públicos de forma permanente. Aún así hay bastante peros. Peros bastante relacionados con las costumbres y conductas establecidas de los propios científicos más que con las limitaciones tecnológicas que, de hecho son inexistentes, puesto que existen diversas soluciones para promover la publicación de datos (ver artículo para más detalles): 1/ como data paper; 2/ en repositorios generalistas como figshare, dryad, o zenodo; y 3/ en repositorios específicos de disciplinas.

De la encuesta que realizan los autores se desprende la falta de tiempo como argumento principal para la publicación de datos. Escribir un artículo lleva su tiempo. Si además hay que documentar seriamente los datos utilizados en un segundo artículo, a los científicos les entra pereza y evitan el segundo. ¿Por qué? Los autores identifican claramente el quid del asunto, el verdadero problema de la falta de publicación de datos. No es la falta de tiempo, sino falta de reconocimiento académico y/o científico en publicar los datos. Si el sistema de acreditación científica diera tanta importancia al artículo científico tradicional como al articulo de de datos, no estaríamos hablando de "quiero y no puedo", sino "me cuenta y lo hago".  

El artículo profundiza en otros aspectos de la publicación de datos, como los miedos a publicar datos por si otros escriben un artículo científico antes, o a la fata de reconocimiento en forma de citaciones de los datos en otros artículos. Dejo al lector que profundice en estas cuestiones libremente. Para cerrar un simple dato del artículo de Kratz y Strasser (2015): 70% de los encuestados que reutilizaron datos escribieron un artículo derivado. Imaginaos si desaprovechamos ideas cuando no se comparten y publican datos en el contexto científico. 

Nature estrena nueva política de compartir código en sus articulos

Esta semana al menos dos notables revistas del grupo Nature Publishing, la propia Nature y Nature Geosciences, han puesto sobre la mesa un aspecto recurrente últimamente en cuanto a la reproducibilidad y transparencia en ciencia. Compartir y hacer públicos los datos y análisis/código que sustentan una publicación científica, y que van íntimamente aparejada a una investigación o proyecto científico, deberían ser una práctica habitual, para la buena salud de la ciencia, en el proceso científico. El grupo Nature va a instaurar una nueva política de compartir código para todas sus revistas: Siempre que sea posible, puntualizan sendas editoriales de Nature y Nature Geosciences, se aconseja a los autores compartir el código como ejemplo de buena práctica científica. Es un pequeño paso hacia la ciencia abierta y reproducible, pero aún insuficiente. Según los siguientes autores, existen barreras para compartir datos y código, y no tanto de carácter técnico sino social: 

• En el comentario Of carrots and sticks, los autores se quejan de la falta de crédito e incentivos para compartir y publicar los datos. El científico encuentra pocos beneficios que recompensen la dura tarea de documentar minuciosamente un conjunto de datos para ser publicado. La aparición de nuevas publicaciones científicas solo para datos junto con algunos repositorios de datos ya en marcha, hace que el incentivo para el científico, según los autores, sea el retorno en citaciones a los datos publicados. 
• No solo de datos se nutre un artículo, sino de análisis y código. El siguiente comentario Open code for open science?, el autor incide en que la política de código abierto de las revistas científicas es un buen aliciente, pero que no va a solventar por sí sola el problema de la reproducibilidad. Código abierto no significa únicamente que otros lo puedan leer. Hay diversos factores del propio código, como su complejidad o requisitos específicos de hardware, así como el propio contexto para el que fue creado, porque si se trata de código destinado únicamente para apoyar un articulo, el autor no va a realizar un esfuerzo para limpiarlo y optimizarlo adecuadamente.   

Vistos estos dos comentarios, parece que uno de los problemas más serios sea la falta de incentivos claros para el investigador para que la publicación de datos y código se vea más como una oportunidad positiva de reconocimiento profesional y no como una tarea extra, ardua, y secundaria que no produce nada a cambio. ¿Y si cambiamos las reglas del juego? ¿Sería posible un sistema de incentivos diferente al actual que primara la reproducibilidad y transparencia de la ciencia? Está claro que el actual sistema basado en número de artículos publicados y "buenos contactos" no prima la reproducibilidad y transparencia. Si fuera factible una nueva escala de incentivos, ¿por qué no está ya en marcha?. Este argumento es justo lo que propone Jonh Ioannidis en su artículo How to make more published research true, contemporáneo en semana, mes y año a los comentarios de anteriores.  Invito a su lectura, es open access, al contrario que los otros dos comentarios de Nature Geosciences.






  

Predicciones crowdsourcing para CyT

Hace un tiempo que se viene oyendo el termino Inteligencia Colectiva y de la capacidad de predicción de las masas. El documental "The code: the wisdom of the crowd" explica algunos ejemplos. El siguiente me resultó curioso: si muestras una jarra con bolas de colores a diferentes personas y les dices que estimen cuantas bolas hay, pueden responderte desde 70 bolas hasta 7000. Pocos encuestados de forma individual se aproximan al número real de bolas. Sin embargo, cuando sacamos la media de todas las respuesta obtenidas, sorprendentemente el resultado se aproxima muchísimo al número real de bolas.

Sobre la necesidad de incorporar conocimiento interno y externo también llevamos tiempo apuntándolo en Inteligencia Competitiva. El conocimiento distribuido dentro de la organización debe incorporarse a los procesos de Inteligencia, a la vez que conocimientos externos, a través de Open innovation o crowdsourcing, deben formar parte de los tradicionales procesos de Inteligencia Competitiva.

Un paso más allá iría SciCast: a crowdsourced forecasting platform for Science and Technology (https://scicast.org/#!), o sea una plataforma colaborativa de predicción para la Ciencia y la Tecnología. Este proyecto de investigación estadounidense se basa en lo que acabamos de explicar: la mejor capacidad de predicción de un grupo de personas que de un único experto, y pretende explorar y demostrar este hecho.

Los usuarios se dan de alta en el sistema y realizan predicciones sobre cuestiones planteadas por ellos o sobre otras cuestiones ya presentes en la plataforma. Estas predicciones pueden ser modificadas en el tiempo, de modo que podemos ver en tiempo real qué piensan los participantes que va a suceder sobre un determinado hecho. El sistema también puede crear conexiones entre diferentes cuestiones relacionadas y modificar consecuentemente las predicciones. Según la web del proyecto, la técnica utilizada por debajo es la misma que se utiliza en grandes corporaciones y gobiernos para entender la probabilidad de cumplir con las métricas clave de rendimiento, cuantificar los riesgos que pueden poner en peligro las operaciones, y comprender mejor las tendencias del sector. 

Para rematarlo, han puesto algo de gamificación en la participación y ofrecen recompensas a los que más participen y más acierten. En la actualidad están buscando más participantes, a ser posible en universidades y sociedades profesionales, porque, como ya sabemos, cuantos más participantes más posibilidades tenemos de que nuestra predicción se ajuste a la realidad.

Ante este tipo de iniciativas, que parecen funcionar y acertar bastante, aunque su lógica esté realmente fuera de mi capacidad de entendimiento... como siempre, me pregunto: ¿Qué lugar ocupan las técnicas y la disciplina tradicionales de Inteligencia competitiva? ¿Dónde encuentra cada uno su sitio?

Abocados a publicar en abierto, ¿a qué coste?

El gobierno español, a través de la nueva convocatoria de ayudas a la investigación, acaba de apuntar hacia la obligatoriedad de publicar en acceso abierto los resultados de investigación originados con fondos de dichas convocatorias.
Por otro lado también hemos leído una reciente nota publicada en el boletín IPR Helpdesk donde se remarca la necesidad de definir políticas de acceso abierto a las publicaciones científicas, especialmente aquellas que han estado financiadas con fondos públicos. Además de explicar de forma muy sencilla qué es la vía verde y la vía dorada, el artículo recoge varios datos interesantes.

Por un lado el indudable beneficio económico que supone publicar en abierto, en cuanto al desarrollo de ciencia nueva, basada en ciencia accesible, por lo tanto generada a partir de investigaciones previas

[...] the overall economic benefit from increased access to scientific information for the EU 27 at €5 billion a year. This implies potential economic benefits  from  increased  access  to  the scientific  information  emanating  from public funding at €1.8 billion a year [...] (The European IPRHelpdesk bulletin, 11, 2013.p.2 )
Por otro lado, el crecimiento exorbitante de la publicación de trabajos de investigación en abierto nos hace plantearnos algunas preguntas en relación a cuál será la actitud que los investigadores ante esta situación y cómo esto podría influir en la calidad de las investigaciones, refiriéndonos al proceso de revisión del estado del arte.


[...] A recent report by Science Metrix suggests that open access has grown faster than expected with around 50% of the papers published in 2011 being available for free in 2013. [...]

Dentro del mundo de consumo rápido e instantáneo de información, ¿Estarán los investigadores dispuestos a esperar que les llegue un artículo a través de su servicio de obtención de documentos de una biblioteca (si tuvieran acceso a ella) o por contra se decidirán a leer exclusivamente los artículos a los que tengan acceso inmediato?

¿Qué pasará con los artículos antiguos, pero quizá muy interesantes, que no han llegado a formar parte de este movimiento de acceso abierto y, por lo tanto, se publicaron tradicionalmente sin el mandato, sea nacional o europeo, de publicar en acceso abierto?¿Acabarán estos citándose únicamente por hacerse eco de otras publicaciones relacionadas, sin ninguna lectura real ni consulta? 

¿Y todos aquellos artículos que nunca serán leídos por nadie, por su bajo interés, quizá más alto si estuvieran en acceso abierto, y que simplemente quedan en un limbo? ¿Merece la pena invertir tiempo en ellos, sobre todo desde el punto de vista del esfuerzo de sus autores? Publicar artículos que nadie va a consultar, leer, ni citar...

Lo que sí que parece claro es que, a parte de los mandatos de diferentes niveles gubernativos, cada vez es menos interesante para un investigador que sus artículos aparezcan en revistas maravillosas e "impactantes", pero antiguas y cerradas. Faltaría ver, si las políticas de evaluación de investigadores también se adaptan a los nuevos tiempos, y empiezan a valorar de otra forma la calidad de la investigación, más allá del Factor de Impacto.

Ciencia abierta: ¿resultados más rápidos y mejores?

A la gente en su tiempo libre le gusta compartir hobbies con otras personas. También le gusta ayudar, a menudo de forma altruista, en actividades que le motiven. Hay multitud de ejemplos de colaboración voluntaria por parte de la comunidad para recoger datos y luego compartirlos. Con esta premisa, si se pudiera canalizar una pequeña parte del excedente cognitivo de la comunidad [1] para tareas científicas, esto significaría una auténtica revolución para la ciencia: más recursos, más mentes, más datos, más ideas, más de todo.

Ciencia abierta significa hacer públicos los datos de un proyecto científico. Pero no únicamente los datos son públicos, sino los métodos, problemas pendientes de resolver, interpretación de los resultados obtenidos, tareas de diseminación, etc. relacionados con un proyecto científico. El objetivo que persigue es involucrar a la comunidad a que participe en todas las facetas que definen un proyecto científico que sea de su interés. Al fin y al cabo es poner en práctica los principios usados en proyectos de software de código abierto a la Ciencia en general.

Ya hay algunas experiencias interesantes, como el caso de ciencia abierta en que la comunidad ha colaborado en la definición de un proceso de química inorgánica [2] (no soy experto, lo dejamos como "proceso"). Me he fijado en este estudio porque toca cuestiones fundamentales para el éxito de un proyecto de ciencia abierta. Los autores destacan dos puntos claves que también considero de sentido común y necesarios para, al menos encarrilar - que no asegurar-, el éxito de un proyecto de ciencia abierta. El primero es no empezar desde cero. Partir de un núcleo básico. Esto es un patrón común en proyectos de código abierto: el núcleo de Apache Server nació por ejemplo de un reducido grupo de programadores. Luego el proyecto se abrió a la comunidad. El segundo aspecto clave para incentivar la participación de la comunidad es, ni más ni menos, minimizar las barreras de entrada para que la comunidad participe. Mensajes simples, tareas bien definidas, y que quede claro qué se espera de la comunidad en todo momento. Si alguien quiere participar en un proyecto científico, que entienda sin problemas ni ambigüedades cómo puede participar y colaborar en algunas de las tareas. En realidad, dos aspectos de mucho sentido común, caen por su propio peso.

Pero, con una estrategia de ciencia abierta, ¿se obtienen realmente resultados de forma más rápida y científicamente válidos, que con el método tradicional de grupos "cerrados" de científicos? Si es así, ¿se debe elegir un grupo relativamente pequeño de expertos, focalizado en el ámbito de estudio del proyecto, o abrir el abanico a grupos más grandes? ¿Cómo se anima o incentiva a la participación de la comunidad? ¿Cómo se capta y se mantiene el interés de la comunidad en un proyecto? ¿Todas las disciplinas (software, química, medio ambiente, sociales, etc.) son susceptibles de ser utilizadas para la ciencia abierta?

[1] C. Shirky. Cognitive Surplus: Creativity and Generosity in a Connected Age. Penguin, 2010.
[2] M. Woelfle et al. Open science is a research accelerator. Nature Chemistry, 3:745-748, 2011. doi: 10.1038/nchem.1149