Terminé la anterior entrada de la serie sobre Big Data con un referencia a la Validez y Valor. Ahora me centraré en la validez , y por extensión en la veracidad de la datos, dejando el valor para la próxima ocasión.
El proceso de generar conocimiento a partir de los datos en bruto no es sencillo. En la literatura se han propuesto multitud de metodologías al respecto que, aunque pueden variar ente disciplinas, en esencia transmiten el mismo mensaje: ¿De todos los datos que tengo a mi disposición, cuales son los datos realmente relevantes, y de calidad suficiente para mi propósito? Traducido en palabras mundanas, el eterno problema de separar el trigo de la paja.
Una de las grandes contradicciones que encuentro cuando se habla de Big Data es el hincapié excesivo que se hace en esos dos términos. Los datos son importante, evidentemente, pero la clave no está en los datos en sí, sino en la ciencia que que permite responder (nuevo conocimiento, acciones concretas, decisión a tomar) a preguntas planteadas (mi problema) partiendo de los datos. A mi modo de ver, me parece mucho mas interesante el término Data Science, con el acento en Science, que Big Data, donde no aparece ninguna mención a la ciencia y análisis necesarios para extraer nueva información y conocimiento.
La terminología del párrafo anterior viene a colación porque las tres primeras Vs (Volumen, Variedad, y Velocidad) hacen hincapié únicamente en los datos. No hay todavía ninguna preocupación sobre la validez de éstos, o si servirán finalmente para el problema que intento resolver. AL fin y al cabo recojo esos datos porque tengo una intuición que me puedan servir luego. Imaginad que hemos conseguido recopilar una cantidad asombrosa de datos, del orden de cientos de TeraBytes. Realmente una cosa Big. Pero después de tediosas revisiones de los datos, nos damos cuenta que no sirve una pequeña porción de esos Terabytes . ¿Significa esto que ya no se trata de un proyecto de Big Data? Atendiendo a la cantidad de los datos antes y después de la revisión parece que sí. Como comentaba al principio de la entrada, los datos no son tan importante por sí mismo, y menos aún su cantidad relativa. Lo interesante y a su vez más complejo del Big Data es la ciencia que permite reducir esa cantidad brutal de datos de estrada a aquellos datos válidos y relevantes que generarán nueva información.
Con la Validez, nos adentramos en aspectos de Big Data menos cristalinos que las Vs anteriores. ¿Son los datos correctos? ¿Son de calidad suficiente? ¿Me sirven datos que tienen distinta precisión, o diferencias significativos en la cobertura o escala espacial y temporal? ¿Son relevantes para mi problema? ¿Me pueden conducir a información "actionable" al final del día?.
Unido estrechamente a la validez, se encuentra la Veracidad de los datos: ¿Puedo confiar en datos que provienen de fuentes dudosas, no oficiales? ¿Quién responde por los datos? ¿A quién puedo preguntar? Si esos datos conllevan un error durante su captura ¿soy consciente de ese error? ¿Cómo se propaga ese error?. A todos nos resulta familiar que cuando vamos al médico, la visita queda registrada en nuestro historial médico así como cada una de las vistas anteriores. ¿Cuando fuimos? ¿Quién nos atendió? ¿Cuáles fueron los síntomas, el diagnóstico y el tratamiento?. A nadie se le escapa por ejemplo que el historial médico es fundamental para que el doctor pueda realizar un buen diagnóstico (información, conocimiento) y entonces aplicar un tratamiento conveniente para la dolencia diagnosticada (acciones, decisiones) ¿Conozco el "historial" de los datos y todas las "operaciones" que han sufrido hasta llegar a mis manos? ¿Puedo confiar en datos de los que desconozco cómo han sido tratados o procesados anteriormente? ¿En qué contexto fueron creados o modificados los datos para que los pueda interpretar correctamente?.
La Validez y Veracidad son fases críticas en Big Data porque preparan los datos para la fase posterior de Valor. Aunque algunos aspectos pueden ser automatizados, el contexto que requiere es tan complejo que el factor humano es imprescindible en esta fase de verificación y fiabilidad para decidir que datos sirven y cuáles no. Por lo tanto, que nadie espere a corto plazo aplicaciones y herramientas de un solo click con un botón "Validad y Verifica tus datos", pero que tampoco espere que personal sin preparación especifica pueda afrontar con éxito estas tareas. Lo bueno, el factor humano es necesario en combinación con la tecnología . La malo ¿el personal de las bibliotecas está lo suficientemente preparado y especializado para validar y verificar flujos continuos de grandes cantidades de datos, de distinta naturaleza, tipología y origen?
miércoles, 26 de marzo de 2014
domingo, 23 de marzo de 2014
ERMES arranca
Algunos lugares del mundo no tendrían razón de existir sin el arroz. El arroz es mucho más que un alimento primario y tiene un rol social, cultural e incluso religioso muy arraigado. Esto sucede por ejemplo en los países del sureste asiático como China, Vietnam, Tailandia o Filipinas. En números, el sureste asiático produce cerca del 80% del arroz mundial y consume aproximadamente la misma proporción. Pero los números solos sin contexto son engañosos. En estos países asiáticos, la mayoría de la población vive por debajo del nivel de pobreza y depende del arroz como su principal fuente de alimentación. Además, esta área, por su situación geográfica, sufre el azote de tornados, tsunamis, terremotos, y violentas tormentas que pueden simplemente borrar del mapa la próxima cosecha de arroz (entre otras cosas, claro, pero en el contexto de esta entrada, el arroz es lo importante), con el consiguiente problema de hambruna, económico, social y cultural para sus habitantes. Los pobres vuelven a ser los más vulnerables.
Europa también es productora de arroz, pero sus números son bastante más discretos: alrededor del 5-10% mundial. Dentro de Europa, Italia (50%) es el mayor productor seguida de España (25%), Grecia (7%) y Portugal (6%). Los cuatro países mediterráneos abarcan casi la totalidad de la producción europea. Pero si hacemos un zoom en cada país, las áreas arroceras son muy delimitadas. En Italia, por ejemplo, el área arrocera se extiende entre las Regiones del Piamonte y Lombardia, de ahí los famosos risotos. En España, la producción se concentra en la área de La Albufera de Valencia y alrededores. Quién no ha disfrutado de una paella con la denominación de Arroz de Valencia.
El proyecto FP7 ERMES (An Earth obseRvation Model based RicE information Service) se articula en tres pilares básicos: arroz, datos y modelos de la Observación de la Tierra, y servicios. Se trata de un proyecto europeo colaborativo subvencionado por el FP7 y en el contexto del programa europeo sobre Observación de la Tierra llamado Copernicus (antes GMES), cuyo objetivo principal es dar valor a las imágenes captadas por satélites misiones Sentinel, por ejemplo) mediante la creación de servicios operacionales para el estudio del cambio climático o la monitorización de la tierra de cultivo.
Los satélite son clave en este proyecto, pero que nadie se engañe, no vamos a crear el satélite ERMES-1 ni a lanzarlo en órbita! El proyecto ERMES parte de los datos que captan los satélites (datos de Observación de la Tierra), los transformará adecuadamente mediante técnicas de remote sensing para obtener datos procesados (productos) servibles para que modelos matemáticos estimen el comportamiento de la cosecha de arroz (como la estimación de producción o alertas de riesgo) en determinadas áreas de estudio (como la zona valenciana). Ya que al agricultor final no le interesa las imágenes satélites ni modelos complejos de cosechas, el proyecto también creará servicios web y aplicaciones móviles para que los agricultores y cooperativas puedan aprovechar esas fuentes de datos de Observación de la Tierra originalmente generadas a miles de kilómetros de altura para sus propios campos.
El grupo de investigación GeoTec de la Universitat Jaume I de Castellón, participa como miembro del proyecto. Nuestro rol se centra en el diseño e implementación de esos servicios de valor añadido para el agricultor. El proyecto acaba de empezar (1 Marzo 2014), y durante los próximos tres años iremos contando qué cosas vamos realizando para el bien del arroz.
Europa también es productora de arroz, pero sus números son bastante más discretos: alrededor del 5-10% mundial. Dentro de Europa, Italia (50%) es el mayor productor seguida de España (25%), Grecia (7%) y Portugal (6%). Los cuatro países mediterráneos abarcan casi la totalidad de la producción europea. Pero si hacemos un zoom en cada país, las áreas arroceras son muy delimitadas. En Italia, por ejemplo, el área arrocera se extiende entre las Regiones del Piamonte y Lombardia, de ahí los famosos risotos. En España, la producción se concentra en la área de La Albufera de Valencia y alrededores. Quién no ha disfrutado de una paella con la denominación de Arroz de Valencia.
El proyecto FP7 ERMES (An Earth obseRvation Model based RicE information Service) se articula en tres pilares básicos: arroz, datos y modelos de la Observación de la Tierra, y servicios. Se trata de un proyecto europeo colaborativo subvencionado por el FP7 y en el contexto del programa europeo sobre Observación de la Tierra llamado Copernicus (antes GMES), cuyo objetivo principal es dar valor a las imágenes captadas por satélites misiones Sentinel, por ejemplo) mediante la creación de servicios operacionales para el estudio del cambio climático o la monitorización de la tierra de cultivo.
Los satélite son clave en este proyecto, pero que nadie se engañe, no vamos a crear el satélite ERMES-1 ni a lanzarlo en órbita! El proyecto ERMES parte de los datos que captan los satélites (datos de Observación de la Tierra), los transformará adecuadamente mediante técnicas de remote sensing para obtener datos procesados (productos) servibles para que modelos matemáticos estimen el comportamiento de la cosecha de arroz (como la estimación de producción o alertas de riesgo) en determinadas áreas de estudio (como la zona valenciana). Ya que al agricultor final no le interesa las imágenes satélites ni modelos complejos de cosechas, el proyecto también creará servicios web y aplicaciones móviles para que los agricultores y cooperativas puedan aprovechar esas fuentes de datos de Observación de la Tierra originalmente generadas a miles de kilómetros de altura para sus propios campos.
El grupo de investigación GeoTec de la Universitat Jaume I de Castellón, participa como miembro del proyecto. Nuestro rol se centra en el diseño e implementación de esos servicios de valor añadido para el agricultor. El proyecto acaba de empezar (1 Marzo 2014), y durante los próximos tres años iremos contando qué cosas vamos realizando para el bien del arroz.
sábado, 22 de marzo de 2014
Mucho ruido y pocas nueces
Ligado a entradas previas sobre posibles alternativas al sistema de evaluación científica (aquí, aquí y aquí), una de los críticas más comunes, aunque los comités de selección siguen haciendo oídos sordos, es el mal uso del Factor de Impacto (IF) para evaluar la carrera científica de un investigador. A esta crítica se suma también el editor de Nature en un artículo corto titilado "Escape from the IF" en Ethics in Science and Environmental Politics 8:5-7. De hecho este número especial contiene una interesante lista de artículos dedicados al uso y mal uso de los índices bibliométricos para cuantificar el rendimiento individual de los investigadores.
En realidad, Philip Campbel no se moja mucho. Es políticamente correcto en admitir que los comités de selección de procesos de contratación y/o promoción de investigadores o de evaluación de propuestas de proyectos, no deben fijarse exclusivamente en el factor de impacto de una revista como medida para juzgar la relevancia y claridad de un artículo publicado en esa revista. El autor evidencia su argumento con datos de artículos publicados en 2002 y 2003 en Nature que contribuyen directamente al IF de 2004 (algo más de un 32). Únicamente un 25% de los artículos publicados durante los dos años anteriores atrajeron casi el 90% de las citas totales que contabilizaban para el IF en 2004. Es decir, la aportación conjunta al IF de las tres cuartas parte de los artículos publicados en ese bienio es casi residual. Los datos no mienten y otra vez más la famosa regla del 80:20 del economista italiano Vilfredo Pareto (quien descubrió que el 80% de la riqueza en un país pertenecía únicamente al 20% de su población) explica también la distribución de citas en los artículos de Nature.
Tampoco quiero insinuar que el 75% de los artículos publicados en Nature no son de calidad. Simplemente, la comunidad investigadora no los ha citado durante dos años con la relevancia del otro 25 por ciento. Puede que pasado cierto tiempo, por causas varias, las citas de esos artículos aumenten considerablemente. O simplemente pasen a la posteridad como artículo publicado en Nature con cero citas. Pero para entonces, pasados dos años desde su publicación, tanto si un artículo es citado cero o 2000 veces en un año, ya no importa porque no contribuye nada al IF de la revista. Y ya está, eso quiere decir el IF y nada más. Tratar de ir más allá del contexto del IF para inferir la calidad, relevancia e impacto científico y social de un artículo individual es un error de libro.
Lamentablemente, parece que quienes deciden sobre el futuro de los investigadores, se aferran al IF (recordamos: indicador a nivel de revista y válido durante una ventana de 2 años) como "el instrumento más preciado" para cuantificar la relevancia e impacto de los artículos de un investigador durante su carrera investigadora. No hace falta ser un analista de datos curtido para darse cuenta que tratar de aplicar un indicador definido en un contexto dado en otro contexto totalmente diferente que varía en granularidad (nivel de revista vs. nivel de artículo) y temporalidad (dos años vs. toda la carrera científica) es simplemente algo que como mínimo revolvería el estómago de Pareto.
Para ser justos, hay que admitir que los propios investigadores también tenemos parte de culpa en seguir alimentando la autoridad del FI en busca de nuestro beneficio propio a pesar de que sabemos que, ni es la forma de hacer ciencia dirigida y para el beneficio de la sociedad, ni tampoco sirve para mejorar en general la sostenibilidad y calidad del sistema científico a largo plazo . Arturo Casadevall y Ferric Fang lo explican claramente en su último artículo "Causes fo the Persistence of Impact Factor Mania" publicado en mBIO 5(2):e00064-14.
En realidad, Philip Campbel no se moja mucho. Es políticamente correcto en admitir que los comités de selección de procesos de contratación y/o promoción de investigadores o de evaluación de propuestas de proyectos, no deben fijarse exclusivamente en el factor de impacto de una revista como medida para juzgar la relevancia y claridad de un artículo publicado en esa revista. El autor evidencia su argumento con datos de artículos publicados en 2002 y 2003 en Nature que contribuyen directamente al IF de 2004 (algo más de un 32). Únicamente un 25% de los artículos publicados durante los dos años anteriores atrajeron casi el 90% de las citas totales que contabilizaban para el IF en 2004. Es decir, la aportación conjunta al IF de las tres cuartas parte de los artículos publicados en ese bienio es casi residual. Los datos no mienten y otra vez más la famosa regla del 80:20 del economista italiano Vilfredo Pareto (quien descubrió que el 80% de la riqueza en un país pertenecía únicamente al 20% de su población) explica también la distribución de citas en los artículos de Nature.
Tampoco quiero insinuar que el 75% de los artículos publicados en Nature no son de calidad. Simplemente, la comunidad investigadora no los ha citado durante dos años con la relevancia del otro 25 por ciento. Puede que pasado cierto tiempo, por causas varias, las citas de esos artículos aumenten considerablemente. O simplemente pasen a la posteridad como artículo publicado en Nature con cero citas. Pero para entonces, pasados dos años desde su publicación, tanto si un artículo es citado cero o 2000 veces en un año, ya no importa porque no contribuye nada al IF de la revista. Y ya está, eso quiere decir el IF y nada más. Tratar de ir más allá del contexto del IF para inferir la calidad, relevancia e impacto científico y social de un artículo individual es un error de libro.
Lamentablemente, parece que quienes deciden sobre el futuro de los investigadores, se aferran al IF (recordamos: indicador a nivel de revista y válido durante una ventana de 2 años) como "el instrumento más preciado" para cuantificar la relevancia e impacto de los artículos de un investigador durante su carrera investigadora. No hace falta ser un analista de datos curtido para darse cuenta que tratar de aplicar un indicador definido en un contexto dado en otro contexto totalmente diferente que varía en granularidad (nivel de revista vs. nivel de artículo) y temporalidad (dos años vs. toda la carrera científica) es simplemente algo que como mínimo revolvería el estómago de Pareto.
Para ser justos, hay que admitir que los propios investigadores también tenemos parte de culpa en seguir alimentando la autoridad del FI en busca de nuestro beneficio propio a pesar de que sabemos que, ni es la forma de hacer ciencia dirigida y para el beneficio de la sociedad, ni tampoco sirve para mejorar en general la sostenibilidad y calidad del sistema científico a largo plazo . Arturo Casadevall y Ferric Fang lo explican claramente en su último artículo "Causes fo the Persistence of Impact Factor Mania" publicado en mBIO 5(2):e00064-14.
lunes, 17 de marzo de 2014
Aprender programación desde el jardín de infancia
Cuando se entra en transiciones de puestos de trabajo, el final de uno conectado inmediatamente con el comienzo de un nuevo trabajo , el resultado es casi siempre la obligación de asumir tareas de ambos trabajos durante el período de transsición. Y esto es así en investigación porque resulta bastante habitual que queden tareas pendientes de la vieja institución, bien sea un artículo a medias o un informe casi por terminar, mientras uno ya comienza a asumir el nuevo rol en la nueva institución. En fin, no he tenido tiempo ni de escribir en este blog.
Aunque sí que me ha llamado la atención durante las pasadas semanas algunas noticias en prensa, entradas de blog e inclusos libros que claman el poder de los datos, y demandan una visión analítica y mayor preparación para el análisis por parte de la ciudadanía, en virtud de la Era De Los Datos que nos ha tocado vivir.
Algunas pronostican, con acierto por mi parte, que las matemáticas y el análisis de datos, además de otras competencias claves, deberían ser pilares fundamentales del contenido curricular en las escuelas. Los trabajos del futuro demandarán razonamiento abstracto y grandes dosis de análisis , que combinado con un pensamiento crítico y abierto e con conocimiento de idiomas, serán imprescindibles para generar servicios de valor basado en el conocimiento. Por supuesto que los trabajo cuasi-artesanales seguirán existiendo, así como aquellos trabajos que requieran de relaciones personales entre cliente y proveedor. Pero no cabe duda que todos debemos hacer un esfuerzo para mejorar nuestras capacidades analíticas para entender y fiarnos del mundo de datos en el que vivimos. Podemos y debemos cambiar.
Y empezando desde los más pequeños es una buena idea.
Making Makers es una interesante iniciativa que recopila materiales adecuados para aprender a utilizar las herramientas y las tecnologías de la información, incluyendo también la programación. Otro ejemplo es Mi Primer Kit de Robótica, o el libro Python for kids que viene con un portal completo de recursos, para que nuestros hijos aprendan sus primeros algoritmos codificados en el lenguaje de programación Python, o Primo para que los niños aprendan la lógica de la programación.
Si se cultiva la parte analítica de nuestro hijos junto con otras cualidades y competencias igualmente importantes, nuestro reto como "facilitadores" es prepararlos en la senda de la formación activa y la curiosidad por aprender y conocer durante todo la vida. No sabemos los nuevos trabajos que surgirán en cinco años, y menos dentro de 20 años cuando la nueva generación se incorpore al mundo laboral. ¿Que enseñarlos ahora? Curiosidad, motivación para aprender, pensamiento critico, y sobre todo, inculcar el valor de que la formación es un activo para la persona para toda la vida y no una imposición obligatoria durante la edad escolar. Con estas premisas , seguro que aprenderán las competencias necesarias para desempeñar los trabajos del 2034.
Aunque sí que me ha llamado la atención durante las pasadas semanas algunas noticias en prensa, entradas de blog e inclusos libros que claman el poder de los datos, y demandan una visión analítica y mayor preparación para el análisis por parte de la ciudadanía, en virtud de la Era De Los Datos que nos ha tocado vivir.
Algunas pronostican, con acierto por mi parte, que las matemáticas y el análisis de datos, además de otras competencias claves, deberían ser pilares fundamentales del contenido curricular en las escuelas. Los trabajos del futuro demandarán razonamiento abstracto y grandes dosis de análisis , que combinado con un pensamiento crítico y abierto e con conocimiento de idiomas, serán imprescindibles para generar servicios de valor basado en el conocimiento. Por supuesto que los trabajo cuasi-artesanales seguirán existiendo, así como aquellos trabajos que requieran de relaciones personales entre cliente y proveedor. Pero no cabe duda que todos debemos hacer un esfuerzo para mejorar nuestras capacidades analíticas para entender y fiarnos del mundo de datos en el que vivimos. Podemos y debemos cambiar.
Y empezando desde los más pequeños es una buena idea.
Making Makers es una interesante iniciativa que recopila materiales adecuados para aprender a utilizar las herramientas y las tecnologías de la información, incluyendo también la programación. Otro ejemplo es Mi Primer Kit de Robótica, o el libro Python for kids que viene con un portal completo de recursos, para que nuestros hijos aprendan sus primeros algoritmos codificados en el lenguaje de programación Python, o Primo para que los niños aprendan la lógica de la programación.
Si se cultiva la parte analítica de nuestro hijos junto con otras cualidades y competencias igualmente importantes, nuestro reto como "facilitadores" es prepararlos en la senda de la formación activa y la curiosidad por aprender y conocer durante todo la vida. No sabemos los nuevos trabajos que surgirán en cinco años, y menos dentro de 20 años cuando la nueva generación se incorpore al mundo laboral. ¿Que enseñarlos ahora? Curiosidad, motivación para aprender, pensamiento critico, y sobre todo, inculcar el valor de que la formación es un activo para la persona para toda la vida y no una imposición obligatoria durante la edad escolar. Con estas premisas , seguro que aprenderán las competencias necesarias para desempeñar los trabajos del 2034.
sábado, 22 de febrero de 2014
#destacables #vgi (21/02/2014)
Pascal Neis, Dennis Zielstra. Recent Developments and Future Trends in Volunteered Geographic Information Research: The Case of OpenStreetMap. Future Internet, 6, 76-106, 2014.
Apto para quien desee saber un poco más la historia y quehaceres de OpenStreetMap (OSM), proyecto pionero en la recolección de datos geográficos por los usuarios-productores de contenido (Voluntereed Geographic Information o VGI) .
Pero la historia y contexto es solo el principio. El núcleo del articulo se centra en un par de análisis de OSM desde dos ópticas complementarias: calidad de los datos y el perfil del usuario-productor.
En primer lugar comparan los datos OSM atendiendo a los parámetros que vienen en la norma ISO 19175 sobre calidad de datos geográficos. Los autores repasan de forma exhaustiva con numerosas referencias a la literatura relacionada, cada uno de estos parámetros de calidad, como la precisión de los datos, completud, la evaluación de puntos de interés y objectos geográficos, aspectos de geocodificación, veracidad y cobertura espacial de los datos, entre otros. Se trata de un análisis bien documentado, con gran cantidad de porcentajes que ayuda a poner en contexto la calidad de los datos OSM frente a otras fuentes de datos. Sin embargo, el texto es algo denso y manco de visualizaciones para enriquecer y fortalecer el texto puro y duro.
En segundo lugar el artículo análisis OSM desde la visión del verdadero protagonista, el usuario productor de datos geográficos. El estudio se hace echo otra vez de un hecho común en proyecto de código abierto: el número de usuarios registros dista muchísimo del numero que realmente aporta contenido. Este efecto es fiel a una distribución Long Tail. El análisis continua con aspectos socio-económicos y demográficos desgranando la distribución geográfica, por género, y motivación de los usuarios de OSM. Hombre, entre 20 y 40 año, con estudios universitarios, altruista, y que vive en Europa o Norte América es el prototipo ideal de productor de datos para OSM.
El artículo concluye resumiendo los puntos más destacables de los dos análisis anteriores sobre la calidad de los datos y el perfil de usuario en OSM. Otra revisión del estado del arte sin futuro.
Pero la historia y contexto es solo el principio. El núcleo del articulo se centra en un par de análisis de OSM desde dos ópticas complementarias: calidad de los datos y el perfil del usuario-productor.
En primer lugar comparan los datos OSM atendiendo a los parámetros que vienen en la norma ISO 19175 sobre calidad de datos geográficos. Los autores repasan de forma exhaustiva con numerosas referencias a la literatura relacionada, cada uno de estos parámetros de calidad, como la precisión de los datos, completud, la evaluación de puntos de interés y objectos geográficos, aspectos de geocodificación, veracidad y cobertura espacial de los datos, entre otros. Se trata de un análisis bien documentado, con gran cantidad de porcentajes que ayuda a poner en contexto la calidad de los datos OSM frente a otras fuentes de datos. Sin embargo, el texto es algo denso y manco de visualizaciones para enriquecer y fortalecer el texto puro y duro.
En segundo lugar el artículo análisis OSM desde la visión del verdadero protagonista, el usuario productor de datos geográficos. El estudio se hace echo otra vez de un hecho común en proyecto de código abierto: el número de usuarios registros dista muchísimo del numero que realmente aporta contenido. Este efecto es fiel a una distribución Long Tail. El análisis continua con aspectos socio-económicos y demográficos desgranando la distribución geográfica, por género, y motivación de los usuarios de OSM. Hombre, entre 20 y 40 año, con estudios universitarios, altruista, y que vive en Europa o Norte América es el prototipo ideal de productor de datos para OSM.
El artículo concluye resumiendo los puntos más destacables de los dos análisis anteriores sobre la calidad de los datos y el perfil de usuario en OSM. Otra revisión del estado del arte sin futuro.
jueves, 20 de febrero de 2014
¿Hay futuro para los trabajos de estado del arte?
Un artículo es únicamente la punta del iceberg de una investigación. Unos cuantos folios no son suficientes si que quiere ir más allá de su lectura.
Algunas revistas como GigaScience ya enlazan el artículo científico a un repositorio de datos (GigaDB Dataset) que aloja los recursos relacionados al propio artículo, ya sean datos, scripts, o documentación adicional. Todo el conjunto de recursos queda identificado con un DOI, que habitualmente se incluye como una referencia más del propio artículo científico.
En Mayo 2014 se lanza la revista Scientific Data, cuyos artículos serán descripciones de datos junto con un enlace a los propios datos alojados en repositorios públicos como biosharing.
Dejando a parte los pros y contras de un hipotético mega-journal-repositorio, si verdaderamente existiera, podría ofrecer servicios que a día de hoy todavía no existen. Por ejemplo: revisiones del estado del arte dinámicas.
Como cualquier investigador, últimamente me he visto inmerso en trabajos de este estilo. Como ejemplo, la última revisión publicada en Computers, Environment and Urban Systems. Mi problema de fondo creo que generalizable a otros investigadores: Ni he podido beneficiarme de los datos de análisis de revisiones anteriores ni otros colegas podrá hacerlo en el futuro con mi revisión. Si hubiera tenido acceso por ejemplo a las tablas utilizadas durante el análisis de la revisión, justo con los criterios de comparación (columnas) para cada uno de los artículos revisados (filas), seguramente me hubiera ahorrado tiempo, duplicación de esfuerzos, y el trabajo de revisión colaborativo final hubiera sido mucho de mayor calidad y precisión. Como decía, hay tareas para las cuales se necesita mucha más información que la que viene en el artículo publicado.
¿Sería posible un sistema que mantuviera el estado del arte de una disciplina continuamente actualizado? Y no me refiero únicamente a la lista de artículos, sino a los datos utilizados para compararlos, los criterios utilizados, las gráficas estadísticas de resultados, las tablas sumarios, etc. Imagínate: un sistema que fuera capaz de añadir cada artículo nuevo relevante para el estado del arte de una disciplina como una fila más a su base de datos, que extrajera los datos relevantes para el análisis, determinara los valores de la comparación, y visualizar los resultados al instante.
El resultado: un conjunto de datos vivo, referenciable, público, colaborativo y accesible a toda la comunidad investigadora. Dejaría de ser un trabajo de revisión del estado del arte de una disciplina para convertirse en una herramienta de visión de tendencias de una disciplina.
Algunas revistas como GigaScience ya enlazan el artículo científico a un repositorio de datos (GigaDB Dataset) que aloja los recursos relacionados al propio artículo, ya sean datos, scripts, o documentación adicional. Todo el conjunto de recursos queda identificado con un DOI, que habitualmente se incluye como una referencia más del propio artículo científico.
En Mayo 2014 se lanza la revista Scientific Data, cuyos artículos serán descripciones de datos junto con un enlace a los propios datos alojados en repositorios públicos como biosharing.
Scientific Data is a new open-access, online-only publication for descriptions of scientifically valuable datasets. Scientific Data exists to help you publish, discover and reuse research data.Esta tendencia parece que coge forma: hacer públicamente accesible y citable cualquier recurso (artículo, datos, software) relacionado con una investigación para otros puedan beneficiarse y asegurar al mismo tiempo su validez científica. La fusión de revistas y repositorios podría ser el siguiente paso. La idea de centralizar artículos por disciplinas y sus datos asociados en un mismo sitio web permitiría tener, hasta cierto punto, controlado el conocimiento generado sobre una misma disciplina.
Dejando a parte los pros y contras de un hipotético mega-journal-repositorio, si verdaderamente existiera, podría ofrecer servicios que a día de hoy todavía no existen. Por ejemplo: revisiones del estado del arte dinámicas.
Como cualquier investigador, últimamente me he visto inmerso en trabajos de este estilo. Como ejemplo, la última revisión publicada en Computers, Environment and Urban Systems. Mi problema de fondo creo que generalizable a otros investigadores: Ni he podido beneficiarme de los datos de análisis de revisiones anteriores ni otros colegas podrá hacerlo en el futuro con mi revisión. Si hubiera tenido acceso por ejemplo a las tablas utilizadas durante el análisis de la revisión, justo con los criterios de comparación (columnas) para cada uno de los artículos revisados (filas), seguramente me hubiera ahorrado tiempo, duplicación de esfuerzos, y el trabajo de revisión colaborativo final hubiera sido mucho de mayor calidad y precisión. Como decía, hay tareas para las cuales se necesita mucha más información que la que viene en el artículo publicado.
¿Sería posible un sistema que mantuviera el estado del arte de una disciplina continuamente actualizado? Y no me refiero únicamente a la lista de artículos, sino a los datos utilizados para compararlos, los criterios utilizados, las gráficas estadísticas de resultados, las tablas sumarios, etc. Imagínate: un sistema que fuera capaz de añadir cada artículo nuevo relevante para el estado del arte de una disciplina como una fila más a su base de datos, que extrajera los datos relevantes para el análisis, determinara los valores de la comparación, y visualizar los resultados al instante.
El resultado: un conjunto de datos vivo, referenciable, público, colaborativo y accesible a toda la comunidad investigadora. Dejaría de ser un trabajo de revisión del estado del arte de una disciplina para convertirse en una herramienta de visión de tendencias de una disciplina.
domingo, 16 de febrero de 2014
Las Vs de Big data: Velocidad (Parte 3)
Tras el Volumen y la Variedad, seguimos con la serie de las Vs que caracterizan a Big Data para las Unidades de Información con la V de Velocidad.
La velocidad con la que se producen datos es otra característica de Big Data que promete, si no lo es ya, en convertirse en reto. Uno de los grandes problemas derivado de tener grandes cantidad de datos, de diversa índole y producidos continuamente, es la escasa capacidad de análisis. Algunos comentarios ya han hecho notar el notable diferencial entre la cantidad de datos que somos capaces de almacenar, con respecto a la cantidad de estos (mucho menor) que somos capaces de analizar. Esto se traduce en que muchos datos de entrada no pueden ser analizados y por lo tanto no se les puede extraer valor (próxima V de la serie). Valor desde mi punto de vista es la auténtica V de Big Data. Unido a esto, la tendencia es que esta diferencia entre datos recogidos y analizados se incremente con el tiempo, luego el problema, lejos de solucionarse en el corto tiempo, va a ir a más.
Se me ocurren un par de estrategias simples para intentar abordar el problema anterior.
La primera consistiría en reducir la cantidad de datos de entrada, para que la cantidad de datos que se va analizar se adecue a la capacidad real de análisis. ¿Tiene sentido que las bibliotecas almacenen todo el flujo de datos que les llega? ¿Cada uno de los resultados de investigación? ¿O se deberían aplicar filtros de calidad y forzar la colección de resultados de investigación agregados, procesados en vez resultados en bruto, para restringir así el volumen de entrada de datos? ¿Facilitaría lo anterior tareas posteriores de análisis, búsqueda y preservación?
La segunda es poner hincapié en aumentar la capacidad de análisis. A primera vista parece un aspecto únicamente tecnológico: mejorar capacidad de cálculo, algoritmos avanzados, etc. Pero creo que la capacidad de análisis en Big Data, entendido como el medio para encontrar valor y conocimiento de los datos de entrada, tiene un componente humano vital . Los bibliotecas no parece que se están preparando, tanto a nivel tecnológico como humano, para afrontar este nuevo contexto de Big Data.
Las tres Vs -Volumen, Variedad y Velocidad-, que para muchos definen Big Data, rascan muy ligeramente el verdadero potencial del Big Data, ya que están más cerca del dato que de la promesa del conocimiento que esperamos obtener con Big Data. En una próxima entrega nos meteremos de lleno con la Validez y el Valor, las Vs que se aproximan cada vez al verdadero propósito del Big Data: generar conocimiento a partir de datos.
La velocidad con la que se producen datos es otra característica de Big Data que promete, si no lo es ya, en convertirse en reto. Uno de los grandes problemas derivado de tener grandes cantidad de datos, de diversa índole y producidos continuamente, es la escasa capacidad de análisis. Algunos comentarios ya han hecho notar el notable diferencial entre la cantidad de datos que somos capaces de almacenar, con respecto a la cantidad de estos (mucho menor) que somos capaces de analizar. Esto se traduce en que muchos datos de entrada no pueden ser analizados y por lo tanto no se les puede extraer valor (próxima V de la serie). Valor desde mi punto de vista es la auténtica V de Big Data. Unido a esto, la tendencia es que esta diferencia entre datos recogidos y analizados se incremente con el tiempo, luego el problema, lejos de solucionarse en el corto tiempo, va a ir a más.
Se me ocurren un par de estrategias simples para intentar abordar el problema anterior.
La primera consistiría en reducir la cantidad de datos de entrada, para que la cantidad de datos que se va analizar se adecue a la capacidad real de análisis. ¿Tiene sentido que las bibliotecas almacenen todo el flujo de datos que les llega? ¿Cada uno de los resultados de investigación? ¿O se deberían aplicar filtros de calidad y forzar la colección de resultados de investigación agregados, procesados en vez resultados en bruto, para restringir así el volumen de entrada de datos? ¿Facilitaría lo anterior tareas posteriores de análisis, búsqueda y preservación?
La segunda es poner hincapié en aumentar la capacidad de análisis. A primera vista parece un aspecto únicamente tecnológico: mejorar capacidad de cálculo, algoritmos avanzados, etc. Pero creo que la capacidad de análisis en Big Data, entendido como el medio para encontrar valor y conocimiento de los datos de entrada, tiene un componente humano vital . Los bibliotecas no parece que se están preparando, tanto a nivel tecnológico como humano, para afrontar este nuevo contexto de Big Data.
Las tres Vs -Volumen, Variedad y Velocidad-, que para muchos definen Big Data, rascan muy ligeramente el verdadero potencial del Big Data, ya que están más cerca del dato que de la promesa del conocimiento que esperamos obtener con Big Data. En una próxima entrega nos meteremos de lleno con la Validez y el Valor, las Vs que se aproximan cada vez al verdadero propósito del Big Data: generar conocimiento a partir de datos.
Suscribirse a:
Entradas (Atom)