Al hilo de la productividad científica y de como medir la productividad de los investigadores (aquí y aquí), el nuevo baremo de la ANECA , programa ACADEMIA, para la acreditación de profesores titulares y catedráticos de universidad viene como anillo al dedo.
Empecemos por la pregunta más fácil. ¿Es mejor o peor el nuevo sistema de evaluación que propone la ANECA? Sin duda alguna, el nuevo sistema es mejor que el anterior (aun actual), en cuanto que permite al candidato identificar aquellas aportaciones de su carrera científica que son relevantes y que serán finalmente evaluadas. No hace falta enumerar y justificar cada uno de los items de un investigador, sino únicamente aquellos de calidad y con impacto. Esto simplemente ya supone un ahorro de tiempo y energía considerable para todos. Además, los paneles de evaluación se estructuran en disciplinas concretas, y el resultado positivo de la evaluación da al candidato el derecho de presentarse a concursos de la figura acreditada únicamente del área (o panel) acreditada. Por ejemplo, si yo me acredito en el panel de Informática, únicamente puedo optar a concursos de departamentos de Informática (antes la acreditación valía para todas las áreas) .
La pregunta que más me inquieta no es si el nuevo baremo de la ANECA es mejor o peor, más cualitativo o menos cuantitativo, más justo o menos justo. (Todos los baremos son injustos por definición.) El meollo del asunto está en si necesitamos un sistema de evaluación de profesorado. ¿Se puede prescindir del programa ACADEMIA?
Imaginemos un escenario en el que las empresas privadas cobran en función del número de clientes, y no en función del valor añadido de sus productos. No importa si el producto es más bueno, rápido o bonito que el de la competencia. Al final de día, el reparto de las ventas globales se reparten entre las empresas de forma proporcional al número de clientes de cada una de ellas. Que una empresa tenga al mejor ingeniero o comercial, no implica que va a tener más beneficios. El valor añadido que pueden aportar empleados de calidad y productivos a sus productos no repercute en los beneficios. La única forma de aumentar beneficios es aumentando la cartera de clientes, a costa de aumentar los gastos. En ese mercado ficticio, los procesos de contratación de nuevos empleados se devaluarían porque las empresas ya no persiguen fichar al mejor, sino a alguien que puede realizar el trabajo sin mas, exigiendo unos mínimos aceptables a modo de acreditación profesional.
Pero volvamos a la realidad del "mercado" universitario para compararlo con el mercado ficticio de antes. Las universidades son las empresas. Las universidades se financian en base al número de estudiantes (sus clientes). No importa la calidad de tu producto en cuanto a resultados de investigación o docencia que producen los profesores e investigadores. Al final del día: tantos estudiantes, tanto recibes. Entonces, no hace falta fichar investigadores estrella, porque lo que pueden producir influye escasamente en el grueso de la financiación para la universidad. En ese "mercado" real, los procesos de contratación de nuevos investigadores y profesores (empleados) están devaluados porque las universidades ya no persiguen fichar al mejor, sino a alguien que puede realizar el trabajo sin mas, exigiendo unos mínimos aceptables a modo de acreditación a profesor, como hace la ANECA.
Se puede prescindir del programa ACADEMIA solo si se produce un cambio profundo en el sistema de gobernanza y financiación de las universidades. En ese supuesto, las propias universidad se preocuparían, y mucho, de fichar a los mejores y de realizar sus propios baremos de contratación. Mientras todo siga igual como hasta ahora, el programa ACADEMIA tiene su razón de existir.
sábado, 21 de febrero de 2015
miércoles, 11 de febrero de 2015
Geobibliotecas ya está aquí!
Estamos contentos porque acaba de ver la luz nuestro libro "Geobibliotecas" de la Colección EPI-UOC. Se trata de un libro de carácter divulgativo, que trata de acercar los Sistemas de Información Geográfica (SIG) a las unidades de información y bibliotecarios. Los datos y las tecnologías geográficas pueden ser vitales para encontrar nuevos roles y servicios para las bibliotecas, y para sacar más jugo a las competencias tradicionales de los bibliotecarios para la gestión de colecciones de datos geográficos. En definitiva, el libro intenta mostrar un mundo nuevo de posibilidades que se abre a las bibliotecas como institución como al personal bibliotecario, a través de la incorporación de datos y tecnologías geográficas en el quehacer de las bibliotecas.
Esperamos que os guste. Y también esperamos vuestro comentarios!
Esperamos que os guste. Y también esperamos vuestro comentarios!
viernes, 30 de enero de 2015
Contexto para la productividad cientifica
Un ejemplo simple y claro de contexto de la investigación para evaluar la productividad e impacto de los investigadores.
La propuesta viene descrita en el articulo "Assessing Research Productivity". Los autores no inventan un indice bibliométrico nuevo, sino que simplemente utilizan sumas y restas para combinar indicadores existentes con algo de sentido común. Lo describen así:
Y el resultado obtenido para un artículo se compara, para tener contexto, con el resto de artículos publicados en la misma revista para ese mismo año siguiendo el mismo método:
La propuesta viene descrita en el articulo "Assessing Research Productivity". Los autores no inventan un indice bibliométrico nuevo, sino que simplemente utilizan sumas y restas para combinar indicadores existentes con algo de sentido común. Lo describen así:
The metric we used calculates the impact of a research article as its number of citations divided by the publishing journal’s impact factor for that year, divided by the number of years since the article was published. The higher the number, the greater the work’s impact.
Y el resultado obtenido para un artículo se compara, para tener contexto, con el resto de artículos publicados en la misma revista para ese mismo año siguiendo el mismo método:
This value is plotted together with the average impact of all research articles the journal published in that same year (average number of citations for all research articles published that year divided by the journal impact factor for that year divided by the number of years since publication)Este método no es perfecto, pero es muy sencillo de calcular y es mucho más coherente para evaluar el impacto de un artículo en particular, así como toda la trayectoria científica de un investigador. Un número solo no sirve de nada si no se compara con su contexto.
sábado, 17 de enero de 2015
P = C(V +I)
Convocatoria tras convocatoria, es una realidad que un científico únicamente vale lo larga que sea su lista de publicaciones en revistas científicas. En realidad, serviría únicamente una lista de pares al estilo "2,5: Q1; 1,32: Q2; 0,45: Q4; ..." , donde cada par se corresponde con el índice de impacto de la revista (2,5) y el cuartil que ocupa (Q1). Los científicos nos ahorraríamos tiempo y esfuerzo en compilar todos los datos de las publicaciones cuando únicamente "valen" dos.
Ya he hablado anteriormente de lo nefasto que es el actual sistema de evaluación científica (aquí, aquí y aquí). Y estoy seguro que muchos científicos están de acuerdo. Pero las reglas son las misma cada año, y cada una de las nuevas convocatorias a proyectos de investigación o a investigadores no paran de recordarlo. Ahora está a punto de cerrar la convocatoria Ramón y Cajal 2014. Unos 2000 científicos y científicas estarán rellenando su CV, y contando minuciosamente el número de artículo en Q1, Q2, o en el top5 , y haciendo sus pronósticos sobre sí con 10, 15, o 20 artículos este año hay suerte y se pasa el corte de los 175 afortunados.
Y yo me pregunto: ¿Es mejor un científico con 20 artículos con 0 citas o uno con 5 artículos y 250 citas? ¿Qué científico de los dos tiene mayor impacto? ¿Cual es más productivo? A día de hoy, el volumen es el único criterio, y por lo tanto, el científico con más artículos es el que se lleva el gato al agua. La productividad se mide únicamente por el volumen. Se trata de un sistema cruel para los investigadores que están condenados a publicar sin parar para obtener un puesto fijo universitario por cada 10 pretendientes.
La productividad también se puede medir en función del impacto de los resultados científicos. Y este criterio debería primar sobre el volumen. Si definimos impacto como la capacidad de que los resultados de un científico son bien recibidos por la comunidad científica e integrados en la base de conocimiento de una disciplina, obviamente el científico con más citas es el ganador esta vez.
Impacto y volumen son los criterios mínimos para valorar la productividad de un científico. Pero hay que ponerlos en contexto. Un número solo (total de artículos o de citas), sin su contexto, lleva a menudo a interpretaciones erróneas. Contexto es tener en cuenta la distribución de los artículos a lo largo del tiempo para saber si un científico sigue una tendencia creciente o decreciente en su producción científica. Contexto es tener en cuenta la depreciación de un artículo desde que se publicó hasta la fecha actual: mantiene un ritmo de citas regular a lo largo de los años o únicamente se citó durante los dos años siguientes tras su publicación. Contexto es también comparar el impacto de un artículo en un revista con todos los demás artículos publicados en esa misma revista durante el mismo año, para apreciar si el articulo esta por encima o debajo de la media. Y contexto puede ser mucho más...
El actual sistema de evaluación científica mide la productividad de los científicos en función únicamente del volumen de publicaciones. Es muy fácil crear un simple programa que compare dos cadenas de texto (como 2,5: Q1; 1,32: Q2; 0,45: Q4; ...") y escoja la más larga. El actual sistema deja deliberadamente fuera dos variables críticas: impacto y contexto. Si se quiere ser serios en el proceso de evaluación y selección, hay que valorar la productividad en función del volumen y de su impacto, y todo ello enmarcado en el contexto adecuado que permita evaluar sin ambigüedades la trayectoria de un científico a lo largo de su carrera y compararla con la de otros.
Desvelo aquí la fórmula del asunto de la entrada:
Productividad científica = Contexto(Volumen + Impacto)
Ya he hablado anteriormente de lo nefasto que es el actual sistema de evaluación científica (aquí, aquí y aquí). Y estoy seguro que muchos científicos están de acuerdo. Pero las reglas son las misma cada año, y cada una de las nuevas convocatorias a proyectos de investigación o a investigadores no paran de recordarlo. Ahora está a punto de cerrar la convocatoria Ramón y Cajal 2014. Unos 2000 científicos y científicas estarán rellenando su CV, y contando minuciosamente el número de artículo en Q1, Q2, o en el top5 , y haciendo sus pronósticos sobre sí con 10, 15, o 20 artículos este año hay suerte y se pasa el corte de los 175 afortunados.
Y yo me pregunto: ¿Es mejor un científico con 20 artículos con 0 citas o uno con 5 artículos y 250 citas? ¿Qué científico de los dos tiene mayor impacto? ¿Cual es más productivo? A día de hoy, el volumen es el único criterio, y por lo tanto, el científico con más artículos es el que se lleva el gato al agua. La productividad se mide únicamente por el volumen. Se trata de un sistema cruel para los investigadores que están condenados a publicar sin parar para obtener un puesto fijo universitario por cada 10 pretendientes.
La productividad también se puede medir en función del impacto de los resultados científicos. Y este criterio debería primar sobre el volumen. Si definimos impacto como la capacidad de que los resultados de un científico son bien recibidos por la comunidad científica e integrados en la base de conocimiento de una disciplina, obviamente el científico con más citas es el ganador esta vez.
Impacto y volumen son los criterios mínimos para valorar la productividad de un científico. Pero hay que ponerlos en contexto. Un número solo (total de artículos o de citas), sin su contexto, lleva a menudo a interpretaciones erróneas. Contexto es tener en cuenta la distribución de los artículos a lo largo del tiempo para saber si un científico sigue una tendencia creciente o decreciente en su producción científica. Contexto es tener en cuenta la depreciación de un artículo desde que se publicó hasta la fecha actual: mantiene un ritmo de citas regular a lo largo de los años o únicamente se citó durante los dos años siguientes tras su publicación. Contexto es también comparar el impacto de un artículo en un revista con todos los demás artículos publicados en esa misma revista durante el mismo año, para apreciar si el articulo esta por encima o debajo de la media. Y contexto puede ser mucho más...
El actual sistema de evaluación científica mide la productividad de los científicos en función únicamente del volumen de publicaciones. Es muy fácil crear un simple programa que compare dos cadenas de texto (como 2,5: Q1; 1,32: Q2; 0,45: Q4; ...") y escoja la más larga. El actual sistema deja deliberadamente fuera dos variables críticas: impacto y contexto. Si se quiere ser serios en el proceso de evaluación y selección, hay que valorar la productividad en función del volumen y de su impacto, y todo ello enmarcado en el contexto adecuado que permita evaluar sin ambigüedades la trayectoria de un científico a lo largo de su carrera y compararla con la de otros.
Desvelo aquí la fórmula del asunto de la entrada:
Productividad científica = Contexto(Volumen + Impacto)
miércoles, 31 de diciembre de 2014
#destacables #gis #libraries (31/12/2014)
Rory Elliot (2014). Geographic information systems (GIS) and libraries: concepts, services and resources. Library Hi Tech News, 31(8), 8-11
El poder de síntesis y claridad conceptual que expone el autor en apenas 3 páginas es absolutamente envidiable. Es la primera vez que encuentro un artículo tan directo y ameno sobre las sinergias y conexiones entre SIG y las bibliotecas. El articulo introduce los conceptos clave en SIG (capas, datos ráster, vectoriales, atributos) de forma concisa, para luego detenerse en los motivos por los que las bibliotecas deberían adoptar SIG para ofrecer este tipo de servicios. Al fin y al cabo, el fin último de las bibliotecas es proporcionar acceso a la información a sus usuario. Los SIG, ademas de eso, proporcionan las herramientas necesarias para analizar esa información y sacarle jugo. Son tan solo 10 minutos de lectura pero altamente recomendables.
No cabe duda que este año 2014 ha sido un buen año con respecto a SIG en bibliotecas. Numerosos artículos han tratado el tema a lo largo de 2014. Pronto tendréis un pequeño libro sobre geobibliotecas como parte de la colección El profesional de la Información, que no hace mas que reforzar las tesis que presenta el autor del artículo, entre otras aportaciones. Pero esto será el próximo año.
.
miércoles, 10 de diciembre de 2014
Smart Cities
Recientemente he terminado el libro "Smart Cities: Big Data, Civic Hackers, and the quest for a new utopia" de Anthony M. Townsend. La tesis del autor incide en que las TIC son un sustrato fundamental de las ciudades inteligentes, pero hay que pensar, y repensar muy bien antes de lanzarnos al vacío y con fe ciega en asumir que las soluciones informáticas por y para la eficiencia y eficacia que proclaman las grandes multinacionales tecnológicas son la panacea de las ciudades inteligentes. Cada ciudad es distinta, y requiere distintas soluciones inteligentes y maneras de implementarlas. Y que mejor que dejar a los propios ciudadanos que decidan que soluciones y herramientas son las necesarias para su ciudad y sobretodo se adaptan mejor al estilo y forma de vida de la ciudad. De ahí el guiño a civic hackers en el subtitulo.
El libro es recomendable para cualquier interesado en la aplicación de las TIC en entornos urbanos. No se trata de un libro técnico sino mas bien crítica y que invita a la reflexión sobre el mal uso de las TIC cuando se consideran un fin y no un medio. Mientras leía el libro anoté algunas frases que me llamaron la atención. Evidentemente, leídas tal cual, muchas de ellas están fuera de contexto pero puede que inquieten lo suficiente para que alguien se anime a leer el libro.
p 7, “where r y”
p 10, looking smart is more crucial than being smart
p 11, bottom up city design
p 12, haves vs have-nots
p 13, but centralizing data merely centralized corruption, which empowers the empowered
p 31, for tech giants, the first challenge was making the case for public spending on smart. The big promised is greater efficiency
p 33, rewiring cities with business technology is a seductive vision
p 42, the grid itself is a commodity. All the value is in the add-ons
p 70, “Mirror Worlds” foretold the way sensing, networking, computation, and visualization are converging today
p 73, the future is clear: know everything, feel nothing
p 77, Engineering isn’t the biggest obstacle to building systems; the real challenge lay in managing the people and organizations who would use them
p 84, cities are “Systems of Systems”
p 85, balance the value gained with the effort required by the city to maintain and operate it.
p 119, when you start paying attention to what people actually do with technology, you find innovation everywhere
p 125, to create a new way of doing that for the whole world to use
p 140, citizens decide what gets connected to the IoT, and why. IoT as a platform for local, citizens microcontrol of the physical world
p 149, knowing where you are is not so valuable, the value is in using that information to unlock new experiences.
p 152, the risk of computing serendipity or spontaneity
p 158, conceptual success does not always translate to financial success
p 178, wireless is the infrastructure of inclusion
p 188, “para poors”: participative, user-engaged design process
p 190, expecting that access alone to technology will create opportunity is no longer appropriate
p 192, crowdsourcing is highly repressive: it presumes a surplus of volunteer time and energy
p 202, city apps contexts “are very good at producing version 1, when what a city government needs is a rock-solid, full-featured version 7”
p 211, when data drives decision, decisions about how to record the data will be distorted
p 215, Boston approach could be the most viable models for civic technology
p 229, apps contests success stems from its focus on problems and its intense f2f teamwork
p 248, the challenge of XXIth is to find out what works and scale it up
p 302, cross-train designers: cross-train user, civic, virtual-physical world. See cities as both scientists and artists
p 304, how to harness real-time data and media to think about long-term challenges
p 316, “Slow data”
p 319, the real opportunity to design killer apps for smart cities lies in those niches where a couple of heavily value-laded bits can be created
El libro es recomendable para cualquier interesado en la aplicación de las TIC en entornos urbanos. No se trata de un libro técnico sino mas bien crítica y que invita a la reflexión sobre el mal uso de las TIC cuando se consideran un fin y no un medio. Mientras leía el libro anoté algunas frases que me llamaron la atención. Evidentemente, leídas tal cual, muchas de ellas están fuera de contexto pero puede que inquieten lo suficiente para que alguien se anime a leer el libro.
p 7, “where r y”
p 10, looking smart is more crucial than being smart
p 11, bottom up city design
p 12, haves vs have-nots
p 13, but centralizing data merely centralized corruption, which empowers the empowered
p 31, for tech giants, the first challenge was making the case for public spending on smart. The big promised is greater efficiency
p 33, rewiring cities with business technology is a seductive vision
p 42, the grid itself is a commodity. All the value is in the add-ons
p 70, “Mirror Worlds” foretold the way sensing, networking, computation, and visualization are converging today
p 73, the future is clear: know everything, feel nothing
p 77, Engineering isn’t the biggest obstacle to building systems; the real challenge lay in managing the people and organizations who would use them
p 84, cities are “Systems of Systems”
p 85, balance the value gained with the effort required by the city to maintain and operate it.
p 119, when you start paying attention to what people actually do with technology, you find innovation everywhere
p 125, to create a new way of doing that for the whole world to use
p 140, citizens decide what gets connected to the IoT, and why. IoT as a platform for local, citizens microcontrol of the physical world
p 149, knowing where you are is not so valuable, the value is in using that information to unlock new experiences.
p 152, the risk of computing serendipity or spontaneity
p 158, conceptual success does not always translate to financial success
p 178, wireless is the infrastructure of inclusion
p 188, “para poors”: participative, user-engaged design process
p 190, expecting that access alone to technology will create opportunity is no longer appropriate
p 192, crowdsourcing is highly repressive: it presumes a surplus of volunteer time and energy
p 202, city apps contexts “are very good at producing version 1, when what a city government needs is a rock-solid, full-featured version 7”
p 211, when data drives decision, decisions about how to record the data will be distorted
p 215, Boston approach could be the most viable models for civic technology
p 229, apps contests success stems from its focus on problems and its intense f2f teamwork
p 248, the challenge of XXIth is to find out what works and scale it up
p 302, cross-train designers: cross-train user, civic, virtual-physical world. See cities as both scientists and artists
p 304, how to harness real-time data and media to think about long-term challenges
p 316, “Slow data”
p 319, the real opportunity to design killer apps for smart cities lies in those niches where a couple of heavily value-laded bits can be created
miércoles, 5 de noviembre de 2014
Nature estrena nueva política de compartir código en sus articulos
Esta semana al menos dos notables revistas del grupo Nature Publishing, la propia Nature y Nature Geosciences, han puesto sobre la mesa un aspecto recurrente últimamente en cuanto a la reproducibilidad y transparencia en ciencia. Compartir y hacer públicos los datos y análisis/código que sustentan una publicación científica, y que van íntimamente aparejada a una investigación o proyecto científico, deberían ser una práctica habitual, para la buena salud de la ciencia, en el proceso científico. El grupo Nature va a instaurar una nueva política de compartir código para todas sus revistas: Siempre que sea posible, puntualizan sendas editoriales de Nature y Nature Geosciences, se aconseja a los autores compartir el código como ejemplo de buena práctica científica. Es un pequeño paso hacia la ciencia abierta y reproducible, pero aún insuficiente. Según los siguientes autores, existen barreras para compartir datos y código, y no tanto de carácter técnico sino social:
Vistos estos dos comentarios, parece que uno de los problemas más serios sea la falta de incentivos claros para el investigador para que la publicación de datos y código se vea más como una oportunidad positiva de reconocimiento profesional y no como una tarea extra, ardua, y secundaria que no produce nada a cambio. ¿Y si cambiamos las reglas del juego? ¿Sería posible un sistema de incentivos diferente al actual que primara la reproducibilidad y transparencia de la ciencia? Está claro que el actual sistema basado en número de artículos publicados y "buenos contactos" no prima la reproducibilidad y transparencia. Si fuera factible una nueva escala de incentivos, ¿por qué no está ya en marcha?. Este argumento es justo lo que propone Jonh Ioannidis en su artículo How to make more published research true, contemporáneo en semana, mes y año a los comentarios de anteriores. Invito a su lectura, es open access, al contrario que los otros dos comentarios de Nature Geosciences.
- En el comentario Of carrots and sticks, los autores se quejan de la falta de crédito e incentivos para compartir y publicar los datos. El científico encuentra pocos beneficios que recompensen la dura tarea de documentar minuciosamente un conjunto de datos para ser publicado. La aparición de nuevas publicaciones científicas solo para datos junto con algunos repositorios de datos ya en marcha, hace que el incentivo para el científico, según los autores, sea el retorno en citaciones a los datos publicados.
- No solo de datos se nutre un artículo, sino de análisis y código. El siguiente comentario Open code for open science?, el autor incide en que la política de código abierto de las revistas científicas es un buen aliciente, pero que no va a solventar por sí sola el problema de la reproducibilidad. Código abierto no significa únicamente que otros lo puedan leer. Hay diversos factores del propio código, como su complejidad o requisitos específicos de hardware, así como el propio contexto para el que fue creado, porque si se trata de código destinado únicamente para apoyar un articulo, el autor no va a realizar un esfuerzo para limpiarlo y optimizarlo adecuadamente.
Vistos estos dos comentarios, parece que uno de los problemas más serios sea la falta de incentivos claros para el investigador para que la publicación de datos y código se vea más como una oportunidad positiva de reconocimiento profesional y no como una tarea extra, ardua, y secundaria que no produce nada a cambio. ¿Y si cambiamos las reglas del juego? ¿Sería posible un sistema de incentivos diferente al actual que primara la reproducibilidad y transparencia de la ciencia? Está claro que el actual sistema basado en número de artículos publicados y "buenos contactos" no prima la reproducibilidad y transparencia. Si fuera factible una nueva escala de incentivos, ¿por qué no está ya en marcha?. Este argumento es justo lo que propone Jonh Ioannidis en su artículo How to make more published research true, contemporáneo en semana, mes y año a los comentarios de anteriores. Invito a su lectura, es open access, al contrario que los otros dos comentarios de Nature Geosciences.
Suscribirse a:
Entradas (Atom)