« Objetivos de i-Math « || Inicio || » Por qué y cómo se hac… »

Ciencia, revistas científicas y el Science Citation Index: o cómo volvernos locos a golpe de números

Última modificación: 26 de Noviembre de 2016, y ha tenido 84 vistas

Etiquetas utilizadas: || || || ||

These icons link to social bookmarking sites where readers can share and discover new web pages.
  • BarraPunto
  • Del.icio.us
  • Digg
  • email
  • Facebook
  • Google
  • LinkedIn
  • PDF
  • Reddit
  • Slashdot
  • Twitter

Quienes trabajamos en investigación científica nos hemos ido viendo paulatinamente atrapados en un sistema evaluador, en el cual lo importante no son los resultados de una investigación sino la revista científica en la cual dichos resultados son publicados.

Uno podría preguntarse como se llegó a tamaño despropósito en la actividad científica. Al respecto, siempre es útil recordar aquella historia (apócrifa o no) de la rana en agua caliente. Si sumergimos una rana en agua hirviendo, esta saltará de inmediato huyendo del recipiente. Si por el contrario, subimos progresivamente la temperatura del agua, la rana no se percatará de lo que está ocurriendo y acabará muriendo.

Resulta sorprendente en ocasiones conversar con colegas de la universidad u otras instituciones de investigación y constatar el desconocimiento que existe con respecto al sistema de indexación de las revistas científicas. Por ejemplo ¿qué hace que una revista tenga un índice de impacto mayor que otra? ¿qué significa dicho índice? y por último, aunque no menos importante ¿quién y por qué indexa las revistas?

En respuesta a este último interrogante, algunos compañeros se sorprenden cuando descubren que es una empresa (y no una institución científica sin fines de lucro) la que realiza dicho proceso. Hablamos de la empresa Thomson, que produce los conocidos Journal Citation Reports® en la ISI Web of KnowledgeSM.

Hasta aquí todo parece correcto, y de hecho la ISI Web of KnowledgeSM entrega una información fiable, actualizada, y útil para los científicos. El problema es cuando el medio se transforma en un fin en si. No es un misterio para nadie que muchos investigadores, antes de intentar publicar sus resultados, revisan la información sobre el índice de las revistas y acaban publicando en aquellas cuya valoración numérica es más elevada. Mientras más investigadores publican en una determinada revista, y dichos trabajos son citados a su vez muchas veces, más alto es el índice de impacto de la revista en cuestión. Dado que para garantizar en parte la publicación de un trabajo es importante citar trabajos publicados en determinadas revistas, el sistema no hace más que retroalimentarse.

En fin, hasta aquí, no se detectan mayores problemas, después de todo ¿por qué no querría uno publicar en una revista de las llamadas de prestigio y por esa misma regla de tres asegurase que el artículo será leído por un número mayor de potenciales lectores? Normal, podría uno decir.

El problema surge de otra vía. La ciencia y los científicos han evolucionado en paralelo en los últimos 150 años o así. Lejanos están los tiempos en los que unas pocas personas con vocación por el estudio de la naturaleza dedicaban su vida a ello. Ni siquiera hacía falta pertenecer a una institución científica para poder dedicarse a la investigación. Entre los ejemplos más notables podríamos citar a Darwin en el siglo XIX y Einstein en el XX. El primero poseía una cierta fortuna personal que le permitió vivir, pensar, y escribir El Origen de las Especies en Down (condado de Kent) sin apremios económicos. En el caso de Einstein, después de su graduación (como profesor de matemáticas y física) en el ETH de Zurich, intentó ingresar como profesor en dicha institución, pero no lo consiguió. Es sabido que a continuación obtuvo una plaza como experto técnico “de tercera clase” (aunque luego fue promovido a “experto de segunda clase”) en la Oficina de Patentes de Berna. Entre 1902 y 1909 (siempre en la oficina de patentes) completó un numero sorprendente de publicaciones científicas (escritas en su tiempo libre) sin el beneficio del contacto estrecho con colegas científicos o el acceso fácil a la literatura científica.

Uno se pregunta como dos grandes figuras de la ciencia pudieron sobrevivir y hacerse oir en ambientes tan poco “académicos” en un sentido moderno del término. Quizás si, la pregunta clave sea cómo consiguieron “triunfar” con sus revolucionarias ideas. Después de todo no eran “reconocidos científicos” ni nada que se le aproximase.

¿Podrían Darwin y Einstein tener el mismo éxito científico hoy en día? Le aceptarían a Einstein un artículo científico en una revista de “éxito”? ¿aceptarían los editores o revisores un artículo firmado por un técnico de tercera o segunda clase (igual da) de una oficina de patentes? En mi opinión la respuesta es un no categórico. Nos desenvolvemos en un medio sumamente acartonado, rígido en muchos aspectos, donde lo que cuenta, más que las ideas, son los “laureles” que rodean a quien intenta publicar un trabajo (¿qué ha publicado antes? ¿cuánto ha publicado? ¿en qué revistas ha publicado? ¿en qué institución trabaja?).

Pero el problema es aun mayor. Los científicos dependen en gran medida de la concesión de proyectos de investigación, esto es, de fondos que les aseguren el poder realizar los trabajos de laboratorio o campo necesarios para probar sus hipótesis de trabajo. Obviando las disputas y animosidades personales que puedan existir (y de hecho existen) entre colegas, un factor decisivo llegado el momento de evaluar un proyecto (seamos realistas), es el número de publicaciones del investigador y sobre todo, las revistas científicas en que estos artículos han sido publicados. Con esto cerramos el círculo. Si alguien tiene una idea, pero esta no se sustenta en un número importante de publicaciones previas en determinadas revistas, es mejor que se olvide de buscar financiación en instituciones públicas o privadas.

Aquí abordamos otros aspectos del problema: cantidad y calidad. Muy bien, el número de trabajos publicados es fácil de estimar (después de todo solo se trata de contar) ¿pero cómo definimos la calidad de un trabajo? Aquí es donde entra el listado de revistas de la la ISI Web of KnowledgeSM, y por sobre todas las cosas, la posición o ranking que ocupan determinadas revistas en el listado, algo así como los 40 Principales (programa de radio que en origen recogía la lista de los cuarenta primeros puestos en música) pero en revistas científicas. Es decir, no se juzga la calidad de un trabajo sino la de la revista en que está publicado. Pero claro ¿cómo se juzga entonces la calidad de una revista científica? Primero dicha revista debe aparecer en los listados (por disciplinas científicas) de la ISI Web of KnowledgeSM, y luego, debe ocupar una posición importante (alto índice de impacto) dentro de los Journal Citation Reports®. Como explicábamos antes, mientras más investigadores publiquen en una determinada revista, y dichos trabajos sean citados a su vez muchas veces, más alto será el índice de impacto de la revista en cuestión. En otras palabras, funcionamos en un sistema del tipo la pescadilla que se muerde la cola.

Dado el alto nivel de burocratización de la ciencia moderna a escala ministerial o universitaria, el disponer de “números” que avalen la producción científica de un investigador resulta de una ayuda inestimable para quienes tienen que juzgar. En otras palabras, ya no juzgamos la calidad de nuestros colegas investigadores, solo sumamos números como si de una caja de supermercado se tratara.

En un sistema de esta naturaleza no resulta sorprendente que los científicos hayan optado por publicar mucho y en determinadas revistas. La calidad del artículo pasa a ser secundaria, ya que lo importante es el número de publicaciones y el índice de impacto de las mismas. Si se pueden publicar tres artículos parciales en un año ¿para qué molestarse (absurdamente) en publicar uno solo y contundente que integre los datos y resultados presentes en los otros tres?

Sin publicaciones en revistas “importantes” no hay proyectos, sin proyectos no hay dinero, sin dinero no hay investigación convencional. Digamos que en un sistema así planteado, resulta totalmente comprensible que la comunidad científica (en gran medida) se haya decantado por el publicar mucho y en determinadas revistas. Agreguemos a esto que el publicar se ha transformado en cierta medida en un “arte”. No se trata de investigar o publicar cualquier cosa.

Hay que estar en las “tendencias principales” (mainstream). Un trabajo científico que desafíe los principios de la “buena ciencia” (mainstream science) tiene pocas o ninguna posibilidad de ser publicado, con lo cual llegamos al pilar final del desastre: hay que publicar, sí, pero sin desafiar (demasiado) a la ortodoxia y sobre todo, a quienes deciden que es buena o mala ciencia.

La ciencia necesita justamente lo contrario, investigadores que pongan en tela de juicio las ideas que prevalecen. Necesita además de un cierto caos. Al respecto resulta sorprendente que en los impresos de algunas convocatorias de proyecto se pregunte a los investigadores cosas tales como: cuales serán los resultados esperados del proyecto (¿si sabemos lo que vamos a encontrar para que molestarse y gastar dinero en buscarlo?), o en que revistas se publicarán los resultados de dicho proyecto. ¿Qué tiene que ver esto con la ciencia de Darwin o Einstein?

Intento imaginarme a algún burócrata inglés preguntándole a Darwin sobre lo que espera encontrar durante el periplo del Beagle y si escribirá un libro a partir de dichos resultados … Parece absurdo, pero así funciona hoy el sistema. Desde las alturas se “urbaniza” la ciencia, se “asfaltan” los recorridos, y sobre todo, se indican cuales son los caminos correctos a seguir, haciéndote saber cuales son merecedores de penalización, y cuales de recompensa.

Vivimos en un mundo lleno de maravillas de la tecnología, teléfonos que casi han dejado de serlo para convertirse en plataformas multimedia, el mundo al alcance de la mano gracias a Internet, ordenadores potentísimos como casi era imposible soñar años atrás, y así, un largo etc. Parece que lo tuviéramos todo o casi todo. Es un mundo de maravillas, que encandila y lleva a pensar sobre lo bien que lo hemos hecho como sociedad. Roma alcanzó su máximo brillo durante el imperio, y puede uno imaginar a los romanos pensando que los valores éticos de la República no eran más que un lastre para su expansión. Pero recordemos que brillo, expansión y decadencia muchas veces caminan cogidos de la mano. Puede que lo único que aprendamos de la historia es que no aprendemos nada de la historia.

Solo Elsevier publica 2229 títulos de revistas científicas periódicas (su competidor más directo: Springer, publica 1848 títulos). Uno podría maravillarse ante tal despliegue, aunque pensándolo dos veces, también este hecho debería hacernos reflexionar sobre la fragmentación del conocimiento científico. Las revistas son cada vez más especializadas, y por lo tanto, los investigadores también tienen que serlo. Parece bien, aunque recordemos que el especialista es aquella persona que sabe cada vez más y más de menos y menos.

Esto no debe ser interpretado como una critica a la especialización o a la hiper especialización. Necesitamos a los especialistas, pero no acabemos con los generalistas, si no el mundo científico será un gran galimatías donde cada cual hablará en la jerga propia de su pequeño dominio (retorno a Babel). Hacen falta (y mucho) investigadores generalistas, con una mayor visión de conjunto, que puedan coordinar los esfuerzos de los especialistas.

Volviendo a las publicaciones. Publicar ciencia (hablo de las casas editoras) es un negocio, y rentable por lo demás. También lo es indexar revistas. Al respecto, si acabamos permitiendo (si no lo hemos hecho ya del todo) que los “números” dirijan la ciencia, nos habremos hecho merecedores de la mediocridad intrínseca que se deriva de ellos. Tarde o temprano esta situación acabará pasando factura a la comunidad científica.

Hoy se escuchan nuevos cantos de sirena, con el llamado índice “h” (o índice de Hirsch). De acuerdo a la Wikipedia, un científico tiene índice h si ha publicado h trabajos con al menos h citas cada uno. Así, el índice h es el balance entre el número de publicaciones y las citas a éstas. Al respecto, en Mayo de 2003 la sección News de la revista Nature (423, 373; 22 May 2003: Copied citations give impact factors a boost; Tom Clarke) publicaba lo siguiente:

Scientific papers that are not widely read and that lack any great influence can end up being classed as high-impact, claim researchers in California. The mistake occurs because citations are often just copied from the reference list of one paper to another. A largely unremarkable or unread paper can therefore end up becoming highly cited, the researchers suggest. "Simple mathematical probability, not genius, can explain why some papers are cited a lot more than others"

En resumen, que todos son problemas o situaciones absurdas. Intentar medir la ciencia equivale a determinar el sexo de los ángeles o decidir sobre el peso del alma. ¿Qué significa que un trabajo tenga muchas citas? ¿que se ajusta al pensamiento predominante de su momento? ¿o que se trata de un review de esos que hay que citar cuasi obligatoriamente para demostrar que uno está “al día”? O preguntémonos ¿que pasa si la comunidad científica simplemente no está preparada para entender un trabajo? Esto último no es cosa rara en ciencia: recordemos lo que le pasó a Wegener con la deriva de los continentes …

En fin, que menos números y más pensamiento inteligente. Aquellos dedicados a medir lo inmedible, que dejen trabajar tranquilos a los científicos (que es para lo que se les paga) y todo irá mejor.

Finalmente, no se trata de ir contra las grandes casas editoriales ni contra una empresa de prestigio como Thomson. Solo se trata de poner las cosas en su lugar. Las revistas científicas han sido y deben seguir siendo lo que son: un excelente medio de difundir resultados. El problema aquí es que hemos acabado confundiendo el medio (la revista) con el fin en si (difundir los resultados de una investigación). Los científicos necesitan libertad y tiempo. Ninguna de estas dos cosas se les está concediendo en los tiempos modernos.

« Objetivos de i-Math « || Inicio || » Por qué y cómo se hac… »