Cómo reconocer las publicaciones científicas de calidad

En principio, habría que ver si los artículos publicados en la publicación se refieren a trabajos de investigación que usan el método científico de la manera más escrupulosa y luego habría que evaluar la relevancia de las investigaciones.

La primera cuestión puede ser respondida por expertos en metodología científica, y no necesariamente solo por los expertos en el área de la que se ocupe la publicación. La segunda cuestión puede ser respondida solo por los expertos en el área.

Así pues, parece que debieran realizarse los ránkings de revistas científicas a base de encuestas entre los científicos. Es una forma de hacerlo y, ciertamente, es algo que se hace. Para hacerse bien habría que preguntar a muchos científicos y estos deberían conocer bien todos los trabajos de todas las revistas y esto empieza a ser costoso e irreal. Por otra parte, además, podría ocurrir que la revista A publicara artículos favorables a una teoría o escuela y la revista B hiciera lo mismo con otras. Los científicos podrían estar divididos según su pertenencia a una u otra escuela y los legos nos quedaríamos sin saber cuál revista (e, indirectamente, cuál escuela) tiene mayor prestigio entre la comunidad científica.

Hay otra manera de elaborar un ránking:

1. Tómense todas las revistas que publican artículos en una determinada área científica.
2. Cuéntense las citas que cada revista recibe del total de revistas.

El ránking hecho según las citas corresponderá, por así decirlo, a la popularidad de una revista entre los científicos de esa área. Varias pegas se le ocurren a uno. Puede que una revista se cite mucho a sí misma, de manera que sus artículos recibirán más citas por esa razón. Puede que un artículo se cite para decir lo malo que era y no para elogiarlo, precisamente. Algunas revistas pueden tener la política de restringir o fomentar el número de referencias (citas) en sus artículos. Las citas de las mejores revistas deberían contar más que las citas de las peores.

Para todo lo anterior hay solución. Pueden descontarse las “autocitas”, las citas negativas son en realidad pocas (corregir algún error de Einstein no es mala referencia para la revista que publicó el artículo de Einstein), puede hacerse que el peso de las citas de cada revista dependa de su intensidad de citas. El último punto, cómo hacer pesar más las citas de las mejores, parece una pescadilla que se muerde la cola: sin saber cuáles son las mejores no podemos darles más peso. Pero esto también tiene solución.

1. Hágase el primer ránking según el sistema anterior (corregido por alguna de las mejoras apuntadas arriba).
2. La proporción de citas sobre el total recibidas por cada revista será ahora el peso de esa revista y el peso de las citas que se hagan en ella.
3. Con estos pesos se vuelven a contar las citas, que ahora estarán multiplicadas por esos pesos.
4. Esto nos da un nuevo número de proporción de citas ponderadas para cada revista. Estos nuevos números sirven para volver a repetir el procedimiento hasta que se llegue a un punto estable, en el que los pesos no cambien.

Curiosamente ocurren tres cosas de importancia. La primera es que el procedimiento dinámico descrito anteriormente, en la práctica llega siempre a ese punto estable, a pesar de que teóricamente podría no haber solución. La segunda es que el este método tan elaborado no da lugar a ránkings muy distintos de los realizados con el procedimiento más sencillo. La tercera es que estos ránkings tampoco son muy distintos de los que se obtienen preguntando a los expertos.

Puede haber diferencia entre cuál es la primera y cuál la segunda, o entre una revista que aparece la 10 en un ránking la 20 en otro, pero en un mundo donde las revistas en cada área superan las 100, estas diferencias son mínimas. No ocurre que en un ránking una revista esté entre las primeras y en otro esté entre las últimas.

Hay un último hecho de interés. No se refleja una división en escuelas. Podría ocurrir que la escuela A tiene sus revistas y la escuela B las suyas y que no hubiera citas cruzadas entre ambas escuelas, de manera que, aunque dentro de una escuela fuera posible distinguir las mejores, no sería posible comparar entre ambas escuelas (como no es posible comparar entre las revistas de física y las de economía, ya que no hay citas cruzadas).

Así, todos los investigadores de economía están de acuerdo en cuáles son las mejores revistas, sea uno más o menos liberal o más o menos neokeynesiano. Todos los investigadores en física están también de acuerdo en cuáles son sus mejores revistas sean o no partidarios de la teoría de cuerdas, y todos los investigadores en medicina están de acuerdo en cuáles son las mejores revistas médicas.

Ahora es fácil ver si la acupuntura, la homeopatía, el psicoanálisis, el cuestionamiento del cambio climático, el diseño inteligente, la economía marxista,… se encuentran entre las teorías que se barajan como de interés entre los expertos de cada ciencia.

Lo interesante es que podemos saber la respuesta a lo anterior sin ser expertos en el área, sin más que echar un vistazo a las publicaciones de más prestigio en cada ciencia.

Lo inquietante es que los pseudocientíficos se están dando cuenta de lo anterior y están promoviendo sus revistas propias en las que abundan las citas dentro del grupo y se obvian las referencias a las revistas hasta ahora reconocidas. Esto puede hacer que en el futuro cercano sí haya, por ejemplo, un grupo de revistas de homeopatía o “medicina alternativa” que no sea posible comparar con las revistas médicas actuales por no haber referencias cruzadas.