Introducción

La pandemia por el nuevo coronavirus (SARS-CoV-2) trajo cambios inesperados en la forma en la que se produce y publica el conocimiento científico, pero eventos recientes encendieron el debate sobre la calidad de la información que se está divulgando¹. La imperiosa necesidad de contar en forma rápida con evidencia sólida que guíe las decisiones de los responsables de las políticas de salud, de los equipos de salud en primera línea y de la comunidad científica, ha aumentado la presión sobre los investigadores a la hora de producir y divulgar material científico, y, por contrapartida, ha cambiado los contrapesos y controles habituales de esta actividad. La Red de Reproducibilidad del Reino Unido (UKRN, por su sigla en inglés) fue creada en 2019 para mejorar la calidad de la investigación, su presidente, Munafò M, manifestó en cuanto a esto: “Se necesitan urgentemente datos y conocimiento, pero la información falsa es peor que la ausencia de información. Debemos asegurarnos que la velocidad en la generación del conocimiento no sea a expensas de su calidad”². Para obtener conocimiento de calidad, que forme evidencia científica, se requiere transparencia, rigurosidad, controles y que los resultados puedan ser replicados (una forma de testear que las observaciones originales sean robustas), esto no es lineal y necesariamente lleva tiempo. Se admite que en esta situación excepcional se pueda aceptar un estándar diferente al habitual; sin embargo, esto no cambia la debida diligencia exigida a los científicos³.

La publicación reciente de artículos con serios problemas metodológicos por dos de las revistas de divulgación científica médica más prestigiosas, trajo al tapete la discusión acerca de cómo se están difundiendo y la calidad de los contenidos de los estudios científicos en estos días. La anécdota en sí es sencilla. Un artículo publicado por The Lancet, el 22 de mayo, reportó un aumento en la mortalidad por arritmias de pacientes que utilizaban cloroquina e hidroxicloroquina⁴, lo cual despertó la suspicacia de científicos en todo el mundo. Se trataba de un estudio retrospectivo, de tipo observacional, que utilizó una supuesta base de datos de 96.000 pacientes con diagnóstico de COVID-19 ingresados a 671 hospitales alrededor del mundo. Diferentes investigadores alertaron sobre incongruencias en los números de casos y decesos⁵, diferencias llamativas con los resultados que estaban obteniendo en sus propios estudios diseñados ad hoc para estas drogas, e incluso se cuestionó la metodología empleada. A todo esto, se sumó una investigación periodística de The Guardian⁶ que arrojó dudas sobre la idoneidad de Surgisphere, la novel y pequeña empresa de análisis de datos en salud que proveyó la base utilizada por este y por otro estudio divulgado en la New England Journal of Medicine (NEJM) acerca de la inocuidad de los inhibidores de la enzima conversora de angiotensina (IECA) y los antagonistas del receptor de angiotensina (ARA2) para los pacientes con COVID- 19⁷. Tanto The Lancet⁸ como la NEJM⁹ publicaron notas, el pasado 2 de junio, expresando su preocupación por la calidad de la información vertida en estos estudios y anunciaron auditorías independientes, pero finalmente terminaron por retirar los artículos en forma definitiva al no poder acceder a la base de datos empleada^10,11.

Acceso libre

Diferentes organizaciones, como Wellcome Trust¹² y la Organización Mundial de la Salud (OMS), apelaron a la colaboración internacional de investigadores, academia, sociedades científicas y editoriales a fin de compartir la literatura científica relevante de forma abierta y rápida, para potenciar así la investigación que busca, entre otras cosas, apoyar el desarrollo de vacunas eficientes y seguras, y de intervenciones farmacéuticas más efectivas. Las editoriales han contribuido permitiendo el acceso libre a parte de sus contenidos relacionados con el SARS-CoV-2 y disminuyendo los plazos habituales de publicación, los cuales serían inaceptables en el momento actual¹³. A pesar de esto, 20% de las investigaciones relacionadas a SARS-CoV-2 publicadas por las revistas académicas serían de acceso restringido para suscriptores¹⁴. Algunos se cuestionan si esta aceleración de los procesos no trajo aparejada una disminución en los controles imprescindibles. Hay que tener en cuenta que, además, en los primeros meses del año aumentó exponencialmente la cantidad de manuscritos relacionados con COVID-19 enviados a las revistas científicas y que el tiempo en la que se realiza la revisión por pares ha disminuido, en algunos casos casi a la mitad, de 117 días a 60 en promedio¹⁵. Por otro lado, desde las editoriales se argumenta que está aumentando la cantidad de manuscritos enviados de baja calidad¹⁶ . Un gran número de estos contienen solo comentarios o son protocolos, o modelos de proyección de baja calidad. Malcolm Macleod, profesor de Neurología y Neurociencia translacional de la Universidad de Edimburgo, integra un equipo que analiza las publicaciones científicas desde el inicio de la pandemia. De las que lograron categorizar, sólo el 14% eran trabajos de investigación primaria, dentro de éstos, tan sólo el 27% había sido revisado por pares y el 72% se trataba de trabajos de tipo observacional³.

Prepints y repositorios

Por otro lado, se popularizaron las plataformas que divulgan en forma abierta manuscritos preprint. Si bien eran utilizadas por la física y las matemáticas desde la década de 1990, su uso para las ciencias médicas no se extendió hasta el momento actual. Los dos principales servidores vinculados a la difusión de material científico médico son bioRxiv¹⁷, creado en 2013, que se encuentra alojado en el laboratorio Cold Spring Harbor (CSHL, por su sigla en inglés) de Nueva York y su hermano más joven medRxiv¹⁸ (también propiedad del CSHL, junto con la British Medical Journal y la Universidad de Yale), fundado en 2019. En estos repositorios se difunden en mucho menor tiempo (dos a cinco días) trabajos de investigación completos, no publicados previamente, pero que no pasan por una revisión por pares^15,16. Es de notar que las revistas auditadas también difunden en sus páginas web artículos bajo el rótulo on-line first y éstos no siempre han sido previamente revisados por pares. Se desprende de un análisis de la literatura relacionada con COVID-19, publicado en bioRxiv, que el 80% de los manuscritos analizados aparecieron en revistas auditadas, algunos de los cuales habían sido publicados primero como preprints¹⁴.

Hasta la segunda quincena del mes de mayo, en total, habrían aparecido entre 13.700 y 23.000 trabajos sobre SARS-CoV-2 o COVID-19, según las distintas fuentes^14,19. A este ritmo se proyectó que las publicaciones se duplicarían cada 20 días²⁰. Al menos 4.000 de estas publicaciones se encontraban en los repositorios más conocidos de preprints (medRxiv, aRxiv, bioRxiv y ChemRxiv)¹⁶. El repositorio con mayor número de artículos vinculados al coronavirus-2019 es PMC, seguido de medRxiv²⁰. El Instituto Europeo de Bioinformática proyectó que se habrían publicado en mayo, en todas las plataformas, en promedio más de 850 estudios por semana, con un pico en la semana del 4 de mayo con más de 930, de los cuales 458 fueron difundidos por bioRxiv y medRxiv²¹.

Inteligencia artificial aplicada al análisis de datos

Este aluvión de estudios hace que sean inabarcables, lo que motivó a que desde diversas organizaciones se generaran bases de datos para poder indexarlos, acceder a sus contenidos y así poder analizarlos sistemáticamente. Dos ejemplos son la base de datos COVID-19 Open Research Dataset (CORD-19), desarrollada para la Oficina de Políticas de Ciencia y Tecnología de la Casa Blanca por un grupo de expertos que incluye a Google, la Iniciativa Chan Zuckerberg, el Instituto Allen para la inteligencia artificial (IA), entre otros, con los Institutos Nacionales de Salud¹⁴, y la base de datos COVID-19 de la OMS. Para el análisis de estas extensas bases de datos se utilizan herramientas de IA y técnicas de minería de datos. Por ejemplo, la Casa Blanca les encargó a científicos de datos herramientas para analizar las publicaciones contenidas en CORD-19. Con este fin crearon algoritmos para cosechar datos, éstos identifican los artículos con la información relevante, los subdividen en categorías, y generan una página web para cada tema ordenando los resultados obtenidos en cada artículo científico en una tabla. Sin embargo, los algoritmos no siempre extrajeron la información relevante, por lo cual los resultados debieron ser corroborados por voluntarios¹⁴. Otro ejemplo es SciSight²², desarrollada con el apoyo del Instituto Allen y científicos de la Universidad de Washington, Seattle. Este instrumento de búsqueda de IA, también diseñada para CORD-19, estaría más enfocada en el usuario. No obstante, estas herramientas son poco conocidas por la comunidad científica, a algunos usuarios la interfase les resulta poco amigable, están habituados a otras herramientas de búsqueda y por ende todavía son poco empleadas¹⁴.

Estrategias para mantener el rigor científico

Si bien la rápida difusión del conocimiento es la principal virtud de las plataformas que incluyen preprints, el no pasar por una estricta revisión por pares conlleva el riesgo de incluir datos y resultados incorrectos o fallas metodológicas que invaliden sus resultados, o sea, de contener “mala ciencia”. Si bien, bioRxiv y medRxiv aplican ciertos controles de calidad que tienen como fin evitar plagios, omisiones o que se publiquen contenidos que impliquen riesgos para la bioseguridad o la salud.

Teniendo en cuenta lo anterior han surgido esfuerzos por realizar una curaduría de estas publicaciones. Por un lado, surgió la llamada “revisión de la comunidad”, una fluida interrelación entre los actores de la comunidad científica a partir de la cual los errores, aun los más pequeños, las omisiones de datos o de la metodología empleada, son señalados en tiempo real. En general, los autores aceptan estas críticas corrigiendo o incluso retirando los documentos²³. Esta forma novedosa de curaduría se da en gran medida en las redes sociales, por ejemplo, Twitter, y es una de las ventajas de los preprints, que rápidamente pueden ser evaluados por una gran cantidad de investigadores y académicos. También surgieron otras más formales, como el Outbreak Science Rapid PREreview de la Wellcome Trust, o el 2019 Novel Coronavirus Research Compendium (NCRC) de la Universidad John Hopkins. En otro intento de abarcar este problema, algunas editoriales comerciales y académicas realizaron un llamado a interesados para formar listas de revisores para una evaluación rápida de los manuscritos¹⁶. Una de estas iniciativas es Review Commons, una plataforma creada por algunas editoriales y revistas como PLOS, eLife y UK Royal Society, que ofrece, según define su sitio web, “una revisión por pares para las ciencias biológicas de alta calidad, independiente de las revistas”²⁴. En este sitio los autores presentan su manuscrito, que es seleccionado y enviado a revisores, el análisis por ellos realizado, junto con el manuscrito, y la respuesta del autor, es entonces publicada en bioRxiv, y presentada a las revistas asociadas a la plataforma de manera que puede terminar como un trabajo publicado.

Otros investigadores, como Lakens D, de la Universidad de Eindhoven, Holanda, postula que la revisión debería de surgir a la par de la investigación. Los investigadores deberían reclutar un “equipo rojo”, un grupo de científicos no relacionado directamente con el proyecto, capaces de analizarlo y criticar sus fallas en cada momento. El nivel de comunicación que puede lograrse entre ambos equipos redunda en manuscritos de mejor calidad y con mayores oportunidades de ser publicados²⁵.

En esa misma línea se ubica Munafò M², para quien la transparencia en el desarrollo de una investigación es la clave para mejorar el resultado final y evitar errores. “Al poner a disposición de los investigadores los protocolos, materiales, datos, planes de análisis, se podrá escudriñar el trabajo de cerca mientras este se desarrolla y si hay errores estos serán detectados y corregidos más rápidamente”, afirma.

Chambers C, en la misma línea, es defensor del modelo de reporte registrado (RR) como otra forma de evitar el error en las investigaciones. Este ya es utilizado por algunas revistas auditadas e implica que la revisión por pares se realiza antes y durante la investigación. Los autores diseñan su trabajo de investigación, en un manuscrito lo fundamentan, generan las hipótesis pertinentes, explican con qué metodología las comprobarán y envían esto para la corrección por pares. Si este manuscrito inicial es aprobado, los autores tienen la seguridad de que su estudio será publicado cuando esté concluido. Inicialmente este manuscrito es publicado en un repositorio como Open Science Framework. En una segunda etapa, luego que se realiza el trabajo de campo y se llega a los resultados, el trabajo completo es nuevamente enviado a revisión y finalmente publicado. Los defensores de este modelo apuntan a que es transparente, eficiente, que se lo puede estandarizar. Los detractores afirman que es rígido y que no es aplicable a todos los tipos de investigaciones²⁶.

Los dilemas de la revisión por pares

La revisión por pares es la estrategia universalmente aceptada que asegura un mínimo estándar de calidad en el trabajo auditado y que los resultados difundidos son confiables y relevantes para el avance del conocimiento científico. Se trata del análisis independiente de al menos dos expertos en el tema cuyo objetivo es encontrar errores y mejorar la calidad de la investigación. Este es un proceso indispensable, no siempre remunerado, y por el cual los revisores, en general, no obtienen reconocimiento. Pero no es infalible -dado que buenos trabajos pueden recibir críticas injustificadas y otros con falencias pasar la revisión sin problemas- y ha sido tildado por algunos de poco transparente, se le cuestiona su efectividad, calidad y lentitud.

Para darle transparencia a este proceso, varios autores impulsan que el arbitraje abierto sea la norma, esto quiere decir que se publique el manuscrito original junto con su revisión, incluyendo o no el nombre de los revisores. De esta manera, además de arrojar luz sobre la auditoría realizada, se evitan las revisiones fraudulentas, el robo de las investigaciones por parte de los revisores, o que presionen a los autores a que citen sus propios estudios para obtener una buena revisión²⁷. Ya existen publicaciones que adoptaron esta práctica de forma habitual, por ejemplo BMC Medicine y F1000 Research. También se crearon servidores, como Publons, que buscan revalorizar el trabajo de los revisores y darles el reconocimiento que su labor merece. En este sitio los académicos pueden publicar sus arbitrajes o listar las revistas y organizaciones académicas para las cuales trabajan.

Otra iniciativa en este mismo sentido es la Plataforma de Políticas Editoriales Responsables (PREP), fundada por la Organización Holandesa para la Investigación y el Desarrollo en Salud, y el Centro de Estudios de Ciencia y Tecnología de la Universidad de Leiden. Su cometido es evaluar de forma transparente los procedimientos de revisión por pares de 387 revistas científicas²⁸.

Conclusiones

En el contexto de la pandemia, la comunidad científica ha respondido aumentando en forma exponencial sus investigaciones y haciéndolas rápidamente accesibles. Esto si bien tiene el objetivo loable de generar avances en el conocimiento del SARS-CoV-2 (COVID-19), trae ciertos riesgos aparejados. Como fue dicho, no todo lo publicado mantiene los estándares de calidad requeridos y la velocidad conspira contra la buena ciencia. Debemos considerar lo publicado en preprint como datos preliminares y aun frente a artículos provenientes de revistas auditadas sería razonable mantener cierto grado de escepticismo. Recordar que gran parte de trabajos en prensa son de tipo observacional e incluso los que involucran un alto número de casos aportan un nivel de evidencia bajo. Es imprescindible la revisión sistemática de los estudios científicos de la forma tradicional o con las nuevas herramientas que se han desarrollado en esta pandemia. Porque las políticas en salud y decisiones a nivel individual de las personas deben estar basadas en conocimientos sólidos, obtenidos de forma transparente, para que aun en momentos de incertidumbre todos los actores estemos convencidos en que el camino indicado es el mejor con la información que se dispone por el momento.

Citando a Munafò M, “el conocimiento evolucionará y ningún estudio o hallazgo será definitivo. Entender la COVID-19 es un esfuerzo colectivo”.