La mayoría de los estudios preliminares de COVID-19 resisten la revisión por pares: estudio

Los hallazgos de investigación publicados en línea como preprints (estudios hechos públicos antes de someterse a la revisión y aprobación de un panel de científicos pares requerido por la mayoría de las revistas académicas) a menudo resisten bastante bien ese escrutinio, según un nuevo informe sobre estudios de COVID-19.

Si bien los manuscritos preimpresos se han vuelto populares en muchos campos científicos desde que los físicos hicieron que su repositorio arXiv (pronunciado «archivo») fuera accesible en línea en 1991, la pandemia de COVID empujó a nuevos grupos de investigadores a adoptar el hábito de publicar y consultar nuevos resultados experimentales y análisis antes que sus pares. revisión.

«Los preprints han sido ampliamente aceptados en las ciencias sociales, las ciencias de la computación y las matemáticas durante bastante tiempo», dice B. Ian Hutchins, profesor de la Escuela de Información de la Universidad de Wisconsin-Madison y líder del nuevo estudio de preprints publicado hoy en La salud global de Lancet. «La investigación biomédica ha sido más cautelosa, creo, precisamente porque la gente usa esa información para tomar decisiones que alteran la salud».

La aparición y la rápida propagación global de un nuevo virus, así como la rápida respuesta de los científicos de todo el mundo, obligaron a muchos a reconsiderar esa precaución, sopesándola con el costo de una demora típica de muchos meses o más para que los estudios recién completados se eliminen. los obstáculos de una cuidadosa revisión por pares de una revista.

Un grupo de editores de revistas decidió durante la pandemia exigir la disponibilidad de preimpresión de los manuscritos relacionados con COVID-19 presentados para su consideración, según Hutchins, cuyo propio trabajo, dado que se centró en los estudios de COVID-19, también debía estar disponible como una preimpresión (profundamente meta).

Los investigadores de UW-Madison eligieron al azar 100 estudios de COVID-19 que se habían publicado como preprints y luego se sometieron a revisión por pares y se publicaron con éxito en revistas. Examinaron cómo la revisión por pares afectó 1,606 puntos de datos en los manuscritos, que representan cuatro tipos de datos comunes al género de estudio COVID: las tasas de mortalidad por infección y las tasas de letalidad estrechamente relacionadas, las tasas básicas de reproducción viral (cuántas personas se espera que una persona infectada infectar) y la incidencia de la enfermedad (el número de nuevas personas infectadas en un período de tiempo determinado).

«Ese fue uno de los puntos fuertes de usar la investigación de enfermedades infecciosas para este estudio», dice Hutchins. «Porque cuando se habla de la tasa de letalidad, existe una definición acordada de lo que es, en términos generales, por lo que podríamos hacer mejores comparaciones de esos datos en diferentes laboratorios».

Al comparar los manuscritos preimpresos con las eventuales versiones publicadas de los estudios individuales, aproximadamente el 90 por ciento de esos 1606 puntos de datos aún estaban en el texto después de la revisión por pares. Se eliminaron más de 170 y se agregaron más de 300 puntos de datos nuevos en la muestra de 100 estudios.

Y aunque los investigadores encontraron que los intervalos de confianza asociados con las estimaciones, «eso es como los márgenes de error que se escuchan en las encuestas», dice Hutchins, se habían ajustado alrededor del 7% después de la revisión por pares, los cambios en las estimaciones reales fueron menores y estadísticamente insignificantes.

«Sería difícil explicar los cambios bruscos entre las versiones preimpresas y las publicadas», dice Hutchins. «Pero eso no es lo que vemos. No hay muchos cambios en los datos informados y las estimaciones basadas en esos datos».

Cuantificar las diferencias que normalmente se observan después de que los estudios cruzan la línea final de revisión por pares puede ayudar a los consumidores de la ciencia más reciente a considerar cuánto peso le dan a los resultados de la preimpresión cuando informan sobre descubrimientos o emiten una guía de salud pública.

«Los periodistas y los legisladores deberían considerar el hecho de que el 90 % de los puntos de datos pasan por una revisión por pares, deberían tener una idea de cuánto suelen cambiar y preguntarse: ¿Me siento cómodo aceptando ese grado de cambio?». Hutchins dice. «La respuesta a eso puede depender de lo que esté en juego en la decisión. Si lo único que le preocupa es su reputación, podría estar expuesto a una cantidad diferente de riesgo que si estuviera tomando decisiones de vida o muerte».

Los Institutos Nacionales de Salud han promovido manuscritos preimpresos como una forma de acelerar el ritmo del descubrimiento científico, según Hutchins, quien desarrolló iCite, una herramienta de búsqueda seleccionada para la investigación de COVID-19, mientras trabajaba en los NIH.

Hutchins es coautor del nuevo estudio con el estadístico Honghan Ye, quien completó su doctorado en la UW-Madison en 2021, y varios estudiantes universitarios de la UW-Madison, y espera expandir sus estudios de preimpresión para incluir una gama más amplia de campos científicos y cómo la calidad de la preimpresión ha cambiado con el tiempo.