Cómo la búsqueda de la verdad matemática y los modelos complejos pueden conducir a predicciones científicas inútiles

Una visión dominante en la ciencia es que hay una verdad matemática que estructura el universo. Se supone que el trabajo del científico es descifrar estas relaciones matemáticas: una vez entendidas, pueden traducirse en modelos matemáticos. Ejecutar la «realidad de silicio» resultante en una computadora puede proporcionarnos información útil sobre cómo funciona el mundo.

Dado que la ciencia sigue revelando secretos, los modelos siguen creciendo. Integran descubrimientos y mecanismos recién encontrados para reflejar mejor el mundo que nos rodea. Muchos académicos asumen que modelos más detallados producir estimaciones más nítidas y mejores predicciones porque están más cerca de la realidad. Pero nuestra nueva investigación, publicado en Avances de la cienciasugiere que pueden tener el efecto contrario.

La suposición de que «más detalles es mejor» atraviesa campos disciplinarios. Las ramificaciones son enormes. Las universidades obtienen computadoras cada vez más potentes porque quieren ejecutar modelos cada vez más grandes, lo que requiere una cantidad cada vez mayor de potencia informática. Recientemente, la Comisión Europea invirtió 8.000 millones de euros (6.900 millones de libras esterlinas) para crear una simulación muy detallada de la Tierra (con humanos), denominado «gemelo digital», con la esperanza de abordar mejor los desafíos sociales y ecológicos actuales.

En nuestra última investigación, mostramos que la búsqueda de modelos cada vez más complejos como herramientas para producir estimaciones y predicciones más precisas puede no funcionar. Con base en la teoría estadística y los experimentos matemáticos, ejecutamos cientos de miles de modelos con diferentes configuraciones y medimos cuán inciertas son sus estimaciones.

Descubrimos que los modelos más complejos tendían a producir estimaciones más inciertas. Esto se debe a que se agregan nuevos parámetros y mecanismos. Es necesario medir un nuevo parámetro, digamos el efecto de la goma de mascar en la propagación de una enfermedad, y por lo tanto está sujeto a errores de medición e incertidumbre. Los modeladores también pueden usar diferentes ecuaciones para describir matemáticamente el mismo fenómeno.

Una vez que estas nuevas incorporaciones y sus incertidumbres asociadas se integran en el modelo, se acumulan sobre las incertidumbres que ya existen. Y las incertidumbres continúan expandiéndose con cada actualización del modelo, lo que hace que la salida del modelo sea más borrosa en cada paso del camino, incluso si el modelo en sí se vuelve más fiel a la realidad.

Esto afecta a todos los modelos que no tienen datos de entrenamiento o validación apropiados contra los cuales verificar la precisión de su salida. Esto incluye modelos globales de cambio climático, hidrología (flujo de agua), producción de alimentos y epidemiología por igual, así como todos los modelos que predicen impactos futuros.

resultados borrosos

En 2009, los ingenieros crearon un algoritmo llamado Google Flu Trends para predecir la proporción de visitas al médico relacionadas con la gripe en los EE. UU. A pesar de estar basado en 50 millones de consultas que la gente había escrito en Google, el modelo no pudo predecir el brote de gripe porcina de 2009. Luego, los ingenieros hicieron que el modelo, que ya no está operativo, fuera aún más complejo. Pero todavía no era tan preciso. Investigación dirigida por el psicólogo alemán Gerd Gigerenzer mostró que constantemente sobrestimó las visitas al médico en 2011-13, en algunos casos en más del 50%.

Gigerenzer descubrió que un modelo mucho más simple podía producir mejores resultados. Su modelo predijo las tasas semanales de gripe basándose solo en un pequeño dato: cuántas personas habían visto a su médico de cabecera la semana anterior.

Otro ejemplo son los modelos hidrológicos globales, que rastrean cómo y dónde se mueve y almacena el agua. Comenzaron de manera simple en la década de 1960 en función de los «procesos de evapotranspiración» (la cantidad de agua que podría evaporarse y transpirar de un paisaje cubierto de plantas) y pronto se ampliaron, teniendo en cuenta los usos domésticos, industriales y agrícolas del agua a escala mundial. El siguiente paso para estos modelos es simular la demanda de agua en la Tierra por cada kilómetro cada hora.

Y, sin embargo, uno se pregunta si este detalle adicional no los hará aún más complicados. Nosotros han demostrado que las estimaciones de la cantidad de agua utilizada en el riego producida por ocho modelos hidrológicos globales se pueden calcular con un solo parámetro: la extensión del área regada.

Caminos a seguir

¿Por qué se ha pasado por alto hasta ahora que más detalles pueden empeorar un modelo? Muchos modeladores no someten sus modelos a análisis de incertidumbre y sensibilidad, métodos que les dicen a los investigadores cómo las incertidumbres en el modelo afectan la estimación final. Muchos continúan agregando detalles sin determinar qué elementos de su modelo son los más responsables de la incertidumbre en el resultado.

Es preocupante que los modeladores estén interesados ​​en desarrollar modelos cada vez más grandes; de hecho, carreras enteras se basan en modelos complejos. Eso es porque son más difíciles de falsificar: su complejidad intimida a los extraños y complica la comprensión de lo que sucede dentro del modelo.

Hay remedios, sin embargo. Sugerimos asegurarse de que los modelos no sigan creciendo más y más por el simple hecho de hacerlo. Incluso si los científicos realizan un análisis de incertidumbre y sensibilidad, sus estimaciones corren el riesgo de volverse tan inciertas que se vuelven inútiles para la ciencia y la formulación de políticas. Invertir mucho dinero en computación solo para ejecutar modelos cuya estimación es completamente borrosa tiene poco sentido.

En cambio, los modeladores deberían reflexionar sobre cómo se expande la incertidumbre con cada adición de detalles al modelo y encontrar la mejor compensación entre el nivel de detalle del modelo y la incertidumbre en la estimación.

Para encontrar esta compensación, se puede usar el concepto de «dimensiones efectivas», una medida de la cantidad de parámetros que agregan incertidumbre al resultado final, teniendo en cuenta cómo estos parámetros interactúan entre sí, que definimos en nuestro artículo. .

Al calcular las dimensiones efectivas de un modelo después de cada actualización, los modeladores pueden evaluar si el aumento de la incertidumbre aún hace que el modelo sea adecuado para la política o, por el contrario, si hace que el resultado del modelo sea tan incierto que sea inútil. Esto aumenta la transparencia y ayuda a los científicos a diseñar modelos que sirvan mejor a la ciencia y a la sociedad.

Algunos modeladores aún pueden argumentar que la adición de el detalle del modelo puede conducir a estimaciones más precisas. La carga de la prueba ahora recae en ellos.

Este artículo se vuelve a publicar de La conversación bajo una licencia Creative Commons. Leer el artículo original.