En la sede de Google DeepMind, un laboratorio de inteligencia artificial en Londres, los investigadores tienen un antiguo ritual para anunciar resultados trascendentales: hacen sonar un gran gong ceremonial.
En 2016, sonó el gong para AlphaGo, un sistema de inteligencia artificial que sobresalió en el juego Go. En 2017, el gong resonó cuando AlphaZero conquistó el ajedrez. En cada ocasión, el algoritmo había vencido a campeones mundiales humanos.
La semana pasada, los investigadores de DeepMind volvieron a sacar el gong para celebrar lo que Alex Davies, uno de los líderes de la iniciativa de matemáticas de Google DeepMind, describió como un «gran avance» en el razonamiento matemático por parte de un sistema de IA. Un par de modelos de Google DeepMind probaron suerte con el problema planteado en la Olimpiada Internacional de Matemáticas de 2024, o IMO, celebrada del 11 al 22 de julio a unas 100 millas al oeste de Londres en la Universidad de Bath. Se dice que el evento es la principal competición de matemáticas para los «matemáticos más brillantes» del mundo, según una publicación promocional en las redes sociales.
Suscríbete al boletín matutino del New York Times
Los solucionadores de problemas humanos (609 estudiantes de secundaria de 108 países) ganaron 58 medallas de oro, 123 de plata y 145 de bronce. La IA tuvo un rendimiento digno de una medalla de plata, resolviendo 4 de 6 problemas para un total de 28 puntos. Fue la primera vez que la IA logró un rendimiento digno de una medalla en los problemas de una Olimpiada.
“No es perfecto, no lo hemos solucionado todo”, dijo en una entrevista Pushmeet Kohli, vicepresidente de investigación de Google DeepMind. “Queremos ser perfectos”.
No obstante, Kohli describió el resultado como una “transición de fase” —un cambio transformador— “en el uso de la IA en las matemáticas y en la capacidad de los sistemas de IA para realizar matemáticas”.
El laboratorio pidió a dos expertos independientes que juzgaran el rendimiento de la IA: Timothy Gowers, matemático de la Universidad de Cambridge en Inglaterra y medallista Fields, que ha estado interesado en la interacción entre las matemáticas y la IA durante 25 años; y Joseph Myers, un desarrollador de software en Cambridge. Ambos ganaron el oro de la OMI en su momento. Myers fue presidente del comité de selección de problemas de este año y en las Olimpiadas anteriores se desempeñó como coordinador, juzgando las soluciones humanas. «Me esforcé por evaluar los intentos de la IA de manera coherente con la forma en que se juzgaron los intentos humanos este año», dijo.
Gowers añadió en un correo electrónico: “Definitivamente me impresionó”. El laboratorio había hablado con él sobre sus ambiciones olímpicas un par de semanas antes, por lo que “mis expectativas eran bastante altas”, dijo. “Pero el programa las cumplió y en uno o dos casos las superó significativamente”. El programa encontró las “llaves mágicas” que resolvieron los problemas, dijo.
Tocando el gong
Después de meses de riguroso entrenamiento, los estudiantes se presentaron a dos exámenes, tres problemas por día: en álgebra, combinatoria, geometría y teoría de números.
El homólogo de IA trabajó en equipo en el laboratorio de Londres (los estudiantes no sabían que Google DeepMind estaba compitiendo, en parte porque los investigadores no querían robarse el protagonismo). Los investigadores trasladaron el gong a la sala donde se habían reunido para ver cómo funcionaba el sistema. “Cada vez que el sistema resolvía un problema, hacíamos sonar el gong para celebrarlo”, dijo David Silver, un científico investigador.
Haojia Shi, estudiante de China, ocupó el primer puesto y fue la única competidora que obtuvo una puntuación perfecta: 42 puntos por seis problemas; cada problema vale siete puntos por una solución completa. El equipo estadounidense ganó el primer puesto con 192 puntos; China quedó en segundo lugar con 190.
El sistema de Google obtuvo 28 puntos por resolver cuatro problemas: dos de álgebra, uno de geometría y uno de teoría de números (no logró resolver dos problemas de combinatoria). El sistema tenía tiempo ilimitado; para algunos problemas, se necesitaban hasta tres días. Los estudiantes tenían asignados solo 4,5 horas por examen.
Para el equipo de Google DeepMind, la velocidad es secundaria al éxito general, ya que «en realidad es solo una cuestión de cuánta potencia informática estés dispuesto a invertir en estas cosas», dijo Silver.
“El hecho de que hayamos alcanzado este umbral, en el que es posible siquiera abordar estos problemas, es lo que representa un cambio radical en la historia de las matemáticas”, añadió. “Y esperemos que no sea solo un cambio radical en la OMI, sino que también represente el punto en el que pasamos de que los ordenadores solo podían demostrar cosas muy, muy simples a que los ordenadores puedan demostrar cosas que los humanos no pueden”.
Ingredientes algorítmicos
La aplicación de la IA a las matemáticas ha sido parte de la misión de DeepMind durante varios años, a menudo en colaboración con matemáticos investigadores de primer nivel.
“Las matemáticas requieren esta interesante combinación de razonamiento abstracto, preciso y creativo”, dijo Davies. En parte, señaló, este repertorio de habilidades es lo que hace que las matemáticas sean una buena prueba de fuego para el objetivo final: alcanzar la llamada inteligencia artificial general, o AGI, un sistema con capacidades que van desde emergentes hasta competentes, virtuosas y sobrehumanas. Empresas como OpenAI, Meta AI y xAI están siguiendo objetivos similares.
Los problemas de matemáticas de las olimpiadas han llegado a considerarse un punto de referencia.
En enero, un sistema de Google DeepMind llamado AlphaGeometry resolvió una muestra de problemas de geometría de las Olimpiadas casi al nivel de un medallista de oro humano. “AlphaGeometry 2 ha superado a los medallistas de oro en la resolución de problemas de la OMI”, dijo Thang Luong, el investigador principal, en un correo electrónico.
Aprovechando ese impulso, Google DeepMind intensificó su esfuerzo multidisciplinario en las Olimpiadas, con dos equipos: uno dirigido por Thomas Hubert, un ingeniero de investigación en Londres, y otro dirigido por Luong y Quoc Le en Mountain View, cada uno con unos 20 investigadores. Para su “equipo de razonamiento sobrehumano”, Luong dijo que reclutó a una docena de medallistas de la OMI, “¡con mucho la mayor concentración de medallistas de la OMI en Google!”.
En la huelga del laboratorio en la Olimpiada de este año se utilizó la versión mejorada de AlphaGeometry. No es de sorprender que el modelo tuviera un buen desempeño en el problema de geometría, resolviéndolo en 19 segundos.
El equipo de Hubert desarrolló un nuevo modelo comparable pero más generalizado. Se lo denominó AlphaProof y está diseñado para abordar una amplia gama de temas matemáticos. En conjunto, AlphaGeometry y AlphaProof utilizaron varias tecnologías de inteligencia artificial diferentes.
Un enfoque era un sistema de razonamiento informal, expresado en lenguaje natural. Este sistema aprovechaba Gemini, el gran modelo de lenguaje de Google. Utilizaba el corpus inglés de problemas y demostraciones publicados y similares como datos de entrenamiento.
El sistema informal destaca por identificar patrones y sugerir lo que viene a continuación; es creativo y habla de ideas de una manera comprensible. Por supuesto, los grandes modelos lingüísticos tienden a inventar cosas, lo que puede (o no) funcionar en poesía y definitivamente no en matemáticas. Pero en este contexto, el LLM parece haber mostrado moderación; no era inmune a las alucinaciones, pero la frecuencia se redujo.
Otro enfoque fue un sistema de razonamiento formal, basado en la lógica y expresado en código. Utilizaba un software de demostración de teoremas y de asistencia para la demostración llamado Lean, que garantiza que si el sistema dice que una demostración es correcta, entonces efectivamente lo es. “Podemos comprobar con exactitud si la demostración es correcta o no”, dijo Hubert. “Se garantiza que cada paso sea lógicamente correcto”.
Otro componente crucial fue un algoritmo de aprendizaje por refuerzo del linaje AlphaGo y AlphaZero. Este tipo de IA aprende por sí sola y puede escalar indefinidamente, dijo Silver, quien es el vicepresidente de aprendizaje por refuerzo de Google DeepMind. Dado que el algoritmo no requiere un maestro humano, puede «aprender y seguir aprendiendo y seguir aprendiendo hasta que finalmente pueda resolver los problemas más difíciles que los humanos pueden resolver», dijo. «Y luego, tal vez, algún día, incluso ir más allá de esos».
Hubert añadió: “El sistema puede redescubrir el conocimiento por sí mismo”. Eso es lo que sucedió con AlphaZero: comenzó con cero conocimientos, dijo Hubert, “y simplemente jugando partidas y viendo quién gana y quién pierde, pudo redescubrir todo el conocimiento del ajedrez. Nos llevó menos de un día redescubrir todo el conocimiento del ajedrez, y aproximadamente una semana redescubrir todo el conocimiento del Go. Entonces, pensamos, apliquemos esto a las matemáticas”.
Gowers no se preocupa demasiado por las consecuencias a largo plazo. “Es posible imaginar una situación en la que los matemáticos básicamente no tengan nada que hacer”, dijo. “Ese sería el caso si las computadoras se volvieran mejores y mucho más rápidas en todo lo que los matemáticos hacen actualmente”.
“Parece que todavía queda mucho camino por recorrer antes de que los ordenadores puedan realizar cálculos matemáticos a nivel de investigación”, añadió. “Es bastante seguro que si Google DeepMind puede resolver al menos algunos problemas difíciles de la OMI, entonces una herramienta de investigación útil no puede estar tan lejos”.
Una herramienta realmente eficaz podría hacer que las matemáticas sean accesibles a más personas, acelerar el proceso de investigación, impulsar a los matemáticos a pensar de otra manera y, con el tiempo, incluso podría plantear ideas novedosas que tengan eco.
C.2024 The New York Times Company
