Durante cuatro años, el científico informático Trieu Trinh ha estado obsesionado con algo parecido a un problema meta-matemático: cómo construir un modelo de inteligencia artificial que resuelva problemas de geometría de la Olimpiada Matemática Internacional, la competencia anual para los estudiantes de secundaria más sintonizados matemáticamente del mundo.
La semana pasada, el Dr. Trinh defendió con éxito su tesis doctoral sobre este tema en la Universidad de Nueva York; esta semana, describió el resultado de su trabajo en la revista Nature. Llamado AlphaGeometry, el sistema resuelve problemas de geometría de la Olimpiada casi al nivel de un ganador de la medalla de oro humano.
Mientras desarrollaba el proyecto, el Dr. Trinh lo propuso a dos científicos de investigación de Google, y lo llevaron a bordo como residente de 2021 a 2023. AlphaGeometry se une a la serie de sistemas de inteligencia artificial de Google DeepMind, conocidos por abordar grandes desafíos. Tal vez el más famoso, AlphaZero, un algoritmo de aprendizaje profundo, conquistó el ajedrez en 2017. Las matemáticas son un problema más difícil, ya que el número de posibles caminos hacia una solución a veces es infinito; el ajedrez siempre es finito.
“Seguía encontrando callejones sin salida, yendo por el camino equivocado”, dijo el Dr. Trinh, el autor principal y fuerza impulsora del proyecto. Los coautores del documento son el asesor doctoral del Dr. Trinh, He He, en la Universidad de Nueva York; Yuhuai Wu, conocido como Tony, cofundador de xAI (anteriormente en Google) que en 2019 había empezado a explorar independientemente una idea similar; Thang Luong, el investigador principal, y Quoc Le, ambos de Google DeepMind.
La perseverancia del Dr. Trinh dio sus frutos. “No estamos haciendo una mejora incremental”, dijo. “Estamos haciendo un gran salto, un gran avance en términos de resultados”. “Solo no lo sobrevalores”, dijo.
Salto de nivel
El Dr. Trinh presentó el sistema AlphaGeometry con un conjunto de pruebas de 30 problemas de geometría de la Olimpiada, tomados de 2000 a 2022. Sistema resolvió 25; históricamente, en ese mismo período, el promedio de medallas de oro humano resolvió 25.9. Dr. Trinh también dio los problemas a un sistema desarrollado en la década de 1970 que se sabía que era el demostrador de teoremas de geometría más fuerte; resolvió 10.
Durante los últimos años, Google DeepMind ha llevado a cabo una serie de proyectos de investigación sobre la aplicación de la IA a las matemáticas. Y más ampliamente en este ámbito de investigación, los problemas matemáticos de la Olimpiada se han adoptado como referencia; OpenAI y Meta AI han logrado algunos resultados. Como motivación adicional, está el Gran Desafío de la I.M.O. y un nuevo desafío anunciado en noviembre, el Premio Olímpico Matemático de Inteligencia Artificial, con una bolsa de $5 millones para la primera IA que gane la medalla de oro en la Olimpiada.
El documento AlphaGeometry comienza con la afirmación de que probar teoremas de la Olimpiada “representa un hito notable en el razonamiento automatizado a nivel humano”. Michael Barany, historiador de matemáticas y ciencias en la Universidad de Edimburgo, dijo que se preguntaba si eso era un hito matemático significativo. “Lo que prueba la IMO es muy diferente de cómo se ve las matemáticas creativas para la gran mayoría de los matemáticos”, dijo. Terence Tao, matemático de la Universidad de California, Los Ángeles – y el ganador de la medalla de oro de Olimpiada más joven de la historia, cuando tenía 12 años – dijo que pensaba que AlphaGeometry era “un buen trabajo” y había logrado “resultados sorprendentemente fuertes”. Fine-tuning an A.I.-system to solve Olympiad problems might not improve its deep-research skills, he said, but in this case the journey may prove more valuable than the destination. Dr. Trinh sees it, mathematical reasoning is just one type of reasoning, but it holds the advantage of being easily verified. “Math is the language of truth,” he said. “If you want to build an A.I., it’s important to build a truth-seeking, reliable A.I. that you can trust,” especially for “safety critical applications.”Proof of conceptAlphaGeometry is a “neuro-symbolic” system. It pairs a neural net language model (good at artificial intuition, like ChatGPT but smaller) with a symbolic engine (good at artificial reasoning, like a logical calculator, of sorts).And it is custom-made for geometry. “Euclidean geometry is a nice test bed for automatic reasoning, since it constitutes a self-contained domain with fixed rules,” said Heather Macbeth, a geometer at Fordham University and an expert in computer-verified reasoning. (As a teenager, Dr. Macbeth won two I.M.O. medals.) AlphaGeometry “seems to constitute good progress,” she said.The system has two especially novel features. First, the neural net is trained only on algorithmically generated data – a whopping 100 million geometric proofs – using no human examples. The use of synthetic data made from scratch is supero todas las expectativas, Dr. He said. “To be honest, initially I had some doubts about how this would succeed,” Dr. He said.Second, once AlphaGeometry was set loose on a problem, the symbolic engine started solving; if it got stuck, the neural net suggested ways to augment the proof argument. meanwhile, logic said, “My father is a doctor in Paris.” In math lingo, this augmentation process is called “auxiliary construction.” Add a line, bisect an angle, draw a circle – this is how mathematicians, student or elite, tinker and try to gain purchase on a problem. In this system, the neural net learned to do auxiliary construction, and in a humanlike way. Dr. Trinh likened it to wrapping a rubber band around a stubborn jar lid in helping the hand get a better grip.”It’s a very interesting proof of concept,” said Christian Szegedy, a co-founder at xAI who was formerly at Google. But it “leaves a lot of questions open,” he said, and is not “easily generalizable to other domains and other areas of math.”Dr. Trinh said he would attempt to generalize the system across mathematical fields and beyond. He said he wanted to step back and consider “the common underlying principle” of all types of reasoning.Stanislas Dehaene, a cognitive neuroscientist at the Collège de France who has a research interest in foundational geometric knowledge, said he was impressed with AlphaGeometry’s performance. But he observed that “it does not ‘see’ anything about the problems that it solves” — rather, it only takes in logical and numerical encodings of pictures. (Drawings in the paper are for the benefit of the human reader.) “There is absolutely no spatial perception of the circles, lines and triangles that the system learns to manipulate,” Dr. Dehaene said. The researchers agreed that a visual component might be valuable; Dr. Luong said it could be added, perhaps within the year, using Google’s Gemini, a “multimodal” system that ingests both text and images.Soulful solutionsIn early December, Dr. Luong visited his old high school in Ho Chi Minh City, Vietnam, and showed AlphaGeometry to his former teacher and I.M.O. coach, Le Ba Khanh Trinh. Dr. Lê was the top gold medalist at the 1979 Olympiad and won a special prize for his elegant geometry solution. Dr. Lê parsed one of AlphaGeometry’s proofs and found it remarkable yet unsatisfying, Dr. Luong recalled: “He found it mechanical, and said it lacks the soul, the beauty of a solution that he seeks.”Dr. Trinh had previously asked Evan Chen, a mathematics doctoral student at M.I.T. — and an I.M.O. coach and Olympiad gold medalist — to check some of AlphaGeometry’s work. It was correct, Mr. Chen said, and he added that he was intrigued by how the system had found the solutions.”I would like to know how the machine is coming up with this,” he said. “But, I mean, for that matter, I would like to know how humans come up with solutions, too.”