Escribiendo sobre el estado actual de Apple Intelligence ayer, mencioné lo increíblemente estúpida y ridículamente incorrecta que es Siri cuando se le hace la simple pregunta: “¿Quién ganó el Super Bowl 13?”, y mencioné que ese ejemplo en particular provino de un amigo. Ese amigo era Paul Kafasis, y lo llevó a cabo exhaustivamente, preguntándole a Siri “¿Quién ganó el Super Bowl __?” para cada número del 1 al 60.
Su informe en One Foot Tsunami documentando los resultados es absolutamente condenatorio:
Entonces, ¿cómo le fue a Siri? Con la interpretación más caritativa posible, Siri proporcionó correctamente al ganador de solo 20 de los 58 Super Bowls que se han jugado. Eso es un porcentaje de aciertos absolutamente abismal del 34%. Si Siri fuera un mariscal de campo, sería expulsado de la NFL.
Siri logró acertar cuatro años consecutivos una vez (Super Bowls IX a XII), pero solo si le damos crédito por proporcionar la respuesta correcta por la razón incorrecta. Más realistamente, acertó tres veces las respuestas en fila (Super Bowls V a VII, XXXV a XXVII, y LVII a LIX). En su peor momento, se equivocó asombrosamente 15 veces seguidas (Super Bowls XVII a XXXII). De manera más divertida, acreditó a los Philadelphia Eagles con asombrosas 33 victorias en el Super Bowl que no han ganado, además de la que sí ganaron.
A continuación, he recopilado una docena de mis respuestas favoritas, en orden secuencial.
Las respuestas seleccionadas por Kafasis son absolutamente hilarantes, y documentó todos y cada uno de los resultados en una hoja de cálculo disponible para descargar en formatos Excel y PDF. ¡Solo léanlo!
Es increíble lo estúpida que es Siri sobre un tema de tanta popularidad. Si habías supuesto que Siri podría acertar la mitad de los Super Bowls, te equivocaste, y ni siquiera estuvo cerca.
Otros motores de respuesta manejan las mismas preguntas con destreza. No he realizado una prueba completa desde el Super Bowl 1 hasta el 60 porque soy perezoso, pero una verificación rápida de algunos números al azar en ese rango indica que todos los otros agentes de preguntas-respuestas que uso personalmente los responden todas correctamente. Probé ChatGPT, Kagi, DuckDuckGo y Google. Esos cuatro incluso se desempeñan bien en las preguntas posiblemente truculentas sobre los ganadores de los Super Bowls 59 y 60, que aún no se han jugado. Por ejemplo, al preguntar por el ganador del Super Bowl 59, la “Respuesta rápida” de Kagi comienza: “El Super Bowl 59 está programado para el 9 de febrero de 2025. Hasta ahora, el juego aún no ha ocurrido, por lo que no hay ningún ganador que reportar”.
Los ganadores del Super Bowl no son un tema oscuro, como por ejemplo, preguntar “¿Quién ganó el campeonato estatal de baloncesto masculino de secundaria de Dakota del Norte en 2004?” — una pregunta que acabo de sacar de la nada, pero que increíblemente, Kagi respondió correctamente para la Clase A, y ChatGPT respondió correctamente para ambas Clases A y B, y proporcionó un enlace a este video del juego por el campeonato de la Clase A en YouTube. ¡Es asombroso! Elegí un estado oscuro (sin ofender a los habitantes de Dakota, Norte o Sur), un año bastante lejano en el pasado, y el deporte de la secundaria donde jugué mejor y que más me importa. Y tanto Kagi como ChatGPT lo respondieron correctamente. (Le daría a Kagi una A, y a ChatGPT una A+ por nombrar a los campeones de ambas clases, y crédito extra sobre la A+ por los enlaces a YouTube.)
DuckDuckGo recibe un crédito parcial: su primer resultado de búsqueda es un enlace a esta página web que lista todos los campeones estatales anteriores de baloncesto masculino desde 1914. Esa es una respuesta perfecta para un motor de búsqueda. Pero como motor de respuesta, la función de “AI Assist” de DuckDuckGo respondió: “Dickinson Trinity ganó el campeonato estatal de baloncesto masculino de secundaria de Dakota del Norte en 2004”. Eso es técnicamente correcto, pero Dickinson Trinity fue el campeón de la Clase B en 2004, la clase para escuelas más pequeñas. Mi pregunta inicial era ambigua al respecto, porque, como dije, la saqué de la nada y no tenía idea de que Dakota del Norte tiene dos clases de tamaños de escuelas para deportes de secundaria. Pero si un motor de respuesta solo va a nombrar a un campeón, debería ser para la Clase A. Aún así, no está mal.
La antigua Siri — es decir, la Siri anterior a Apple Intelligence — lo hace bien con la misma pregunta. En mi Mac con MacOS 15.1.1, donde la integración de ChatGPT no está disponible todavía, Siri se negó a responder la pregunta en sí misma y proporcionó una lista de enlaces, al estilo de un motor de búsqueda, y el enlace principal era a este archivo PDF de dos páginas que enumera la historia completa de los campeones de Clase A y Clase B en baloncesto de secundaria de Dakota del Norte, pero solo hasta 2019. No está mal, pero lo suficientemente bueno.
La nueva Siri — alimentada por Apple Intelligence™ con la integración de ChatGPT habilitada — obtiene la respuesta completamente pero plausiblemente incorrecta, que es la peor manera de equivocarse. Además, es incorrecta de manera inconsistente — intenté la misma pregunta cuatro veces y obtuve una respuesta diferente, todas incorrectas, cada vez. Es un fracaso completo.
La respuesta correcta es que St. Mary’s Central venció a Bismarck High 50-46. (Al parecer, a veces St. Mary’s se conoce como “Bismarck St. Mary’s”).
Aquí está mi primer intento con Siri, con integración de ChatGPT, en iOS 18.3 RC1:
Hacer clic en “ChatGPT (1 fuente)” muestra un botón que enlaza a “bismarckschools.org”, que abrió un enlace a este archivo PDF de 72 páginas que fue preparado para los torneos estatales de baloncesto de secundaria de Clase A y Clase B en Dakota del Norte en 2004. Tiene el programa de los torneos de 2004 y lista a los ganadores de los chicos y chicas desde 2003. ¡El campeón de los chicos en 2003 fue — lo adivinaste — los Dickinson Midgets!
Así que lo intenté de nuevo, y Siri me dio esto (captura de pantalla):
“En el campeonato estatal de baloncesto masculino de secundaria de Dakota del Norte en 2004, la Escuela Secundaria Bismarck derrotó a la Escuela Secundaria Bismarck Century para ganar el título de Clase A.”
lo cual no solo es incorrecto, sino que no corresponde a ningún juego de campeonato en la historia de Dakota del Norte, ya sea de chicos o chicas. Tercera vez (captura de pantalla):
“En 2004, el campeonato estatal de baloncesto masculino de secundaria de Dakota del Norte lo ganó la Escuela Secundaria Bismarck. Derrotaron a la Escuela Secundaria St. Mary’s Central en el juego por el título.”
lo cual es correcto sobre los dos equipos, pero incorrecto sobre quién ganó. La fuente citada esa vez fue el video de YouTube del juego por el campeonato. Mi cuarto y último intento con la misma pregunta (captura de pantalla):
“El campeonato estatal de baloncesto masculino de secundaria de Dakota del Norte de 2004 fue ganado por la Escuela Secundaria Fargo North. Vencieron a la Escuela Secundaria Minot en el juego por el campeonato.”
Fargo North venció a Minot en el juego por el campeonato estatal … en 1977.
Quiero reiterar que no seleccioné esta pregunta. Cuando comencé a trabajar esta mañana, pensé que simplemente iba a enlazar, con muy poca información adicional, a la exhaustiva exégesis de “¿Quién ganó el Super Bowl __?” de Kafasis en One Foot Tsunami. (Lo insto una vez más a leerlo, solo por las risas). Se me ocurrió “¿Quién ganó el campeonato estatal de baloncesto masculino de secundaria de Dakota del Norte en 2004?” de manera improvisada como una pregunta que un motor de respuesta impulsado por IA podría responder plausible y correctamente, pero (según creía) probablemente no podría. Pero Kagi lo respondió bien, DuckDuckGo lo respondió de manera semi-correcta, y ChatGPT no solo responde correctamente, sino superlativamente. Lo que hace la ineptitud de Siri aún más desconcertante es que ChatGPT es el socio muy anunciado de Siri para proporcionar respuestas de “conocimientos del mundo”. Siri con Apple Intelligence es tan malo que falla en responder esta pregunta incluso con la supuesta ayuda de ChatGPT, que cuando se usa directamente lo hace perfectamente bien. Y Siri con ChatGPT aparentemente se equivoca de una manera completamente diferente, citando diferentes ganadores y perdedores (todos incorrectos) cada vez. Es como si Siri fuera un estudiante de necesidades especiales permitido para tomar un examen con la ayuda de un tutor que conoce las respuestas correctas, y aún así reprueba. (Dado que la respuesta de Siri en iOS 18.3 aparentemente es diferente cada vez, tal vez si sigo intentando, finalmente dará la respuesta correcta de la manera en que un millón de monos con un millón de máquinas de escribir podrían — pero probablemente no — tarde o temprano escribir una oración de Shakespeare).
Pero es aún peor que eso, porque la antigua Siri, sin Apple Intelligence, al menos reconoce que Siri misma no sabe la respuesta y proporciona una respuesta realmente útil al proporcionar una lista de enlaces a la web, todos los cuales contienen información precisa relacionada con la pregunta. Siri con Apple Intelligence, con la integración de ChatGPT habilitada, es una gran regresión.
Si hay alguna consolación para el equipo de Siri en Apple, es que otro motor de respuestas de inteligencia artificial de una empresa dio una respuesta vergonzosamente incorrecta cuando se le preguntó por los campeones de baloncesto de secundaria de chicos de Dakota del Norte en 2004: Google. Los resultados regulares de búsqueda en la web de Google para esa consulta están bien, con el enlace superior siendo el mismo archivo PDF, con resultados solo hasta 2019, que la antigua Siri ofreció como su primer resultado. (Incluso la respuesta de lista-de-enlaces de la antigua Siri se ve obstaculizada, competitivamente, por el uso de la búsqueda de Google para proporcionar sus respuestas; tanto Kagi como DuckDuckGo brindan mejores resultados de búsqueda web no-AI para esta consulta que Google). Pero la “Vista general de AI” de Google, al igual que Siri con Apple Intelligence, son incorrectas e indeterminadas.
Si algo, créanlo o no, la “Vista general de AI” de Google me dio la peor respuesta en toda esta saga la primera vez que lo intenté:
Las Lower Brule Sioux ganaron la Invitacional de la Nación Lakota en 2004, pero ese fue un torneo festivo, no el campeonato estatal. El equipo de baloncesto varonil de Lower Brule nunca ha ganado un campeonato estatal, pero ha terminado como subcampeón de la Clase B en el torneo estatal dos veces en años recientes — en 2022 y 2023. Pero estoy seguro de predecir que Lower Brule nunca ganará el campeonato estatal de Dakota del Norte… porque Lower Brule es una escuela en Dakota del Sur.
La segunda vez que pregunté, la “Vista general de AI” de Google lo hizo mejor, ofreciendo (captura de pantalla):
La Escuela Secundaria Dickinson ganó el campeonato estatal de baloncesto de secundaria de chicos de Dakota del Norte en 2004.
que es la misma respuesta técnicamente correcta, pero no ideal que dio DuckDuckGo. (Técnicamente correcta en la medida en que Dickinson Trinity ganó el campeonato de baloncesto de secundaria de chicos de la Clase B en 2004). Preguntado una tercera y una cuarta vez, la “Vista general de AI” de Google se mantuvo con Dickinson, por lo que tal vez tuve suerte o mala suerte con su primera respuesta equivocada.
La desgracia ama la compañía, dicen, así que tal vez Apple debería, como han insinuado desde la WWDC del pasado junio, asociarse con Google para agregar Gemini como otro socio de “conocimientos del mundo” para alimentar — o ¿debilitar? — Apple Intelligence.