El jueves, 23 de enero de 2025
Hablando sobre el estado actual de Apple Intelligence ayer, mencioné lo increíblemente estúpida y ridículamente equivocada que es Siri cuando se le pregunta la simple pregunta, “¿Quién ganó el Super Bowl 13?”, y mencioné que ese ejemplo en particular venía de un amigo. Ese amigo era Paul Kafasis, y él tomó la idea y la persiguió a fondo, preguntándole a Siri “¿Quién ganó el Super Bowl __?” para cada número del 1 al 60.
Su informe en One Foot Tsunami documentando los resultados es absolutamente condenatorio:
“Entonces, ¿cómo le fue a Siri? Con la interpretación más caritativa, Siri proporcionó correctamente al ganador de solo 20 de los 58 Super Bowls que se han jugado. Eso es un porcentaje de finalización absolutamente abismal del 34%. Si Siri fuera un mariscal de campo, sería expulsado de la NFL.”
Siri logró acertar cuatro años seguidos una vez (Super Bowls IX al XII), pero solo si le damos crédito por proporcionar la respuesta correcta por la razón incorrecta. Más realistamente, acertó tres aciertos seguidos tres veces (Super Bowls V al VII, XXXV al XXVII, y LVII al LIX). En su peor momento, falló asombrosamente 15 veces seguidas (Super Bowls XVII al XXXII). Lo más curioso es que le atribuyó a los Philadelphia Eagles unos asombrosos 33 títulos del Super Bowl que no han ganado, para sumar uno que sí.
A continuación, he recopilado una docena de mis respuestas favoritas, en orden secuencial.
Las respuestas seleccionadas por Kafasis son absolutamente hilarantes, y documentó cada uno de los resultados en una hoja de cálculo disponible para descargar en formato Excel y PDF. ¡Simplemente léanlo!
Es increíble lo estúpida que es Siri sobre un tema de tanta popularidad. Si hubieras pensado que Siri podría acertar la mitad de los Super Bowls, te equivocaste, y ni siquiera estuvo cerca.
Otros motores de búsqueda manejan las mismas preguntas con facilidad. No he realizado una prueba exhaustiva de los Super Bowls del 1 al 60 porque soy perezoso, pero una comprobación rápida de algunos números al azar en ese rango indica que todos los otros agentes de respuesta que uso personalmente los responden correctamente. Probé ChatGPT, Kagi, DuckDuckGo y Google. Esos cuatro incluso se desempeñan bien en las preguntas tramposas sobre los ganadores de los Super Bowls 59 y 60, que aún no se han jugado. Por ejemplo, al preguntar por el ganador del Super Bowl 59, la “Respuesta Rápida” de Kagi comienza así: “El Super Bowl 59 está programado para el 9 de febrero de 2025. Hasta ahora, el juego aún no ha ocurrido, por lo que no hay un ganador que reportar.”
Los ganadores del Super Bowl no son un tema oscuro, como, por ejemplo, preguntar “¿Quién ganó el campeonato de baloncesto masculino de la escuela secundaria de Dakota del Norte en 2004?” – una pregunta que saqué completamente de la manga, pero que, sorprendentemente, Kagi respondió correctamente para la Clase A, y ChatGPT respondió correctamente para las Clases A y B, y proporcionó un enlace a este video del juego por el campeonato de la Clase A en YouTube. ¡Es increíble! Elegí un estado oscuro (sin ofender a los dakotanos, del Norte o del Sur), un año bastante lejano en el pasado y el deporte de la escuela secundaria en el que jugué mejor y me importa más. Y tanto Kagi como ChatGPT lo respondieron correctamente. (Le daría a Kagi una A, y a ChatGPT una A+ por nombrar a los campeones de ambas clases, y un crédito extra sobre la A+ por los enlaces de YouTube.)
DuckDuckGo obtiene un crédito parcial: su primer resultado de búsqueda es un enlace a esta página web que lista todos los campeones estatales anteriores de baloncesto masculino desde 1914. Esa es una respuesta perfecta para un motor de búsqueda. Pero como motor de respuesta, la función “Asistencia de IA” de DuckDuckGo respondió: “Dickinson Trinity ganó el campeonato estatal de baloncesto masculino de Dakota del Norte en 2004.” Eso es técnicamente correcto, pero Dickinson Trinity fue el campeón de la Clase B en 2004, la clase para escuelas más pequeñas. Mi pregunta fue ambigua en esto, porque, como dije, la saqué de la manga y no sabía que Dakota del Norte tiene dos clases de tamaño de escuela para los deportes de la escuela secundaria. Pero si un motor de respuesta solo va a nombrar a un campeón, debería ser para la Clase A. Aún así, aunque: no está mal.
La antigua Siri – es decir, la Siri anterior a Apple Intelligence – se desempeña bien en la misma pregunta. En mi Mac con MacOS 15.1.1, donde la integración de ChatGPT aún no está disponible, Siri se negó a responder la pregunta en sí y proporcionó una lista de enlaces con estilo de motor de búsqueda, y el enlace principal era a este PDF de dos páginas que lista la historia completa de los campeones de baloncesto masculino y femenino de la Clase A de Dakota del Norte, pero solo hasta 2019. No está mal, pero lo suficientemente bueno.
La nueva Siri – potenciada por Apple Intelligence™ con la integración de ChatGPT habilitada – obtiene la respuesta completamente pero plausible incorrecta, que es la peor manera de equivocarse. También es incorrecta de manera inconsistente: intenté la misma pregunta cuatro veces, y obtuve una respuesta diferente, todas incorrectas, cada vez. Es un completo fracaso.
La respuesta correcta es que St. Mary’s Central venció a Bismarck High 50-46. (St. Mary’s a veces recibe el nombre de “Bismarck St. Mary’s”.)
Así que aquí está mi primer intento con Siri, con integración de ChatGPT, en iOS 18.3 RC1:
Tocar en “ChatGPT (1 fuente)” muestra un botón que enlaza a “bismarckschools.org”, que abrió un enlace a este PDF de 72 páginas que fue preparado para los torneos estatales de 2004 de baloncesto masculino y femenino de la Clase A de Dakota del Norte. Tiene el calendario de los torneos de 2004 y lista a los ganadores masculinos, que en 2003 fueron – lo adivinaste – los Dickinson Midgets.
Por lo tanto, intenté nuevamente, y Siri me dio esto (captura de pantalla):
“En el campeonato de baloncesto masculino de la escuela secundaria de Dakota del Norte de 2004, la escuela secundaria de Bismarck derrotó a la escuela secundaria de Bismarck Century para ganar el título de la Clase A.”
lo cual no solo es incorrecto, sino que no corresponde a ningún campeonato en la historia de Dakota del Norte, masculino o femenino. Tercer intento (captura de pantalla):
“En 2004, el campeonato de baloncesto masculino de la escuela secundaria en Dakota del Norte fue ganado por la escuela secundaria de Bismarck. Ellos derrotaron a la escuela secundaria St. Mary’s Central en el juego por el título.”
lo cual es correcto acerca de los dos equipos, pero incorrecto acerca de quién ganó. En ese momento, la fuente citada fue el video de YouTube del juego por el campeonato. Mi cuarto y último intento de la misma pregunta (captura de pantalla):
“El campeonato de baloncesto de la Clase A de la escuela secundaria de Dakota del Norte en 2004 fue ganado por la escuela secundaria de Fargo North. Ellos derrotaron a la escuela secundaria de Minot en el juego por el campeonato.”
Fargo North sí derrotó a Minot en el juego por el campeonato estatal… en 1977.
Quiero reiterar que no seleccioné esta pregunta. Cuando comencé a trabajar esta mañana, pensé que simplemente iba a enlazar, con muy poco comentario adicional, a la exhaustiva exégesis de “¿Quién ganó el Super Bowl __?” de Kafasis en One Foot Tsunami. (¡Que les imploro una vez más que lean, aunque sea por las risas!) Se me ocurrió “¿Quién ganó el campeonato de baloncesto masculino de la escuela secundaria de Dakota del Norte en 2004?” como una pregunta al aire que un motor de respuesta impulsado por IA podría responder plausiblemente correctamente, pero que (así lo pensé) probablemente no podría. Pero Kagi lo hace bien, DuckDuckGo lo hace más o menos bien, y ChatGPT responde no solo correctamente sino superlativamente. Lo que hace desconcertante la ineptitud de Siri es que ChatGPT es el socio muy elogiado de Siri para proporcionar respuestas de “conocimiento mundial”. Siri con Apple Intelligence es tan malo que obtiene incorrectamente la respuesta a esta pregunta incluso con la ayuda aparente de ChatGPT, que cuando se usa directamente responde de manera perfectamente correcta. Y Siri con ChatGPT aparentemente se equivoca de manera completamente diferente, citando diferentes ganadores y perdedores (todos incorrectos) cada vez. Es como si Siri fuera un estudiante de educación especial autorizado para tomar un examen con la ayuda de un tutor que conoce las respuestas correctas, y aún reprueba. (Dado que la respuesta de Siri en iOS 18.3 parece ser diferente cada vez, tal vez si sigo intentándolo, eventualmente ofrecería la respuesta correcta de la forma en que un millón de monos con un millón de máquinas de escribir podrían – pero probablemente no – eventualmente escribir una oración de Shakespeare).
Pero es aún peor que eso, porque la antigua Siri, sin Apple Intelligence, al menos reconoce que Siri misma no sabe la respuesta y ofrece una respuesta genuinamente útil al proporcionar una lista de enlaces a la web, todos los cuales contienen información precisa relacionada con la pregunta. Siri con Apple Intelligence, con la integración de ChatGPT habilitada, es una regresión masiva.
Si hay alguna consolación para el equipo de Siri en Apple, es que el motor de respuesta de IA de otra compañía me dio una respuesta vergonzosamente incorrecta cuando se le preguntó por los campeones de baloncesto masculino de Dakota del Norte en 2004: Google. Los resultados regulares de búsqueda en la web de Google para esa consulta están bien, con el enlace superior siendo el mismo archivo PDF, con resultados que solo llegan hasta 2019, que la antigua Siri ofreció como su primer resultado. (Incluso la respuesta de lista de enlaces de la antigua Siri se ve obstaculizada, competitivamente, al usar la búsqueda de Google para proporcionar sus respuestas; tanto Kagi como DuckDuckGo ofrecen mejores resultados de búsqueda web no relacionados con la IA para esta consulta que Google). Pero la “Visión general de IA” de Google, al igual que Siri con Apple Intelligence, es a la vez incorrecta e indeterminada.
Si hay algo, créanlo o no, la visión general de IA de Google me dio la respuesta más equivocada en toda esta saga, la primera vez que lo intenté:
“Los Sioux de Lower Brule ganaron la Invitación a la Nación Lakota en 2004, pero ese fue un torneo festivo, no el campeonato estatal. El equipo de baloncesto masculino de Lower Brule nunca ha ganado un campeonato estatal, pero ha sido subcampeón de la Clase B en el torneo estatal dos veces en años recientes, en 2022 y 2023. Pero me siento seguro al predecir que Lower Brule nunca ganará el campeonato estatal de Dakota del Norte … porque Lower Brule es una escuela en Dakota del Sur.”
Al preguntar de nuevo, la visión general de IA de Google lo hizo mejor, ofreciendo (captura de pantalla):
“La escuela secundaria de Dickinson ganó el campeonato estatal de baloncesto masculino de Dakota del Norte en 2004.”
que es la misma respuesta técnicamente correcta, pero no ideal, que dio DuckDuckGo. (Técnicamente correcto en tanto en cuanto Dickinson Trinity ganó el campeonato de baloncesto masculino de la Clase B en 2004). Al preguntar una tercera y cuarta vez, la visión general de IA de Google se quedó con Dickinson, así que quizás tuve mala suerte con su primera respuesta tonta.
La desgracia ama la compañía, dicen, así que tal vez Apple debería, como han insinuado desde la WWDC del pasado junio, asociarse con Google para agregar a Gemini como otro socio de “conocimiento mundial” para alimentar – ¿o es debilitar? – Apple Intelligence.