Apple está trabajando en funcionalidades más avanzadas de Siri como parte de su conjunto de funciones de Apple Intelligence, y para prepararse, ha estado proporcionando a los desarrolladores APIs de App Intent para que las aplicaciones estén listas para las nuevas capacidades.
Con la última ola de betas, Apple tiene una nueva API que permite a los desarrolladores hacer contenido en pantalla en sus aplicaciones disponible para Siri y Apple Intelligence. Según la documentación de Apple:
Cuando un usuario hace una pregunta sobre el contenido en pantalla o desea realizar una acción sobre él, Siri y Apple Intelligence pueden recuperar el contenido para responder a la pregunta y realizar la acción. Si el usuario lo solicita explícitamente, Siri y Apple Intelligence pueden enviar contenido a servicios de terceros compatibles. Por ejemplo, alguien podría ver un sitio web y usar Siri para proporcionar un resumen diciendo o escribiendo una frase como “Oye Siri, ¿de qué se trata este documento?”
En la beta de iOS 18.2, la integración de ChatGPT con Siri permite a los usuarios hacer preguntas sobre fotos y documentos, como PDFs y presentaciones, y obtener información sobre ellos. Por ejemplo, puedes preguntar a Siri “¿qué hay en esta foto?” y Siri tomará una captura de pantalla y la enviará a ChatGPT. ChatGPT luego transmite lo que hay en la imagen, y la misma función funciona para PDFs y otros documentos.
No parece que la integración de ChatGPT en iOS 18.2 sea la funcionalidad de conciencia en pantalla que Apple tiene planeada para Siri, pero podría estar relacionada. Apple describe la conciencia en pantalla como la capacidad de Siri para entender y actuar en cosas en la pantalla. Si alguien te envía por mensaje un dirección, por ejemplo, podrás decir “Agregar esta dirección a su tarjeta de contacto”, y Siri lo hará. Esta funcionalidad no está disponible en iOS 18.2, y ChatGPT se limita a analizar capturas de pantalla, pero es un poco confuso.
La conciencia en pantalla, al igual que el contexto personal y las acciones dentro de la aplicación, es una característica que Apple tiene planeada para Siri, pero probablemente no es algo que obtendremos este año. Muchas de las funciones de Siri llegarán en una futura versión de iOS 18, y Mark Gurman de Bloomberg ha dicho que podemos esperar verlas en iOS 18.4, una actualización que se lanzará en la primavera de 2025.
Aunque hay múltiples características de Siri que no llegarán hasta el próximo año, Apple está proporcionando APIs a los desarrolladores con antelación para que tengan varios meses para prepararse y para que las funciones estén listas para el público cuando las actualizaciones realmente salgan.