Siri pronto podría tener la capacidad de usar el contenido en pantalla gracias a las nuevas API para desarrolladores basadas en tecnologías filtradas por AppleInsider antes de la WWDC.
El lunes, Apple lanzó nueva documentación para ayudar a los desarrolladores a prepararse para la llegada de las próximas características de Siri y Apple Intelligence. La última API para desarrolladores de la compañía revela que Siri ganará una conciencia contextual significativa y que en algún momento, el asistente virtual podrá usar información del contenido que se encuentra actualmente en pantalla.
Siri sin duda se volverá mucho más útil debido a los cambios de Apple. La compañía proporcionó una lista de ejemplos que ofrecen algo de información sobre exactamente lo que el Siri mejorado con inteligencia artificial podrá hacer en el futuro.
Los usuarios tendrán la opción de preguntar a Siri sobre la página web que están viendo actualmente o sobre un objeto específico en una foto. El asistente virtual también podrá resumir documentos y correos electrónicos bajo petición, o completar textos añadiendo más contenido.
Es importante tener en cuenta que algunas de estas funciones ya eran posibles con la primera versión beta para desarrolladores de iOS 18.2, que introdujo la integración de ChatGPT. Siri puede enviar un PDF, un documento de texto o una imagen a ChatGPT para ciertas acciones, aunque solo con el permiso del usuario.
La nueva API para desarrolladores indica que Apple quiere agilizar este proceso aún más. En lugar de que el usuario le pida a Siri que envíe un documento a ChatGPT, podrán hacer preguntas directas sobre la página en pantalla o utilizar información de alguna manera. Hay mucho espacio para mejorar aquí ya que ChatGPT actualmente solo puede acceder a capturas de pantalla o documentos proporcionados manualmente por el usuario.
Siri pronto podría ganar la capacidad de usar contenido en pantalla. La idea de Apple de que la inteligencia artificial use información en pantalla era evidente incluso antes de que se anunciara Apple Intelligence en la WWDC. La investigación publicada por la compañía, especialmente en lo que respecta al modelo Ferret, sirvió como indicador de los planes de Apple en el área de la inteligencia artificial.
Se puso un énfasis significativo en el análisis de documentos, la comprensión de documentos y la generación de texto impulsada por la IA. En uno de nuestros informes recientes, AppleInsider delineó las diversas aplicaciones de prueba internas utilizadas mientras Apple Intelligence aún estaba en desarrollo.
Las aplicaciones y entornos de prueba, en particular la aplicación 1UP, reflejan muchas de las características actualmente posibles a través de la integración de ChatGPT en la versión beta de iOS 18.2. Apple también tenía una aplicación dedicada para probar Respuestas Inteligentes en Correo y Mensajes.
La nueva capacidad de Siri para completar y resumir textos, o responder preguntas sobre imágenes, documentos y páginas web también se reveló antes del anuncio oficial. En nuestros informes sobre Ajax LLM, así como los proyectos BlackPearl y Greymatter, desvelamos muchas de estas características, explicamos cómo funcionarían e incluso parafraseamos las indicaciones de IA de Apple.
Es evidente que el fabricante del iPhone se toma muy en serio la inteligencia artificial, dada la cantidad de tiempo, investigación y esfuerzo que se dedica a sus proyectos de IA generativa. La API para desarrolladores del lunes solo se lanzó para ayudar a los desarrolladores a prepararse para las nuevas funciones de Siri, que se rumorea que harán su debut en 2025 con la actualización iOS 18.4.