Apple anunció nuevos modelos de lenguaje de IA en la WWDC. Estos modelos se ejecutan tanto localmente en dispositivos Apple como en los propios servidores de IA de Apple.
La inteligencia artificial (IA) se basa en modelos de lenguaje que proporcionan información de conocimiento para entrenar a la IA para producir resultados para las peticiones (prompts).
Utilizando modelos de lenguaje, las computadoras pueden ser entrenadas en temas específicos para actuar como expertos con dominio en ciertos temas.
El alineamiento de la IA se refiere al proceso de diseño e implementación de sistemas de IA para que se ajusten a los objetivos humanos, los valores y los resultados deseados. En otras palabras, la alineación tiene la intención de mantener a la IA centrada en la tarea y no volverse peligrosa al apartarse de su propósito original.
En la WWDC 2024, Apple anunció Apple Intelligence, la IA propia de Apple que proporcionará IA tanto en el dispositivo como en el servidor. Mediante el uso de nuevos modelos en Apple Intelligence, la IA de Apple será más concreta, más rápida y más precisa.
Modelos básicos de lenguaje
Apple llama a sus modelos de IA generativa modelos de lenguaje básicos. Estos modelos son modelos grandes de lenguaje (LLM), que utilizan hasta 3 mil millones de parámetros, y están diseñados para la IA generativa básica que la mayoría de los usuarios querrán usar.
Apple llama a estos dos modelos AFM-on-device y AFM-on-server, respectivamente.
Apple también tiene otros modelos de uso general integrados en Apple Intelligence. Estos modelos pueden ejecutarse tanto en el dispositivo como en los servidores de Apple.
Apple proporciona un libro blanco bastante detallado de cuarenta y siete páginas sobre cómo funcionan sus modelos de lenguaje básico. Desde un punto de vista técnico, los modelos básicos de Apple utilizan una línea de base de técnicas de IA, que incluyen:
- Arquitectura Transformer
- Matriz de incrustación de IO
- Pre-normalización
- Normalización de la clave de consulta
- Atención a la consulta agrupada
- Activación de SwiGLU
- Incorporaciones posicionales RoPE
- Afinación
- Ajustes y aportaciones humanas
Apple Intelligence también utiliza un rastreador web automatizado llamado AppleBot. Los sitios pueden informar a AppleBot de que no use su contenido optando por no participar en sus archivos robots.txt.
Para la IA de código, Apple Intelligence también aprende del software de código abierto alojado en GitHub, del que aprende y condensa, eliminando los casos duplicados automáticamente.
El libro blanco de Apple describe cómo funcionan los modelos y los métodos de entrenamiento utilizados en detalle, incluyendo matemáticas avanzadas.
Computación en la nube privada
Private Cloud Compute (PCC) de Apple es un servicio de IA remota que utiliza todos los modelos anteriores, además de tener acceso a modelos adicionales para una inteligencia ampliada.
Según esta publicación de blog que describe a PCC, Apple tiene varios objetivos con PCC, que incluyen velocidad, precisión, privacidad y fiabilidad del sitio.
PCC también utiliza el mismo Enclave seguro y Arranque Seguro que los dispositivos de consumo de Apple para garantizar que el sistema operativo y los datos no puedan ser manipulados.
Al igual que muchas otras ofertas de IA de empresas de tecnología, PCC proporciona ejecución remota de mensajes de IA, pero con un rendimiento más rápido.
La página de investigación de aprendizaje automático de Apple en sus modelos también tiene una discusión sobre cómo Apple aborda la IA responsable.
Apple resume sus modelos básicos con:
“Nuestros modelos se han creado con el propósito de ayudar a los usuarios a realizar actividades cotidianas en sus productos Apple, y se han desarrollado de manera responsable en cada etapa y guiados por los valores fundamentales de Apple. Esperamos compartir pronto más información sobre nuestros modelos generativos, incluidos los modelos de lenguaje, difusión y codificación”.
