Los investigadores de Apple han lanzado un nuevo modelo de IA de código abierto que es capaz de editar imágenes basadas en las instrucciones en lenguaje natural de un usuario (a través de VentureBeat).
Llamado “MGIE”, que significa edición de imágenes guiada por MLLM, utiliza modelos multimodales de lenguaje grande (MLLM) para interpretar las solicitudes de los usuarios y realizar manipulaciones a nivel de píxeles.
El modelo es capaz de editar varios aspectos de las imágenes. Las mejoras fotográficas globales pueden incluir brillo, contraste o nitidez, o la aplicación de efectos artísticos como el boceto. La edición local puede modificar la forma, el tamaño, el color o la textura de regiones u objetos específicos de una imagen, mientras que las modificaciones de estilo de Photoshop pueden incluir recortar, cambiar el tamaño, rotar y agregar filtros, o incluso cambiar los fondos y mezclar imágenes.
Una entrada de usuario para una foto de una pizza podría ser para “hacer que se vea más saludable”. Usando el razonamiento de sentido común, el modelo puede añadir ingredientes vegetales, como tomates y hierbas. Una solicitud de entrada de optimización global podría tomar la forma de “añadir contraste para simular más luz”, mientras que se podría hacer una modificación al estilo de Photoshop pidiendo al modelo que elimine a las personas del fondo de una foto, cambiando el enfoque de la imagen a la expresión facial del sujeto.
Apple colaboró con investigadores de la Universidad de California para crear MGIE, que se presentó en un documento en la Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) 2024. El modelo está disponible en GitHub e incluye el código, los datos y los modelos preentrenados.
Este es el segundo avance de Apple en la investigación de la IA en tantos meses. A finales de diciembre, Apple reveló que había hecho avances en la implementación de modelos de lenguaje grande (LLM) en iPhones y otros dispositivos Apple con memoria limitada al inventar una innovadora técnica de utilización de la memoria flash.
Durante los últimos meses, Apple ha estado probando a un rival “Apple GPT” que podría competir con ChatGPT. Según Mark Gurman de Bloomberg, el trabajo en la IA es una prioridad para Apple, con la compañía diseñando un marco “Ajax” para grandes modelos de lenguaje.
