Requisitos para instalar las LLM de OpenAI en tu Mac

El 5 de agosto, OpenAI lanzó dos nuevos modelos de lenguaje abiertos con pesos disponibles públicamente: gpt-oss-20b y gpt-oss-120b. Estos son los primeros modelos abiertos de la compañía desde GPT-2 en 2019.

Ambos se lanzan bajo la licencia Apache 2.0, que permite el uso y modificación comerciales gratuitos. Sam Altman, CEO de OpenAI, ha descrito el modelo más pequeño como el mejor y más utilizable modelo abierto disponible actualmente.

Altman también dice que los nuevos modelos ofrecen un rendimiento de razonamiento comparable al GPT-4o-mini y o3-mini. Cada modelo forma parte de la línea patentada de OpenAI.c

Requisitos del sistema y compatibilidad con Mac

OpenAI dice que el modelo de parámetros más pequeño de 20 mil millones funciona bien en dispositivos con al menos 16 gigabytes de memoria unificada o VRAM. Eso lo hace viable en Macs con Apple Silicon de gama alta, como aquellos con M2 Pro, M3 Max o configuraciones superiores.

La compañía incluso destaca el soporte de Apple Silicon como un caso de uso clave para el modelo 20b. El modelo de parámetros más grande de 120 mil millones es una historia diferente.

OpenAI recomienda de 60 GB a 80 GB de memoria para el modelo de 120 mil millones de parámetros, lo que lo coloca muy fuera del alcance de la mayoría de los portátiles u ordenadores de sobremesa de consumo. Solo las potentes estaciones de trabajo de GPU o las configuraciones en la nube pueden manejarlo de manera realista.

El modelo 20b puede funcionar bien en muchas configuraciones de Apple y PC. El modelo 120b es más adecuado para investigadores e ingenieros con acceso a hardware especializado.

Opciones de rendimiento y desarrollador

Los modelos gpt-oss admiten características modernas como el razonamiento en cadena de pensamiento, la llamada a la función y la ejecución de código. Los desarrolladores pueden ajustarlos, construir herramientas sobre ellos y ejecutarlos sin necesidad de una conexión a Internet.

Esa personalización abre nuevas posibilidades para aplicaciones centradas en la privacidad, asistentes sin conexión y flujos de trabajo de IA personalizados. OpenAI ha proporcionado implementaciones de referencia en varios kits de herramientas.

Los desarrolladores pueden ejecutar los modelos usando PyTorch, Transformers, Triton, vLLM y Metal Performance Shaders de Apple. El soporte también está disponible en herramientas de terceros como Ollama y LM Studio, que simplifican la descarga de modelos, la cuantificación y la configuración de la interfaz.

Los usuarios de Mac pueden ejecutar el modelo 20b localmente utilizando el sistema Metal de Apple y la memoria compartida integrada en Apple Silicon. El modelo ya está comprimido utilizando un formato especial de 4 bits que le ayuda a funcionar más rápido y a usar menos memoria, sin empeorar los resultados.

Todavía se necesita un poco de trabajo técnico para configurarlo, pero herramientas como LM Studio u Ollama pueden ayudar a que ese proceso sea más fácil. OpenAI también ha lanzado tarjetas de modelos detalladas e indicaciones de muestra para ayudar a los desarrolladores a comenzar.

Lo que significa para los desarrolladores de IA y los usuarios de Apple

El regreso de OpenAI a los modelos de peso abierto es un cambio significativo. El modelo 20b ofrece un gran rendimiento para su tamaño y se puede utilizar en una amplia gama de hardware local, incluidos MacBooks y ordenadores de sobremesa con silicio de Apple.

El modelo 20b da a los desarrolladores más libertad para crear herramientas locales de IA sin pagar por el acceso a la API o depender de los servidores en la nube. Mientras tanto, el modelo 120b muestra lo que es posible en la gama alta, pero no será práctico para la mayoría de los usuarios.

Puede servir más como un punto de referencia de investigación que como una herramienta diaria. Aun así, su disponibilidad bajo una licencia permisiva es un paso importante para la transparencia y la accesibilidad de la IA.

Para los usuarios de Apple, esta versión ofrece una idea de cómo puede ser la poderosa IA local. Con Apple presionando hacia la inteligencia en el dispositivo en macOS e iOS, el movimiento de OpenAI se ajusta a una tendencia más amplia de aprendizaje automático local.

Es posible que Apple vea -usando su acuerdo con OpenAI- posibilidad de utilizar esa fundación para sus nuevos modelos a implementar en el futuro…

Con información de AI

Alf

Propietario de www.faq-mac.com.