En una publicación de blog de esta semana, el ingeniero de software Andrew Rossignol detalla cómo logró ejecutar IA generativa en un viejo PowerBook G4.
Si bien los requisitos de hardware para los modelos de lenguaje grande (LLM) suelen ser altos, este modelo particular de PowerBook G4 de 2005 está equipado con un procesador PowerPC G4 de 1,5 GHz y 1 GB de RAM. A pesar de usar este hardware con 20 años de vida, consiguió la inferencia con el modelo LLM de Meta Llama 2 en el portátil.
El experimento implicó portar el proyecto de código abierto llama2.c y luego acelerar el rendimiento con una extensión vectorial PowerPC llamada AltiVec.
La publicación completa en el blog ofrece más detalles técnicos sobre el proyecto.
Ejemplos similares de modelos de IA generativa que se ejecutan en PlayStation 3, Xbox 360 y otros dispositivos antiguos han aparecido en las noticias de vez en cuando.
Deja una respuesta
Lo siento, debes estar conectado para publicar un comentario.