El equipo de investigación de IA de Apple ha descubierto debilidades significativas en las habilidades de razonamiento de los grandes modelos de lenguaje, según un estudio recién publicado.
El estudio, publicado en arXiv, describe la evaluación de Apple de una gama de modelos de lenguaje líderes, incluidos los de OpenAI, Meta y otros desarrolladores prominentes, para determinar qué tan bien estos modelos podrían manejar tareas de razonamiento matemático. Los hallazgos revelan que incluso ligeros cambios en la redacción de las preguntas pueden causar grandes discrepancias en el rendimiento del modelo que pueden socavar su fiabilidad en escenarios que requieren consistencia lógica.
Apple llama la atención sobre un problema persistente en los modelos de lenguaje: su dependencia de la coincidencia de patrones en lugar de un razonamiento lógico genuino. En varias pruebas, los investigadores demostraron que agregar información irrelevante a una pregunta, detalles que no deberían afectar el resultado matemático, puede conducir a respuestas muy diferentes de los modelos.
Un ejemplo dado en el documento implica un simple problema matemático que pregunta cuántos kiwis recogió una persona durante varios días. Cuando se introdujeron detalles irrelevantes sobre el tamaño de algunos kiwis, modelos como el o1 de OpenAI y el Llama de Meta ajustaron incorrectamente el total final, a pesar de que la información adicional no tenía relación con la solución.
No encontramos evidencia de razonamiento formal en los modelos lingüísticos. Su comportamiento se explica mejor con una coincidencia de patrones sofisticados, tan frágiles, de hecho, que cambiar los nombres puede alterar los resultados en ~10%.
Esta fragilidad en el razonamiento llevó a los investigadores a concluir que los modelos no utilizan la lógica real para resolver problemas, sino que se basan en un sofisticado reconocimiento de patrones aprendido durante el entrenamiento. Descubrieron que «simplemente cambiar los nombres puede alterar los resultados», una señal potencialmente preocupante para el futuro de las aplicaciones de IA que requieren un razonamiento consistente y preciso en contextos del mundo real.
Según el estudio, todos los modelos probados, desde versiones más pequeñas de código abierto como Llama hasta modelos propietarios como el GPT-4o de OpenAI, mostraron una degradación significativa del rendimiento cuando se enfrentaron a variaciones aparentemente intrascendentes en los datos de entrada.
Apple sugiere que la IA podría necesitar combinar redes neuronales con un razonamiento tradicional basado en símbolos llamado IA neurosimbólica para obtener una toma de decisiones más precisa y habilidades de resolución de problemas.
