El cofundador de Apple, Steve Wozniak, Elon Musk, y un grupo de expertos en inteligencia artificial y ejecutivos de la industria están abogando por una pausa de seis meses en la formación de sistemas de inteligencia artificial más potentes que GPT-4, según dicen en una carta abierta, citando riesgos potenciales para la sociedad y la humanidad.
La carta, emitida por la organización sin fines de lucro Future of Life Institute y firmada por más de 1000 personas, entre ellas Musk, el cofundador de Apple, Steve Wozniak, y el CEO de Stability AI, Emad Mostaque, pide una pausa en el desarrollo avanzado de IA hasta que los protocolos de seguridad compartidos para dichos diseños sean desarrollados, implementados y auditados por profesionales independientes.
“Los potentes sistemas de IA deben desarrollarse solo una vez que estemos seguros de que sus efectos serán positivos y sus riesgos serán manejables”, dice la carta.
La carta también detalla los riesgos potenciales para la sociedad y la civilización por parte de los sistemas de IA competitivos en forma de trastornos económicos y políticos, y pide a los desarrolladores que trabajen con los responsables políticos en la gobernanza y las autoridades reguladoras.
Texto de la carta Pause Giant AI Experiments: An Open Letter:
Los sistemas de IA con inteligencia competitiva para el ser humano pueden plantear profundos riesgos para la sociedad y la humanidad, como lo demuestran una amplia investigación[1] y reconocidos por los principales laboratorios de IA.[ 2] Como se afirma en los ampliamente respaldados Principios de IA de Asilomar, la IA avanzada podría representar un cambio profundo en la historia de la vida en la Tierra, y debe planificarse y administrarse con atención y recursos proporcionales. Desafortunadamente, este nivel de planificación y gestión no está sucediendo, a pesar de que en los últimos meses han visto a los laboratorios de IA atrapados en una carrera fuera de control para desarrollar e implementar mentes digitales cada vez más poderosas que nadie, ni siquiera sus creadores, puede entender, predecir o controlar de manera confiable.
Los sistemas contemporáneos de IA ahora se están volviendo equiparables al ser humano en tareas generales,[3] y debemos preguntarnos: ¿Deberíamos dejar que las máquinas inunden nuestros canales de información con propaganda y falsedad? ¿Deberíamos automatizar todos los trabajos, incluidos los satisfactorios? ¿Deberíamos desarrollar mentes no humanas que eventualmente puedan superarnos en número, ser más inteligentes, hacernos obsoletos y reemplazarnos? ¿Deberíamos arriesgarnos a perder el control de nuestra civilización? Tales decisiones no deben delegase a líderes tecnológicos no elegidos. Los potentes sistemas de IA deben desarrollarse solo una vez que estemos seguros de que sus efectos serán positivos y sus riesgos serán manejables. Esta confianza debe estar bien justificada y aumentar con la magnitud de los efectos potenciales de un sistema. La reciente declaración de OpenAI sobre la inteligencia general artificial, afirma que “En algún momento, puede ser importante obtener una revisión independiente antes de comenzar a entrenar sistemas futuros, y para los esfuerzos más avanzados, acordar limitar la tasa de crecimiento de la computación utilizada para crear nuevos modelos”. Estamos de acuerdo. Ese punto es ahora.
Por lo tanto, pedimos a todos los laboratorios de IA que detengan inmediatamente durante al menos 6 meses la formación de sistemas de IA más potentes que GPT-4. Esta pausa debe ser pública y verificable, e incluir a todos los actores clave. Si tal pausa no se puede promulgar rápidamente, los gobiernos deberían intervenir e instituir una moratoria.
Los laboratorios de IA y los expertos independientes deben utilizar esta pausa para desarrollar e implementar conjuntamente un conjunto de protocolos de seguridad compartidos para el diseño y desarrollo avanzado de IA que sean rigurosamente auditados y supervisados por expertos externos independientes. Estos protocolos deben garantizar que los sistemas que se adhieren a ellos sean seguros más allá de toda duda razonable.[ 4] Esto no significa una pausa en el desarrollo de la IA en general, simplemente un paso atrás de la peligrosa carrera hacia modelos de caja negra impredecibles cada vez más grandes con capacidades emergentes.
La investigación y el desarrollo de la IA deben volver a centrarse en hacer que los sistemas potentes y de última generación de hoy en día sean más precisos, seguros, interpretables, transparentes, robustos, alineados, confiables y leales.
Paralelamente, los desarrolladores de IA deben trabajar con los responsables políticos para acelerar drásticamente el desarrollo de sistemas de gobernanza de IA robustos. Estos deberían incluir, como mínimo: nuevas y capaces autoridades reguladoras dedicadas a la IA; supervisión y seguimiento de sistemas de IA altamente capaces y grandes grupos de capacidad computacional; sistemas de procedencia y marca de agua para ayudar a distinguir las filtraciones reales de los sintéticos y para rastrear las filtraciones de modelos; un sólido ecosistema de auditoría y certificación; responsabilidad por los daños causados por la IA; financiación
La humanidad puede disfrutar de un futuro floreciente con la IA. Habiendo tenido éxito en la creación de potentes sistemas de IA, ahora podemos disfrutar de un “verano de IA” en el que cosechamos las recompensas, diseñamos estos sistemas para el claro beneficio de todos y damos a la sociedad la oportunidad de adaptarse. La sociedad ha hecho una pausa en otras tecnologías con efectos potencialmente catastróficos en la sociedad.[ 5] Podemos hacerlo aquí. Disfrutemos de un largo verano de IA, no apresuremos sin estar preparados para un otoño.
Notas y referencias aquí.
Unas puntualizaciones.
-La carta carecía de protocolos de verificación de las firmas. Por ejemplo, aparecía Xi Jinping como uno de los firmantes.
-Se han citado trabajos e informes de científicos que no comparten el contenido de la carta como si la apoyasen.
-Se plantean escenarios apocalipticos cuando un peligro mucho mas obvio es lo sesgado que pueden ser los sistemas respecto a racismo y misoginia, solo como ejemplo.
-También un peligro mucho mas real e inmediato es como la IA puede afectar a decisiones sobre cambio climático o guerras. No hace falta que la IA alcance consciencia para que tenga un impacto negativo.
-Se usan definiciones un tanto vagas. Como se mide la potencia de la IA? Que es exactamente ser “mas potente que GPT4”?
-Se creen que las empresas o gobiernos (como el chino) van a parar? A buenas horas mangas verdes… el tren ya ha salido de la estación y no lo van a parar.
Muy interesante tu aportación, Bladerunner, es cierto que -como suele ser habitual- nos lo hemos tragado tal cual sin hacer preguntas y es todo un poco… populista.