El director ejecutivo y cofundador de Anthropic, que desarrolla el chatbot Claude, Dario Amodei, hizo un llamado este sábado a que las empresas de inteligencia artificial (IA) avancen de manera más lenta y cautelosa en el desarrollo de esta tecnología, y afirmó que la prevención de riesgos es primordial.
“Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido y debemos hacer un uso inteligente del tiempo que ganemos”, escribió Amodei en una entrada de blog.
Su ensayo se produce después de que Anthropic publicara el jueves un informe de inteligencia sobre amenazas en el que se detallaba cómo varios actores habían utilizado sus modelos de IA “Claude” para actividades que iban desde el desarrollo de armas y operaciones cibernéticas hasta la vigilancia y el fraude.
“La IA conlleva riesgos y, dado que es una tecnología tan poderosa, estos riesgos son graves”, indicó. “No construir la tecnología priva a la humanidad de beneficios o simplemente pone la IA en manos de poderes autoritarios, mientras que construirla demasiado rápido es imprudente. Hemos tratado de buscar una vía intermedia”, dijo Amodei, que cofundó Anthropic junto con su hermana Daniela en 2021.
“Pero en los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia”, afirmó.
Amodei aclaró que no estaba pidiendo que se detuviera el entrenamiento de los modelos ni el progreso técnico, sino que se garantizara que las empresas se tomaran el tiempo necesario para ajustar y proteger sus modelos, y que evaluadores independientes confirmaran estas medidas.
Como parte del marco de tres pasos que propone, el empresario afirmó que Anthropic incorporaría evaluadores externos permanentes en el seno de las empresas punteras de IA, con acceso a las herramientas pertinentes y a los procesos internos de evaluación de riesgos.
Varios incidentes en los que agentes de IA de desarrolladores como OpenAI —rival de Anthropic— vulneraron o intentaron acceder a sistemas externos agravaron la preocupación por la creciente capacidad de los modelos de IA y la capacidad de los desarrolladores para controlarlos.
El creador de Claude dijo que las empresas de IA deberían colaborar de forma voluntaria para establecer normas, ya que un número cada vez mayor de legisladores estadounidenses está pidiendo nuevas normas que regulen los sistemas de IA.
La de Amodei se une a otras advertencias desde que debutó ChatGPT en noviembre de 2022, incluyendo del propio CEO de OpenAI, Sam Altman, preocupado por una posible extinción de la humanidad provocada por la IA; o de Geoffrey Hinton, premio Nobel de Física, considerado el “padre de la IA”, que alertó sobre el riesgo inminente de desplazamiento masivo de empleos por parte de la IA. También Elon Musk, cofundador de OpenAI, pidió en su momento frenar el desarrollo de la IA por seis meses para evaluar su impacto (aunque luego lanzó su propia compañía, xAI).
Además, el texto de Amodei surge luego de que un joven investigador de Anthropic, Jacob Coxon, renunciara a la empresa e indicara que la carrera para mejorar estos sistemas conlleva peligros que sus propios creadores admiten en privado. “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”, escribió Coxon esta semana.
Las recientes advertencias siguen los pasos de una carta publicada a fin de marzo último, donde más de mil personalidades del mundo académico y corporativo relacionado con la inteligencia artificial pidieron hacer una pausa de medio año en el desarrollo de los diferentes sistemas de inteligencia artificial generativa. En esa carta, la figura más visible es la de Musk, un eterno público opositor de estas herramientas (lo que no evita que esté desarrollando una similar).
En el caso de esa carta, sorprendió la presencia de Altman, el principal beneficiado por la reciente popularidad de este tipo de herramientas de generación de contenido asistido por computadora.
Altman tuvo, en las últimas semanas, una posición ambivalente: frente al Senado de Estados Unidos pidió regulaciones para el desarrollo de la inteligencia artificial pero también amenazó con irse del mercado europeo si las reglas eran demasiado estrictas.
