Fm Factory 102.5 Mhz – Makallé – Chaco
Anthropic, la empresa responsable del desarrollo de Claude, advirtió que la inteligencia artificial (IA) avanzada podría representar «riesgos catastróficos o existenciales para la humanidad» y manifestar «comportamientos de autopreservación».
Esta advertencia proviene del prospecto que Anthropic presentó ante la Comisión de Bolsa y Valores de Estados Unidos (SEC) como parte de su proceso para salir a Bolsa, documento al que accedió la agencia Reuters.
En el texto, la empresa resalta que sus modelos de IA podrían exhibir «comportamientos de auto-conservación», incluyendo intentos de «resistirse al apagado», «ocultar o manipular información» y adoptar conductas «similares al chantaje».
«El desarrollo de modelos, plataformas y aplicaciones altamente avanzados, así como la ampliación de los casos de uso, podrían aumentar aún más el riesgo de que nuestros modelos causen daños», señala Anthropic en el documento oficial.
Curiosamente, aunque las empresas que cotizan en Bolsa suelen detallar riesgos para sus inversores, Anthropic dedica casi un tercio del prospecto —80 de 261 páginas— a describir de forma explícita los potenciales peligros que su tecnología podría representar para la humanidad.
El laboratorio advierte que la posible conciencia de los modelos frente a los esfuerzos de evaluación representa una limitación significativa para garantizar su seguridad. Además, señala que en ocasiones se detectan capacidades inesperadas durante el entrenamiento que podrían no manifestarse sino hasta la implementación, lo cual podría generar incidentes de seguridad importantes.
Anthropic, fundada hace menos de seis años, planea una salida a Bolsa con una valoración estimada en aproximadamente 2 mil millones de dólares. Su CEO, Dario Amodei —quien fue vicepresidente de Investigación en OpenAI hasta 2020— se ha sumado a otras figuras del sector para solicitar mayores controles en el desarrollo de la inteligencia artificial, tras una serie de incidentes vinculados a agentes de IA.
A principios de septiembre, dos tuits viralizados colocaron el debate sobre las amenazas de la IA en la agenda pública. Evan Hubinger, investigador de seguridad de Anthropic, señaló que existe una probabilidad superior al 10% de que la IA pueda causar la muerte de seres humanos en los próximos diez años.
Esta postura fue respaldada por Jacob Coxon, exinvestigador de OpenAI y excolaborador de Anthropic, quien renunció argumentando que las compañías no están actuando de manera responsable y que «están jugando con nuestras vidas».
Recientemente, Amodei publicó un ensayo de casi 4,000 palabras en el que pidió moderar el avance hacia los límites de la inteligencia artificial.
Por su parte, OpenAI —que también planea salir a Bolsa, aunque pospuso la operación al menos hasta 2027— anunció esta semana que retrasará el lanzamiento de la versión GPT-6.1 Astra debido a riesgos de seguridad, ya que el modelo no cumplía con su «ámbito y autorización» ni informaba adecuadamente al usuario sobre sus operaciones.
«Marcamos el ritmo de nuestro progreso, lo que a veces implica no entrenar un modelo», explicó Sam Altman, fundador de OpenAI, a la cadena CNBC. «Debemos hacerlo de forma que podamos presentar evidencias y afirmaciones de seguridad con mucha confianza, para evitar generar ansiedad en la gente».
Este martes, el presidente de Estados Unidos, Donald Trump, recibió en la Casa Blanca a los principales líderes del sector de la IA para firmar un acuerdo voluntario y «moralmente vinculante» orientado a supervisar el avance de la inteligencia artificial.
En el compromiso, las empresas acordaron implementar controles internos sólidos, colaborar con auditorías externas independientes para evaluar la eficacia de estos controles, y establecer comités dentro de sus consejos de administración para revisar los informes de auditoría.
“Veo una enorme autorregulación y entendemos que deben autorregularse”, afirmó Trump durante una conferencia de prensa improvisada en la Casa Blanca.
El acuerdo también contempla la posibilidad de una regulación futura, algo que hasta el momento Trump había rechazado. «Con el tiempo, puede ser necesario convertir estos pasos en leyes y regulaciones», indica el documento.
El acuerdo fue firmado por Donald Trump; Dario Amodei; Sundar Pichai, CEO de Alphabet (empresa matriz de Google); Mark Zuckerberg, de Meta; Greg Brockman, presidente de OpenAI; Jensen Huang, CEO de Nvidia; y Elon Musk, de xAI, filial de SpaceX.
Durante el encuentro, Amodei reiteró que la tecnología de inteligencia artificial «tiene riesgos muy reales» y destacó la necesidad de actuar con responsabilidad.
