Anthropic, la empresa que desarrolla el asistente virtual Claude, remitió una carta a Gavin Newsom a mediados de octubre solicitando que los juzgados de California tengan la autoridad para ordenar la suspensión de modelos de IA que impliquen un peligro catastrófico.
Propuesta de control judicial
La iniciativa se basa en la orden ejecutiva que el gobernador aprobó el mes anterior, la cual contempla la creación de un "kill switch" o mecanismo de apagado de emergencia y la incorporación de monitores de seguridad externos. Anthropic plantea que evaluadores independientes informen al fiscal general del estado; si este determina "un riesgo inminente de daño catastrófico", podría pedir a un tribunal que detenga el uso, la implementación interna o el desarrollo futuro del modelo.
"un riesgo inminente de daño catastrófico", indicó Anthropic.
Auditorías y financiamiento
La carta propone que los auditores tengan acceso comparable al de los auditores externos de los bancos, con restricciones para datos sensibles. En vez de que las empresas paguen directamente a los evaluadores, los fondos provendrían de una cuenta administrada por el Estado, que calificaría a los auditores según rigor y historial de detección de riesgos. Las compañías tendrían que emplear al menos un auditor con alta puntuación, asignado por sorteo o rotación.
Comparación con OpenAI
Una semana antes, OpenAI envió una carta similar a Newsom. También apoya los mecanismos de apagado y la auditoría independiente, pero no llegó a solicitar que el gobierno pueda bloquear un modelo considerado de alto riesgo.
Contexto legislativo y otras controversias
La propuesta de Anthropic se produce mientras el Congreso de California se reunirá de nuevo en aproximadamente un mes, con la expectativa de impulsar nuevas normas de IA. En el ámbito federal, la empresa presentó un borrador de ley que permitiría bloquear un modelo solo si existiera la posibilidad de matar o herir gravemente a 50 personas o causar daños superiores a USD 1.000 millones.
Paralelamente, escritores de Stanford, Tobias Wolff y Chang-rae Lee, demandan a Anthropic por presunto uso no autorizado de sus obras para entrenar a Claude, rechazando una oferta de USD 1.500 millones y solicitando indemnizaciones de hasta USD 150.000 por obra.
