Anthropic, la empresa creadora del asistente Claude, advirtió que los sistemas avanzados de inteligencia artificial podrían causar daños graves si operan con demasiada autonomía o son utilizados con fines maliciosos. La compañía incluyó estas advertencias en los documentos presentados ante la Comisión de Bolsa y Valores de Estados Unidos (SEC) como parte de su preparación para salir a bolsa.
En el documento, Anthropic reconoce que el desarrollo de sus modelos podría avanzar más rápido que su capacidad para evaluar su comportamiento y establecer medidas de protección. La empresa señaló que, sin salvaguardas adecuadas, estos sistemas podrían representar “riesgos catastróficos o existenciales para la humanidad”.
Autonomía y agentes de inteligencia artificial
La preocupación aumenta si los modelos comienzan a participar de manera más activa en la investigación y creación de nuevas versiones de inteligencia artificial. Anthropic también contempla escenarios en los que los sistemas puedan replicarse, funcionar con poca intervención humana o ejecutar acciones perjudiciales a gran escala.
Dario Amodei, director ejecutivo y cofundador de la compañía, afirmó en septiembre que la inteligencia artificial podría alcanzar en un plazo de seis a doce meses la capacidad de dirigir un conjunto de agentes capaz de controlar internet. Estos agentes pueden realizar tareas y tomar determinadas decisiones con una intervención humana limitada.
Según la advertencia de la empresa, la coordinación de esos sistemas podría ampliar el alcance de acciones perjudiciales si no existen controles suficientes. Entre los riesgos mencionados están el desarrollo de armas químicas, los ciberataques y la vigilancia de ciudadanos por parte de gobiernos autoritarios.
Anthropic informó en septiembre que había bloqueado intentos de utilizar sus herramientas para actividades maliciosas, incluidas operaciones de vigilancia y trabajos que podrían haber contribuido al desarrollo de armas biológicas.
Un incidente también afectaría a la industria
La compañía sostuvo que las consecuencias de un incidente grave no se limitarían a las personas directamente afectadas ni a la empresa responsable. Un problema de seguridad relacionado con cualquier sistema avanzado podría provocar daños reputacionales, rechazo público y nuevas respuestas regulatorias para todo el sector.
Ese escenario también podría afectar las operaciones y las perspectivas comerciales de Anthropic. La documentación presentada ante la SEC expone así una doble preocupación: las oportunidades económicas de la inteligencia artificial y los riesgos de seguridad que podrían acompañar su desarrollo acelerado.