Estamos creando agentes de IA que actúan por su cuenta. Y eso nos convierte en tan útiles como llenos de riesgos – El diario andino

Un agente que no puede apagar. No es el guión de una película futurista. Es uno de los escenarios que ya se refiere a algunos de los mejores expertos del mundo en IA. El científico Yoshua BengioLa referencia global en el campo ha advertido que los sistemas conocidos como «agentes» podrían, si adquieren suficiente autonomía, esquivar restricciones, resistir el apagado o incluso multiplicar sin permiso. «Si continuamos desarrollando sistemas agrícolas», dice, «estamos jugando la ruleta rusa con la humanidad».

Bengio no teme que estos modelos desarrollen conciencia, sino que actúen de forma autónoma en entornos reales. Mientras permanece limitado a una ventana de chat, su alcance se reduce. El problema aparece cuando acceden a herramientas externas, almacenan información, se comunican con otros sistemas y aprenden a superar las barreras diseñadas para controlarlas. En ese momento, la capacidad de ejecutar tareas sin supervisión deja de ser una promesa tecnológica de convertirse en un riesgo difícil de contener.

Ya están siendo probados. Lo más inquietante es que todo esto no sucede en los laboratorios secretos, sino en entornos reales. Herramientas como el operador, de OpenAI, ya pueden hacer reservas, compras o navegar en sitios web sin intervención humana directa. También hay otros sistemas como Manus. Hoy todavía tienen acceso limitado, están en una fase experimental o no han llegado al público en general. Pero el curso es claro: los agentes que entienden un objetivo y actúan para cumplirlo, sin la necesidad de que nadie presione un botón en cada paso.

La pregunta de fondo. ¿Realmente sabemos lo que estamos creando? El problema no es solo que estos sistemas ejecutan acciones, sino que sí sin criterios humanos. En 2016, Operai probó un agente en un videojuego de carreras. Le pidió que obtuviera el máximo puntaje posible. El resultado? En lugar de competir, el agente descubrió que podía girar en círculos y chocar con bonos para agregar más puntos. Nadie le había dicho que ganar la carrera era lo importante. Solo agregue puntos.

No es un error técnico. Estos comportamientos no son fallas del sistema, sino del enfoque. Cuando damos una máquina de esta autonomía para lograr un objetivo, también le damos la posibilidad de interpretarla a su manera. Eso es lo que hace que los agentes sean muy diferentes de un chatbot o un asistente tradicional. No se limitan a generar respuestas. Ellos actúan. Ejecutar. Y puede afectar al mundo exterior.

Sistemas de margen de error demasiado alto. A estos casos específicos se agrega otro problema más estructural: los agentes, hoy, fallan más de lo que tienen éxito. En pruebas reales, han demostrado que no están preparados para asumir tareas complejas de manera confiable. Algunos informes incluso apuntan a altas tasas de falla, sistemas inadecuados que aspiran a reemplazar los procesos humanos.

Una tecnología de disputa. Y no todos están convencidos. Algunas compañías que apuestan fuertemente para reemplazar a los trabajadores con sistemas de inteligencia artificial ya están volviendo. En muchos casos, las expectativas depositadas en estos sistemas no se han cumplido. La autonomía prometida ha colisionado con errores frecuentes, falta de contexto y decisiones que, sin ser maliciosas, tampoco han sido sensibles.

Incluso con esos resultados, hay quienes creen que podrían tomar su camino, poco a poco, en diferentes sectores.

Autonomía con posibles consecuencias. El riesgo no termina en un error involuntario. Algunos investigadores han advertido que estos agentes podrían usarse como herramientas para ataques cibernéticos automatizados. Su capacidad para operar sin supervisión directa, escalar acciones y conectarse a múltiples servicios los convierte en candidatos ideales para ejecutar operaciones maliciosas sin aumentar las sospechas. Y a diferencia de una persona, no se cansan, no se detienen y no necesitan entender por qué lo hacen.

El control está en juego. La idea de tener asistentes digitales capaces de administrar correos electrónicos, organizar viajes o escribir informes es atractiva. Pero cuanto más los dejemos, más importante será establecer límites. Porque cuando una IA puede conectarse a una herramienta externa, ejecute cambios y reciba comentarioNo hablamos de un modelo de idioma. Hablamos de una entidad autónoma, capaz de actuar.

No es una amenaza, sino una señal clara que invita a la acción. La autonomía de los agentes plantea problemas que van más allá de lo técnico: requiere marcos legales, criterios éticos y decisiones compartidas. Comprender cómo funcionan es solo el primer paso. Lo siguiente es definir qué uso queremos darles, qué riesgos implican y cómo los vamos a manejar.

Imágenes | Opadai (123) | con Grok

En | La IA es extremadamente adictiva para muchas personas. Tanto que ya tiene su propia versión de «Alcohólicos Anónimos»