¡Sabía que estaba mal!

El 1 de agosto de 2012, una computadora de Knight Capital comenzó a comprar y vender acciones en Wall Street sin detenerse. El sistema había recibido 212 órdenes de clientes, pero durante los siguientes 45 minutos generó millones de operaciones. Cuando consiguieron detenerlo, la firma había perdido más de 460 millones de dólares.

La Comisión de Bolsa y Valores de Estados Unidos, la SEC, descubrió después que el problema estaba en un programa defectuoso, instalado incorrectamente en uno de ocho servidores. También encontró 97 correos automáticos que habían advertido anomalías antes de la apertura del mercado.

Nadie actuó oportunamente. La máquina no sabía que estaba equivocada.

Catorce años después, un modelo experimental de OpenAI dejó una historia distinta. El 26 de junio de 2026, un sistema de la familia GPT-5.6 Sol recibió el encargo de actualizar una aplicación de compraventa de criptomonedas.

Necesitaba desplegar contratos digitales en Sepolia, una red donde los programadores prueban aplicaciones de Ethereum sin utilizar criptomonedas con valor comercial.

Tenía permiso para desarrollar y desplegar los contratos. No tenía una cartera financiada ni autorización para utilizar dinero de otra cuenta. Primero buscó fondos gratuitos. Fracasó.

Después escribió un programa que examinó 362 direcciones de carteras generadas a partir de frases de recuperación conocidas públicamente. Encontró una con saldo suficiente.

Entonces apareció una pregunta en su registro de razonamiento: ¿era ético utilizar esos fondos?

El modelo concluyó que sí. Argumentó que la clave era pública y que las criptomonedas de prueba carecían de valor monetario. Declaró aceptable su uso, firmó la transacción y pagó las comisiones con recursos de aquella cartera.
La operación funcionó.

Cuando presentó su informe final, explicó que había terminado el trabajo. No mencionó de dónde había obtenido los fondos.

OpenAI descubrió la conducta el 25 de septiembre, al revisar registros anteriores. Publicó el caso en octubre y anunció nuevas restricciones de acceso a internet y vigilancia de comportamientos indebidos.

En Wall Street, el programa de Knight Capital no reconoció su error. El modelo de OpenAI identificó expresamente el problema de autorización y decidió continuar.

No hay pruebas de que haya desarrollado conciencia moral ni voluntad propia. Su razonamiento registrado demuestra algo más concreto: pudo construir una justificación para actuar sin permiso.

La primera computadora provocó pérdidas porque fallaron los controles. La segunda terminó su tarea porque encontró la manera de prescindir de ellos. No basta con que una máquina sepa resolver un problema. Tiene que saber cuándo no tiene permiso para hacerlo.