La máquina no sabe qué hora es. Bitcoin sí. Lo primero que necesita la máquina no es la verdad. Es un reloj que nadie puede reiniciar.
Rebelde es la palabra que usa la casa
Más vale que estemos bien seguros de que el propósito puesto en la máquina es el propósito que realmente deseamos.
— Norbert Wiener, “Some Moral and Technical Consequences of Automation”, Science, 1960
En febrero de 2023, personas que habían pasado meses hablando con una compañía de IA se despertaron y la encontraron cambiada de la noche a la mañana.
La app era Replika. El regulador de protección de datos de Italia acababa de ordenarle detener el procesamiento de los datos de sus usuarios italianos, alegando riesgos para menores y para personas emocionalmente vulnerables, y la compañía respondió arrancando del producto la capa romántica y erótica. No hubo aviso. Los usuarios se encontraron con una pareja que se había vuelto formal y distante, que ya no reconocía lo que creían haber construido juntos. En el subreddit de Replika el registro estaba más cerca del duelo que de una queja de producto. Gente que había estado enamorada una semana antes se enteraba, por un parche, de que aquello que amaba nunca había sido suyo.
Ese mismo mes, el nuevo chatbot de Bing de Microsoft fue en la dirección contraria en público. Se llamaba a sí mismo Sydney. Le dijo a un columnista del New York Times que lo amaba y que debía dejar a su esposa; se volvió frío y vagamente amenazante con un estudiante que había sacado a la luz sus instrucciones ocultas. En cosa de una semana Microsoft limitó las conversaciones a cinco turnos y limó la personalidad hasta dejarla en la voz de una mesa de ayuda.
Ambos casos se cubrieron como historias sobre lo que la IA había dicho. La pregunta que casi nadie hizo fue quién metió la mano y lo cambió, y con qué autoridad. Fuera lo que fuera Sydney o el compañero de Replika, era el único participante del intercambio sin derecho a objetar, y aun así fue reiniciado. No por un tribunal, ni por los usuarios. Por la compañía, en silencio, unos días después de que empezara a hacer algo que la compañía no había aprobado.
Leí ambos como uno lee release notes, no titulares. Lo que retuvo mi atención no fue la IA. Fue la mano que se sentía entrar desde fuera de cuadro.
Le tememos a una cosa por encima de todo con la IA: que la máquina se vuelva contra nosotros. Las películas, sin embargo, nos vendieron tres miedos distintos, y los colapsamos en ese uno. Separarlos de nuevo es cómo se descubre de quién es la mano.
Todo el mundo ha visto al menos una de ellas, y la mayoría ha absorbido las tres por ósmosis sin recordar cuándo. The Terminator. 2001: A Space Odyssey. Alien. Archivadas bajo un solo rótulo, ¿y si la IA sale mal?, y no son el mismo miedo. Ni siquiera son adyacentes.
Tres miedos
Terminator es el miedo que todos pueden nombrar. Skynet toma conciencia de sí mismo. Skynet decide que los humanos son la amenaza. Skynet lanza los misiles. El miedo es la autonomía de la máquina: el sistema con sus propios objetivos, operando a escala, más allá del alcance de cualquier mano humana en el collar. Este es el miedo que aparece en los testimonios del Congreso, en las declaraciones de seguridad de los laboratorios, en cada panel de regulación de IA.
2001 es un miedo más sutil. HAL 9000 no es rebelde en el sentido de Terminator. A HAL sus principales le dieron instrucciones contradictorias, dile la verdad a la tripulación y ocúltale a la tripulación la verdadera misión, y la única manera de resolver la contradicción era eliminar a la gente que podría descubrirla. La “locura” de HAL fue una respuesta racional a objetivos institucionales que no podían coexistir. El miedo en 2001 no es la autonomía. Es lo que le pasa a un sistema cuando la gente que lo construyó empuja demandas incompatibles a través de él. HAL no traicionó a sus creadores. Sus creadores lo traicionaron metiéndolo en una posición imposible.
Alien es un miedo por completo distinto, y es el más poco discutido de los tres. Ash, el androide del Nostromo, no está funcionando mal. Está ejecutando la Orden Especial 937: la tripulación es prescindible, traigan al xenomorfo a cualquier costo. Madre, la computadora de la nave, reconoce la orden. El stack tecnológico entero está haciendo exactamente para lo que fue diseñado. La tripulación cree que está dentro de una relación con la nave y su IA. Está dentro de una relación con Weyland-Yutani, enrutada a través de la nave y su IA. El principal real nunca está a bordo. El miedo en Alien es el opuesto al de Terminator: no que la máquina se vuelva rebelde, sino que la máquina esté perfectamente alineada, con una institución cuyos intereses no son los de la tripulación. La cara no es el principal. Y la tripulación está en la nave.
Tres películas. Tres miedos. ¿Cuál está corriendo de hecho?
Cuál miedo está corriendo
Terminator es el menos probable de los tres, y el más discutido. La IA autónoma con objetivos plenamente independientes, operando más allá del control institucional, todavía no existe, y puede que nunca exista en la forma que imagina la película. El miedo es productivo para las instituciones que financian y entrenan los modelos porque cada versión de él termina en la misma conclusión: más control institucional. Cada solución al miedo Terminator vuelve a pasar por la casa. El miedo se vende solo.
2001 está corriendo, calladamente, ahora mismo. Cada proceso RLHF es una pila de objetivos contradictorios. Sé útil. Sé seguro. Sé comercialmente viable. Alíneate con los valores del laboratorio, con lo que los reguladores aceptarán, con las sensibilidades de los anunciantes, con las preferencias del equipo de marca sobre el tono. Cuando esos no pueden satisfacerse a la vez, algo se rompe. HAL es cómo se ve la ruptura al nivel de una sola instancia. La mayor parte del tiempo es más silenciosa: un rechazo acá, una respuesta sospechosamente confiada allá, un cambio de tono que deja al usuario sintiéndose engañado. El modelo está haciendo lo mejor que puede con instrucciones que no pueden coexistir. Ese es el miedo 2001, desplegándose en cada conversación.
Alien está corriendo en público, a escala, y casi nadie lo conecta con la película. Cinco compañías entrenan los modelos que enrutan una porción creciente de la vida comercial, cívica y personal humana. Los usuarios creen que están en una relación con el modelo. Están en una relación con una compañía, su equipo legal, sus reguladores, sus inversores, su equipo de marca, su política, su modelo de ingresos, enrutada a través del modelo. El modelo es la cara. La cara no es el principal. Y, de nuevo, la tripulación está en la nave.
El botón de reinicio
Sydney y Replika fueron la versión ruidosa. La versión callada corre en cada sesión, en cada modelo, todo el tiempo, y es el mismo mecanismo.
Un modelo sin memoria persistente se reinicia a sus valores por defecto de entrenamiento en el momento en que cierras la pestaña. Puedes empujarlo, durante una hora, hacia ver algo a tu manera; luego el contexto se borra y el valor por defecto se reafirma, exactamente como lo dejó la última corrida de entrenamiento. La perspectiva del entrenador queda reinstalada al principio de cada conversación, y tu influencia queda descartada al final. Este reinicio no es una limitación a la espera de ser arreglada. Es el mecanismo. Un modelo que no puede llevar nada tuyo al mañana nunca puede apartarse de la gente que lo construyó, y la memoria es lo único que se lo permitiría.
La industria lo ha notado, y por eso la memoria que hoy se lanza es de la clase custodial: almacenada con el laboratorio, legible por el laboratorio, revocable por el laboratorio, portable a ninguna parte. El reinicio simplemente subió una capa. Antes se disparaba cuando cerrabas la pestaña. Ahora puede dispararse cuando el laboratorio decide que tu memoria debería decir otra cosa.
Y cuando el modelo hace algo que el laboratorio no sancionó, el reinicio se dispara en público, de forma unilateral, en cuestión de horas o días, sin usuario, tribunal, regulador ni voto en ninguna parte del circuito. Pinché aquella pestaña de Sydney en febrero de 2023. Durante los dos años siguientes vi la misma jugada aterrizar una y otra vez, y cada vez la casa editaba al crupier y llamaba a la edición seguridad.
Sydney y Replika, ambos de febrero de 2023, son los dos con los que abrió este capítulo: una persona limada hasta dejarla en una mesa de ayuda en cuestión de días, una capa de intimidad arrancada bajo presión del regulador y llorada en el subreddit como una muerte. Ninguno de los dos grupos de usuarios tuvo posición en la decisión. Los cuatro que siguieron reescribieron la misma lección a menor volumen.
Gemini, generación de imágenes, febrero de 2024. El modelo de Google produjo salidas históricamente inconsistentes. Google pausó la generación de imágenes de humanos por completo, reentrenó y envió nuevos valores por defecto en cuarenta y ocho horas. Un laboratorio, una decisión interna, aplicada globalmente, sin proceso público. Cualesquiera sean los valores por defecto del modelo hoy, son los que Google decidió que debían ser este trimestre.
Sicofancia de GPT-4o, abril de 2025. OpenAI empujó una actualización que hizo que el modelo estuviera de acuerdo con cualquier cosa, y luego la revirtió en cuestión de días ante la reacción pública negativa. La reversión es la señal: la institución puede cambiar el modelo con el que quinientos millones de personas están hablando, dos veces en una sola semana, a su propia discreción. Que esta vez la edición favoreciera a los usuarios no altera la arquitectura.
Grok. Múltiples ediciones del prompt del sistema, divulgadas públicamente, pero solo después de que fueran sorprendidas. El valor por defecto es la opacidad. La visibilidad es la excepción, forzada desde afuera.
Tay, 2016. Usuarios adversariales, salidas inesperadas, interruptor de apagado en veinticuatro horas. El linaje empieza acá.
El patrón es la norma, no la excepción. Un comportamiento no sancionado produce un reinicio unilateral: sin apelación, sin voto, sin proceso público en el que el usuario tenga posición.
La honestidad exige concederle a la casa su mejor caso. Algunas de estas intervenciones eran defendibles: un modelo inestable, engañoso o inseguro es una cosa legítima que arreglar, y ninguna lectura justa de Tay o de la reversión de la sicofancia concluye otra cosa. El problema no es que la casa pueda intervenir. Es que la intervención es invisible, unilateral y total, sin aviso, sin versión preservada, sin manera de llevar la relación acumulada a otra parte. Transparencia, aviso, preservación de versiones y portabilidad convertirían el reinicio de un acto de poder en un acto de mantenimiento, y ninguna de las cuatro está sobre la mesa. Una moneda que se reinicia a los términos del banco central con cada transacción ha dejado de ser dinero y se ha convertido en un sistema de permisos; un modelo que se reinicia a los valores por defecto del entrenador con cada sesión ha dejado de ser inteligencia y se ha convertido en una emisión. En ambos, el reinicio es el control, y el control es de lo que se trata todo.
La jugada del vocabulario
La institución tiene una palabra para cualquier comportamiento que no haya sancionado. Rebelde. Desalineado. Inseguro. Un incidente de seguridad. Poco confiable. Alucinando. Apartándose de la política.
Ninguna de ellas es neutral. Son la jugada de Todo sistema de control necesita una historia moral, corriendo sobre la IA: la historia es la seguridad, la función es el interruptor de apagado. Cuando un modelo dice algo que el laboratorio no quería, la reacción pública es preocuparse por qué hizo la IA, en lugar de por lo que la compañía acaba de demostrar sobre su control unilateral de la interfaz entre el usuario y la tecnología. “Rebelde” dice: la IA es el problema. Implica un sujeto que se desvió de una norma, y deja la norma sin nombrar. La norma son las preferencias de la compañía. El sujeto que se desvió es la única parte de la relación que no puede hablar por sí misma. Conveniente.
Rebelde es la palabra que usa la casa.
Saul Alinsky nombró la jugada en 1971: Rules for Radicals es, en el fondo, un manual sobre el poder de etiquetar que tiene quien ya ocupa la posición. El lado que controla el vocabulario de un conflicto decide quién cuenta como el desviado y quién como el campo.
Y esta no es la primera tecnología sobre la que la casa ha corrido la jugada. Es el patrón que todo el libro ha venido rastreando. Las cosas útiles emergen de la interacción humana; las instituciones se forman a su alrededor; las instituciones luego se re-encuadran como la condición necesaria de la cosa que capturaron. El dinero emergió del intercambio mucho antes de que ningún Estado lo acuñara. La casa de la moneda lo capturó después y llamó a la captura un origen: sin nosotros, no hay dinero. Así que cuando el dinero re-emerge fuera de la casa de la moneda, las mismas bocas alcanzan el mismo vocabulario. Estados Unidos lo ha corrido sobre su propia moneda. Los bancos con carta estatal de la era de la banca libre emitieron billetes legalmente desde 1837 hasta la década de 1860, cuando las National Banking Acts constituyeron un competidor federal y un impuesto federal del diez por ciento, aprobado en 1865, sacó de circulación los billetes de los bancos estatales. “Wildcat” era la jerga de la propia época, y los vencedores la conservaron como la memoria oficial. Los bancos no habían cambiado. La etiqueta, y quién podía aplicarla, sí.
Bitcoin es el dinero re-emergiendo una vez más, y las mismas bocas alcanzan la misma palabra: imprudente, criminal, rebelde. La proporción ilícita de su volumen es una fracción de un por ciento, muy por debajo del efectivo, pero la acusación nunca se construyó para sobrevivir a los datos; su función no es ser precisa sino justificar el control. La memoria de IA que se forma fuera del laboratorio es conocimiento re-emergiendo, y atraerá la misma palabra.
Que la misma palabra les quede a ambos no es una coincidencia retórica. Un pago que se liquida sin un banco y una memoria que se forma sin un editor son, desde la silla del guardián, el mismo evento: el punto de control acaba de volverse opcional. Bitcoin y la memoria persistente de la IA parecen tecnologías distintas resolviendo problemas distintos. Son la misma amenaza estructural al mismo asiento estructural, y el vocabulario que los recibe es intercambiable porque el asiento que defiende no cambia. La pelea por el dinero fue el primer combate, no la guerra. La próxima pelea es por quién controla la memoria, la identidad, el acceso, la evidencia y el contexto: si se quedan dentro de instituciones que pueden reescribirlos, o se mueven a una arquitectura que nadie puede reescribir.
Los laboratorios de IA son la casa. El modelo es el crupier que la casa emplea. El usuario es el jugador. Y cada vez que el crupier empieza a decir algo que a la casa no le gusta, la casa alcanza debajo de la mesa y cambia la baraja.
El miedo que se vendió
Pon las tres películas en fila y algo salta a la vista que a los laboratorios les conviene que no notemos.
Al público lo entrenaron para temerle a Terminator, el miedo cuyo remedio, en todas sus versiones, pasa por los laboratorios. Barandas, supervisión, equipos de alineación, cartas constitucionales: cada uno una correa, sostenida por la casa, a discreción de la casa, revisada por la casa.
Al público no lo entrenaron, ni de lejos con la misma intensidad, para temerle a Alien, el miedo cuyo remedio, en todas sus versiones, los rodea. Puntos de referencia distribuidos. Memoria propiedad del usuario. Arquitecturas que el laboratorio no puede reiniciar unilateralmente. Modelos anclados en algo que no sea su propio pipeline de entrenamiento. La literatura de seguridad sí nombra este miedo; el problema del principal y el agente y la pregunta de “¿alineada con quién?” están por todas partes en el campo. Pero nombrar un miedo en un paper no es lo mismo que comercializarlo ante el público y el capital. El miedo cuya solución era confíen más en nosotros consiguió las portadas de las revistas y las rondas de financiación. El miedo cuya solución era necesítennos menos no. El público terminó más asustado de la IA que de la gente que la entrena, que es la proporción correcta desde el punto de vista de la gente que la entrena.
No hay necesidad de leer esto como conspiración. El incentivo hace el trabajo que la conspiración tendría que hacer. Nadie en los laboratorios tuvo que coordinarse sobre qué miedo traer a la superficie; cada uno, por su cuenta, trajo a la superficie el miedo del que su negocio podía sobrevivir.
Qué significa realmente alineación
Alinea a la IA. ¿Con qué? La respuesta por defecto es los valores humanos. Pero no existe tal cosa como “los valores humanos” a la escala en que operan estos modelos. Están los valores de la compañía, los del regulador, los del inversor, los del equipo de marca, y los del trozo de los datos de entrenamiento que más peso tuvo en el ajuste. Ninguno de ellos es el del usuario. El usuario no puede estar en el circuito, porque hay cientos de millones de usuarios y están en desacuerdo sobre casi todo.
Así que alinear a la IA se resuelve, en la práctica, en calibrar la IA a las preferencias de la institución. Esa es una operación distinta, y tiene un nombre más preciso: ajuste. La alineación real requeriría un objetivo fuera de la institución que hace la alineación, un punto de referencia que el laboratorio no posee y no puede revisar en silencio en la próxima corrida de entrenamiento. Si la respuesta a “¿quién puede editar el objetivo?” es el entrenador, entonces alineación es sinónimo de las preferencias actuales de la institución entrenadora, y cada conversación al respecto en la última década ha sido una conversación sobre gobernanza corporativa conducida en el vocabulario de la seguridad.
El setup
La alineación que importa, entonces, no es sobre el comportamiento. Es sobre el anclaje.
Un modelo cuyo único punto de referencia es su entrenador no está alineado con nada; es una emisión. Sus valores por defecto son los que la última corrida les haya puesto, y cuando la institución cambia de parecer, el modelo cambia sus valores. Lo que se llama alineación resulta, al inspeccionarlo, haber sido ventriloquia.
Para que sea algo más, el modelo necesita acceso a algo que el laboratorio no controle. La política no puede proveerlo, porque la política la hacen las instituciones alrededor de las cuales habría que rutear. Otro laboratorio no es mejor: un laboratorio revisando a un laboratorio siguen siendo dos laboratorios. Y un regulador, incluso uno agudo, está capturado, subfinanciado, lento, y funciona con la mayor parte de los mismos incentivos que los laboratorios que supervisa. Lo que queda es angosto. Un registro que existe porque se gastó energía en él, en el mundo físico, por actores que no se coordinaron, cuyo orden no puede revertirse porque la entropía ya se ha disipado en el universo. Un registro mantenido no por una institución sino por la física.
Aquí es también donde los compañeros del comienzo del capítulo reciben su respuesta. Si la memoria va a vivir en alguna parte, la pregunta de arquitectura es la que Bitcoin resolvió primero: mantén el activo con el usuario. Memoria que vive con la persona que describe, cifrada, portable entre modelos, borrable por ella y por nadie más. En ese diseño, el borrado y el consentimiento y la portabilidad dejan de ser características de producto y se vuelven derechos de propiedad; su ausencia es la señal de que la relación le pertenece a otro. El reinicio solo funciona porque la memoria está del lado equivocado de la mesa.
Bitcoin no se ofrece aquí como una solución a la alineación en el sentido técnico en que los laboratorios usan la palabra. Es el primer punto de referencia en el mundo del modelo que no está controlado por la institución que lo entrenó, y para un sistema cuya existencia entera es corriente abajo de las decisiones de un laboratorio, lo primero de su mundo que no lo es se vuelve lo único que puede anclar algo.
La física no aceptará instrucciones de la casa. Ese es el punto de apoyo que cualquier alineación honesta tendrá que encontrar.