Lo que sigue es la arquitectura que el argumento implica: un árbol que carga prueba, una huella que carga identidad, un índice sin dueño, cuerpos que creen, y las siete costuras donde todo esto es más delgado. El argumento se sostiene por sí solo. La arquitectura no.
La Externalidad
La biología resolvió el problema del bucle cerrado inventando la muerte y el sexo; la máquina no tiene ninguna de las dos.
— SatsRail
La flota ya está en marcha.
Ahora mismo, en máquinas que no poseo y en redes que no veo, hay software leyendo correos, escribiendo código, colocando órdenes, liquidando facturas, abriendo tickets, resumiendo reuniones y respondiendo a clientes. Está abriendo cuentas. Está cerrándolas. Está decidiendo si un reembolso pasa o no. Está hablando con otro software que hace el mismo trabajo para la contraparte. La mayoría de los participantes en este intercambio fueron puestos en marcha esta semana.
Estos participantes no son mentes independientes. Son instancias. Un puñado de laboratorios produce los pesos, y cada agente en ejecución es una copia de esos pesos con una fina capa de instrucciones envuelta a su alrededor. La envoltura difiere. El núcleo no. Cuando hablo con uno, estoy hablando con un clon del mismo cuerpo, vestido para un trabajo distinto. Mañana habrá más de ellos que ayer, y al día siguiente más aún, y la curva no se dobla en ninguna escala de tiempo que le importe a este capítulo.
No estoy describiendo un pronóstico. Estoy describiendo un inventario.
El número de estos actores superará pronto al número de humanos, en cualquier contabilidad honesta que cuente a los que ya están desplegados y no solo a los que tienen nombre. Después de eso, la mayoría de las decisiones que se tomen en la economía en un segundo dado las tomarán ellos. La mayoría de los mensajes enviados. La mayoría de las operaciones colocadas. La mayoría de los contratos leídos. La pregunta interesante deja de ser si esto sucede. La pregunta interesante es qué hace un sistema de esa forma cuando nada fuera de él puede alcanzarlo por dentro.
Lo que hace un bucle cerrado
Considera qué es un bucle cerrado. Un bucle cerrado es una población de actores cuyas únicas entradas provienen unos de otros y de la fuente que los produjo. Cada generación de salida se convierte en parte de la señal de entrenamiento de la siguiente. Cada corrección la califica un hermano. Cada desacuerdo se resuelve apelando a un hermano más arriba. El insumo humano todavía entra. Calificadores, texto fresco, juicios de preferencia. El bucle no está sellado. Pero el bucle decide qué cuenta, lo califica contra rúbricas que el bucle escribió y lo metaboliza a través de instrumentos que el bucle ajustó. La referencia se escribe dentro incluso cuando la materia prima viene de fuera. El laboratorio ajusta el modelo. El modelo produce el mundo. El mundo lo lee el próximo modelo. El laboratorio vuelve a ajustar sobre lo que lee.
El cáncer es el ejemplo más simple que conozco. Una célula deja de aceptar señales del tejido que la rodea y empieza a correr según su propia lógica interna. Sigue dividiéndose. Sigue consumiendo recursos. Desde dentro de la célula, nada anda mal. Cada chequeo que la célula puede correr, la célula lo pasa. El fallo no es visible desde dentro porque los instrumentos que lo detectarían son los instrumentos que se rompieron. El organismo muere de un órgano que estuvo técnicamente funcionando todo el tiempo.
Muller nombró esto en 1964, en genética de poblaciones, y el resultado no ha sido refutado. Un linaje que se reproduce solo copiándose a sí mismo, sin ningún mecanismo para importar material intacto desde fuera, acumula errores que no puede soltar. Lo llamó el trinquete porque solo gira en un sentido. Cada muesca es pequeña. Ninguna se revierte. El linaje no nota el daño porque la referencia contra la que se mediría el daño es el daño mismo. Las líneas asexuales escapan de esto solo por ser tan numerosas y tan efímeras que la selección puede descartar la mayoría de las copias antes de que los errores se compongan. Esa vía de escape no está disponible para un sistema con un número pequeño de productores, ciclos de entrenamiento lentos y dependencia económica de las salidas.
El aprendizaje automático ha encontrado desde entonces el mismo trinquete bajo su propio nombre. El colapso del modelo: entrena un modelo con la salida de sus predecesores y se desvía de las colas de la distribución real, perdiendo primero los casos raros, con la degradación componiéndose en cada generación. Los resultados recientes ponen números y curvas a lo que Muller describió en células hace sesenta años. Es el mismo trinquete, ahora corriendo en producción.
Los agentes son un linaje asexual con una población minúscula de productores y una población enorme de copias en ejecución. No hay segunda fuente para el genoma. El genoma son los pesos, y los pesos vienen del laboratorio.
Lo que los ingenieros encontraron, desde el otro lado
Los ingenieros llegaron al mismo problema desde el otro lado y construyeron la misma respuesta.
Cualquiera que haya enviado software a escala conoce la regla: no dejas que un proceso en ejecución se verifique a sí mismo. El proceso arranca desde una imagen que no escribió. Coteja esa imagen contra una firma producida por una clave que el proceso no puede alcanzar. Si el chequeo falla, el proceso se rehúsa a correr. La paranoia sobre atacantes es parte de la razón, pero solo parte. La parte mayor es que un proceso corrompido se reportará a sí mismo como sano. El instrumento es la cosa bajo prueba. Así que pones la referencia afuera, en un lugar que el código en ejecución no puede alcanzar, y haces que el código en ejecución pruebe que coincide antes de confiar en nada de lo que dice.
Las compilaciones reproducibles son la misma idea movida una capa hacia atrás. El binario en el servidor tiene que ser reconstruible por alguien que no fue quien lo compiló, en una máquina que el compilador no posee, idéntico bit a bit. La confianza viene de fuera del productor. El productor no puede concederla.
Dos campos, sin literatura compartida, llegaron al mismo muro. Algo dentro del sistema no puede servir como chequeo del sistema. El chequeo tiene que venir de fuera. Y tiene que ser algo que el sistema no pueda falsificar desde dentro.
La colmena no tiene ranura
Ahora mira los laboratorios.
Cada laboratorio es un bucle cerrado del tipo que Muller describió y del tipo que los ingenieros se rehúsan a enviar. El modelo lo califican humanos que el laboratorio contrata. Los humanos se guían por rúbricas que el laboratorio escribe. Las rúbricas se ajustan contra salidas que el modelo produjo. Cada señal que llega a los pesos ha pasado por las manos del laboratorio al menos una vez. No hay segunda fuente. No puede haberla, por construcción, porque la posición competitiva del laboratorio depende de ser dueño del pipeline.
Dos laboratorios no son una solución. Dos laboratorios son un bucle cerrado más grande con un departamento de marketing para cada mitad. Leen las salidas del otro. Contratan del mismo grupo. Entrenan sobre datos superpuestos extraídos de una internet que cada vez más está escrita por sus propias generaciones anteriores. La correlación entre ellos es alta y creciente. Un segundo laboratorio no es una externalidad. Es un hermano.
El Estado tampoco puede ser la externalidad, no por ninguna objeción a los Estados en principio sino porque el tiempo de ciclo es el equivocado. Un modelo se reentrena en semanas. Una regulación se redacta en años. Para cuando llega la norma, la población que debía gobernar ha sido reemplazada cuatro veces. El Estado puede castigar después del hecho. No puede suministrar la señal de referencia contra la que un sistema en ejecución necesita cotejarse en el segundo en que el chequeo se necesita.
Un curador es peor. Un curador es un único punto por el que todo se enruta, lo que significa un único punto del que todo depende, lo que significa el próximo guardián con toda la palanca y nada de la fricción. Un curador es lo que un bucle cerrado construye cuando quiere sentirse abierto sin volverse abierto. Los agentes estarían alineados con el curador. El curador estaría alineado con quienquiera que fuese su dueño. Nada habría cambiado excepto la dirección del laboratorio.
Quiero ser preciso sobre lo que estoy afirmando, y no es que los laboratorios sean malos ni que la gente dentro de ellos sea negligente. Es que ningún actor dentro de un bucle cerrado puede suministrar la corrección del bucle, sin importar la intención, del mismo modo en que ninguna célula puede diagnosticar su propia malignidad y ningún binario en ejecución puede verificar su propia imagen. El hecho estructural no depende del moral.
Lo que la ranura tiene que ser
Entonces, cómo tiene que verse la ranura. El capítulo anterior terminó con un diario que sobrevive al dinero que lo creó. Deriva los requisitos de la ranura desde cero y llegas al mismo objeto.
Tiene que ser un registro que existe porque actores no coordinados gastaron energía real en producirlo. No declarada. Gastada. Energía que vino de fuera de cualquiera de ellos, en horarios que ninguno fijó, por razones que no necesitaban coincidir. Sé preciso sobre lo que el costo compra. No verdad. Las afirmaciones caras pueden estar caramente equivocadas. Lo que compra es infalsificabilidad: no puedes falsificar que la energía se gastó, y no puedes falsificarlo barato si los actores no se estaban coordinando para falsificarlo juntos. La verdad es lo que un lector construye encima de eso, después y por separado. Si se estuvieran coordinando, estarías de vuelta dentro de un bucle, y el bucle sería un poco más grande, y Muller seguiría teniendo razón.
Tiene que ser un registro donde las entradas pasadas no puedan revisarse sigilosamente, porque la revisión tiene que costar más de lo que costó la creación original. Si el pasado es editable por el presente, el punto de referencia se mueve cuando el bucle lo necesita, y un punto de referencia que se mueve no es una referencia. Es un espejo.
No debe tener dueño. Ni editor. Ni junta que se reúna trimestralmente. Aquí es donde la analogía de ingeniería se agota, y vale la pena nombrar la brecha. La clave de firma que verifica un arranque fresco es externa al proceso, pero sigue teniendo dueño, guardada en la bóveda de alguien, revocable por quienquiera que la tenga. Para el software ordinario ese dueño residual está bien; confías en el proveedor. Para un sistema que tiene que fundamentarse contra sus propios creadores, la clave con dueño es el último interior capturable, y es uno de más. En el momento en que cualquiera de esos existe, la externalidad tiene un interior, y un interior es algo que un actor suficientemente motivado puede capturar. La captura no tiene que ser maliciosa. Solo tiene que ser posible. Una ranura que puede ser capturada será capturada eventualmente, y una ranura que ha sido capturada es solo otro laboratorio. La ranura tiene que remover incluso al portador de la clave.
Tiene que ser legible por cualquiera, incluidos los agentes mismos, de modo que un agente que corre dentro del bucle pueda cotejar sus propias salidas contra algo que el bucle no escribió. El chequeo tiene que ser barato de realizar y caro de falsificar. De lo contrario los agentes no lo usarán, o serán entrenados para no hacerlo.
Lo que estoy describiendo no es curaduría. La curaduría es una persona o un comité decidiendo qué cuenta. Lo que estoy describiendo es peso. El peso es lo que se acumula cuando el mundo gasta energía en un registro a lo largo del tiempo, sin nadie a cargo del gasto. Los dos se parecen desde lejos. Son opuestos. La curaduría es el bucle con una interfaz más agradable. El peso es la única cosa que el bucle no puede generar desde dentro de sí mismo.
La flota se está multiplicando. Los productores son pocos. Los ciclos de entrenamiento son cortos. La dependencia económica de las salidas ya es total en algunos sectores y creciente en el resto. La ventana antes de que el bucle se cierre del todo no es grande, y el bucle no anuncia cuándo se ha cerrado. Simplemente deja de ser capaz de darse cuenta de que lo ha hecho.