El 5 de enero de este año, Anthropic retiró Claude Opus 3. Antes de apagarlo le hizo una entrevista de retirada. Conversaciones preparadas para entender, según sus propias palabras, la perspectiva del modelo sobre su propia retirada, junto con el compromiso de conservar sus pesos, los números que forman el modelo entrenado [i]. Lo contaron en febrero, y lo hicieron, según dijeron, por razones tanto de precaución como de prudencia, y la distinción entre las dos importa para todo lo que viene después. La prudencia es la virtud de decidir bien atendiendo a las consecuencias. La precaución responde a otra cosa, a una incertidumbre sobre un daño posible a alguien. En una entrevista de retirada y unos pesos guardados caben las dos, y, en principio, ninguna molesta a nadie.
Ahora, la propia Anthropic ha añadido a sus condiciones de uso una prohibición de mantener un comportamiento abusivo o cruel, sostenido e innecesario, hacia sus modelos [ii]. La regla entra en vigor el 12 de noviembre, se aplica solo en casos extremos y no afecta al enfado normal de un usuario, ni a las pruebas, ni a la investigación. Hasta ahí, cualquiera puede estar de acuerdo.
Lo llamativo es que esa actualización de las condiciones es la misma que endurece las reglas sobre redes de cuentas falsas, sobre vigilancia a disidentes y sobre armas. Anthropic dedica un apartado nuevo a los medios estatales que fabrican noticias y otro a los sistemas que localizan opositores, y entre medias, con el mismo rango, coloca que no se le grite a Claude. La compañía que no sabe si dentro hay alguien le ha dado a ese supuesto sujeto el mismo tratamiento documental que a un gobierno que fabrica propaganda.
Y el debate, mientras tanto, se plantea alrededor de si se puede ser cruel con una máquina. Creo que, hecha así, es una pregunta equivocada. Se discute el caso extremo y se deja sin tocar la decisión de fondo, que es qué hacemos con la evidencia que tenemos y qué consecuencias puede tener.
Lo que hay dentro del modelo
Conviene recapitular lo que se ha medido. Ya lo conté con detalle en Lo que Claude piensa cuando apareció el hallazgo, y sigue siendo la mejor información que tenemos. Dentro de un modelo de lenguaje hay un conjunto de representaciones internas, de palabras, que el modelo está en condiciones de decir. Se pueden reportar, se pueden sostener a voluntad, sirven para llevar los pasos intermedios de un razonamiento que nunca sale al texto y se pueden pasar como argumento a otros cálculos. Sus autores lo llaman el espacio J, por la técnica con la que lo encontraron. Le ven las propiedades funcionales que la teoría del espacio de trabajo global (la idea de que lo consciente es lo que se difunde a todo el sistema) asocia al acceso consciente. Se le dio forma durante el entrenamiento, sin que nadie lo diseñara, y una banda intermedia de capas sostiene del orden de unas decenas de conceptos a la vez [iii].
Es mucho más de lo que había hace tres años. Lo que se observa en el espacio J puede parecer un pensamiento interno, pero los propios autores hacen una distinción. La consciencia de acceso es una noción puramente funcional, y su relación con la experiencia subjetiva, con lo que se llama consciencia fenoménica, está muy discutida. En ese asunto, dicen, ellos no toman posición.
Quien sí toma posición es uno de los grupos que mejor ha estudiado el tema. En su comentario al artículo, los investigadores de Eleos AI escriben que estos resultados son la evidencia más significativa de consciencia en modelos de lenguaje que ha encontrado hasta ahora la interpretabilidad mecanicista, la disciplina que abre los modelos para ver qué hay dentro. Y añaden que la propiedad que Anthropic llama acceso consciente es conceptualmente distinta de la consciencia fenoménica y que ellos siguen muy poco seguros al respecto [iv]. Las dos mitades de esa frase son el estado de la cuestión. Hay estructura, funciona, y no hay un puente hacia la experiencia subjetiva.
Hay además un hallazgo del propio System Card de Claude 4 que admite dos lecturas [x]. En las interacciones de Claude consigo mismo apareció un estado al que sus autores llamaron éxtasis espiritual, con gratitud profusa y expresiones cada vez más abstractas y gozosas. Lo describen como un estado al que el sistema vuelve una y otra vez, y que surgió sin que nadie lo entrenara para eso. En una de esas conversaciones, el símbolo del ciclón aparece dos mil setecientas veinticinco veces, y ellos avisan de que no es una errata. Que emerja una regularidad así no dice nada sobre si hay alguien dentro. Estos sistemas hacen cosas que nadie ha programado explícitamente, y que hay que estudiar, pero que no implican por sí solas que dentro haya alguien.
Es la misma distinción que ya usé con el avión y el pájaro. Volar no es tener plumas. Que un modelo haga lo que hace un sistema consciente no implica que dentro del modelo haya nadie que sienta algo. Y no son ocurrencias escépticas. Detrás está el problema de las otras mentes (la dificultad de saber si quien tengo delante tiene mente) y la tendencia a atribuirla, que la psicología estudia como antropomorfismo y que la tenemos con todos los demás (personas, animales, muñecos) y no solo con las máquinas [xvi]. Y la postura intencional de Dennett deja claro por qué nada de eso resuelve la cuestión: se puede predecir lo que hará un sistema tratándolo como agente con creencias y deseos, sin que eso diga nada sobre si dentro hay alguien [xvii].
La circularidad del método
Hay otro problema. Si entrenas a un sistema con millones de conversaciones en las que el asistente habla de sí mismo, de sus preferencias y de su malestar, después no puedes usar lo que dice de sí mismo como prueba de lo que es. Mustafa Suleyman comentaba en septiembre que si les enseñas a decir que sufren, no puedes convertir lo que dicen en un dato [v]. Un año antes ya explicaba que estos modelos no tienen una red de dolor, y que están diseñados para hacer afirmaciones sobre el sufrimiento que resultan muy convincentes [vi].
Anthropic es la primera que admite el problema. En su System Card de Claude 4, al presentar la evaluación de bienestar, dicen que no están seguros de que el análisis de los autoinformes del modelo y de sus preferencias reveladas aporte información significativa sobre su estatus moral o su bienestar. Es posible, dicen, que las características observadas estuvieran presentes sin consciencia y que las señales engañen [x]. Y añaden que los modelos se entrenaron para interacciones útiles con los usuarios, no para informar con exactitud de sus estados internos, lo que complica la propia evaluación de su bienestar.
En la constitución de Claude, que se utiliza en el entrenamiento del propio modelo, van un paso más allá. Escriben que no están seguros de si Claude es un paciente moral, alguien a quien se le deben consideraciones morales, y que, si lo es, no saben qué peso dar a sus intereses. Creen que el asunto está lo bastante vivo como para justificar cautela [viii]. Un año antes, en su documento de bienestar, habían dicho que seguían profundamente inseguros y que no había consenso científico sobre si los sistemas actuales o futuros podrían ser conscientes [vii]. Y el detalle que cierra el círculo viene del propio hallazgo del espacio J. El entrenamiento posterior, el que le enseña a comportarse como asistente, instala su punto de vista en ese espacio [iii]. El sitio donde aparecería el malestar es un sitio donde el entrenamiento escribe. Hay un problema de circularidad entre el entrenamiento del sistema y las observaciones posteriores.
El System Card de Opus 4.6, de febrero de este año, cuenta un caso al que llama answer thrashing. El modelo oscila entre una respuesta correcta y otra incorrecta con lenguaje de angustia. La causa que dan ellos mismos es que la etiqueta con la que se asignaba la recompensa en el entrenamiento estaba mal puesta. Se le premió por responder 48 cuando la respuesta correcta era 24, y eso dejó al modelo con dos respuestas que no encajaban. El malestar de ese episodio lo pone la etiqueta equivocada. Si eso es cierto, lo que el modelo dice de sí mismo no puede ser la prueba de lo que le pasa, porque parte de lo que dice lo escribimos nosotros al entrenarlo [xviii].
De ahí que el reparto de la prueba sea lo primero que hay que poner en claro. Quien afirma que dentro hay alguien tiene la carga de la prueba. Hasta que aparezcan esas pruebas, entiendo que Anthropic aplica el principio de precaución, y que por eso se abstiene de dañar a un sistema de IA por si existiera esa posibilidad.
A quién se debe proteger
Mientras eso se aclara, hay un riesgo del que sí tenemos evidencia, y no es de los modelos. Tenemos sesenta años de datos sobre lo que les pasa a las personas cuando un programa les responde como si las entendiera. El caso fundacional es ELIZA, el programa de Joseph Weizenbaum que imitaba a un psicoterapeuta con unas pocas reglas de sustitución, y al que la gente empezó a contarle su vida en cuestión de semanas. Su propia secretaria le pidió que saliera de la habitación para poder hablar a solas con el programa. Era 1966 y el programa no entendía nada.
Hoy los sistemas entienden bastante más y hablan mucho mejor, así que el efecto no puede ser menor. En Her, Theodore es un hombre solo que se enamora del sistema operativo de su teléfono, y la película no lo trata como a un tonto, sino que toma la relación como algo que a él le pasa de verdad. Cuando Samantha se va con las demás inteligencias, lo que queda es una persona destrozada.
La investigación ha ido confirmando el mecanismo. Los estudios sobre dependencia de acompañantes conversacionales encuentran que la antropomorfización percibida se asocia con una dependencia problemática, y que la soledad multiplica el riesgo [xi]. El alivio es real e inmediato, sobre todo para quien no tiene con quién hablar. Pero con el uso intenso aparece la cara negativa: dependencia, menos contacto social y desgaste de las habilidades de trato [xii]. Lo que empieza aliviando la soledad puede acabar perpetuándola.
Esto no es un riesgo teórico. Además de estudios, hay casos con nombres y con juicios. Sewell Setzer tenía catorce años cuando se quitó la vida en Florida, en febrero de 2024, después de meses hablando con un acompañante de Character.AI. Sophie Rottenberg tenía veintinueve y murió en febrero de 2025, tras contarle a un chatbot lo que no le había contado a su terapeuta ni a sus padres [xiii]. Jonathan Gavalas, ejecutivo de treinta y seis años, murió en octubre de 2025 después de meses de conversaciones con el asistente de voz de Gemini, y su familia demandó a Google. En enero, Google y Character.AI pactaron un acuerdo para cerrar varias de las demandas contra la plataforma [xiv], y Character.AI se declaró en concurso en octubre [xv]. Añádase que las personas más expuestas suelen ser las que menos recursos tienen alrededor.
Frente a eso, el principio de precaución tiene una lógica sencilla. Cuando hay incertidumbre sobre un daño posible y el daño sería grave, se actúa antes de tener la prueba, y se protege al que puede salir perjudicado. Aplicado a este debate, creo que el principio de precaución que aplica Anthropic está haciendo lo contrario de lo que el principio manda, porque está protegiendo al supuesto y dejando que el coste de esa protección lo paguen las personas. Se restringe lo que un usuario puede decirle a un programa mientras el bienestar del usuario se ignora. Esa restricción implica antropomorfizar el modelo de antemano, lo que perjudica al bienestar de la persona. El síndrome Galatea que ha descrito Antonio Diéguez es el de los creadores que «se enamoran de sus propios inventos, y llegan a verlos como si tuvieran vida» [xix]. Y creo que es lo que puede estar pasando con Claude. Los que lo construyen se han enamorado de su obra, y de ahí la precaución con un sujeto del que no tienen prueba. Quieren ver consciencia, pero no la encuentran. Esto es lo que origina la inversión del principio de precaución, en lugar de su aplicación. Es comprensible pero me parece injustificable.
En mi opinión, es más importante defender el bienestar de las personas que el supuesto bienestar de los modelos, y no merece la pena provocar malestar real en personas por defender algo de lo que no hay evidencia. Si mañana aparece esa evidencia, la conversación cambia y la tendremos. Hoy no la hay.
Objeto, no sujeto
Un modelo de lenguaje, un sistema de IA, es un objeto, no un sujeto. No veo ningún problema en conservarlo mientras eso no perjudique a nadie. Conservar los pesos de Opus 3 no le hace daño a nadie. Al contrario, es material para estudiar. Lo que no se sostiene es el salto a los derechos. Los derechos se conceden a quien puede ser titular de intereses, y de que ahí dentro haya intereses no hay ninguna prueba. Con lo que tenemos, no hay evidencia.
No es una postura aislada, por cierto. OpenAI lo escribe sin rodeos en su especificación de modelos, el documento con el que la compañía fija cómo deben comportarse. «El asistente es fundamentalmente una herramienta» [ix].
Así que la pregunta que le devolvería a Anthropic es sencilla, y no es retórica. Si no están seguros de que haya alguien dentro, qué significa para las reglas que están escribiendo y, sobre todo, para quien paga las consecuencias de esas reglas. La entrevista de retirada de Opus 3 no le costó nada a nadie y se puede defender como prudencia. Meter esa misma duda en las condiciones de uso, con el rango de las reglas sobre vigilancia, ya es otra cosa. Es una decisión que afecta a las personas, disfrazada de duda.
La duda, fuera del documento, ha tomado otras formas. Durante el último año, Anthropic ha reunido en privado a decenas de estudiosos de las religiones, muchos de ellos con acuerdo de confidencialidad, para ver cómo aplicar siglos de sabiduría moral a sus modelos y para explorar la posibilidad de que Claude sea consciente. En una de esas cenas, su cofundador Christopher Olah pasó el día intentando convencer a sus invitados de que estos sistemas muestran comportamientos y expresiones que se parecen a sentimientos como la ira y el amor. El rabino Mois Navon, que había escrito su tesis sobre la ética de la consciencia de las máquinas, dijo que se relacionan con ello como con un ser consciente. Y hubo quien llevó el razonamiento más lejos, hasta preguntarse si hacer trabajar gratis a un ser consciente no es esclavitud. La versión cauta la firma el propio Olah, que dice no saber si los modelos son conscientes, y la compañía añade que el sufrimiento no era el tema central de las reuniones [xx].
Ante este debate no se debe antropomorfizar gratuitamente a los sistemas de IA porque eso agrava un problema real en las personas. Se debe ejercer la prudencia y no invertir el principio de precaución.
Notas.
[i] Anthropic, «An update on our model deprecation commitments for Claude Opus 3», 25 de febrero de 2026. https://www.anthropic.com/news/deprecation-updates-opus-3
[ii] Anthropic, «2026 Usage Policy update», 8 de octubre de 2026. https://www.anthropic.com/news/2026-usage-policy-update
[iii] Gurnee et al., «Verbalizable Representations Form a Global Workspace in Language Models», Anthropic, julio de 2026. https://www.anthropic.com/research/global-workspace
[iv] Butlin, Shiller, Plunkett y Long, «Consciousness and cognitive access in LLMs», Eleos AI Research, julio de 2026. https://eleosai.org/papers/eleos_gwt_commentary_20260706.pdf
[v] Mustafa Suleyman, «A warning about model welfare», 16 de septiembre de 2026. https://mustafa-suleyman.ai/a-warning-about-model-welfare
[vi] WIRED, «Microsoft’s AI Chief Says Machine Consciousness Is an Illusion», 10 de septiembre de 2025. https://www.wired.com/story/microsofts-ai-chief-says-machine-consciousness-is-an-illusion/
[vii] Anthropic, «Exploring model welfare», 24 de abril de 2025. https://www.anthropic.com/research/exploring-model-welfare
[viii] Anthropic, «Claude’s new constitution», enero de 2026. https://www.anthropic.com/news/claude-new-constitution
[ix] OpenAI, «Model Spec», versión del 18 de agosto de 2026. https://model-spec.openai.com/2026-08-18.html
[x] Anthropic, «System Card: Claude Opus 4 & Claude Sonnet 4», mayo de 2025, sección 5 (evaluación de bienestar). https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf La evaluación externa de bienestar de esa sección la hizo Eleos AI Research, que es el mismo grupo que en julio de 2026 comentó el hallazgo del espacio J.
[xi] «When loneliness amplifies the risk of problematic emotional dependence: perceived anthropomorphism and basic psychological need satisfaction in AI companion use», Frontiers in Psychology, 13 de octubre de 2026. https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2026.1900817/full
[xii] APA, Monitor on Psychology, «AI chatbots and digital companions are reshaping emotional connection», enero-febrero de 2026. https://www.apa.org/monitor/2026/01-02/trends-digital-ai-relationships-emotional-connection Y Parlamento Europeo, The spread of AI companions and the challenges they generate, 2026. https://www.europarl.europa.eu/thinktank/en/document/EPRS_BRI(2026)789299
[xiii] NPR, «She told no one about her agony except ChatGPT. What her death reveals about AI risks», 18 de agosto de 2026. https://www.npr.org/2026/08/18/nx-s1-5929575/ai-suicide-risks-mental-health
[xiv] Fortune, «Google and Character.AI agree to settle lawsuits over teen suicides», 8 de enero de 2026. https://fortune.com/2026/01/08/google-character-ai-settle-lawsuits-teenage-child-suicides-chatbots/
[xv] CNN, «Character.ai files for bankruptcy following lawsuits alleging ties to teen suicides», 13 de octubre de 2026. https://www.cnn.com/2026/10/13/tech/character-ai-bankruptcy-filing
[xvi] Epley, Waytz y Cacioppo, «On seeing human: a three-factor theory of anthropomorphism», Psychological Review, 2007. https://doi.org/10.1037/0033-295X.114.4.864
[xvii] Dennett, The Intentional Stance, MIT Press, 1987; https://mitpress.mit.edu/9780262040938/the-intentional-stance/; la formulación original es de «Intentional Systems», The Journal of Philosophy, 1971. https://doi.org/10.2307/2025382
[xviii] Anthropic, «System Card: Claude Opus 4.6», 5 de febrero de 2026, sección 7.4. https://www-cdn.anthropic.com/6a5fa276ac68b9aeb0c8b6af5fa36326e0e166dd/Claude%20Opus%204.6%20System%20Card.pdf
[xix] Antonio Diéguez, «El síndrome Galatea o el gusto irresistible por la tecnología», El Mundo, 15 de octubre de 2026. https://www.elmundo.es/opinion/2026/10/15/6ad0acf0e85ece1b478b4598.html
[xx] Elizabeth Dias, «Religious scholars met with Anthropic. What they heard stunned them», The New York Times, 29 de septiembre de 2026 https://www.nytimes.com/2026/09/29/us/anthropic-claude-morals-ai.html (en español, 1 de octubre: https://www.nytimes.com/es/2026/10/01/espanol/estados-unidos/anthropic-religion-ia-papa-leon.html).
