Hubo un momento, antes de la fiebre del oro desencadenada por ChatGPT y de que la inteligencia artificial se convirtiera en el nuevo destino manifiesto de Silicon Valley, en el que una advertencia resonó en los pasillos de Google con la fuerza de un presagio maldito. Era finales de 2020 y aquel artículo exhibía un título tan académico como venenoso: Sobre los peligros de los loros estocásticos. Sus autoras, lideradas por Timnit Gebru y Margaret Mitchell, las capitanas del equipo de Ética de la IA del gigante tecnológico, se atrevieron a señalar, y probablemente fueron las primeras, que el emperador estaba desnudo. Advertían que los modelos de lenguaje gigantescos que estaban construyéndose, devoradores de energía y datos, no eran oráculos de sabiduría, sino simples loros estocásticos (estadísticos) propensos a amplificar la mentira a escala industrial.
La respuesta del imperio fue la purga. En una secuencia de hechos digna de un thriller corporativo, narrada magistralmente por Karen Hao en El imperio de la IA, la directiva de Google exigió la retractación del estudio. La negativa de Gebru desencadenó su despido fulminante durante las vacaciones de Acción de Gracias, encendiendo una mecha de indignación global en las redes. En un acto de resistencia, Margaret Meg Mitchell, se lanzó entonces a recopilar correos y evidencias de la discriminación sufrida por su colega
A principios de 2021, Google despidió a Margaret Mitchell por violaciones de seguridad, decapitando al equipo más crítico y brillante de la industria. Este hecho marcó un cambio en los gigantes de la IA generativa, que comenzaron a sacrificar la seguridad por la velocidad comercial. Mitchell continuó luchando por una IA responsable y se unió a Hugging Face, una plataforma que promueve la ciencia abierta frente al secretismo de empresas como Google u OpenAI. Allí es científica jefa de Ética, desarrollando herramientas y marcos para auditar modelos de IA (gobernanza de datos, sesgos, open source). Hoy, es una voz esencial que advierte sobre la concentración de poder en Silicon Valley y la necesidad de regulación.
Mitchell habló con nosotros con motivo de la cumbre AI Everything celebrada la semana pasada en El Cairo.
- Cuando hablamos de "IA centrada en los humanos", ¿qué queremos decir? ¿Se trata de usar la IA de manera útil o, más bien, de asegurarnos de que no nos mate a todos?
- Muy a menudo, en el desarrollo tecnológico, inventamos una herramienta que puede hacer algo asombroso, y luego intentamos averiguar a quién podría servirle. Es una especie de adaptación retroactiva. Pero existe otro posible punto de vista que plantea: ¿qué necesita realmente la gente? ¿Qué es realmente importante para las personas y qué puedo construir para apoyar sus necesidades? Y ese es un enfoque centrado en los humanos, donde, en lugar de crear una alta tecnología y aplicarla a las personas, se piensa en lo que las personas necesitan y cómo construimos sistemas para dárselo.
- ¿Cree que hay una desconexión entre la declarada intención de las empresas de alinear la IA con los intereses humanos y lo que ocurre realmente?
- Es importante entender que muchos sistemas de IA que se están construyendo en este momento, como ChatGPT, Gemini o Claude, están diseñados para ser sistemas generales. No están pensados para un contexto específico de uso. Este paradigma operativo actual consiste en construir todo para todos, para cualquier cosa que alguien pida. No hay especificidad sobre cuáles podrían ser los valores específicos en un contexto regional dado o en una tarea dada. La idea de alineación puede resumirse mucho como, dados unos valores humanos globales, pensemos en alinear la IA con esos valores globales. Pero lo que realmente está sucediendo es lo contrario: desarrollamos un instrumento contundente y poco refinado de una manera que no refleja los valores y prioridades individuales. Y luego, en cierto modo, nos vemos obligados a piratearlo para tratar de guiarlo hacia algo útil.
Para saber más
- Hablemos de soberanía y privacidad. Los gobiernos están muy preocupados por cómo se despliegan los sistemas de IA generativa, qué hacen con los datos de sus ciudadanos, etc. Y además, la computación de los LLMs requiere enormes cantidades de energía. ¿Cómo deben actuar los países más pequeños?
- Hay dos puntos importantes aquí. El primero es reconocer que las grandes y poderosas empresas centralizadas en EEUU en realidad están distribuidas por todo el mundo en diferentes áreas. Así que, idealmente, un país que tiene un centro de datos se beneficiaría directamente de la computación allí en lugar de depender de los grandes. Por lo tanto, creo que es útil para los países pensar en formas de invertir en una infraestructura centrada en los datos para que las ganancias retornen directamente al país. Dicho esto, es posible hacerlo de manera más eficiente y ecológica. En segundo lugar, es realmente importante tener en cuenta que, para muchas tareas, no necesitamos un modelo masivo. Los modelos masivos requieren una computación masiva, pero los modelos más pequeños a menudo realizan la tarea tan bien, si no mejor, que los grandes sistemas. Y requieren mucha menos energía. Así que, si pensamos bien el tipo específico de tecnología que necesitamos, podemos lograr mucho incluso sin mucha energía.
- Hay mucha euforia sobre las ganancias de productividad que traerá la IA. ¿Está justificada?
- Realmente depende del contexto de uso. Los ingenieros encuentran útiles las herramientas de codificación automática y los periodistas las usan para iterar, pero también se acumulan errores que hay que corregir después. La ganancia neta es poco clara y aún no tenemos una respuesta definitiva. Lo que sí observo es que disponemos de una enorme diversidad de herramientas específicas que resultan muy útiles para tareas concretas. La clave no es tanto si la IA te hace más productivo en general, sino que, para casi cualquier cosa que quieras hacer, probablemente exista ya alguna herramienta de IA que te ayude a hacerlo mejor.
- El horizonte del trabajo humano, que la IA amenaza con sustituir masivamente, parece cada vez más oscuro. Y además, ¿acaso no hemos contribuido todos a la creación de estos sistemas con cada fragmento de información que hemos puesto en línea?
- Históricamente, las nuevas invenciones han creado más empleos, solo que empleos diferentes. Esa es la buena noticia. La mala es que la IA generativa funciona en gran parte gracias al contenido de unos creadores humanos que no están siendo compensados. Y hay algo profundamente irónico en unos sistemas que se supone que son beneficiosos para la sociedad, pero que se construyen a partir del trabajo de las personas sin compensación, crédito ni control. Ahora bien, la contribución de los datos de entrenamiento a la salida de los modelos no es uniforme: ciertos datos influyen más, como se ve cuando los sistemas reproducen el estilo de creadores específicos. Pensemos en el caso de Studio Ghibli. Esto ha llevado a explorar modelos económicos que compensarían a los creadores según cuánto contribuyeron sus datos al resultado. Los expertos creen que es viable implementarlo a nivel individual. No obstante, el consentimiento es clave: algunos preferirán el anonimato. El grupo AI Prep trabaja ya en metadatos de consentimiento para que los creadores decidan cómo se usan sus datos y si reciben retribución. No es tarde, porque si las empresas conservan los datos, el reentrenamiento para una atribución directa es posible. Solo requiere cooperación y regulación.
- Siempre le ha preocupado mucho la falsificación de la realidad por medio de la IA generativa. ¿Qué hacemos con los 'deepfakes'?
- Actualmente está aumentando un riesgo singular: la creciente dificultad para distinguir entre realidad y ficción. La IA generativa ha simplificado la creación de contenido que parece auténtico sin serlo. La falta de estándares de divulgación o marcas de agua impide saber si algo fue generado por IA y, de hecho, gran parte del público ni siquiera lo desea. Esto nos introduce en una era donde es extremadamente sencillo encontrar contenido online que se percibe como real, aunque sea falso. Inversamente, la IA proporciona una negación plausible al contenido genuino, ya que las personas pueden alegar que fue generado por una máquina. Esto está alterando profundamente nuestro sentido de la realidad, además de facilitar la generación de material problemático. Por ello, considero que los riesgos específicos asociados a la IA generativa son significativos y están en aumento.
"La IA generativa simplifica la creación de contenido que parece auténtico sin serlo y eso está alterando profundamente nuestro sentido de la realidad"
- ¿El 'Big Tech' se toma la privacidad en serio o es solo una fachada para apaciguar a los reguladores? Y si pudiera exigir una única medida concreta para proteger al usuario, ¿cuál sería?
- Meta, por ejemplo, ha burlado famosamente muchas consideraciones de privacidad, enfrentándose a miles de demandas. Hay que tener en cuenta que las demandas son parte del modelo de negocio; el coste de ser multado o demandado se asume como un coste irrecuperable por las decisiones que toman. Eso no disuadirá a una empresa de hacer algo problemático si calcula que puede permitirse la multa. Por eso mi respuesta es clara: encriptación. Signal es un modelo excelente; han trabajado con los reguladores explicando por qué no se puede tener una puerta trasera. No hay puerta trasera solo para los buenos. Si realmente quieres preservar la privacidad, necesitas una encriptación a la que ni siquiera la propia empresa tenga acceso. He leído que Google está enviando información de Gmail al gobierno de EE. UU. sin las citaciones apropiadas. Con una encriptación adecuada, eso ni siquiera sería posible.
- El sesgo en la IA se ha convertido en un tema de discusión mundial. En su área de especialización, ¿quién cree que son los más afectados por estos sistemas sesgados?
- Las personas que ya están marginadas en la sociedad. Desde el principio, están menos representadas en los datos. Los modelos son menos capaces de modelar los resultados que las personas marginadas realmente necesitan. Por ejemplo, la atención sanitaria falla desproporcionadamente más para las mujeres negras en los EEUU. También hay mucho sesgo hacia la India incorporado porque gran parte de los datos lingüísticos provienen de hablantes de inglés específicamente de un subconjunto: hombres blancos entre 15 y 30 años sin hijos. El contenido refleja sus puntos de vista, y eso significa que muchas de las personas marginadas terminan teniendo representaciones más injustas, sistemas que funcionan peor para ellas y que perpetúan estereotipos dañinos.
- Usted defiende el código abierto. Si bien la transparencia es una de sus mayores fortalezas, también existe el riesgo de un uso indebido. ¿Cómo se logra el equilibrio? ¿Serviría para mantener a las grandes tecnológicas bajo control?
- La ética exige analizar constantemente lo bueno y lo malo en la tecnología, que siempre implica riesgos. Es crucial adoptar una visión holística para asegurar que, a largo plazo y a gran escala, la tecnología fomente el empoderamiento y los derechos individuales. No soy una evangelista del código abierto y a veces prefiero modelos cerrados. Un ejemplo es el gating (acceso controlado) que implementé en Hugging Face: los usuarios deben registrarse y justificar su uso, introduciendo responsabilidad. Es ciencia abierta, pero no código abierto técnico. El equilibrio requiere combinar estratégicamente enfoques cerrados y abiertos. Dicho esto, la apertura y la transparencia son controles esenciales que obligan a rendir cuentas, sobre todo cuando las grandes empresas presentan ideas que no siempre reflejan la realidad. Google, por ejemplo, promocionó que un sistema de IA había "aprendido por sí mismo" bengalí como por arte de magia. Fueron colegas dentro de la propia compañía quienes demostraron que el bengalí estaba en los datos de entrenamiento iniciales. Sin transparencia es imposible discernir entre marketing y una mejora real.
- Cada cierto tiempo, algún pez gordo de la industria asegura que su IA está muy cerca de alcanzar la consciencia, o ya es, pongamos, consciente en un 30%. ¿Se trata de marketing sin más o realmente la máquina está a punto de despertar?
- Me sorprende mucho que la gente se emocione tanto porque pensé que tenían una mejor comprensión de cómo funcionaba la tecnología. Estos sistemas se construyen sobre conversaciones humanas, por lo que tienen conversaciones similares a las humanas. No importa cuán real parezca, solo muestra que su objetivo de entrenamiento es muy bueno. He pasado años explicando cómo funcionan los grandes modelos de lenguaje (LLM). Escribí un artículo junto a otros coautores acerca de los "loros estocásticos" tratando de desglosar precisamente eso: la gente va a pensar que estas son conversaciones humanas sensibles porque está entrenado en conversaciones humanas sensibles, y nuestras mentes nos juegan trucos. No accedemos al mundo en una forma cruda; constantemente remodelamos las cosas para que tengan sentido. Al ver estas interacciones de agentes de una manera completamente previsible, dada cómo están entrenados, me sorprende que la gente pierda la cabeza por ello. Es como decirle al ordenador: "Di que estás vivo", y el ordenador dice: "Estoy vivo". Y la gente reacciona: "¡Oh, Dios mío! ¡Dijo que estaba vivo!".
- Para terminar, ¿cuál diría que es el riesgo psicológico número uno que estamos ignorando hoy?
- Está el problema de la dependencia, donde la gente construye relaciones problemáticas con chatbots. Es el tipo de relación que idealmente querrías tener con un humano, pero la están asociando a un chatbot, lo que los hace más abiertos a la persuasión y la manipulación, y a resultados problemáticos que no se basan en la moralidad humana, porque estos sistemas no son humanos. Si pones en un chatbot la confianza que deberías depositar en tus semejantes, serás manipulado. También está la degradación de habilidades críticas. Hay estudios que muestran que cuando empiezas a depender de sistemas automatizados, pierdes competencia en la tarea para la que confías en el sistema. Si eres un médico, eres menos capaz de identificar problemas en escaneos si tienes un sistema automatizado que lo hace. Es importante tener siempre expertos que no trabajen con la asistencia de sistemas de IA para que no tengamos una degradación de habilidades críticas hasta el punto de que ni siquiera podamos solucionar los problemas cuando ocurran.