El decano del ICAM, Eugenio Ribón, y la vicedecana de la institución, Isabel Winkels, inauguraron junto a la filósofa Amelia Valcárcel un encuentro en el que más de 40 especialistas analizarán los desafíos que plantean los sistemas automatizados en ámbitos tan sensibles como el empleo, la protección de datos, la violencia digital o la toma de decisiones públicas.
En su intervención inaugural, Ribón situó el debate en el terreno de las garantías democráticas y advirtió de que la inteligencia artificial ya interviene en decisiones con efectos directos sobre derechos fundamentales. “Hablar hoy de inteligencia artificial es hablar también de poder”, afirmó el decano, quien alertó de que los sistemas automatizados pueden reproducir desigualdades estructurales si no se someten a controles jurídicos efectivos.
En ese contexto, recordó que los algoritmos no son neutrales por definición, ya que se entrenan con datos procedentes de sociedades que arrastran desigualdades históricas. Cuando esos sistemas operan sin transparencia ni mecanismos claros de supervisión, advirtió, el riesgo es que la discriminación quede oculta bajo apariencia de objetividad técnica: “si los algoritmos no son transparentes, la discriminación puede volverse invisible”.
A juicio del decano, estos riesgos obligan a reforzar los mecanismos de control jurídico sobre los sistemas automatizados y a avanzar hacia marcos normativos que garanticen transparencia, responsabilidad y supervisión efectiva de los algoritmos.
Sesgos algorítmicos y nuevas formas de desigualdad
La vicedecana del ICAM, Isabel Winkels, profundizó en esta idea desde una perspectiva jurídica y técnica, subrayando que el desafío no reside únicamente en el desarrollo tecnológico, sino en la forma en que esos sistemas se diseñan, se entrenan y se utilizan. “La inteligencia artificial no es buena ni mala en abstracto. Lo decisivo es dónde se aplica, con qué datos, bajo qué incentivos y con qué controles”, señaló al plantear la necesidad de analizar los sistemas automatizados desde la óptica del derecho a la igualdad y la no discriminación.
En su intervención, Winkels advirtió de que los modelos algorítmicos aprenden patrones a partir de datos producidos en sociedades reales y que, si esos datos reflejan desigualdades estructurales, los sistemas pueden terminar reproduciéndolas o incluso amplificándolas. “Si los datos reflejan un mercado laboral donde las mujeres han sido menos promocionadas, o un sistema penal con sesgos acumulados, el modelo puede tratar esa desigualdad como si fuera la normalidad estadística”, explicó.
La vicedecana situó también el foco en la gobernanza de estos sistemas y en la falta de diversidad en el propio desarrollo tecnológico. En la Unión Europea, recordó, las mujeres representan alrededor del 19,5 % del empleo de especialistas en tecnologías de la información, una infrarrepresentación que, según diversos organismos internacionales, aumenta el riesgo de “puntos ciegos” en el diseño de sistemas de inteligencia artificial.
A su juicio, estos riesgos se manifiestan ya en ámbitos concretos, desde los procesos automatizados de selección de personal hasta el uso de tecnologías de manipulación de imagen y voz en contextos de violencia digital. Ante este escenario, defendió la necesidad de reforzar el papel de la abogacía en la supervisión jurídica de estos sistemas: “No podemos ser espectadores. Debemos ser arquitectos de garantías”.
Regulación, transparencia y control jurídico de los algoritmos
Ante este escenario, Winkels defendió que el debate sobre inteligencia artificial no puede resolverse únicamente desde la ética o la autorregulación tecnológica, sino que exige un enfoque jurídico basado en garantías, supervisión efectiva y mecanismos reales de rendición de cuentas. En ese contexto, recordó que la Unión Europea ha dado un paso decisivo con la aprobación del Reglamento de Inteligencia Artificial (AI Act), que establece una arquitectura regulatoria basada en niveles de riesgo y obligaciones específicas para los sistemas considerados de alto riesgo.
No obstante, advirtió de que la eficacia de este marco dependerá en gran medida de su aplicación práctica y de la capacidad de las instituciones para supervisar el funcionamiento real de estos sistemas. “La pregunta jurídica es sencilla de formular, pero compleja de ejecutar: cómo evitamos que sistemas automatizados conviertan desigualdades históricas en desigualdades optimizadas y, por tanto, más difíciles de detectar y de impugnar”, planteó durante su intervención.
La vicedecana recordó además que el ordenamiento jurídico español ya incorpora instrumentos relevantes para afrontar estos desafíos. En particular, destacó el papel de la Ley 15/2022, integral para la igualdad de trato y la no discriminación, que incluye expresamente la inteligencia artificial en su ámbito de aplicación y obliga a las administraciones públicas a promover la minimización de sesgos, la transparencia y la rendición de cuentas en los procesos de decisión automatizada.
Desde esta perspectiva, insistió en que el debate sobre inteligencia artificial debe trasladarse también al terreno de la prueba y de las garantías procesales. “Si una persona resulta perjudicada por un sistema automatizado, debe poder formular preguntas concretas y obtener respuestas verificables: si se evaluó el impacto en igualdad y no discriminación, si se auditó la representatividad de los datos, si existe documentación trazable de las decisiones de diseño o si hay supervisión humana real”, señaló.
El papel de la abogacía ante los sistemas automatizados
En este contexto, tanto el decano como la vicedecana coincidieron en subrayar la responsabilidad específica que corresponde a la abogacía ante el avance de los sistemas automatizados.
Ribón recordó que el Colegio de la Abogacía de Madrid fue consciente desde muy temprano de la magnitud de este desafío y que ya en 2023 presentó una hoja de ruta sobre los usos de la inteligencia artificial en la profesión jurídica. En aquel documento se advertía de riesgos como la desinformación, las suplantaciones de identidad, la vulneración de la propiedad intelectual o la opacidad algorítmica, así como de las posibles afectaciones al derecho de defensa.
Para el decano, la profesión jurídica se encuentra ante un doble desafío: adaptarse a un entorno tecnológico profundamente transformador y, al mismo tiempo, garantizar que ese desarrollo se produzca dentro de los límites del Estado de Derecho. “La inteligencia artificial puede ser una herramienta extraordinaria para mejorar la eficiencia y ampliar el acceso a la información”, señaló, “pero solo será verdaderamente compatible con el Estado de Derecho si se desarrolla bajo el escrutinio crítico de juristas comprometidos con los derechos y libertades”.
“La igualdad no pertenece al orden espontáneo de las cosas”
Tras las palabras de bienvenida, la filósofa Amelia Valcárcel, una de las voces más influyentes del pensamiento feminista contemporáneo, situó su intervención en el cruce entre los grandes cambios tecnológicos y las incertidumbres del contexto internacional actual, subrayando que la defensa de la igualdad forma parte del núcleo mismo de las democracias abiertas. En este escenario, advirtió de que los avances tecnológicos —y en particular la inteligencia artificial— obligan a examinar con atención los posibles sesgos que puedan incorporarse a sistemas cada vez más presentes en la vida cotidiana.
“Si todo lo que contiene puede contener sesgos misóginos, esos sesgos tienen que ser frenados”, afirmó, alertando de que la discriminación puede reproducirse de manera invisible dentro de los algoritmos. “La misoginia que puede estar dentro y en funcionamiento de un algoritmo no se ve; simplemente funciona”, explicó.
A lo largo de su intervención, Valcárcel recordó que la igualdad entre hombres y mujeres no es un resultado natural de la evolución social, sino una conquista política que exige vigilancia permanente. “La igualdad no pertenece al orden espontáneo de las cosas”, señaló, subrayando que, aunque se han consolidado derechos educativos, civiles y políticos, todavía quedan importantes desafíos en ámbitos como el reconocimiento efectivo de la autoridad y la dignidad de las mujeres.
La filósofa situó además estos debates en un momento internacional especialmente incierto, recordando que los avances democráticos nunca están definitivamente asegurados. “No es la inteligencia artificial la que nos puede mandar al siglo XIII, pero un conflicto internacional de consecuencias imprevisibles sí nos puede volver al siglo XIII”, advirtió, aludiendo al riesgo de retrocesos históricos en contextos de inestabilidad global.
Valcárcel concluyó su intervención defendiendo la necesidad de analizar críticamente cada transformación tecnológica y social para garantizar que contribuya al progreso democrático. “Cada territorio nuevo debe ser mapeado, analizado, estudiado y dirimido bien si contribuye a mejorar lo que ocurre o si nos remite más al pasado que al futuro que deseamos tener”, afirmó, antes de reivindicar el papel del feminismo como uno de los grandes motores de avance social: “El feminismo no tiene absolutamente nada de lo que avergonzarse”.
