Penal

El impacto del deepfake en el delito y en los tribunales

Tribuna
Deepfakes en tribunales_img

1. Introducción

La Inteligencia Artificial, como sabemos, se está desarrollando de manera transversal para la humanidad en lo que se denomina la cuarta revolución industrial y que afecta a todos los sectores, incluida la industria del crimen o en el ámbito de la criminalidad. Los delitos cometidos por o con la IA no son cosa del futuro o de películas fantásticas o distópicas, sino una cuestión del presente que debe ocupar y preocupar al Estado en su función de ius puniendi. Además, la persecución de los delitos y la protección de las víctimas son elementos esenciales de la fuerza punitiva del Estado que refuerzan la confianza en el sistema democrático y de derecho. Al asumir la responsabilidad de investigar y sancionar las conductas delictivas, el Estado no solo protege a las víctimas, sino que también disuade a potenciales infractores al establecer consecuencias claras y previsibles para el comportamiento socialmente reprochable. Esto contribuye a la cohesión social y al bienestar general, ya que las personas se sienten más seguras en un entorno donde se garantiza la justicia.

En los últimos años, los avances tecnológicos se han sucedido a una velocidad vertiginosa, pero estos desarrollos también tienen un lado oscuro que puede ser utilizado por el crimen organizado para evadir el sistema de justicia y a las fuerzas y cuerpos de seguridad del Estado. Más aún, con el lanzamiento de la IA generativa o Grandes Modelos de Lenguaje, que han producido una auténtica nueva revolución dentro de la IA.

Solo a modo de ejemplo, con el lanzamiento de la IA generativa o los Modelos de Gran Lenguaje podría ser mucho más fácil y rentable realizar fraudes, falsificar documentos, atacar la privacidad, utilizar la imagen sin consentimiento, violaciones masivas de la propiedad intelectual e industrial o utilizar técnicas manipuladoras para persuadir a las personas a participar en comportamientos no deseados o incluso para intentar influir en el proceso electoral o engañar al juez con pruebas deep fake en un juicio.

Como ha sucedido con otras tecnologías emergentes, es probable que la Inteligencia Artificial sea utilizada por delincuentes para llevar a cabo actividades ilícitas con la mayor efectividad posible. Las organizaciones criminales o el denominado crimen organizado gozan de dinero, importantes medios personales, división de tareas, estructuras jerarquizadas y muchas posibilidades para poder aprovechar el reverso tenebroso de la denominada Inteligencia Artificial. Los delincuentes y los grupos de ciberdelincuencia organizada han ido integrando rápidamente las nuevas tecnologías en su modus operandi, creando así no solo cambios constantes en el panorama delictivo a nivel mundial, sino también importantes retos para la aplicación de la ley y la ciberseguridad en general. El modelo de negocio Crime-as-a-Service (CaaS), que permite a los delincuentes no expertos en tecnología adquirir herramientas y servicios técnicos en el underground digital que les permiten ampliar su capacidad de ataque y sofisticación, aumenta aún más el potencial de los delincuentes para abusar de las nuevas tecnologías como la IA y convertirse en impulsores del delito[1].

Hemos sido testigos de este tipo de episodios en los que las nuevas tecnologías son empleadas de formas muy eficientes por el crimen organizado. Es el caso, por ejemplo, del aprovechamiento que las organizaciones criminales han hecho de las tecnologías criptográficas para garantizar el secreto de sus comunicaciones con plataformas de comunicaciones cifradas como ENCROCHAT o SKYECC[2]. La integración de la IA en los procedimientos criminales se verá impulsada por la ausencia de regulación legal tanto a nivel nacional como internacional para evitar sus efectos nocivos.

El concepto de DarkAI o IA oscura se refiere a la aplicación de tecnologías de IA -y, en particular, a las recientes innovaciones en IA generativa (GenAI)- con el fin de acelerar o permitir los ciberataques. La IA oscura es experta en aprender y adaptar sus técnicas para violar los sistemas de seguridad.

Esta nueva terra incognita se configura como un nuevo e importante reto al que hacer frente, articulando los legítimos medios que resulten precisos sin que por desconocido deba ser evadido, sino que, por el contrario, es una realidad que debe explorarse y controlarse.

A este respecto, en la vertiente de la criminalidad organizada y la inteligencia artificial debemos mencionar el estudio “Inteligencia Artificial y Crimen Organizado”[3] realizado por el programa EL PACCTO 2.0 que tiene como objetivo proporcionar una visión completa de las interacciones entre la IA y el crimen organizado en América Latina, el Caribe y la Unión Europea, dando ejemplos de acciones realizadas, amenazas o casos públicos, así como herramientas de trabajo existentes y destacando tanto los peligros como las oportunidades que presenta esta tecnología. Además, el estudio explora estas dinámicas, proporcionando una visión integral de cómo la IA está siendo utilizada tanto por los grupos criminales como por las fuerzas del orden en América Latina, y las implicaciones sociales y éticas de esta evolución tecnológica en el ámbito del crimen organizado.

El citado estudio es pionero y está a la máxima vanguardia sobre la materia en el ámbito internacional y se complementa con otro informe también de EL PACCTO 2.0 sobre “La instrumentalización de la inteligencia artificial: cómo la IA transforma el mundo del crimen organizado [4]”.

2. El contexto de los deepfake

De acuerdo con el (Art. 3 (60) Ley de IA de la UE[5], “Deepfake” significa imagen, audio, vídeo o cualquier otro contenido generado o manipulado por IA que se asemeje a personas, objetos, lugares, entidades o eventos existentes y que podría parecer falsamente auténtico o veraz.

En los últimos meses, los deepfakes o avatares ya no son fácilmente distinguibles, ni existe una falta de sincronización entre los labios y las voces, ni ya las personas aparecen con seis dedos o con defectos visualmente visibles y perceptibles rápidamente que nos hagan identificar de manera clara que nos encontramos ante un contenido sintético. Nuestro “detector de humanidad”, de lo verdadero y de lo falso comienza a fallar y en porcentajes muy altos. De esta manera, fotografías, videos, e incluso personajes y videollamadas en directo son imperceptibles e indistinguibles de la realidad.

Según FERNANDEZ RAFAEL[6], los generadores basados en GAN y modelos de difusión producen rostros y cuerpos virtuales casi idénticos a las fotografías reales. Por ejemplo, StyleGAN2 crea caras con tal nivel de detalle que pueden engañar a la mayoría de los observadores.

La clonación de voz ha alcanzado lo que se denomina el "umbral de la indistinguibilidad": con solo unos segundos de audio es posible crear un clon de voz preciso que reproduce la entonación, el ritmo, las pausas e incluso los sonidos de respiración de manera natural.

Están muy lejos los deepfakes de hace unos años que eran fácilmente distinguibles y fáciles de negar y contrarrestar, como el del presidente ucraniano Zelenski que parecía ordenar a sus soldados que depusieran las armas y se rindieran en la lucha contra Rusia[7]. Actualmente, cualquier sistema de Inteligencia Artificial generativa puede generar ultrafalsificaciones que son indistinguibles para el ojo humano de la realidad. Incluso la edición española del canal Deutsche Welle, una cadena de televisión estatal alemana financiada y un canal internacional de servicio público financiado por el Gobierno Federal de Alemania, planteó hace tres años si existe el riesgo de que un deepfake pudiera ser la posible causa de una tercera guerra mundial[8].

A ello se suma no solo la calidad indistinguible de este contenido sintético sino también su volumen. Según este mismo autor, en apenas 2 años el número de deepfakes en internet pasó de unos 500 000 a unos 8 millones, con un crecimiento anual cercano al 900 %.

Y, ¿cuál es la mayor parte de este contenido falsificado?. Según WIRED, el contenido explícito no consensuado creado por bots deepfake a través de Telegram ha aumentado exponencialmente. La revista señaló que actualmente hay al menos cincuenta bots activos que gestionan más de cuatro millones de solicitudes al mes en la plataforma de Telegram y se utilizan para atacar a miles de mujeres y niñas en todo el mundo[9]. Además, un análisis realizado por Wired destacó el rápido crecimiento de la pornografía deepfake no consensuada, con al menos 244.625 vídeos subidos a importantes webs de deepfake en los últimos siete años. Las subidas aumentaron considerablemente en 2023, con 113.000 vídeos publicados solo en los primeros nueve meses, superando a todos los años anteriores juntos[10]. Estos datos fueron de hace dos y tres años.

A partir de finales de diciembre, los usuarios de la plataforma de redes sociales inundaron la cuenta X del chatbot con peticiones para alterar fotos reales de mujeres y niños para quitarse la ropa, ponerlos en bikini y posarlos en posiciones sexuales. Según The New York Times y el Center for Countering Digital Hate, en solo nueve días Grok publicó más de 4,4 millones de imágenes. Una reseña de The Times estimó de forma conservadora que al menos el 41 por ciento de las publicaciones, o 1,8 millones, probablemente contenían imágenes sexualizadas de mujeres. Un análisis más amplio del Center for Countering Digital Hate, utilizando un modelo estadístico, estimó que el 65 por ciento, o algo más de tres millones, contenían imágenes sexualizadas de hombres, mujeres o niños[11].

En España, el "Caso Almendrajajo" saltó a los medios hace unos años. Los menores usaban una aplicación de IA generativa accesible a través de un canal de Telegram para crear imágenes sexuales sintéticas "desnudando" digitalmente fotografías de chicas tomadas de redes sociales. El eslogan de la aplicación deja claro su propósito: "Desnuda a las chicas gratis". Su funcionamiento es sencillo: el único requisito es que la persona aparezca sola en la imagen y no lleve ropa de abrigo. Los rostros de las víctimas se superpusieron a cuerpos desnudos y las imágenes manipuladas se compartieron posteriormente en grupos de WhatsApp. Quince menores fueron declarados responsables en un fallo acordado de veinte delitos de pornografía infantil y veinte delitos contra la integridad moral. Cada uno recibió una libertad condicional de un año por manipular con inteligencia artificial y difundir imágenes de menores para que aparentaran desnudos.

En Italia, su primera ministra, Giorgia Meloni, solicita 100.000 € (£85.374) en daños y perjuicios tras la subida en línea de vídeos porno deepfake[12] suyos.

Según el Estudio de Mapeo basado en COMPILACIÓN DE RESPUESTAS NACIONALES AL CUESTIONARIO CDPC-AICL SOBRE INTELIGENCIA ARTIFICIAL Y RESPONSABILIDAD PENAL – 2025, el 50% de los Estados miembros que respondieron al cuestionario han sufrido investigaciones jurisprudenciales o penales en sus propios países relacionadas con delitos cometidos o facilitados por IA. El ochenta y dos por ciento de los delitos cometidos o facilitados por la inteligencia artificial estaban relacionados con deepfake sexual o pornografía infantil.

En 2023, la policía danesa, el Centro Nacional de Ciberdelitos (NC3), recibió un aviso de socios internacionales. Describía que, durante una investigación en línea, habían descubierto y estaban siguiendo a un productor de material de abuso sexual infantil generado por IA (CSAM) y, según su evaluación, las imágenes generadas por IA eran de las más convincentes encontradas en internet. El productor distribuía las imágenes mediante un sistema de suscripción. El precio era de cinco euros al mes, lo que daba al cliente acceso a nuevos lotes de varios cientos de imágenes cada mes. Las pistas apuntaban a Dinamarca, donde NC3 identificó rápidamente al productor y actuó contra él junto con la policía local en noviembre de 2023. El posterior examen forense de los dispositivos de los autores mostró que poseía más de 30.000 imágenes CSAM generadas por IA[13]. La Operación Cumberland ha sido uno de los primeros casos que involucran material de abuso sexual infantil generado por IA (CSAM), lo que hace que sea especialmente difícil para los investigadores, especialmente debido a la falta de legislación nacional que aborde estos delitos.

Pero no todo son deepfakes sexuales ni están relacionados con contenido de abuso sexual infantil en línea.

En el Reino Unido, una infraestructura crítica como los trenes fue detenida tras la aparición en redes sociales de una imagen supuestamente generada por IA que mostraba daños importantes en un puente tras un terremoto[14].

Un vídeo generado por IA, que rápidamente acumuló más de doce millones de visualizaciones en Facebook, afirmó falsamente un golpe de un coronel en Francia. El presidente francés Emmanuel Macron descubrió la noticia de su propio “derrocamiento”, tras recibir un mensaje de preocupación por un general africano junto con un enlace a un vídeo de Facebook. Fue eliminado más de una semana después por META a pesar de que los requerimientos de retirada de contenido provenían del mismísimo gobierno francés[15].

En la nueva era de la guerra híbrida, la desinformación y el engaño de este tipo de acciones, suponen un peligro extremadamente grave para las democracias y, especialmente, para los procesos electorales. Entre los ejemplos más sofisticados de esta evolución se encuentran las campañas llevadas a cabo por Rusia bajo los nombres en clave Doppelgänger, Storm1516 y Matryoshka durante contextos electorales críticos como las elecciones federales alemanas de febrero de 2025. Se generan duplicados o falsificaciones altamente creíbles de publicaciones como Bild, Der Spiegel y Le Monde. Estos se publican en dominios clonados con nombres similares a los originales y se complementan con imágenes manipuladas. Storm1516 produjo deepfakes—vídeos sintéticos que imitan rostros, voces y gestos humanos—creados con GenAI de última generación (clonación de texto a vídeo y de voz) para realizar una producción masiva de testimonios falsos que circulan como pruebas cargadas de emoción en redes sociales[16].

Además, está en juego la reputación de las instituciones. En España, alguien ha creado un perfil de IA en redes sociales de una mujer que no existe, pero que se hace pasar por agente de la Policía Nacional española. Con más de 125.000 seguidores, una mujer policía sexy indistinguible vende contenido erótico y sexualmente explícito en OnlyFans vistiendo uniforme de policía español, portando placa policial, usando coche patrulla y, sin previo aviso, de que no existe, no es una persona ni un policía reales[17].

Hoy en día, los mercados están dominados por el trading de alta frecuencia (HFT), un subtipo de trading algorítmico que sigue estrategias de inversión respaldadas por complejos modelos matemáticos y se centra en aprovechar las ineficiencias del mercado y los movimientos de precios a corto plazo. En este contexto, los deepfakes adquieren un protagonismo especial en la posibilidad de producir mercados de flash crashes. Esto es lo que ocurrió hace tres años en Estados Unidos, cuando una cuenta de Twitter 'verificada' compartió una imagen falsa de una 'explosión' cerca del Pentágono, lo que provocó una breve caída en el mercado bursátil. El índice Dow Jones Industrial Average cayó unos ochenta puntos entre las 10:06 y las 10:10, recuperándose completamente a las 10:13.[18].

Sin embargo, los fraudes y estafas son el ámbito donde la inteligencia artificial puede usarse de forma más intensiva para cometer delitos mediante robo de identidades mediante deepfakes, falsificaciones de documentos o chatbots para manipular a las víctimas.

La Policía Postal Italiana recibió múltiples denuncias a lo largo de 2025 de criminales que usaban tecnología de clonación de voz Al para hacerse pasar por miembros de la familia. En estos casos, los estafadores generaban voces sintéticas utilizando clips de audio tomados de redes sociales o mensajes de voz antiguos para hacerse pasar por hijos o nietos en apuros, logrando así obtener datos bancarios sensibles y códigos OTP para vaciar cuentas bancarias[19].

Un sofisticado fraude dirigido a los empresarios más ricos de Italia utilizó a Al para clonar la voz del ministro de Defensa. Los estafadores contactaron con víctimas de alto perfil. Los criminales se hicieron pasar por personal del ministerio y exigieron grandes sumas por supuestos rescates de periodistas italianos secuestrados en el extranjero, prometiendo reembolso al Banco de Italia. Al menos un empresario transfirió aproximadamente 1 millón de euros a cuentas extranjeras antes de descubrir el fraude[20].

Varias celebridades italianas presentaron denuncias tras aparecer en vídeos deepfake no autorizados que promovían estafas de criptomonedas y esquemas para hacerse rico rápidamente, incluyendo chefs famosos, restauradores, personalidades de televisión, influencers de moda y presentadores de televisión. Lo mismo en España. El 10 de abril de 2025, las autoridades españolas desmantelaron una sofisticada red de fraude responsable de robar más de 19 millones de euros mediante una estafa habilitada por criptomonedas que utilizaba IA para engañar a las víctimas. El grupo utilizó vídeos deepfake generados por IA de celebridades para promocionar plataformas falsas de inversión en criptomonedas en redes sociales y aplicaciones de mensajería para convencer a las víctimas de depositar dinero en plataformas ilegales, creyendo que participaban en inversiones[21] legítimas.

La empresa británica de diseño e ingeniería Arup fue víctima de alto perfil de un fraude multimillonario de deepfake en mayo de 2024. Los perpetradores explotaron vídeos, imágenes y audios de los ejecutivos de la empresa para entrenar una herramienta asistida por IA que recreara un escenario en el que el director financiero, junto con otros empleados, solicitaba depósitos y transferencias bancarias a un empleado desde su oficina situada en Hong Kong. El empleado fue engañado para realizar las transferencias, y Arup reportó una pérdida de alrededor de 25,6 millones de dólares estadounidenses[22].

Sin embargo, esto no es nuevo. Uno de los primeros casos, hace más de 6 años, fue una 'suplantación de voz' generada mediante software de IA para engañar al director ejecutivo de una empresa energética británica haciéndose pasar por la directora de su empresa matriz alemana. El llamante emitió una solicitud 'urgente' al CEO, exigiendo la transferencia de 243.000 USD a un proveedor húngaro. El CEO de UK consideró que la llamada era legítima y transfirió el dinero, que luego se trasladó desde la cuenta bancaria húngara situada en México y se distribuyó en varios lugares[23].

Los delincuentes pueden utilizar la IA para facilitar y mejorar sus ataques maximizando las oportunidades de obtener beneficios en menos tiempo, explotando nuevas víctimas y creando modelos de negocio criminales más innovadores, reduciendo al mismo tiempo las posibilidades de ser descubiertos.

Y esto no solo afecta a grandes empresas o multinacionales. Debido al aumento de las medidas de ciberseguridad y defensa en estos sistemas y los protocolos para prevenir este tipo de estafas, las organizaciones criminales están utilizando estas tecnologías para ataques masivos y dirigidos a pequeñas y medianas empresas y particulares en un modelo escalable con un número considerable de víctimas con bajas cantidades cada una. Por ejemplo, una panadería en Andalucía tuvo que cerrar en horas punta debido a fraudes de clonación de voz[24] o estafas con niños en situación de apuros están en aumento en Almería (España), con voces generadas por inteligencia artificial para ganarse la confianza de sus víctimas[25].

Y los jueces y funcionarios públicos no están exentos de posibles usos maliciosos de deepfakes en tribunales manipulando pruebas, como veremos.

El FBI también ha implementado alertas porque actores maliciosos han enviado mensajes de texto y mensajes de voz generados por IA -técnicas conocidas como smishing y vishing, respectivamente- que afirman provenir de un alto funcionario estadounidense en un intento de establecer empatía antes de acceder a cuentas personales[26].

3. Regulación penal comparada

Todo el mundo sabe que China es una de las superpotencias tecnológicas mundiales. El 28 de enero de 2022, hace más de 4 años, la Administración del Ciberespacio de China abrió a solicitud pública "Las disposiciones sobre la Administración de Síntesis Profunda de los Servicios de Información en Internet".[27]

En ese texto, "Debido al posible uso de deepfake de servicios de información en Internet para producir, copiar, publicar y difundir información ilegal, difamar y degradar a otros con el daño que esto conlleva” y, según China, el riesgo que incluso pone en peligro la seguridad nacional y la estabilidad social. La República Popular China considera urgente delimitar las 'líneas de resultados' y las 'líneas rojas' y regular el desarrollo de la síntesis de servicios de información en Internet y mantener la red como un espacio "ecológico".

En este sentido, debemos recordar que, aunque la Ley de IA de la UE quizá sea una de las primeras normas sobre Inteligencia Artificial bajo estándares democráticos, quizá la primera regulación sobre Inteligencia Artificial fue la Disposición China sobre la Gestión de Recomendaciones Algorítmicas en los Servicios de Información de Internet[28], promulgada el 31 de diciembre de 2021. Y no podemos olvidar que, a partir del 15 de agosto de 2023, en China están vigentes las "Medidas Interinas para la Gestión de los Servicios de Inteligencia Artificial Generativa"[29].

El 19 de mayo de 2025, la "Ley de Herramientas para Abordar la Explotación Conocida mediante la Inmovilización de Deepfakes Tecnológicos en Sitios Web y Redes, o la Ley TAKE It Down"[30] se convirtió en ley estadounidense. Este proyecto de ley prohíbe la publicación en línea no consensuada de representaciones visuales íntimas de individuos, tanto auténticas como generadas por ordenador, y exige que ciertas plataformas en línea eliminen rápidamente dichas representaciones al recibir la notificación de su existencia. Los infractores están sujetos a restitución obligatoria y sanciones penales, incluyendo prisión, multa, o ambas cosas.

Aún más, hace un año también en Estados Unidos, el 1 de enero de 2025, la AB 1836 de California se convirtió oficialmente en ley. Por primera vez, la ley estatal de derechos post-mortem se amplió explícitamente para incluir réplicas digitales generadas por IA de personalidades fallecidas. Esto significa que no solo se protege el nombre, la voz o la imagen de una celebridad, sino también todo su ser sintético[31].

A nivel europeo, después del Reglamento Europeo de Inteligencia Artificial, más que posiblemente la ley más completa de desarrollo y regulación de la IA es la italiana. No es casualidad, en Italia, su primera ministra, Giorgia Meloni es mujer y además ha sido víctima de deepfake sexuales con su imagen.

El Proyecto de Ley Italiano 1146/2024 ("Proyecto de Ley de IA"), fue aprobado el 17 de septiembre de 2025, por el Senado italiano. El proyecto de ley está actualmente en revisión por la Cámara de Diputados y se espera que sea aprobado formalmente y se convierta en ley.

Claramente se establece la preponderancia de la ley y la soberanía democrática sobre la tecnología, pues el uso de sistemas de inteligencia artificial no debe afectar al funcionamiento democrático de la vida institucional y política ni al ejercicio de las competencias y funciones de las instituciones territoriales sobre la base de los principios de autonomía y subsidiariedad, y tampoco debe afectar a la libertad del debate democrático mediante interferencias ilícitas, provocadas por quien sea, protegiendo los intereses de la soberanía del Estado y los derechos fundamentales de todos los ciudadanos reconocidos por las legislaciones nacional y europea.

El capítulo V (Disposiciones penales) establece las sanciones derivadas del uso ilícito de la inteligencia artificial. En primer lugar, el art. 26, apartado 1, regula los deepfakes, incorporando al Código Penal (Codice Penale) el art. 61, relativo a la difusión ilícita de contenidos generados o alterados mediante sistemas de IA.

Introduce como delitos específicos relacionados con la IA los deepfakes y el contenido manipulado. El artículo 612 quater se dirige específicamente a imágenes falsificadas, vídeos o contenido de audio generado a través de sistemas de IA[32]. El proyecto de ley italiano podría considerarse la regulación nacional más completa y avanzada sobre IA en Europa, no solo en el desarrollo de la Ley de IA, sino que también introduce una nueva circunstancia agravante común por haber cometido el acto utilizando sistemas de inteligencia artificial, delitos específicos relacionados con Al (deepfakes y contenido manipulado, difusión ilícita de contenido generado o manipulado artificialmente, manipulación de mercado, blanqueo de capitales, fraude, manipulación sexual en línea y deepfakes) y responsabilidad penal hacia conductores, productores, programadores, operadores, etc. específicos, basándose en los principios generales del derecho penal de intención y negligencia.

El parlamento australiano está debatiendo el Proyecto de Ley de Enmienda del Código Penal (Material Sexual Deepfake). Esto crea un nuevo delito en el que una persona utiliza un servicio de operador para transmitir material sexual que representa (o parece representar) a otra persona (que tiene, o parece tener 18 años o más) cuando: (i) la persona sabe que la otra persona no consiente la transmisión; o (ii) la persona es imprudente respecto a si la otra persona la persona consiente la transmisión. Este proyecto de ley también creó dos delitos agravados y derogó dos delitos agravados existentes[33].

Dinamarca amplió su Código Penal en 2025 para incluir la redacción "o material que pueda equipararse con esto", para incluir material generado por IA de personas menores de 18 años (deepfakes sexuales).

La ley penal letona sí prevé la responsabilidad que influye en el proceso electoral mediante el uso de tecnología deepfake.

En septiembre de 2024, Corea del Sur introdujo tres enmiendas a la "Ley de Prevención de los Delitos Sexuales de Falsificación Profunda[34] que incluyen el refuerzo de la responsabilidad del Estado en la penalización de los delitos de falsificación profunda y el fortalecimiento de las medidas de recuperación de las víctimas.

México ha aprobado la Ley Olimpia, que criminaliza la difusión no consensuada de contenido íntimo, incluyendo contenido generado por inteligencia artificial, como los deepfakes, como una forma de violencia digital.

Argentina ha promulgado la Ley 27.736[35], que, al igual que en México, establece una nueva forma de violencia de género, la violencia digital, como una forma específica de agresión contra las mujeres que abarca cualquier acción en entornos digitales que viole su dignidad, reputación, identidad, libertad o integridad sexual. Considera que la difusión de contenido íntimo sin consentimiento es un delito, ya sea auténtico o manipulado mediante tecnologías como la inteligencia artificial. Aunque la ley no menciona explícitamente la inteligencia artificial, sí cubre contenido que ha sido editado o atribuido falsamente a mujeres, incluidos los deepfakes[36].

En abril de 2025, Perú promulgó la Ley Nº 32214[37]. La ley modifica el Código Penal y la Ley de Ciberdelitos para regular el uso de la inteligencia artificial en la comisión de delitos como circunstancia agravante. Se imponen penas estrictas para delitos específicamente habilitados por la IA, incluyendo pornografía infantil y difamación.

En Reino Unido, la Ley de Delitos Sexuales de 2003, modificada por la Ley de Datos (Uso de Acceso) de 2025, incluye un delito de crear intencionadamente una supuesta imagen íntima no consensuada de un adulto sin consentimiento o creencia razonable en el consentimiento, y un delito de solicitar la creación de una supuesta imagen íntima de un adulto sin consentimiento ni creencia razonable en el consentimiento. Ninguno de estos delitos está aún en vigor. El Gobierno del Reino Unido también está introduciendo nuevos delitos en Inglaterra y Gales relacionados con generadores de imágenes de abuso sexual infantil bajo la Ley de Crimen y Policía.

En Francia, el artículo 15 de la Ley "Seguridad y Regulación del Espacio Digital" (SREN) de 21 de mayo de 2024 ha ampliado el alcance del delito previsto en el artículo 226-8 del Código Penal, que castiga la publicación de un montaje realizado con palabras o imágenes de una persona sin su consentimiento, a casos en los que el contenido ha sido generado mediante procesamiento algorítmico (incluidos sistemas de IA) e incluso cuando no es evidente que es un montaje o si no se menciona expresamente allí. El 2 de enero de 2026, los ministros Roland Lescure, Anne Le Hénanff y Aurore Bergé informan al fiscal y a la plataforma Pharos, bajo el artículo 40 del código de procedimiento penal, de la existencia de contenido manifiestamente ilegal generado por la inteligencia artificial generativa Grok y difundido en la plataforma X, con el fin de obtener su retirada inmediata .

Así, el artículo 15 de la Ley «Seguridad y regulación del espacio digital» (SREN) de 21 de mayo de 2024 amplió el ámbito de aplicación del delito previsto en el artículo 226-8 del Código Penal, que castiga la publicación de un montaje realizado con las palabras o las imágenes de una persona sin su consentimiento, a los casos en los que el contenido haya sido generado por un tratamiento algorítmico (incluidos los sistemas de IA), cuando no resulte evidente que se trata de un montaje o si no se menciona expresamente.

Una nueva circunstancia agravante, aplicable a los delitos previstos en este artículo, permite además aumentar las penas a dos años de prisión y 45 000 euros de multa cuando la publicación se haya realizado utilizando un servicio de comunicación pública en línea, lo que permite cubrir las situaciones en las que estos contenidos se han publicado en las redes sociales.

Además, esta ley SREN también introdujo el artículo 226-8-1 del Código Penal, por el que se crea un nuevo delito de publicación de un montaje de carácter sexual sin el consentimiento de la persona.

4. Ley Modelo IA y crimen de EL PACCTO 2.0

La Ley Modelo es un instrumento jurídico muy útil, eficaz y flexible para la armonización (aproximación) del derecho entre distintas jurisdicciones, funcionando como un mecanismo de soft law que facilita la adopción de normas mínimas comunes respetando las particularidades de cada ordenamiento jurídico nacional y sin imponer estructuras rígidas. Su carácter no vinculante es esencial, ya que respeta la soberanía de cada Estado y su derecho a establecer su propio marco jurídico.

El objetivo principal de la Ley Modelo de IA y Crimen[38]:

1. Establecer un marco regional para el desarrollo de la legislación nacional sobre derecho penal en relación con la Inteligencia Artificial, incluida la Delincuencia Organizada.

2. Alentar a los países de América Latina y el Caribe a llenar el vacío y las lagunas existentes en materia de derecho penal e Inteligencia Artificial, abordando y regulando los aspectos relevantes a través de la legislación penal sustantiva y procesal y utilizando principios normativos internacionales comunes, en particular:

- Tipificar los delitos derivados del uso indebido de los sistemas de inteligencia artificial.

- Castigar como circunstancia agravante el uso de IA para la comisión de un delito.

- Tomar medidas enérgicas contra el uso de la IA para crear, generar y difundir deepfakes con fines maliciosos e ilegales que vulneren los derechos y los datos personales.

- Proteger los derechos humanos y los datos personales.

- Aclarar las condiciones de responsabilidad penal en caso de uso fraudulento de un sistema de inteligencia artificial.

La Ley Modelo abarca todas las dimensiones clave de la cooperación moderna en la justicia penal:

- Derecho sustantivo: criminalización de delitos relacionados con IA, circunstancias agravantes, conspiración y crimen organizado.

- Jurisdicción y competencia: aclaración de aspectos jurisdiccionales y responsabilidades de los tribunales nacionales en casos transfronterizos de IA.

- Medidas procesales: que incorporan protección a la víctima, salvaguardas procesales y medidas y mecanismos de cooperación internacional.

- Responsabilidad: abordar la responsabilidad penal de los proveedores de IA

- Cooperación internacional: que permite la asistencia mutua, equipos conjuntos de investigación y procedimientos de congelación y confiscación de activos.

- Alianzas público-privadas: fomentar la colaboración entre las autoridades de justicia penal y el sector tecnológico, promover la alfabetización en IA y fortalecer las capacidades de las autoridades de justicia penal mediante la formación.

3. Garantizar el desarrollo de sistemas de IA acordes con la protección de los derechos fundamentales consagrados y regulados por los instrumentos internacionales y regionales sobre derechos humanos, la legislación nacional y la jurisprudencia y la jurisprudencia existente a nivel nacional.

4. Facultar a los tribunales para cooperar más eficazmente con los tribunales y representantes extranjeros en los nuevos modelos penales relacionados con la inteligencia artificial, en particular:

- Definir la competencia jurisdiccional en materia penal en relación con el uso de sistemas de inteligencia artificial.

- Establecer normas generales de procedimiento destinadas a sancionar las infracciones cometidas en relación con los sistemas de inteligencia artificial.

- Establecer normas que faciliten la cooperación judicial para sancionar mejor los delitos cometidos en relación con los sistemas de inteligencia artificial.

Finalmente, la Ley Modelo busca proporcionar un marco legal flexible para la cooperación regional e internacional entre las autoridades de justicia penal (investigadores policiales, fiscales, jueces y magistrados), y facilitar y apoyar la investigación, enjuiciamiento y resolución de conductas y amenazas en evolución planteadas por el uso de la IA, con el fin de disminuir el nivel de impunidad y optimizar la aplicación y la persecución en el ámbito de la justicia penal en la región de la ALC, priorizando la protección de poblaciones especialmente vulnerables.

Desde Río de Janeiro, el 10 de octubre de 2025, representantes de los parlamentos miembros de FOPREL (Foro de Presidentes de los Poderes Legislativos de Centroamérica y la Cuenca del Caribe) aprobaron la "Ley Marco Regional de Inteligencia Artificial aplicada a la Justicia y la Seguridad" (basada en la Ley Modelo) desarrollada con el apoyo de EL PACCTO 2.0., en el marco de la 15ª Reunión de la Comisión Interparlamentaria de Seguridad Pública y Administración de Justicia junto con la 11ª Reunión de la Comisión Interparlamentaria de Asuntos Internacionales e Integración Regional. Actualmente se están desarrollando y programando reuniones para EL PACCTO 2.0 para 2026 con países interesados en la Ley Modelo y la asistencia legislativa, como El Salvador, Costa Rica, Panamá, Guatemala, Paraguay, Uruguay y Jamaica.

El resultado es que doce países (algunos de los más importantes del mundo) tienen regulaciones penales sobre deepfakes, mientras que otros siete están considerando o en proceso de introducirlos para 2026.

5. Instrumento internacional IA y responsabilidad penal CDPC-COE

El Comité Europeo de Problemas del Crimen (CDPC) ha sido confiado por el Comité de Ministros la responsabilidad de supervisar y coordinar las actividades del Consejo de Europa en el ámbito de la prevención y el control del crimen[39]. Ha hecho que los desafíos sustantivos del derecho penal que plantean los avances en robótica, IA y maquinaria autónoma inteligente, capaz de causar daños físicos independientemente de los operadores humanos, sean una prioridad[40]. El 28 de noviembre de 2018, el comité celebró una sesión temática en Estrasburgo sobre IA y responsabilidad penal, con el fin de (i) examinar y determinar el alcance y el contenido de la legislación penal nacional relevante y del derecho internacional relativo al uso de vehículos automatizados (u otro despliegue de IA), (ii) determinar en qué circunstancias ciertos tipos de conducta están o deberían estar cubiertos por el derecho penal en relación con la delegación, división o asignación de tareas, funciones y comportamientos a tecnologías automatizadas, y la posible relevancia transfronteriza, (iii) examinar el alcance y el fondo de un instrumento jurídico internacional para establecer estándares comunes para los aspectos del derecho penal de las tecnologías automatizadas, en particular los vehículos autónomos.

En la sesión temática, el CDPC reconoció la importancia de este tema y decidió crear un grupo de trabajo restringido (en adelante "el Grupo de Trabajo") de representantes de los Estados miembros apoyados por varios expertos científicos[41]. Este grupo de trabajo tenía la tarea de (i) hacer balance de las normativas existentes, (ii) identificar los futuros desafíos relacionados con el desarrollo de la IA a abordar en el ámbito del derecho penal, con un enfoque particular en la responsabilidad penal y las condiciones de licencia para la comercialización y uso de productos equipados con IA, y (iii) hacer propuestas para posibles actividades de acción y establecimiento de normas en este campo.

Tras estos proyectos, en la 77ª reunión plenaria del CDPC celebrada en Estrasburgo del 3 al 6 de diciembre de 2019, se instruyó al Grupo de Trabajo para "llevar a cabo un estudio de viabilidad que identifique el alcance y los elementos principales de un futuro instrumento del Consejo de Europa sobre IA y derecho penal, preferiblemente una convención".[42]

Al CDPC se le ha encomendado redactar un instrumento legal sobre responsabilidad penal relacionado con el uso de IA, previsto para finales de 2026. Este mandato ha sido otorgado por el Comité de Ministros en relación con la prevención y control del delito, en conexión con el aumento del uso de la IA en todos los ámbitos de la vida. Con sus actividades pasadas —en particular el "Estudio de Viabilidad sobre un Futuro Instrumento del Consejo de Europa sobre Inteligencia Artificial y Derecho Penal (2020)"[43]  y el trabajo preparatorio de su grupo de trabajo sobre IA y Derecho Penal— el CDPC está bien preparado para cumplir este papel.

En la reunión del CDPC, 88ª Sesión Plenaria, del 25 al 27 de noviembre de 2025, el Presidente del CDPC señaló que el plazo entregable "Proyecto de instrumento legal sobre responsabilidad penal relacionada con el uso de inteligencia artificial" se ha prorrogado hasta finales de 2027.

El último documento de discusión trató sobre las respuestas del cuestionario[44] "Compilación de Respuestas Nacionales al CDPC_AIC" y del Documento de Debate del CDPC sobre Responsabilidad Penal Relacionada con los sistemas de IA, que daban seguimiento al Convenio Marco sobre IA y Derechos Humanos, Democracia y Estado de Derecho (CAI, CETS nº 225)[45].

En la 4ª Reunión del Grupo de Trabajo de Expertos en Inteligencia Artificial y Derecho Penal (CDPC-AICL), celebrada en Estrasburgo el 18 de diciembre de 2025, se presentó un estudio cartográfico sobre las respuestas de los Estados Miembros a las regulaciones actuales y futuras relacionadas con la IA y la responsabilidad penal.

Tras la discusión sobre el Estudio de mapeo de respuestas el Grupo de Trabajo mantuvo intercambios sobre el alcance y la naturaleza potencial de un futuro entregable. Una propuesta de la Secretaría para garantizar que el futuro entregable cubriera, como mínimo, el tema de los deepfakes fue apoyada por consenso entre las delegaciones. Sin embargo, varias delegaciones expresaron su apoyo a un alcance más amplio.

Se acordó además que, durante la primera parte de enero de 2026, la Secretaría distribuiría un breve cuestionario invitando a las delegaciones a indicar su tipo de instrumento legal preferido, o si no desean perseguir ningún instrumento legal, conforme a los Términos de Referencia aprobados por el Comité de Ministros. Además, se invitaría a las delegaciones a indicar si, en el instrumento legal previsto, tal y como se establece en los actuales Términos de Referencia del Comité de Problemas de Criminalidad (CDPC) del Consejo de Europa, desean incluir cualquier cuestión más allá del tema de los deepfakes, que había sido acordado unánime y preliminarmente.

El Grupo de Trabajo tomó nota de que la mayoría de las delegaciones que respondieron expresaron su apoyo a continuar trabajando en un instrumento jurídico del Consejo de Europa que aborde los deepfakes.

El Grupo de Trabajo tomó nota de la preferencia mayoritaria indicada entre las delegaciones que respondieron por un instrumento no vinculante, en particular una Recomendación.

6. Las propuestas regulatorias españolas

El "Proyecto de Ley Orgánica para la Protección de Menores en Entornos Digitales" español se encuentra actualmente en proceso de revisión legislativa. El artículo 173 bis de este proyecto de ley castiga a las personas que, sin la autorización de las personas afectadas y con la intención de socavar su integridad moral, difundan, exhiban o transfieran imágenes corporales o audio de voz generados, modificados o recreados por sistemas automatizados, software, algoritmos, inteligencia artificial o cualquier otra tecnología, de tal manera que simulen ser reales, simulando situaciones de contenido sexual o gravemente degradante. También se introducen en este proyecto de ley diferentes delitos agravados por el uso de identidades falsas a través de la tecnología, que facilitan o permiten la comisión de delitos contra menores[46].

Recientemente, además, se ha publicado el Anteproyecto de Ley español sobre reforma de la Ley Orgánica del Honor, intimidad personal y la propia imagen. Los enormes cambios tecnológicos producidos determinan además nuevas formas de posible contravención de esos derechos fundamentales y hacen aconsejable revisar las herramientas de protección que la actual Ley Orgánica 1/1982 venía regulando.

Dicho proyecto, regula la posibilidad de prohibir o permitir por una persona ya fallecida la utilización de su imagen o de su voz, sean originales o modificadas, simuladas o manipuladas, para fines publicitarios, comerciales o de naturaleza análoga. El principal modelo regulatorio en este sentido fue el 1 de enero de 2025 , la ley AB 1836 de California. Por primera vez, el estatuto estatal de derechos post mortem se amplió explícitamente para incluir réplicas digitales de personalidades fallecidas generadas por IA. Esto significa que no solo se protege el nombre, la voz o la imagen de una celebridad, sino también su ser sintético completo.

Como supuestos de intromisión ilegítima se incluye:

f) La utilización o difusión de la imagen o la voz de una persona que haya sido creada, simulada o manipulada tecnológicamente para dotarla de una apariencia extremadamente realista.

g) La utilización del nombre, de la voz o de la imagen de una persona para fines publicitarios, comerciales o de naturaleza análoga, aunque la voz o la imagen hubieran sido simuladas o manipuladas.

Se introduce como nueva excepción de la protección de la propia imagen de personas que ejerzan un cargo público o una profesión de notoriedad o proyección pública, la utilización de imágenes o voces extremadamente realistas de dichas personas generadas o manipuladas tecnológicamente, cuando este contenido forme parte de una obra o programa manifiestamente creativos, satíricos, artísticos, de ficción o análogos, y el responsable de su divulgación haga pública la existencia de dicho contenido generado o manipulado artificialmente de una manera adecuada que no dificulte la exhibición o el disfrute de la obra. Este supuesto se basa en la previsión contenida en el artículo 50.4 del Reglamento (UE) 2024/1689 (EDL 2024/13152)respecto de las ultrasuplantaciones.

7. Supuestos penales que pueden verse afectados por deepfake. ¿Existe una necesidad de regular los deepfake?

7.1 Deepfakes sexuales

El principal problema en este delito surge en que la pornografía infantil regulada en el Art. 189 CP (EDL 1995/16398) requiere que se trate de “una conducta sexualmente explícita” o la “representación de los órganos sexuales” y además “con fines principalmente sexuales”.

Sin embargo, según la legislación y jurisprudencia españolas (STS n.º 1342/2003, de 20 de octubre (EDJ 2003/127686)), se considera que la imagen de un desnudo – ya sea menor o adulto, masculino o femenino – no puede considerarse objetivamente material pornográfico. Siguiendo una línea restrictiva, la STS nº 376/2006, de 8 de marzo (EDJ 2006/31791) excluyó del concepto de material pornográfico el mero desnudo. La STS nº 1342/2003, de 20 de octubre (EDJ 2003/127686), considera que la imagen de un desnudo -sea menor o adulto, varón o mujer- no puede ser considerada objetivamente material pornográfico, con independencia del uso que de las fotografías pueda posteriormente hacerse. Sigue esta estela la STS nº 105/2009, de 30 de enero (EDJ 2009/13357).

Así, por ejemplo, la Circular 2/2015 de Fiscalía General del Estado, de 19 de junio, sobre los delitos de pornografía infantil tras la reforma operada por Ley Orgánica 1/2015, los fiscales sólo mantendrán el carácter pornográfico de las imágenes de niños desnudos cuando las mismas se enmarquen en un contexto lascivo (posados con contenido sexual e imágenes enfatizando los genitales).

Recientemente, en España, un acusado fue absuelto de un delito contenido de abuso sexual infantil o pornografía infantil porque el Tribunal considera que el tipo delictivo no incluye una foto en bikini de un menor porque no es contenido pornográfico ni sexualmente explícito, y en el Derecho Penal está prohibida la aplicación analógica y la extensa interpretación en malam parte de las normas penales[47].

Entendemos que la conducta de los deepfake sexuales tampoco podría subsumirse en el denominado “porno vengativo”, del art. 197.7puesto que no hay previo consentimiento para obtener las imágenes por parte de la víctima.

Quizás una de las mejores opciones de tipicidad en el concurso de normas que provocan las ultrafalsificaciones sexuales podría ser el denominado stalking” en su vertiente del último apartado del Art. 172 ter:

5. El que , sin consentimiento de su titular, utilice la imagen de una persona   para realizar anuncios o abrir perfiles falsos en redes sociales, páginas de contacto o cualquier medio de difusión pública , ocasionándole a la misma situación de acoso, hostigamiento o humillación, será castigado con pena de prisión de tres meses a un año o multa de seis a doce meses . Si la víctima del delito es un menor o una persona con discapacidad , se aplicará la mitad superior de la condena

Así, se cumplen:

  • La utilización de la imagen de la víctima.
  • Sin su consentiento
  • Provocación de situación de acoso, hostigamiento y humillación.
  • Y, además, aumento penológico necesario en caso de menores o discapacitados.

Sin embargo, dicho artículo se entiende principalmente para

  • Realizar anuncios
  • Abrir perfiles falsos.

Así, fuera de dichas finalidades y no dándose ninguna de ellas, de acuerdo con el principio de tipicidad podría resultar que la conducta no es subsumible en el tipo, y por lo tanto en una sentencia absolutoria. La referencia a cualquier medio de difusión pública se considera que se realiza en relación a la apertura de perfiles falsos o anuncios en cualquier medio de difusión que no sean sólo redes sociales o páginas de contacto.

En siguiente lugar, quizás hoy a expensas de una reforma penal, lo más probable es que la mejor opción de tipicidad sea la del trato degradante del art. 173 .

  • 1. El que infligiera a otra persona un trato degradante, menoscabando gravemente su integridad moral, será castigado con la pena de prisión de seis meses a dos años

Se trata de un tipo penal amplio y que puede encuadrar la conducta debido a su falta de concreción.

De igual manera, anteriormente, ya se había utilizado este tipo penal para supuestos de compartir imágenes sexuales entre jóvenes y que luego habrían sido difundidas a terceros con la finalidad de humillación, antes incluso de la tipificación del denominado porno vengativo (SAP, Penal sección 5 del 10 de septiembre de 2009 (ROJ: SAP V 3771/2009 - ECLI:ES:APV:2009:3771 Sentencia: 488/2009 ; Recurso: 92/2007; Ponente: BEATRIZ GODED HERRERO).

Así, por ejemplo, “la Sala no acierta a imaginar, ni ninguno de los recurrentes aventura en su escrito, otro motivo para distribuir las imágenes, que el de humillar y dañar la consideración que pudiera merecer Melisa en su entorno de amistades y compañeros”.

Sin embargo, en dicho supuesto, eran imágenes de contenido sexualmente explícito y de los órganos sexuales.

Pero ¿un desnudo es vejatorio? ¿o es vejatorio un top less o un tanga? Lo degradante no es objetivamente un desnudo, sino hacerlo sin el consentimiento. Lo vejatorio o humillante es “desnudar” virtualmente a alguien, su imagen, en contra de su voluntad. Ese desnudo virtual violentado es lo constitutivo del trato degradante y así se ha considerado, por ejemplo, en supuestos de torturas (STS 1122/98 de 29 de septiembre (EDJ 1998/21092) o STS 819/02 de 8 de mayo (EDJ 2002/23820)).

En cierta manera, nos recuerda a jurisprudencia de la Sala Primera (Sentencia del Tribunal Supremo de 28 de mayo de 2007, 28 de mayo de 2002, 21 de diciembre de 2016 (ROJ: STS 5527/2016 - ECLI:ES:TS:2016:5527; Nº Sentencia: 746/2016), casos Pataki y Melani Olivares, en los que se considera como ilegítima la utilización de imágenes tomadas en top less de las actrices y utilizarlas como personaje involuntaria en un montaje. O STS 518/2012, 24 de Julio de 2012 (EDJ 2012/201021), donde se aprecia vulneración de la propia imagen e intimidad corporal no sólo “por la exhibición de su cuerpo al completo desnudo por su parte posterior, sino también por mostrar momentos que se intentaban preservar del conocimiento de los demás”.

En materia civil, si se contempla igualmente en España la necesidad de reforma legal es porque el artículo séptimo apartado sexto de la Ley Orgánica 1/1982, de 5 de mayo (EDL 1982/9072), de protección civil del derecho al honor, a la intimidad personal y familiar y a la propia imagen. preceptúa como intromisión ilegítima:

6. La utilización del nombre, de la voz o de la imagen de una persona para fines publicitarios, comerciales o de naturaleza análoga. 

¿Qué ocurre si esa utilización de la imagen, voz o vídeo es para otros fines? ¿no sería vulneración civil de la propia imagen?

Porque la vulneración de la intimidad se refiere a “la captación, reproducción o publicación por fotografía, filme, o cualquier otro procedimiento, de la imagen de una persona en lugares o momentos de su vida privada o fuera de ellos”. Pero lo cierto es que las ultrafalsificaciones tampoco se encuadran en la captación de imágenes furtivas sino en la modificación o alteración de imágenes reales.

Por último, la app que desnuda y Telegram no fueron condenados.

En este sentido, deberíamos plantearnos: ¿Existe un uso legítimo de una aplicación que sirve únicamente para desnudar fotografías de una persona y probablemente sin su consentimiento? Porque si se tiene su consentimiento, no necesitas realizar el desnudo sintéticamente. Y, ¿ha de tener alguna responsabilidad la plataforma digital en este tipo de supuestos?

Hay quien califica la propagación de deepfake sexuales como una lacra y se habría descubierto que muchas empresas detrás de esta tecnología. Al menos desde el pasado mes de septiembre habrían comprado anuncios en Instagram, Facebook y otras aplicaciones de Meta, sin ningún tipo de penalización ni castigo, llegando alguna de ellas hasta 240.000 usuarios[48].

Así, en aquellos supuestos de inteligencia artificial oscura debería también castigarse a aquellos que produzcan, vendan, distribuyan, exhiban, ofrezcan o faciliten las tecnologías con el único propósito ilícito Esto no incluirá las tecnologías de doble uso que puedan utilizarse para fines buenos o lícitos, sino únicamente aquellas tecnologías cuya única finalidad sea incurrir en conductas punibles.

Un estudio elaborado por Tech Transparency Project (TTP) reveló que en las tiendas de aplicaciones de Google y Apple existen al menos 102 aplicaciones (55 disponibles en Google Play Store y 47 en la Apple App Store) capaces de eliminar la ropa de mujeres y/o generar videos sexualizados de manera no consentida. El informe detalla que, en conjunto, estas aplicaciones acumulan más de 705 millones de descargas a nivel mundial y han generado ingresos aproximados por 117 millones de dólares[49].

7.2 ¿Desórdenes públicos?

Los casos que hemos visto de Reino Unido en que una infraestructura crítica como los trenes fue detenida tras la aparición en redes sociales de una imagen supuestamente generada por IA 7que mostraba daños importantes en un puente tras un terremoto; O en Francia, de un vídeo con más de doce millones de visualizaciones en Facebook que afirmó falsamente un golpe de un coronel en Francia; o en Estados Unidos, cuando una cuenta de Twitter 'verificada' compartió una imagen falsa de una 'explosión' cerca del Pentágono, ¿pueden ser constitutivos de delitos de desórdenes públicos?

En primer lugar, el Art. 560 castiga “los que causen daños en vías férreas u originen un grave daño para la circulación ferroviaria”.

¿Podría ser constitutivo del denominado delito de falsa amenaza de bomba? El artículo siguiente castiga “Artículo 561. Quien afirme falsamente o simule una situación de peligro para la comunidad o la producción de un siniestro a consecuencia del cual es necesario prestar auxilio a otro, y con ello provoque la movilización de los servicios de policía, asistencia o salvamento, será castigado con la pena de prisión de tres meses y un día a un año o multa de tres a dieciocho meses”.

Parece que este tipo de ultrafalsificaciones entrarían dentro de la categoría penal, pero quizás la pregunta no es tanto si se cumple la tipicidad sino si dicho tipo penal engloba la totalidad de la gravedad de la conducta.

7.3 Ciberataques, fraudes y estafas

La IA puede ser utilizada para cometer ciberataques a través de la automatización mediante el uso de bots, ataques de denegación de servicio (DDOS) o la propagación y distribución de programas maliciosos (malware). En la dark web se venden kits de phishing completamente automatizados capaces de enviar mensajes fraudulentos a cientos de miles direcciones de correo electrónico por sólo unos pocos dólares. Hace cerca de 15 años, en 2011 se calculaba que el 61 por ciento de todos los ataques en línea se lanzaban mediante kits de herramientas delictivas completamente automatizados, los cuales generaban unos beneficios sensacionales. Imaginen ahora con el nivel de desarrollo de la inteligencia artificial[50].

Hay soluciones como WormGPT que se anuncian sin ningún tipo de restricción, y por supuesto sin que la empresa asuma ningún tipo de responsabilidad por usos ilícitos, utilizando IA para desarrollar software dañino o adaptar herramientas para su uso delictivo. Esto supone una “democratización” de los ciberataques donde los cibercriminales ya no necesitan grandes costes, ni conocimiento técnico ni tiempo. Es barato, fácil, sencillo, rápido y automatizado[51]. El programa maligno bancario en Brasil muestra cómo los delincuentes roban información confidencial de manera similar a un software legítimo, dificultando la labor policial. También un botnet llamado Gameover Zeus fue capaz de infectar aparatos del todo el mundo con el troyano CryptoLocker, que bloqueaba el acceso de los usuarios a todos sus archivos y los obligaba a pagar si querían recuperarlos. El ataque fue exitoso debido a los sofisticados agentes de ransomware utilizados por Gameover Zeus, que se emplearon para localizar y eliminar datos. Esta actividad delictiva generó aproximadamente cien millones de dólares en ingresos para sus operadores. Llevar a cabo este trabajo de forma manual y con delincuentes humanos habría sido con anterioridad tan prohibitivo como imposible [52]

Otro ejemplo es FraudGPT, un producto vendido en la web oscura y Telegram que funciona de manera similar a ChatGPT, pero crea contenido para facilitar los ataques cibernéticos. Miembros del equipo de investigación de amenazas de Netenrich lo identificó por primera vez y lo vio anunciado en julio de 2023[53]. Según una reciente exclusiva de The Wall Street Journal[54] piratas informáticos chinos e iraníes utilizan productos de inteligencia artificial estadounidenses para reforzar los ciberataques. El año pasado, docenas de grupos de piratas informáticos en más de 20 países recurrieron al chatbot Gemini de Google para ayudar con la escritura de códigos maliciosos, la búsqueda de vulnerabilidades cibernéticas conocidas públicamente y la investigación de organizaciones a las que atacar, entre otras tareas, dijeron los expertos en amenazas cibernéticas de Google.

Identificado por EL PACCTO 2.0[55] XanthoroxAI, disponible en la red abierta, ayuda a la creación de correos electrónicos de phishing, malware en tiempo real, desplegar ramsonware e incluso simular el comportamiento del usuario para evadir los sistemas de detección tradicionales. Además, proporciona orientación sobre la construcción de armas nucleares. Se puede acceder a ella a través de GitHub, YouTube y Discord, y se puede comprar mediante un pago en criptodivisas de 200 o 300 USD. Existen pruebas fehacientes de que esta herramienta se está utilizando en campañas a gran escala dirigidas tanto a empresas como a particulares.

Los chatbots permiten a los delincuentes personalizar sus mensajes utilizando modelos de lenguaje que imitan a personas o instituciones confiables, lo que aumenta la efectividad de estos fraudes. Un ejemplo es LoveGPT, es capaz de generar conversaciones automáticas en aplicaciones de citas para estafar emocionalmente a las víctimas, pidiendo dinero bajo falsas emergencias o presentando oportunidades de inversión fraudulentas.

En cuanto a los fraudes y estafas, es quizás el lugar donde con más intensidad se puede estar utilizando la inteligencia artificial para cometer delitos usurpando identidades mediante deepfake, falsedades documentales o chatbots para manipulación de las víctimas.

Todo ello, por consiguiente, debería suponer un agravamiento de las penas en los delitos de estafas, extorsión, usurpación de identidad, cuando con el uso de sistemas de IA, patrones de IA o deepfakes para facilitar y mejorar sus ataques maximizando las oportunidades de obtener ganancias en un tiempo más corto, explotando a nuevas y más víctimas, y creando modelos de negocio criminales más innovadores, al tiempo que se reducen las posibilidades de ser atrapados.

7.4 ¿Usurpación de funciones públicas y procesos electorales?

Como hemos dicho, está en juego la reputación de las instituciones. En España, alguien ha creado un perfil de IA en redes sociales de una mujer que no existe, pero que se hace pasar por agente de la Policía Nacional española. Con más de 125.000 seguidores, una mujer policía sexy indistinguible vende contenido erótico y sexualmente explícito en OnlyFans vistiendo uniforme de policía español, placa policial, usando coche patrulla y, sin previo aviso, que no es una persona ni un policía reales. Juristas españoles, entre los que me incluyo, consideramos que difícilmente esta conducta podría ser castigada según el artículo 402 bis del Código Penal español (CP) (EDL 1995/16398), que establece: "Cualquiera que, sin autorización, viste pública e impropiamente un uniforme, disfraz o insignia que le confiera estatus oficial". Quien usa públicamente y de forma indebida el uniforme, el disfraz o la insignia de la policía nacional española es un avatar de IA, no un humano, y en España no tenemos perpetración indirecta declarada con IA en el derecho penal[56].

¿Qué delito sería el uso de deep fake, sistemas de IA o tecnologías de clonación utilizando un candidato electoral o un vídeo, voz o imagen de un cargo oficial sin consentimiento para violar su dignidad, reputación, usurpar su identidad, cometer calumnias, lesiones, humillaciones u otros fines maliciosos que falsamente parezcan auténticos o veraz, para intentar influir en un proceso o campaña electorales?

Los políticos están entre los objetivos y víctimas más vulnerables de los deepfakes porque su imagen, voz, vídeo y fotografías se encuentran innumerables veces en Internet, por lo que es la principal fuente para la creación de contenido sintético. Están muy lejos de los deepfakes de hace unos años que eran fácilmente distinguibles y fáciles de negar y contrarrestar.

7.5 Estafa procesal, usurpación de identidad y manipulación de pruebas a través de deepfakes

Por otro lado, debería ser considerado circunstancia agravante cuando se cometa un fraude procesal mediante el uso de sistemas de IA o deepfakes a quien utilice un documento, vídeo o audio falsificado en un juicio, o para perjudicar a otro, a sabiendas de que es falso. Incurren en ello “quienes manipulan las pruebas en las que pretenden fundar las alegaciones o utilizan cualquier otro fraude procesal similar en procedimientos judiciales de cualquier índole, provocando que el Juez o Tribunal de Justicia se vea inducido erróneamente a dictar una resolución que perjudica los intereses económicos de la otra parte o de un tercero”.

La jueza Victoria Kolakowski intuyó que algo no iba bien con la Prueba 6C. Presentado por los demandantes en una disputa de vivienda en California, el vídeo mostraba a una testigo cuya voz era desarticulada y monótona, con el rostro borroso y carente de emoción. Cada pocos segundos, la testigo se estremecía y repetía sus expresiones.

Kolakowski, que forma parte del Tribunal Superior del Condado de Alameda en California, pronto comprendió por qué: el vídeo había sido producido utilizando inteligencia artificial generativa. Usando cualquier sistema de IA generativa, puedes crear una imagen, un vídeo alterado, un documento o una factura que sea imperceptible e indistinguible de una real. "Los jueces están empezando a considerarse, ¿es esta evidencia auténtica? ¿Ha sido modificada? ¿Es solo una falsificación tradicional?"[57]

Y si, como sugirió la jueza Erica Yew del Tribunal Superior del Condado de Santa Clara en California a NBC News, pruebas falsas consiguen acceder a registros, archivos o documentos públicos, ¿cómo se podrá cuestionar eso?[58]

Algunos tipos de pruebas —que antes se consideraban prácticamente irrefutables— ahora están en entredicho.

Sin embargo, esto no queda aquí. En 2021 comenzaron a aparecer las primeras herramientas que a partir de una sola fotografía permiten crear un DeepFake en Videoconferencias[59]. Un deepfake en una transmisión de video en tiempo real que puede utilizarse en cualquiera de las plataformas de videoconferencia, como Zoom, Skype, Meet o Teams[60].

Hoy en día, según el portal Justicia en Datos se celebran más vistas telemáticas que presenciales en los juzgados españoles.

Esto produce, que se hacen necesarias medidas más robustas a las recomendadas por ejemplo por el CGPJ en su Guía para la celebración de actuaciones telemáticas de 2020.

Con esta tecnología se pueden fusionar caras, generar caras totalmente sintéticas o reemplazar la cara de una persona por otra en imagen o vídeo. Además, en los últimos tiempos los sistemas más novedosos son capaces de sincronizar los labios y eliminar las descoordinaciones más evidentes.

Los deepfakes representan un desafío emergente en la verificación de identidad para cortes y tribunales, lo que requiere el desarrollo y despliegue de nuevas defensas sólidas. A día de hoy, según el portal Justicia en Datos[61] se celebran más vistas telemáticas (1,27 millones) que presenciales (1,19 millones) en los juzgados españoles.

Este contexto y problema nos debe llevar a explorar necesariamente la detección y autenticación de deepfake de IA multifactor (MFA) como una solución obvia. Además, existen ya sistemas de identificación con IA multimodales donde se podría utilizar tecnología para reconocimiento facial para saber si la persona es quien dice ser así como analizar a la vez huellas dactilares. No obstante, esto último sí que requeriría posibles quioscos o puntos seguros de la administración a diferencia de sistemas de doble factor con el teléfono móvil, certificado electrónico o Clave Pin[62].

En España, se trataría simplemente de extender el Escritorio Virtual EVID en las videoconferencias judiciales de tal manera que la conexión se verifique mediante certificado electrónico o Clave Pin. Además, aporta robustez ya que las comunicaciones serán encriptadas, y existen garantías de integridad.

Otra posibilidad de doble capa multifactor podría ser los nuevos métodos que permiten la acreditación de la identidad a través por ejemplo del uso de la voz o la videocámara, contando con el presupuesto de que todos los individuos tienen una huella vocal personal y única que se genera teniendo en cuenta los rasgos del aparato vocal, que son distintos en todos los seres humanos.

La autenticación multifactor (MFA) agrega una capa esencial de seguridad contra el acceso no autorizado, combinando varios métodos, biométricos, de dispositivo y contextuales, para garantizar que solo los usuarios legítimos puedan acceder a su plataforma.

En la Ley de Eficiencia Digital se perdió la oportunidad de dar cabida legal a este tipo de herramientas de identificación biométricas, de tal manera que cumplieran con la base de legitimación del RGPD y LOPD y GDD de interés público.

Como hemos visto, a la vista del estado de la técnica de las ultrafalsificaciones o deepfakes ni resulta admisible la conexión mediante videoconferencia sin ningún tipo de medida de seguridad como se está realizando en este momento, ni tampoco resulta adecuado, equivalente ni suficiente la simple implementación de sistemas de doble factor de autenticación, debiendo combinarse con sistemas de biometría dinámicos y de identificación de contenido sintético. Todo ello con la finalidad de que la duración y fiabilidad del sistema y la inversión realizada con fondos públicos tenga la mayor durabilidad posible a la vista de la velocidad vertiginosa de estas tecnologías.

8. Conclusiones

Si bien la manipulación de la información ya existe desde hace muchos decenios, el surgimiento de los deepfake ultra realistas en los últimos años hace que nos planteemos la creación de una subclasificación específica de agravaciones específicas o una circunstancia agravante genérica, ya que pueden servir para multitud de fraudes, influencia electoral, manipular o alterar los mercados bursátiles, derrocar gobiernos, incitar a la guerra, modificar percepciones, lucrar masivamente a grupos criminales, producir y potenciar el abuso sexual a menores, los delitos contra la intimidad, delitos de odio, incitación a la violencia, a la discriminación, o al terrorismo.

De manera similar al Art. 400 del Código Penal español (CP) (EDL 1995/16398), debería castigarse a quienquiera utilice sistemas de IA o tecnologías de clonación deepfake de vídeo, voz o imagen sin consentimiento, emplee ingeniería social, cree una identidad falsa, ficticia o imaginaria o técnicas engañosas con el propósito de cometer delitos.

Las formas en la que la IA puede ser empleada para la comisión de delitos pueden ser categorizadas en dos según Blauth et al. (2022):[63] aquellas en las que se abusa de sus vulnerabilidades siendo convirtiéndose en tecnologías de doble uso (abuso malicioso de la IA) y aquellas en las que se usa la IA para la comisión de un crimen (uso malicioso de la IA)[64].

Consideramos que puede consagrarse un marco internacional dentro de la legislación nacional sobre IA y Derecho penal que aportará cierto grado de previsibilidad a los ciudadanos europeos y a los usuarios del sistema judicial, así como a la industria que proporciona la tecnología, apoyando así su desarrollo de conformidad con los derechos fundamentales en lugar de obstaculizarlo con legislación incompatible.

La preparación y adopción de un instrumento jurídicamente vinculante dedicado a la justicia penal en materia de IA proporcionaría un medio para abordar de manera eficiente y coherente los delitos cometidos en este ámbito y que están empezando a aparecer lentamente, también en Europa, allanando el camino para el desarrollo de legislación nacional para colmar las lagunas identificadas de acuerdo con normas comunes. También ayudaría a garantizar y promover una mayor cooperación internacional en estos nuevos temas, enviando una señal clara a los proveedores de IA sobre la necesidad de desarrollar esta tecnología de manera que se respeten los derechos fundamentales protegidos internacionalmente. Por lo tanto, un convenio internacional es la herramienta adecuada para iniciar las negociaciones.

Por ello, en un “Convenio Internacional sobre delincuencIA” (CAIC - Convention of AI Crimes) deberían regularse cuestiones procesales tales como condiciones y salvaguardas, notificaciones, autoría y complicidad, sanciones, datos de sistemas de IA con fines probatorios, extradición y cooperación judicial penal o asistencia mutua.

Para reducir esta laguna en materia de impunidad, este Convenio establecería una lista de delitos para los que se puede abolir el control de la doble incriminación y puede garantizar una confianza mutua más rápida y una cooperación internacional mucho más eficaz entre los juzgados y tribunales. También ayudaría a la persecución de nuevos delitos diferentes y a reducir la impunidad de estos y a tratar de aumentar la indemnización por daños y perjuicios a las víctimas.

Un “Convenio Internacional sobre delincuencIA” (CAIC - Convention of AI Crimes) sobre derecho penal e inteligencia artificial proporcionaría un vínculo con el Convenio Europeo de Derechos Humanos, que impone a cada parte la obligación positiva de proteger a sus ciudadanos contra las violaciones de los derechos humanos. Además, la adopción de un convenio del Consejo de Europa sobre la IA y el Derecho penal, teniendo en cuenta los convenios internacionales existentes (como el Convenio de Ginebra de 1949 sobre la circulación vial o el Convenio de Viena de 1968 sobre la circulación vial) y sobre la base de los trabajos en curso en otras instituciones internacionales, puede impulsar nuevas acciones por parte de la Unión Europea y podría servir de inspiración para otros instrumentos internacionales.

 

Este artículo ha sido publicado en la "Revista de Jurisprudencia", de abril de 2026.

 

Bibliografía

CASSUTO, T., PERALTA, A., & VELASCO, C. (2025). Model Law on Artificial Intelligence and Crime (1.0). Zenodo. https://doi.org/10.5281/zenodo.17281296

GLESS, S., & PERALTA GUTIÉRREZ, A. Discussion Paper on Criminal Liability Related to AI systems - following up Framework Convention on AI & Human Rights, Democracy, the Rule of Law (CAI, CETS No. 225). 86ª reunión del Comité Europeo de Problemas Criminales (CDPC), Estrasburgo, 20-22 de noviembre de 2024.Consultado el 19 de enero de 2025. Disponible en: https://rm.coe.int/cdpc-2024-09-ai-criminal-liability-discussion-paper-final-draft/1680b26f16

GOODMAN, M. Delitos del futuro: Todo está conectado, todos somos vulnerables, ¿qué podemos hacer al respecto? Barcelona: Ediciones Deusto (2015).

JANUÁRIO, TÚLIO FELIPPE XAVIER. Manipulación de mercado y nuevas tecnologías: el caso de las negociaciones de alta frecuencia (High Frequency Trading) VVAA, CALAZA, FONTESTAD Y SUAREZ, Paideia: Perspectivas jurídico-procesales en un mundo digital cambiante. COLEX (2024).

LAMAS LOPEZ, F., & PERALTA GUTIERREZ, A. Marco de Derecho Internacional Público y Usos Militares de la Inteligencia Artificial en la UE. Revista Electrónica De Estudios Internacionales, (46), 505–525. https://doi.org/10.36151/reei.46.17 (2023).

LONDOÑO CARMONA, C. C. La atribución de la responsabilidad civil extracontractual por daños generados por el uso de sistemas de Inteligencia Artificial. Universidad Pontificia Bolivariana, Escuela de Derecho y Ciencias Políticas, Medellín, Antioquia, Colombia. (2024). Consultado el 16 de agosto 2024. Disponible en: https://repository.upb.edu.co/bitstream/handle/20.500.11912/11872/La%20atribuci%C3%B3n%20de%20la%20responsabilidad.pdf?sequence=1&isAllowed=y

PERALTA GUTIÉRREZ, A., & PARRA IGLESIAS, F. J. Incorporación de prueba penal obtenida en proceso judicial extranjero: casos EncroChat y Sky ECC. La Ley Penal: revista de derecho penal, procesal y penitenciario (149). (2021).

PERALTA GUTIÉRREZ, A. El estado de la cuestión de la responsabilidad civil de la IA. En J. López y García de la Serrana (Dir.), XXIV Congreso Nacional sobre Responsabilidad Civil y Seguro. Toledo, España: Asociación Española de Abogados Especializados en Responsabilidad Civil y Seguro. ISBN 978-84-1053-585-5. SEPIN. . (2024).

PERALTA GUTIÉRREZ, A. Tema 5. Control judicial sobre el uso de algoritmos públicos. Jurisprudencia algorítmica p. 160 y ss. En A. Peralta Gutiérrez & J. Pedrosa del Pino (Eds.), Inteligencia artificial y justicia (número monográfico). Formación a Distancia 2 - 2024. Consejo General del Poder Judicial. [https://doi.org/10.62659/FA2400205]. (2024).

PERALTA GUTIÉRREZ, A. (2026, February 13). Discussion paper on deepfakes and criminal law. CDPC-AICL (CDPC) Working Group on Artificial Intelligence and Criminal Law. Strasbourg: European Committee on Crime Problems. Draft prepared in cooperation with the CDPC Secretariat.

VELASCO, C., GARCIA PERICHE, J., GÓMEZ GÓMEZ, J. D., & BUENO BENEDÍ, M. con revisión de PERALTA GUTIÉRREZ, A. Inteligencia artificial y crimen organizado. Programa EL PACCTO 2.0. Madrid, España. (2024). Consultado el 19 de enero de 2025. Disponible en: https://www.fiiapp.org/wp-content/uploads/2024/11/ELPACCTO2-IAyCrimen-ES.pdf

VELASCO, C., RODRÍGUEZ, A. F., BUENO BENEDÍ, M., & CASSUTO, T. (2025). Weaponizing Artificial Intelligence: How AI reshapes the world of organized crime. Zenodo. https://doi.org/10.5281/zenodo.17281249

(UNICRI), Usos malintencionados y abusos de la Inteligencia Artificial. Trend Micro Research. Instituto Interregional de las Naciones Unidas para Investigaciones sobre la Delincuencia y la Justicia Centro Europeo de Ciberdelincuencia de Europol (EC3)

 

NOTAS

[1] Usos malintencionados y abusos de la Inteligencia Artificial. Trend Micro Research. Instituto Interregional de las Naciones Unidas para Investigaciones sobre la Delincuencia y la Justicia (UNICRI), Centro Europeo de Ciberdelincuencia de Europol (EC3)

[2] PERALTA GUTIÉRREZ, A., & PARRA IGLESIAS, F. J. Incorporación de prueba penal obtenida en proceso judicial extranjero: casos EncroChat y Sky ECC. La Ley Penal: revista de derecho penal, procesal y penitenciario (149). (2021).

[3] VELASCO, C., GARCIA PERICHE, J., GÓMEZ GÓMEZ, J. D., & BUENO BENEDÍ, M. con revisión de PERALTA GUTIÉRREZ, A. Inteligencia artificial y crimen organizado. Programa EL PACCTO 2.0. Madrid, España. (2024). Consultado el 19 de enero de 2025. Disponible en: https://www.fiiapp.org/wp-content/uploads/2024/11/ELPACCTO2-IAyCrimen-ES.pdf

[4] VELASCO, C., RODRÍGUEZ, A. F., BUENO BENEDÍ, M., & CASSUTO, T. (2025). Weaponizing Artificial Intelligence: How AI reshapes the world of organized crime (1.0). Zenodo. https://doi.org/10.5281/zenodo.17206874

[5] Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los Reglamentos (CE) nº 300/2008(UE) nº 167/2013(UE) nº 168/2013(UE) 2018/858(UE) 2018/1139 y (UE) 2019/2144 y las Directivas 2014/90/UE(UE) 2016/797 y (UE) 2020/1828 (Reglamento de Inteligencia Artificial).

[6] FERNÁNDEZ RAFAEL, R. (2026, 18 de marzo). ¿Puede una imagen generada por IA ser “demasiado” real? The Conversation. Consultado en: https://theconversatio.com/puede-una-imagen-generada-por-ia-ser-demasiado-real-272540

[7] ALLYN, B. (16 de marzo de 2022). El vídeo deepfake de Zelenskyy podría ser la 'punta del iceberg' en la guerra de la información, advierten los expertos. NPR. Disponible en: https://www.npr.org/2022/03/16/1087062648/deepfake-video-zelenskyy-experts-war-manipulation-ukraine-russia

[8] Disponible en: https://www.youtube.com/watch?v=T92T-mr20RI

[9] WIRED, «Millones de personas están usando bots abusivos de IA 'Nudify' en Telegram» 15 de octubre de 2024, disponible en: https://www.wired.com/story/ai-deepfake-nudify-bots-telegram/#intcid=_wired-right-rail_c0163b39-a6b8-486b-8f60-b788683ebd84_popular4-1-reranked-by-vidi

[10] BURGESS, M. (16 de octubre de 2023). El porno deepfake está fuera de control. WIRED. 16 de octubre de 2023. Disponible en: https://www.wired.com/story/deepfake-porn-is-out-of-control/

[11] CONGER, K., FREEDMAN, D., & THOMPSON, S. A. (2024). La avalancha de chatbots de Musk... Con millones de imágenes sexualizadas en días, según muestran nuevas estimaciones. The New York Times. Disponible en: https://www.nytimes.com/2026/01/22/technology/grok-x-ai-elon-musk-deepfakes.html

[12] GOZZI, L. (2024, 20 de marzo). Giorgia Meloni: Primera ministra italiana solicita daños y perjuicios por vídeos porno deepfake. BBC News. Disponible en: https://www.bbc.com/news/world-europe-68615474

[13] COMPILACIÓN DE RESPUESTAS NACIONALES AL CUESTIONARIO CDPC-AICL SOBRE INTELIGENCIA ARTIFICIAL Y RESPONSABILIDAD PENAL – 2025.

[14] TOASE, Z., & O'NEILL, L. (5 de diciembre de 2025). Trenes cancelados por el colapso de un puente falso. BBC. Disponible en: https://www.bbc.com/news/articles/cwygqqll9k2o

[15] NILSSON-JULIEN, E. (2025, 19 de diciembre). Golpe en París: Cómo un vídeo generado por IA le causó un gran quebradero de cabeza a Macron. Disponible en: https://www.euronews.com/my-europe/2025/12/19/video-of-coup-in-paris-how-an-ai-generated-video-caused-macron-a-major-headache

[16] AGUILAR ANTONIO, J. M. (2025). Uso de inteligencia artificial por redes criminales de alto riesgo. Experto Francia. Disponible en: https://doi.org/10.5281/zenodo.16750778

[17] BUSTOS, S. (9 de diciembre de 2025). La chica IA con OnlyFans "de la Policía Nacional" pone de relieve los problemas de regular la inteligencia artificial. Qué. Disponible en: https://www.que.es/2025/12/09/chica-ia-onlyfans-policia-nacional/

[18] O'SULLIVAN, D., & PASSANTINO, J. (2023, 23 de mayo). Cuentas verificadas de Twitter comparten una imagen falsa de una 'explosión' cerca del Pentágono, causando confusión. CNN. Disponible en: https://edition.cnn.com/2023/05/22/tech/twitter-fake-image-pentagon-explosion/index.html

[19] COMPILACIÓN DE RESPUESTAS NACIONALES AL CUESTIONARIO CDPC-AICL SOBRE INTELIGENCIA ARTIFICIAL Y RESPONSABILIDAD PENAL – 2025.

[20] COMPILACIÓN DE RESPUESTAS NACIONALES AL CUESTIONARIO CDPC-AICL SOBRE INTELIGENCIA ARTIFICIAL Y RESPONSABILIDAD PENAL – 2025.

[21] DI SALVO, M. (2025, 11 de abril). La policía española pone fin a una red de estafas de criptomonedas que utilizó IA para robar 21 millones de dólares a inversores. Descifrar. Disponible en: https://decrypt.co/314498/spanish-police-crypto-scam-ai-21-million

[22] MAGRAMO, K. (17 de mayo de 2024). El gigante británico de ingeniería Arup se reveló como víctima de una estafa deepfake de 25 millones de dólares. CNN. Disponible en: https://edition.cnn.com/2024/05/16/tech/arup-deepfake-scam-loss-hong-kong-intl-hnk

[23] DAMIANI, J. (3 de septiembre de 2019). Se utilizó un deepfake de voz para estafar a un CEO con 243.000 dólares. Forbes. Disponible en: https://www.forbes.com/sites/jessedamiani/2019/09/03/a-voice-deepfake-was-used-to-scam-a-ceo-out-of-243000/

[24] Una panadería en Andalucía tiene que cerrar en horas punta debido a fraudes en la clonación de voz. 28 de mayo de 2025. Ideal. Disponible en: https://www.ideal.es/andalucia/panaderia-andalucia-cerrar-plena-hora-punta-estafa-20250528114746-nt.htm. l

[25] ESCAMEZ, N. "Mamá, ¿puedes transferirme algo de dinero y te lo devuelvo mañana?" Las estafas que involucran a 'niños en apuros' están en aumento en Almería. Los estafadores envían mensajes de audio con voces generadas por inteligencia artificial para ganarse la confianza de sus víctimas. Ideal. 21 de abril de 2025. Disponible en: https://www.ideal.es/almeria/almeria/mama-puedes-hacerme-transferencia-manana-devuelvo-crecen-20250421133540-nt.html

[26] FBI. Número de alerta: I-051525-PSA. 15 de mayo de 2025. Altos funcionarios estadounidenses suplantados en campañas de mensajes maliciosos. Disponible en: https://www.ic3.gov/PSA/2025/PSA250515 y Número de alerta: I-121925-PSA, 19 de diciembre de 2025, Altos funcionarios estadounidenses continúan siendo suplantados en campaña de mensajes maliciosos disponible en: https://www.ic3.gov/PSA/2025/PSA251219

[27] Disponible en: https://www.cac.gov.cn/2022-12/11/c_1672221949354811.htm

[28] Disponible en: https://www.cac.gov.cn/2022-01/04/c_1642894606364259.htm

[29] Disponible en: http://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm

[30] Disponible en: https://www.congress.gov/bill/119th-congress/senate-bill/146/text

[31] Disponible en: https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202320240AB1836

[32] COMPILACIÓN DE RESPUESTAS NACIONALES AL CUESTIONARIO CDPC-AICL SOBRE INTELIGENCIA ARTIFICIAL Y RESPONSABILIDAD PENAL – 2025.

[33] Disponible en: https://www.aph.gov.au/Parliamentary_Business/Bills_LEGislation/Bills_Search_Results/Result?bId=r7205

[34] Disponible en: https://elaw.klri.re.kr/eng_mobile/viewer.do?hseq=68812&type=part&key=9

[35] Disponible en: https://www.boletinoficial.gob.ar/detalleAviso/primera/296572/20231023

[36] CASSUTO, T., PERALTA, A., & VELASCO, C. (2025). Ley Modelo sobre Inteligencia Artificial y Crimen (1.0). Zenodo. https://doi.org/10.5281/zenodo.17281296

[37] Disponible en: https://leyes.congreso.gob.pe/Documentos/2021_2026/ADLP/Texto_Consolidado/32314-TXM.pdf

[38] CASSUTO, T., PERALTA, A., & VELASCO, C. (2025). Model Law on Artificial Intelligence and Crime (1.0). Zenodo. https://doi.org/10.5281/zenodo.17281296

[39] El CDPC identifica prioridades para la cooperación jurídica intergubernamental, presenta propuestas al Comité de Ministros sobre actividades en los ámbitos del derecho y procedimiento penal, criminología y penología, y lleva a cabo estas actividades. El CDPC prepara convenciones, recomendaciones e informes.

[40] CDPC – Lista de decisiones – 73ª sesión plenaria, CDPC (2017) 27, punto 3, p. 2.

[41] CDPC – Lista de decisiones – 75ª reunión plenaria, CDPC (2018) 21, punto 3, p. 2.

[42] CDPC – Lista de decisiones - 77ª sesión plenaria, CDPC (2019) 23, punto 7, p.4.

[43] European Committee on Crime Problems (CDPC). (2020). Feasibility study on a future Council of Europe instrument on artificial intelligence and criminal law (CDPC(2020)3Rev). Document prepared by the Working Group on AI and Criminal Law with Dr. Sabine Gless as General Rapporteur, in cooperation with the CDPC Secretariat. Strasbourg, 4 September 2020. Consultado el 24 de marzo de 2026. Disponible en: https://rm.coe.int/cdpc-2020-3-feasibility-study-of-a-future-instrument-on-ai-and-crimina/16809f9b60

[44] European Committee on Crime Problems (CDPC). (2025). CDPC-AICL(2025) Working Group on Artificial Intelligence and Criminal Law (CDPC-AICL) Compilation of national responses to the CDPC-AICL questionnaire on artificial intelligence and criminal liability – 2025. Document prepared by the CDPC Secretariat Directorate General I – Human Rights and Rule of Law. Strasbourg, 19 September 2025. Consultado el 24 de marzo de 2026. Disponible en: https://rm.coe.int/cdpc-aicl-2025-01-answers-to-the-aicl-questionaire-2757-6922-5744-v-1/488028c3db

[45] European Committee on Crime Problems (CDPC). (2025). CDPC(2025)Questionnaire concerning artificial intelligence and criminal law. Document prepared by the Criminal Law Secretariat. Strasbourg, 30 June 2025. Consultado el 24 de marzo de 2026. Disponible en: https://rm.coe.int/cdpc-2025-01rev-eng-questionnaire-ai-and-criminal-law-2788-9384-8334-v/488028c3da

[46] Disponible en: https://www.congreso.es/public_oficiales/L15/CONG/BOCG/A/BOCG-15-A-52-1.PDF

[47] Audiencia Provincial de Lleida, Sección 1ª, Sentencia 3/2024 de 5 Ene. 2024, Rec. 121/2023

[48] RAYA, A. Las apps para desnudar mujeres triunfan en Instagram: este es el truco que usan para saltarse las reglas de la plataforma. El Español. (2025, 15 de enero). Consultado el 19 de enero de 2025. Disponible en: https://www.elespanol.com/elandroidelibre/noticias-y-novedades/20250115/apps-desnudar-mujeres-triunfan-instagram-truco-usan-saltarse-reglas-plataforma/916658768_0.html

[49] GONZÁLEZ, F. (2026, January 28). Las tiendas de Google y Apple están plagadas de apps que te desnudan con IA. Wired. Consultado el 23 de marzo de 2026. Disponible en: https://es.wired.com/articulos/las-tiendas-de-google-y-apple-estan-plagadas-de-apps-que-te-desnudan-con-ia

[50] SCHWARTZ, Mathew J. «Malware Toolkits Generate Majority of Online Attacks». En: Dark Reading, 18 de enero de 2011. Consultado el 23 de enero de 2025, Disponible en: https://www.darkreading.com/cyber-risk/malware-toolkits-generate-majority-of-online-attacks

[51] MARTIN, Nacho. El Independiente. WormGPT: El ChatGPT sin restricciones que usan los ciberdelincuentes. El Independiente. (2024, Noviembre 9). Consultado el 22 de enero de 2025. Disponible en: https://www.elindependiente.com/futuro/inteligencia-artificial/2024/11/09/wormgpt-el-chatgpt-sin-restricciones-que-usan-los-ciberdelincuentes/

[52] GREENWOOD, C. Will Russia Hand Over Man Behind the Gameover Zeus Ransom Virus? FBI Issues Warrant for $100M Cybercrime Mastermind. Mail Online. (2014, junio 2). Consultado el 22 de enero de 2025. Disponible en: https://www.dailymail.co.uk/news/article-2646537/Powerful-computer-virus-start-emptying-bank-accounts-fortnight-unless-Britons-protect-against-attack-National-Crime-Agency-warns.html

[53] AMOS, Zac.¿Qué es FraudGPT? HackerNoon. (2023, 11 de agosto) Consultado el 22 de enero de 2025. Disponible en: https://hackernoon.com/lang/es/que-es-fraudegpt

[54] VOLZ, D., & MCMILLAN, R. “Chinese and Iranian Hackers Are Using U.S. AI Products to Bolster Cyberattacks.” The Wall Street Journal*, Dow Jones & Company, New York, 2025, pp. A1-A3 Consultado el 31 de enero de 2025. Disponible en: https://www.wsj.com/tech/ai/chinese-and-iranian-hackers-are-using-u-s-ai-products-to-bolster-cyberattacks-ff3c5884

[55] VELASCO, C., RODRÍGUEZ, A. F., BUENO BENEDÍ, M., & CASSUTO, T. (2025). Weaponizing Artificial Intelligence: How AI reshapes the world of organized crime. Zenodo. https://doi.org/10.5281/zenodo.17281249

[56] BUSTOS, S. (9 de diciembre de 2025). La chica IA con OnlyFans "de la Policía Nacional" pone de relieve los problemas de regular la inteligencia artificial. Qué. Disponible en: https://www.que.es/2025/12/09/chica-ia-onlyfans-policia-nacional/

[57] PERLO, J. (2025, 18 de noviembre). Las pruebas generadas por IA están apareciendo en el tribunal. Los jueces dicen que no están preparados. NBC News. Disponible en: https://www.nbcnews.com/tech/tech-news/ai-generated-evidence-deepfake-use-law-judges-object-rcna235976

[58] HEATON, C., CLEARY, S., & NAVIN, M. (2026, February 24). AI-generated evidence is a threat to public trust in the courts. CivAI, NCSC. Consultado el 23 de marzo de 2026. Disponible en: https://www.ncsc.org/resources-courts/ai-generated-evidence-threat-public-trust-courts

[59] ALONSO Chema. El lado del mal. (4 de agosto de 2021). *Una historia de Blade Runners virtuales: la búsqueda de la identidad en el mundo digital*. El lado malvado. https://www.elladodelmal.com/2021/08/una-historia-de-blade-runners-virtual_01647081065.html

[60] ALONSO Chema. (2024, 29 de agosto). Deep Live Cam: Detección Verifai de... El lado malvado. https://www.elladodelmal.com/2024/08/deep-live-cam-verifai-deteccion-de.html

[61] Consultado el 24 de marzo de 2026. Disponible en: https://datos.justicia.es/actuaciones-procesales1

[62] Cl@ve PIN es una forma de realizar trámites por Internet con una validez limitada en el tiempo y que se puede renovar cada vez que necesitemos. Este sistema de identificación electrónica está basado en el uso de un código elegido por el usuario y un PIN comunicado al teléfono mediante la app Cl@ve PIN o con un mensaje SMS. Consultado el 15 de agosto de 2025. Disponible en: https://clave.gob.es/clave-pin/que-es

[63] Blauth, T. F., Gstrein, O. J., & Zwitter, A. (2022). Artificial Intelligence Crime: An Overview of Malicious Use and Abuse of AI. IEEE Access, 10, 77110–77122. Disponible en: https://doi.org/10.1109/ACCESS.2022.3191790

[64] VELASCO, C., GARCIA PERICHE, J., GÓMEZ GÓMEZ, J. D., & BUENO BENEDÍ, M. con revisión de PERALTA GUTIÉRREZ, A. Inteligencia artificial y crimen organizado. Programa EL PACCTO 2.0. Madrid, España. (2024). Consultado el 19 de enero de 2025. Disponible en: https://www.fiiapp.org/wp-content/uploads/2024/11/ELPACCTO2-IAyCrimen-ES.pdf


ElDerecho.com no comparte necesariamente ni se responsabiliza de las opiniones expresadas por los autores o colaboradores de esta publicación