AI Act Article 5: Prohibited Practices

Resumen ejecutivo

Este documento de la Comisión Europea proporciona una interpretación detallada de las prohibiciones del Artículo 5 de la Ley de IA (AI Act), que regula prácticas de IA consideradas dañinas. Se explican las prohibiciones sobre manipulación y explotación de personas vulnerables, el scraping no dirigido de imágenes faciales, el reconocimiento de emociones en entornos laborales y educativos, la categorización biométrica, y el uso de sistemas de identificación biométrica remota en tiempo real con fines policiales. El documento ofrece ejemplos concretos para clarificar el alcance de cada prohibición y su interacción con otras leyes de la UE. Finalmente, se detalla el proceso de aplicación de estas prohibiciones, incluyendo las responsabilidades de las autoridades y los mecanismos de control.

Documento original

prohibited artificial intelligence practices Descarga

Documento resumen

Documento de Briefing: Análisis de «prácticas prohibidas de inteligencia artificial.pdf»

Introducción

Este documento de briefing analiza las principales temáticas e ideas contenidas en el documento «prácticas prohibidas de inteligencia artificial.pdf», que se centra en la interpretación y aplicación del Artículo 5 del Reglamento de Inteligencia Artificial (AI Act) de la Unión Europea. El documento proporciona directrices detalladas sobre el alcance de las prohibiciones relacionadas con el uso de sistemas de IA, incluyendo la evaluación de riesgos individuales para la comisión de delitos, la categorización biométrica de ciertas características sensibles y el uso de sistemas de identificación biométrica remota (RBI) en tiempo real para fines policiales.

Temas Principales

Ámbito Personal: Actores Responsables

Proveedores: Entidades que desarrollan y ponen en el mercado o en servicio sistemas de IA. Esto incluye tanto a entidades privadas como a autoridades públicas que desarrollan sistemas para su propio uso.
Implementadores (Deployers): Personas físicas o jurídicas que utilizan sistemas de IA bajo su autoridad, excluyendo el uso personal no profesional.
El documento destaca que las prohibiciones se aplican a los implementadores independientemente de si el proveedor ha excluido dicho uso en sus relaciones contractuales.
Intercambio de roles: Se menciona que un distribuidor, importador, implementador u otro tercero puede ser considerado proveedor si pone su nombre o marca en un sistema de IA de alto riesgo.
Responsabilidad de entidades públicas: “El proveedor de dicho sistema podría ser también una autoridad pública que desarrolla el sistema internamente y lo pone en servicio para su propio uso.”

2. Exclusiones del Alcance del AI Act

Seguridad Nacional, Defensa y Fines Militares: Las actividades relacionadas con la seguridad nacional, la defensa y fines militares quedan excluidas del ámbito del AI Act. Esto se basa en la protección de «las funciones esenciales del Estado y los intereses fundamentales de la sociedad» que abarcan actividades como «la prevención y castigo de actividades capaces de desestabilizar gravemente las estructuras constitucionales, políticas, económicas o sociales fundamentales de un país.» Sin embargo, si una empresa ofrece un sistema de IA para varios propósitos, incluyendo seguridad y defensa, debe asegurar su cumplimiento con el AI Act.
Cooperación Judicial y Policial con Terceros Países: Se excluye la cooperación judicial y policial con terceros países, posiblemente para no obstaculizar las relaciones internacionales en la lucha contra el crimen.
Investigación y Desarrollo: Las actividades de I+D quedan excluidas, fomentando así la innovación en el campo de la IA.
Actividad Personal No Profesional: El uso de sistemas de IA para actividades personales no profesionales está fuera del alcance de las prohibiciones.
Sistemas de IA liberados bajo licencias libres y de código abierto: El documento menciona una posible exclusión para sistemas de IA con licencias de código abierto, aunque esto requiere mayor atención en la aplicación de esta exclusión.

3. Interacción con Otros Actos Legales de la Unión

El AI Act se debe aplicar en coherencia con otras leyes de la Unión como el Reglamento General de Protección de Datos (RGPD) y la Directiva (UE) 2016/680 (Directiva de Protección de Datos en el ámbito policial), y evitar la doble penalización (ne bis in idem).
La Comisión indica la necesidad de una interpretación estricta de las prohibiciones del artículo 5 debido a la alta cantidad de sanciones por su incumplimiento.

4. Prohibiciones Clave

Manipulación y Explotación Dañina: Se prohíben sistemas de IA que manipulan o explotan a personas de manera perjudicial, particularmente en el ámbito de las prácticas comerciales (art. 5.1(a) y (b)).
Evaluación y Clasificación Social: Se prohíben sistemas que evalúan o clasifican a personas, generando un trato perjudicial desproporcionado. “Al mismo tiempo, la prohibición no pretende afectar a las prácticas lícitas que evalúan a las personas para fines específicos que sean legítimos y conformes al Derecho de la Unión y nacional”. Se destacan los matices entre evaluación (juicio) y clasificación (categorización) y su relación con el «profiling». Se menciona el caso de la puntuación de crédito (scoring) como ejemplo de “profiling”.
Evaluación y Predicción de Riesgo Individual de Delitos: Se prohíben sistemas de IA que evalúan o predicen el riesgo de que una persona cometa un delito basándose únicamente en el perfil o en los rasgos y características de la personalidad de esa persona (art. 5.1(d)). Se aclara que esto no prohíbe los sistemas que apoyan la evaluación humana basada en hechos objetivos verificables y directamente relacionados con una actividad delictiva.
Conceptos clave:
Evaluación del riesgo: El análisis prospectivo de la probabilidad de que un individuo cometa un delito en el futuro. “Dichas evaluaciones de riesgo son, en principio, prospectivas y se refieren a futuros delitos (aún no cometidos) o a delitos que se evalúan como riesgo de ser cometidos en este momento, incluso en casos de intento o actividades preparatorias para la comisión de un delito.”
Perfilado: La evaluación de una persona basada en datos históricos que pueden llevar a la clasificación de dicha persona en un grupo y, por lo tanto, a la predicción de su comportamiento futuro.
Características de personalidad: Aspectos individuales como el rendimiento laboral, la situación económica o la salud. “Las “características de la personalidad” deben interpretarse en principio como sinónimo de características personales, pero también pueden implicar la creación de perfiles específicos de individuos como personalidades.”
Exclusión de sistemas basados en hechos objetivos: “El artículo 5, apartado 1, letra d), de la Ley de IA establece, en su última frase, que la prohibición no se aplicará a los sistemas de IA que se utilicen para apoyar la evaluación humana de la participación de una persona en una actividad delictiva, basándose en hechos objetivos y verificables directamente vinculados a la actividad delictiva.”
Ámbito de aplicación: La prohibición se aplica tanto al sector público como al privado, especialmente en relación a obligaciones legales como la prevención del blanqueo de capitales.
Fuera del ámbito: Predicciones de delitos basadas en la ubicación geográfica y sistemas de IA utilizados para la evaluación de personas jurídicas.
Categorización Biométrica para Características Sensibles: Se prohíben sistemas de categorización biométrica que clasifican a personas basándose en características sensibles, lo que podría llevar a la discriminación (art. 5.1(g)).
Sistemas de Identificación Biométrica Remota (RBI) en Tiempo Real: Se prohíbe el uso de sistemas RBI en tiempo real en espacios públicos para fines policiales, con excepciones limitadas y sujetas a estrictas condiciones y salvaguardias (art. 5.1(h)).
Excepciones al uso de RBI en tiempo real: El uso se permite en tres situaciones concretas si está autorizado por ley nacional:
Búsqueda específica de víctimas de delitos graves y personas desaparecidas.
Prevención de amenazas inminentes a la vida o de ataques terroristas.
Localización e identificación de sospechosos de ciertos delitos graves (enumerados en el Anexo II del AI Act).
Condiciones y salvaguardias: Las excepciones están sujetas a condiciones estrictas como una evaluación de impacto de derechos fundamentales (FRIA), la necesidad de una autorización previa por una autoridad judicial o administrativa independiente, límites geográficos y temporales, y la prohibición de la toma de decisiones basada únicamente en la salida del sistema.
Evaluación del impacto en derechos fundamentales (FRIA): Antes de utilizar el sistema, es obligatorio llevar a cabo una FRIA. «La FRIA debe definir de forma pormenorizada la forma en que la utilización del sistema afectará o podrá afectar a los derechos fundamentales de las personas afectadas.”
Autorización previa: El uso del sistema necesita una autorización previa por una autoridad judicial o administrativa independiente. “Cada uso individual de un sistema RBI en tiempo real para una de las excepciones permitidas debe ser autorizado antes de su despliegue por una autoridad judicial u otra autoridad independiente de acuerdo con el artículo 5, apartado 3, de la Ley de IA.”
Autoridad competente: Los Estados miembros deben definir las autoridades competentes para las autorizaciones. La autoridad puede ser tanto un juez como una autoridad administrativa, siempre y cuando sea independiente y su decisión sea vinculante. “La autorización solo podrá ser concedida por una autoridad judicial o administrativa independiente cuya decisión sea vinculante.”
Límites geográficos y temporales: La prohibición debe ser claramente limitada en cuanto a ámbito geográfico, duración y persona o personas a las que va dirigida.
Uso proporcionado y necesario: La autorización solo se otorgará si el uso del sistema es necesario y proporcionado para alcanzar los objetivos previstos. “Cualquier autorización para utilizar RBI en tiempo real en espacios públicos con fines policiales debe evaluar si se han cumplido los requisitos del artículo 5, apartado 3, de la Ley de IA.”
Informes anuales: Se exige la presentación de informes anuales por las autoridades nacionales de vigilancia del mercado, las autoridades nacionales de protección de datos y la Comisión Europea, para garantizar la transparencia y la rendición de cuentas.

Ideas o Hechos Más Importantes

Aplicación Amplia: El AI Act tiene un alcance amplio que cubre tanto al sector público como al privado, con ciertas exclusiones basadas en el propósito del uso y no en la entidad que lo implementa.
Importancia de la Transparencia: Se enfatiza la necesidad de transparencia en el uso de sistemas de IA, especialmente en áreas sensibles como la seguridad y la justicia.
Protección de Derechos Fundamentales: El AI Act tiene como objetivo proteger los derechos fundamentales de las personas, especialmente en relación con la privacidad y la no discriminación.
Autorizaciones y salvaguardias estrictas: El uso de sistemas RBI en tiempo real para fines policiales está sujeto a estrictos requisitos y salvaguardias para evitar el abuso y proteger los derechos de las personas.
Definiciones Claras: El documento proporciona definiciones detalladas de términos clave como «proveedor», «implementador», «RBI», «perfilado», «evaluación» y «clasificación» para garantizar una interpretación consistente del AI Act.
Naturaleza Prohibitiva: El documento se centra en las prácticas prohibidas del Artículo 5, en lugar de definir las prácticas permitidas, lo que refleja un enfoque precautorio hacia el uso de la IA en áreas sensibles.
Enfoque caso por caso: El documento destaca la necesidad de un análisis caso por caso para determinar si un sistema de IA cae dentro del alcance de las prohibiciones, especialmente en relación con los conceptos de «perfilado», evaluación, clasificación y riesgo de criminalidad individual.

Conclusión

Este análisis detalla los puntos clave del documento sobre las prácticas prohibidas de la inteligencia artificial, resaltando su complejidad y el esfuerzo por equilibrar la innovación tecnológica con la protección de los derechos fundamentales. La legislación tiene como objetivo regular el uso de sistemas de IA en áreas sensibles, con un enfoque particular en prevenir la discriminación y proteger la privacidad de las personas. La correcta aplicación de estas directrices será fundamental para asegurar la implementación efectiva del AI Act.

Preguntas frecuentes

Preguntas Frecuentes sobre las Prácticas Prohibidas de Inteligencia Artificial según el Acto de IA

¿A quiénes aplica el Acto de IA en cuanto a prohibiciones, y qué tipo de entidades están excluidas?El Acto de IA distingue entre proveedores y usuarios de sistemas de IA, así como importadores y distribuidores, entre otros. Las prohibiciones aplican principalmente a proveedores que desarrollan y ponen en el mercado sistemas de IA y a los usuarios que los emplean. No obstante, las prohibiciones aplican independientemente de que el proveedor haya excluido dicho uso en sus relaciones contractuales. Están excluidas del alcance del Acto de IA ciertas actividades específicas:

Actividades de seguridad nacional, defensa y militares.
Cooperación judicial y policial con terceros países.
Actividades de investigación y desarrollo.
Actividades personales no profesionales.
Sistemas de IA liberados bajo licencias libres y de código abierto, siempre que no sean usados como sistemas de alto riesgo.

2. ¿Qué prohibiciones específicas impone el Acto de IA sobre la evaluación de personas y la predicción de delitos?El Acto de IA prohíbe el uso de sistemas de IA que:

Evalúen o clasifiquen personas de manera que resulten en un trato perjudicial o desfavorable en contextos sociales no relacionados, especialmente si la evaluación se basa en características personales, comportamiento, preferencias, etc. de una forma desproporcionada.
Evalúen o predigan el riesgo de que una persona cometa un delito basándose únicamente en el perfil o la evaluación de sus rasgos y características personales. Esto no se aplica si el sistema apoya una evaluación humana basada en hechos objetivos y verificables directamente relacionados con una actividad delictiva.

3. ¿Qué se entiende por «evaluación y clasificación» de personas, y cuándo se considera que es perjudicial o desfavorable?

La «evaluación» implica un juicio o valoración sobre una persona, mientras que la «clasificación» es más amplia e incluye categorizar personas por ciertas características. La evaluación o clasificación se considera perjudicial si resulta en un trato negativo o desventajoso para la persona en un contexto social no relacionado, por ejemplo, si una evaluación de riesgo en un contexto de empleo afecta negativamente las opciones de crédito de esa persona. Esto debe ser proporcional a la gravedad de la mala conducta del usuario. Además, es crucial que las prácticas que evalúan a las personas sean lícitas, cumplan con la ley nacional y de la Unión, y que cualquier tratamiento perjudicial resultante esté justificado y sea proporcional.

4. ¿Qué tipos de sistemas de predicción del delito están prohibidos y cuáles están permitidos según el Acto de IA?

Están prohibidos los sistemas de IA que predigan el riesgo de que un individuo cometa un delito basándose únicamente en su perfil o características personales. Sin embargo, se permiten sistemas que apoyan la evaluación humana basada en hechos objetivos y verificables relacionados con la actividad delictiva. Además, las predicciones geolocalizadas o basadas en lugares no están prohibidas, siempre que no se utilicen para perfilar a individuos. Tampoco se prohíben sistemas que procesan información sobre la participación previa de un importador o exportador en irregularidades relacionadas con la importación de bienes.

5. ¿Qué son los «sistemas de identificación biométrica remota (RBI)» y cómo los regula el Acto de IA?

Los sistemas RBI son aquellos que permiten la identificación de personas a distancia, sin su interacción activa o consciente. El Acto de IA prohíbe el uso de sistemas RBI en tiempo real en espacios públicos accesibles con fines de aplicación de la ley, salvo excepciones limitadas. Esto incluye tecnologías de reconocimiento facial, voz, marcha, etc. Es crucial que en la aplicación de esta tecnología la persona no tenga que involucrarse activamente acercándose al sensor biométrico, por ejemplo con la tecnología de reconocimiento facial usada en las cámaras de vigilancia instaladas en las paredes del metro. Si la persona debe involucrarse activamente, por ejemplo al usar un boleto de metro biométrico donde se debe acercar al sensor, esto no es considerado un sistema RBI.

6. ¿Cuáles son las excepciones a la prohibición del uso de sistemas RBI en tiempo real y para qué fines están permitidos?

El uso de sistemas RBI en tiempo real está permitido solo en tres situaciones específicas y bajo ciertas condiciones, en caso de ser autorizado por la ley nacional de cada Estado miembro:

Búsqueda dirigida de víctimas de ciertos delitos graves y personas desaparecidas.
Prevención de amenazas inminentes a la vida o la seguridad física, o amenazas reales de ataques terroristas.
Localización e identificación de sospechosos de delitos graves específicos, con fines de investigación, enjuiciamiento o ejecución de penas criminales.

7. ¿Qué tipo de salvaguardias y condiciones deben cumplirse para usar sistemas RBI en tiempo real para la aplicación de la ley?

El uso de sistemas RBI en tiempo real está sujeto a varias salvaguardias y condiciones:

Debe existir una ley nacional que autorice su uso para los fines específicos.
Se requiere una evaluación de impacto en los derechos fundamentales (FRIA) antes de su implementación.
Debe haber una autorización previa de una autoridad judicial o administrativa independiente, salvo en casos de urgencia justificada, en que se requerirá la autorización lo más pronto posible y dentro de las 24 horas.
El uso debe ser necesario y proporcional para alcanzar el objetivo legítimo.
Debe haber limitaciones geográficas, temporales y personales en su uso.
Los datos deben ser manejados con las debidas protecciones y se deben eliminar tras su uso autorizado.
No se permite la toma de decisiones exclusivamente basada en la salida del sistema RBI.
Los Estados miembros deben notificar a la Comisión Europea las normas nacionales que autoricen el uso de sistemas RBI.

8. ¿Cómo se aplican estas prohibiciones en la práctica y qué implicaciones tienen para los proveedores y usuarios de sistemas de IA? Las prohibiciones se aplican directamente a los proveedores que ponen en el mercado sistemas de IA y a los usuarios que los emplean, tanto en el sector público como en el privado. Los proveedores deben asegurarse de que sus sistemas no realicen prácticas prohibidas, mientras que los usuarios deben evitar el uso de sistemas que las infrinjan, independientemente de si se ha intentado excluirlos por vía contractual. El incumplimiento de estas prohibiciones puede acarrear sanciones financieras importantes, con multas más elevadas por aquellas que interfieren más con las libertades individuales, haciendo que el alcance de estas prohibiciones sea interpretado de manera estricta. Los proveedores y usuarios de sistemas RBI, en particular, deben estar al tanto de que en ausencia de leyes nacionales que autoricen su uso en los casos excepcionales contemplados, su uso es ilegal.