Autoría: Equipo de AlgoRace

Decenas de organizaciones sociales lideradas por AlgoRace: (DesRacializando la IA) comparten una serie propuestas a la consulta pública para la elaboración de una Ley Orgánica contra el Racismo, la Discriminación Racial y formas conexas de intolerancia

Ante la creciente automatización de nuestra sociedad y la ausencia de un marco regulatorio que está en elaboración a nivel europeo en la propuesta de Ley de Inteligencia Artificial (Artificial Intelligence Act, AIA), desde AlgoRace y las organizaciones abajo adheridas hacemos llegar las siguientes aportaciones vinculadas al uso de algoritmos e Inteligencia Artificial (IA) en todos los ámbitos de nuestras vidas. En general, solicitamos que esta tecnología se aplique en casos que no supongan un perjuicio de derechos fundamentales sobre colectivos históricamente y políticamente oprimidos y no sirvan para reproducir violencias estructurales. Para ello proponemos las siguientes medidas:

 

  • Garantizar por ley la transparencia y publicitación técnica de los algoritmos, de manera que estos sean trazables, inteligibles y comprobables. Esto resulta fundamental para impedir que estos sistemas discriminen en los diferentes ámbitos de aplicación de la administración pública. El sector privado deberá someterse a estos mismos requerimientos en aras de evitar esas mismas discriminaciones.
  • Transparencia y publicitación del funcionamiento de la Agencia Estatal de Control de Algoritmos (aún en proceso de creación). Esta deberá contar con la participación de la sociedad civil afectada por los usos de la IA con la finalidad de que estas organizaciones se puedan pronunciar sobre la idoneidad de modificar o cancelar usos de sistemas que reproducen desigualdades.
  • Sobre el uso de tecnologías de predicción policial en el Estado español y la propuesta de la Dirección General de la Policía de crear una base de datos biométricos de escala estatal, nos sumamos a la petición de prohibición de los sistemas de IA en la aplicación de la ley, en particular el uso de sistemas de IA predictivos y de elaboración de perfiles que se dirigen de manera desproporcionada a grupos marginalizados y vulneran sus derechos a la libertad y a un juicio justo, reforzando la discriminación estructural.


Así lo han denunciado decenas de organizaciones al señalar que “tratar de predecir el comportamiento futuro de las personas y castigarlas por ello es completamente incompatible con el derecho fundamental a que se presuma su inocencia hasta que se demuestre su culpabilidad. La IA en policía predictiva está reforzando la elaboración de perfiles raciales y comprometiendo los derechos de las comunidades excesivamente vigiladas. La Ley de IA de la Unión Europea (UE) debe evitar esto con la prohibición de los sistemas policiales predictivos»[1].

 

Sobre la recogida de datos biométricos que se quiere implementar de manera inmediata en las fronteras exteriores de la UE siguiendo un modelo de control fronterizo diseñado y aprobado por el Parlamento Europeo bajo el nombre de Entry/Exit System[3] (EES, por sus siglas en inglés), hacemos nuestras las demandas publicadas[2] por medio de centenar de organizaciones sociales y defensoras de los derechos fundamentales las cuales proponen que no se aplique IA en frontera por vulnerar el derecho a la libre circulación, el derecho a no ser identificados, el derecho a la intimidad y a la privacidad, y por incumplir el principio de proporcionalidad reforzando el Convenio de Dublín. Estas propuestas son compatibles con las siguientes recomendaciones:

 

  • La derogación del Reglamento UE 2017/2226 del Parlamento Europeo y del Consejo 30/11 /17 que permite el reconocimiento facial.
  • La derogación del Artículo 83 del AIA en la que exime las bases de datos biométricas de la UE de dicha regulación.
  • La incorporación sistemática de observadores de derechos humanos en frontera, auditorías independientes y controles externos de las tecnologías y procesos digitales aplicados y los datos e imágenes almacenadas, así como los utilizados para entrenar dichos sistemas.
  • Considerar insuficiente el consentimiento informado de quienes se exponen a estos sistemas en frontera, porque no se puede considerar un mecanismo de protección aceptado. Las personas en situación de vulnerabilidad máxima que buscan pasar estas fronteras no poseen las condiciones básicas para un consentimiento voluntario o elegible, según se definen en el artículo 4(11)[4] del propio Reglamento General de Protección de Datos (GDPR) de la UE.

[1] European Digital Rights (marzo, 2022): “Civil society calls on the EU to ban predictive AI systems in policing and criminal justice in the AI Act”. Disponible en https://edri.org/our-work/civil-society-calls-on-the-eu-to-ban-predictive-ai-systems-in-policing-and-criminal-justice-in-the-ai-act/

[2] Fronteras Digitales (enero, 2022): “La implantación de la Inteligencia Artificial en frontera y la vulneración de derechos”. Disponibles en https://fronterasdigitales.wordpress.com

[3] European Comisión, Migration and Home Affairs (2017): Entry/Exit System (EES). Disponible en https://ec.europa.eu/home-affairs/policies/schengen-borders-and-visa/smart-borders/entry-exit-system_es

[4]  EU General Data Protection Regulation, Artículo 4(11) del RGPD define el consentimiento del interesado como: «toda manifestación de voluntad libre, específica, informada e inequívoca por la que el interesado acepta, ya sea mediante una declaración o una clara acción afirmativa, el tratamiento de datos personales que le conciernen». Disponible en: https://www.privacy-regulation.eu/es/4.htm

Organizaciones firmantes:

  1. AlgoRace: (Des)racializando la IA
  2. Alianza por la Solidaridad
  3. Afromurcia en Movimiento
  4. Asociación Elín
  5. Conciencia Afro
  6. Coordinadora de Barrios
  7. Equipo de Implementación España Decenio Internacional Personas Afrodescendientes
  8. Geum Dodou
  9. Iridia
  10. Maakum
  11. Mujeres Supervivientes de Violencias de Género: Desde el Sur Construyendo la Igualdad
  12. NOVACT 
  13. Oxfam Intermón 
  14. Prodein
  15. Red Interlavapiés
  16. Red de Mujeres Latinoamericanas y del Caribe
  17. Regularización Ya
  18. Senda de Cuidados
  19. Sindicato de Manteros Madrid
  20. SOS Racismo Madrid
  21. Territorio Doméstico