NLP to prevent racist biases adopted

El pasado 24 de marzo se aprobaba en la Comisión de Interior del Congreso de los Diputados una Proposición no de Ley (PNL) sobre los usos de tecnología de reconocimiento facial y otros sistemas de reconocimiento biométrico en frontera.

Se trata de una PNL defendida por el Grupo Parlamentario Confederal Unidas Podemos-En Comú Podem-Galicia en Común y apoyada por el PSOE. El texto insta al ejecutivo que ambos conforman en coalición a garantizar que los estándares técnicos que regulan el hardware y software de las tecnologías de Inteligencia Artificial (IA) destinadas al reconocimiento facial en frontera, así́ como las destinadas a la gestión, clasificación y procesamiento de los datos, no generen sesgos discriminatorios en base a criterios de raza, género, edad, religión o nacionalidad. Además, se demanda la aplicación de garantías de publicidad y transparencia en la contratación de las tecnologías de la llamada «frontera inteligente» y que dichas tecnologías no entrañen un riesgo para el ejercicio de libertades civiles y políticas, como vienen alertando organizaciones de derechos humanos.

El pasado 24 de marzo se aprobaba en la Comisión de Interior del Congreso de los Diputados una Proposición no de Ley (PNL) sobre los usos de tecnología de reconocimiento facial y otros sistemas de reconocimiento biométrico en frontera.

La PNL se centra en el anuncio realizado por el Gobierno a finales del año pasado sobre la implementación de reconocimiento facial en los pasos fronterizos de Ceuta y Melilla, lo que se conoce como fronteras digitales o inteligentes^[1], con la finalidad de controlar la llegada y salida de toda la ciudadanía extracomunitaria. Un sistema de control que implica la recogida de datos biométricos y su almacenamiento durante varios años en bases de datos compartidas entre distintos cuerpos y fuerzas de seguridad del estado y del resto de países comunitarios.

Según se especifica en la exposición de motivos de la PNL, el uso de las herramientas tecnológicas en frontera se aprobó en España en 2019 con un presupuesto de 4,1 millones de euros que más tarde se amplió a los 20 millones, estableciendo finales de 2022 como el inicio de su puesta en marcha. Hablamos de un modelo de control fronterizo diseñado por la Unión Europea (UE) y aprobado por el Parlamento Europeo en 2017 bajo el nombre de Entry/Exit System (EES, por sus siglas en inglés). En 2019, la UE anunció un contrato de 142 millones de euros para desarrollar la infraestructura digital de este nuevo modelo fronterizo, el cuál ha sido modificado recientemente incrementando el presupuesto 212 millones. Además, en 2020, los Estados miembros firmaron un contrato de 302,5 millones de euros para el diseño e implementación del sistema biométrico (huellas dactilares y reconocimiento facial) de esta infraestructura de control migratorio.

La proposición llega tan solo dos meses después del comunicado lanzado por medio centenar de organizaciones en el que manifestaban su preocupación por este modelo y alertaban que “la aplicación de mecanismos de IA en el control fronterizo supone un riesgo de vulneración de derechos humanos, discriminación, criminalización y violación de la privacidad”. Preocupación trasladada el pasado 14 de marzo por AlgoRace en una reunión con el diputado y portavoz del Grupo Parlamentario Confederal Unidas Podemos, Ismael Cortés, que defendió la PNL en la Comisión de Interior.

«Si bien desde diferentes formaciones políticas se apela a la necesidad de evitar sesgos y discriminaciones garantizando la efectividad, conviene recordar que los sesgos algorítmicos no se pueden erradicar en su totalidad y que eficacia y eficiencia no son sinónimo de justicia ni implican la ausencia de abusos»

Un avance insuficiente

Si bien desde diferentes formaciones políticas, entre quienes se encuentra el grupo parlamentario que ha defendido la propuesta, se apela a la necesidad de evitar sesgos y discriminaciones garantizando la efectividad. Conviene recordar que los sesgos algorítmicos no se pueden erradicar en su totalidad y que eficacia y eficiencia no son sinónimo de justicia ni implican la ausencia de abusos. Las organizaciones firmantes del manifiesto indican que la mera existencia de una frontera digital implica un refuerzo del racismo estructural al apoyar mecanismos legislativos como el Convenio de Dublín que vulneran derechos fundamentales como la libre circulación de personas e incumple el principio de proporcionalidad.

Además, las organizaciones señalan esta tecnología como una flagrante discriminación^[2] y criminalización que tiene como consecuencia un rechazo generalizado hacia la población migrante y racializada: “La utilización de IA para el control fronterizo profundizaría la estigmatización y criminalización de grupos de personas que ya se encuentran en una gran situación de vulnerabilidad y/o exclusión”.

La PNL aprobada, siendo un avance significativo, queda lejos de las demandas de la sociedad civil que reclama la incorporación de observadores de derechos humanos en frontera, auditorías independientes y controles externos de las tecnologías aplicadas en los que participen los propios grupos afectados. En cuanto al consentimiento informado de quienes se exponen a estos sistemas, otro de los puntos sensibles que no aborda la propuesta, no se puede considerar un mecanismo de protección aceptado puesto que las relaciones de poder que se dan son asimétricas. Las personas en situación de vulnerabilidad máxima que buscan pasar estas fronteras no poseen las condiciones básicas para un consentimiento voluntario o elegible, según se definen en el artículo 4(11)^[3] del propio Reglamento General de Protección de Datos (GDPR) de la UE.

Otra de las demandas de la sociedad civil que no quedan finalmente recogidas en la PNL es la derogación del Reglamento UE 2017/2226 del Parlamento Europeo y del Consejo 30/11 /17, el cual permite el reconocimiento facial. En este sentido, decenas de organizaciones a nivel nacional e internacional lideradas por European Digital Rights (EDRi) y Fair Trials lanzaron hace un mes una declaración conjunta para pedir a la UE que prohíba los sistemas policiales predictivos en la Ley de Inteligencia Artificial (AIA, por sus siglas en inglés), proponiendo que todas las soluciones aplicadas a población en situaciones de vulnerabilidad, como las personas migrantes que quieren cruzar estos pasos fronterizos, sean consideradas de alto riesgo. Esta declaración señala dichos sistemas como un riesgo inaceptable y, por lo tanto, deben considerarse una “práctica de IA prohibida”. Además, sistemas como el EES están explícitamente exentos de dicha regulación (ver Artículo 83 de AIA Act), así como de las regulaciones de protección de datos que se aplican al resto de personas en la UE. Por ello, estas organizaciones también reclaman la revocación de dicho artículo.

Entre las principales exigencias de la sociedad civil se encuentran la transparencia y los mecanismos de control independientes de los que carecen estas tecnologías y que se manifiestan en la ausencia de información, de auditabilidad y de publicidad de los algoritmos, impidiendo la supervisión de políticas de protección de datos y derechos fundamentales de las personas afectadas. Todo ello, sin abandonar un necesario cuestionamiento a la lógica colonial que da sentido a la existencia misma de fronteras exteriores de la UE. La efectividad de los mecanismos de control fronterizo no debería medirse por el número de personas racializadas a las que se impide cruzar las fronteras de Ceuta y Melilla sino por la existencia de vías seguras para la movilidad humana que impidan más víctimas y vulneraciones de derechos humanos.