Usted está aquí

Inteligencia artificial, policía y comunidades racializadas.

2022: Sesgo discriminatorio en el uso de la inteligencia artificial e impacto en la comunidad gitana

Las herramientas que utilizan algoritmos y cálculos matemáticos para toma de decisiones vienen con la promesa de que el análisis de datos históricos y en tiempo real permite predecir cuándo y dónde es más probable que se produzca un delito o quién es más probable que participe o sea víctima de una actividad delictiva en un futuro próximo. En teoría, esto debería permitir a la policía desplegar de forma más eficiente sus limitados recursos y realizar intervenciones preventivas, actuando antes de que se produzca un delito y, por tanto, siendo más eficaz en la reducción de la delincuencia.

La creencia de que la tecnología mejorará la toma de decisiones existente es el núcleo del argumento de que la policía predictiva puede utilizarse de forma eficaz, justa y legítima. Sin embargo, la investigación crítica ha mostrado que las herramientas policiales predictivas perpetúan, refuerzan y ocultan las desigualdades existentes, y los debates éticos han explorado cómo evaluar estas tecnologías y en qué condiciones se pueden desplegar estas herramientas. Lo que a menudo falta en estos debates es el contexto en el que la policía está recurriendo a estas herramientas y la comprensión de las razones por las que invierten en ellas.

La inteligencia artificial y la ciencia ficción. No es Minority Report y algunos responsables policiales piensan que sí, eso es ciencia ficción

La trama de la película Minority Report versaba sobre la existencia de un departamento de policía denominado “precrimen” que detenía a los delincuentes basándose en el conocimiento previo proporcionado por tres psíquicos llamados “precognitivos”. Se anticipaba al delito por el análisis previo. 

Se trataba de ciencia ficción, y algunos responsables policiales creen que los algoritmos ofertados por diferentes empresas o desarrollados bajo financiación pública son capaces de predecir 

dónde ocurrirán los delitos, pero la suposición de que este modelo de policía predictiva disminuye la delincuencia no es real. 

Por ejemplo, la policía de Kent, en el Reino Unido, canceló su contrato con el proveedor de software de predicción policial Predpol. Al explicar la decisión, el superintendente de la policía de Kent dijo: “Predpol tenía un buen historial de predicción de los lugares donde es probable que se cometan delitos. Lo más difícil es demostrar que hemos sido capaces de reducir la delincuencia con esa información”1.

En Alemania, también hay claros indicios de que las herramientas policiales predictivas arrojan resultados decepcionantes. En Stuttgart, el Ministro del Interior explicó que tras experimentar con Precobs descubrieron que los índices de delincuencia reales eran demasiado bajos para que el instrumento pudiera hacer predicciones. Al mismo tiempo, subrayó que el uso de las nuevas tecnologías tenía claras ventajas y que la policía no debería rehuirlo en el futuro2.

Este sentimiento resultó ser más común en toda la policía alemana; una investigación en profundidad3 descubrió que el cambio más significativo para las fuerzas policiales que estaban probando las herramientas policiales predictivas no estaba relacionado con la eficacia de estas herramientas ni con la forma en que transformaba la naturaleza de la policía de reactiva a preventiva. El uso de estas herramientas reforzó principalmente la creencia de la policía en los datos y su deseo de trabajar con ellos.

Cuando las organizaciones, como los servicios de policía, adoptan una nueva tecnología, suelen estar impulsadas por una combinación de curiosidad 

y miedo a quedarse atrás y no modernizarse, especialmente al ver que otros países la utilizan. Debido a esta cultura policial se ha sido más susceptible a las promesas de los argumentos comerciales. Las empresas venden tecnología eficaz a los decisores policiales, para vender modernidad. 

El uso de policía predictiva estigmatiza y hay un exceso de vigilancia y presión sobre la sociedad 

Más allá de intentar predecir el lugar y el momento en que se cometerá un delito en el futuro, otra vertiente de las herramientas policiales predictivas trata de determinar la probabilidad de que alguien se convierta en autor o víctima de un delito. Hay toda una serie de programas de este tipo. Por ejemplo, las listas Top X de los Países Bajos se centran en la identificación de los delincuentes de alto impacto (HIC) más prolíficos, el modelo de Gestión Integrada de Delincuentes (IOM) del Reino Unido pretende predecir qué delincuentes pasarán de un delito de bajo a un delito de alto impacto, y también hay modelos como RADAR-iTE en Alemania que pretenden predecir qué persona potencialmente peligrosa tiene más probabilidades de cometer un atentado terrorista islamista violento. 

Es importante reconocer que figurar en estas listas suele estigmatizar al individuo y a sus familias y genera una injerencia adicional del Estado en la vida personal. El enfoque de coordinación significa que toda la fuerza del Estado se dirige a un individuo y/o a su familia, lo que aumenta la relación de poder asimétrica entre ellos. La cuestión de la legitimidad de la policía predictiva no sólo debe centrarse en la tecnología, sino también sopesar si esta injerencia de los poderes públicos en la vida privada de un individuo es proporcional a la gravedad de los delitos cometidos por una persona y al impacto que estos delitos tienen en la sociedad. 

El uso de la inteligencia artificial se utiliza para justificar la discriminación 

Este tipo de intervenciones de policía predictiva tienen el riesgo de crear identidades construidas, como la de “miembro de una banda” o “terrorista”, que vinculan a determinadas comunidades racializadas a un complejo proceso de criminalización. En este caso, “los jóvenes negros”, “los jóvenes islámicos” y “los jóvenes gitanos” son identidades que se vinculan a los fenómenos delictivos en el discurso político de la policía, en las escuelas y en las calles. 

¿Nos hemos preguntado qué ocurriría si se utilizara la policía predictiva para los delitos económicos o de cuello blanco? ¿Es socialmente aceptable que la policía y otras autoridades públicas adopten medidas preventivas y coercitivas -que actualmente se aplican a los individuos identificados en las herramientas policiales predictivas-sobre los delincuentes de cuello blanco y sus familias? 

Esto podría incluir el aumento de las acciones de identificaciones y cacheos en los distritos financieros dirigidas a hombres blancos de mediana edad con traje, que son los individuos que encajarían en el perfil construido de un delincuente de cuello blanco. Lo más probable es que la respuesta sea no. 

¿Cuál es la idea de justicia con la que se trabaja en el desarrollo de la policía predictiva? 

El tipo de delincuencia al que se aplican estos modelos de predicción es el resultado de las prioridades policiales contemporáneas e históricas, que están informadas política y socialmente. Esta es una reflexión importante. Al optar por perfilar determinadas áreas de delincuencia, pero no otras y por agrupar a los delincuentes en función de las características de los datos, la sociedad corre el riesgo de criminalizar a las personas y a las familias de las personas que pertenecen a una determinada comunidad racializada o de nivel socioeconómico más bajo. 

Históricamente, la policía se ha concebido como el brazo del poder judicial que aprehende a los delincuentes. Se trataría de un grupo de personas a los que el resto de la ciudadanía ha dotado de capacidades para el ejercicio legítimo de la fuerza con el fin de mantener el orden y la paz dentro de una sociedad determinada, de tal forma, que sería el grupo de ciudadanos que vigilan el cumplimiento de la ley, especialmente la ley penal.

Esta deriva de vigilancia del cumplimiento de la ley ha ocasionado que la mayoría de los cuerpos de policía estén formados, equipados y diseñados para detener delincuentes. En algunos casos, dentro de estas policías hay, en menor porcentaje, servicios destinados a solucionar problemas. Y todavía en menor porcentaje hay servicios destinados a proteger derechos de personas;

Esto nos obliga a hacernos ciertas preguntas como: ¿cuál debe ser el papel de los servicios policiales en las sociedades actuales?; ¿son los cuerpos de policía accesibles a los ciudadanos?; ¿comparten sus acciones para poder ser controlados?; ¿a qué se dedican la mayoría de sus recursos?; ¿protegen a las personas o a los intereses de la mayoría?.

Nos enfrentamos, desde hace algunos años, a una crisis del modelo de policía imperante en la mayoría de las organizaciones policiales. Hay cada vez más movimientos que demandan cambios en estas, alegando que hunden sus raíces en la gestión de las desigualdades de raza y clase.

Además, la mayoría de las policías modernas encuentran las situaciones más complejas de gestionar en las grandes áreas urbanas, donde esas dos variables de raza y clase social se ven en mayor medida interrelacionadas entre diferentes grupos sociales, tanto opresores como oprimidos;

Por estos motivos, quizás los algoritmos utilizados en la policía predictiva, u otros sistemas orientados a la prevención de conductas infractoras deberían diseñarse para proteger derechos de personas, y más aún los de colectivos históricamente victimizados;

Seguramente se realizaría un trabajo más eficiente si el software informara al decisor policial dónde es más probable que un chico gay o un joven gitano puede sufrir una agresión; de esa forma los recursos policiales se diseñarían para evitar esas agresiones.

En materia de predicción delictiva la IA todavía no funciona bien

Un ensayo tras otro está demostrando que no existe una relación clara entre el uso de herramientas policiales predictivas y la reducción de la delincuencia. Sin embargo, muchos cuerpos policiales siguen subiéndose al carro, por no querer parecer poco modernos, curiosos por las nuevas tecnologías policiales o simplemente cayendo presa de los argumentos de venta.

David Martín Abánades 

Inspector de la Policía Local de Fuenlabrada y Consultor Experto del Consejo de Europa.

1 https://www.telegraph.co.uk/technology/2018/11/27/kent-police-stop-using-crime-predicting-software/
2 https://www.stuttgarter-nachrichten.de/inhalt.aus-fuer-die-einbruchvorhersage-software-strobl-entscheidet-sich-gegen-precobs.19a18735-9c8f-4f1a-bf1b-80b6a3ad0142.html
3 EGBERT S., Predictive Policing. An ethnographic study of new crime prediction technologies and their effects on police practices, Surveillance and Society, 2019.