Nociones básicas
Qué entendemos por inteligencia artificial
Aunque se utiliza ampliamente, el término “inteligencia artificial” no está claramente definido. Con la expresión “inteligencia artificial” se suele hacer referencia al aumento de la independencia, la velocidad y la magnitud relacionado con la adopción informática y automatizada de decisiones, o sistemas que simulan la inteligencia humana. La IA es un conjunto de procesos y tecnologías que permiten que los ordenadores complementen o reemplacen tareas específicas que de otro modo serían ejecutadas por seres humanos, como tomar decisiones y resolver problemas.
Varios ejemplos de IA se encuentran en el área de control de sistemas, planificación automática, la capacidad de responder a diagnósticos y a consultas de los consumidores, reconocimiento de escritura, reconocimiento del habla y reconocimiento de patrones. Los sistemas de IA actualmente son parte de la rutina en campos como la economía, la medicina, la ingeniería, el transporte, y las comunicaciones, y se ha usado en gran variedad de aplicaciones de software, juegos de estrategia, como el ajedrez por ordenador, y otros videojuegos.
Qué entendemos por algoritmos
Se puede definir un algoritmo como un conjunto de instrucciones o reglas definidas y no-ambiguas, ordenadas y finitas que permite solucionar un problema, realizar un cómputo, procesar datos y llevar a cabo otras tareas o actividades. Dados un estado inicial y una entrada, siguiendo los pasos sucesivos se llega a un estado final y se obtiene una solución. Un ejemplo sencillo de algoritmo es una receta de cocina, donde hay que seguir las instrucciones (ingredientes, diversas fases, tiempos de cada fase, etc.) en el orden
determinado. Este tipo de procesos se pueden programar informáticamente (de hecho, un programa de software en muchos casos es una serie de algoritmos, una serie de pautas lógicas programadas).
Los sistemas de IA utilizan algoritmos muy complejos, que combinan con grandes bases de datos (los llamados big data). Esto les permite dar soluciones a problemas complejos, o simular conductas humanas, como ciertas conversaciones, o la traducción de textos. Por ejemplo, un programa de IA que procesara miles de conversaciones y mensajes grabados de una persona podría imitar su forma de hablar, o sus respuestas en ciertas situaciones, o escribir textos de forma parecida.
Los algoritmos también se usan en numerosos campos sociales y económicos: predicciones de la Bolsa, tendencias económicas, toma de decisiones sobre ayudas sociales, seguros, enfermedades, comercio, márketing (por ejemplo, para valorar qué tipos de libros o autores/as van a venderse más), desarrollo urbano, etc.
Qué es el sesgo racial
Desde hace varios años numerosos estudios1 han detectado que se producen sesgos raciales en muchos sistemas de IA, y en el uso de algoritmos para la toma de decisiones. La expresión “sesgo racial” indica que las decisiones finales adoptadas por estos sistemas pueden perjudicar o discriminar a determinadas minorías étnicas o raciales, de forma deliberada (en la propia programación del algoritmo, por ejemplo, incluyendo apellidos típicos de una determinada etnia y dando a esos apellidos una valoración negativa, o incluyendo códigos postales donde viven mino
rías étnicas), o bien de forma automática, dado que esos sistemas al utilizar grandes bases de datos (noticias de internet, webs, foros, redes sociales) pueden replicar los sesgos que ya existen en la sociedad de forma arraigada.
Otros ejemplos donde se puede dar sesgo racial son el uso de sistemas de reconocimiento facial, la policía predictiva, los seguros médicos, la planificación urbana, la concesión de ayudas sociales, o los motores de búsqueda.
Aunque no es el objeto de este documento, se ha estudiado también ampliamente la existencia de sesgos de género en este tipo de sistemas.
Estándares internacionales y nacionales sobre cómo evitar la discriminación en el uso de inteligencia artificial y de algoritmos
Desde hace ya bastantes años diferentes organismos europeos e internacionales han abordado el uso de estos sistemas, para intentar prevenir la discriminación.
Por ejemplo, el CERD en su Recomendación general núm. 36 (2020), relativa a la prevención y la lucha contra la elaboración de perfiles raciales por los agentes del orden, en el Apartado sobre Inteligencia artificial, señala lo siguiente:
“El Comité observa que la utilización cada vez mayor de nuevas herramientas tecnológicas, incluida la inteligencia artificial, en ámbitos como la seguridad, el control de fronteras y el acceso a los servicios sociales, puede profundizar el racismo, la discriminación racial, la xenofobia y otras formas de exclusión”.
Esta misma recomendación del CERD en el apartado sobre perfil racial hace esta importante reflexión:
“Hay diversos puntos de entrada a través de los cuales el sesgo se podría incorporar en los sistemas de elaboración algorítmica de perfiles, entre ellos la forma en que se diseñan los sistemas, las decisiones sobre el origen y el alcance de los conjuntos de datos con que se entrenan, los sesgos sociales y culturales que los creadores de aplicaciones pueden incorporar en esos conjuntos
de datos, los modelos mismos de inteligencia artificial y la forma en que los productos del modelo de inteligencia artificial se ejecutan en la práctica. En particular, los siguientes factores relacionados con los datos pueden contribuir a obtener resultados negativos: a) los datos utilizados incluyen información relativa a características protegidas; b) se incluye en los datos la denominada información indirecta, por ejemplo, los códigos postales vinculados a zonas segregadas de las ciudades suelen indicar indirectamente la raza o el origen étnico; c) los datos utilizados están sesgados en contra de un grupo; y d) los datos utilizados son de mala calidad, en particular porque están mal seleccionados, están incompletos, son incorrectos o están desactualizados”.
La Agencia Europea de Derechos Fundamentales ha publicado un detallado manual sobre esta cuestión; en su Opinión nº 4 hace esta recomendación a los Estados miembros de la UE:
“Los Estados miembros de la UE deberían animar a las empresas y a la administración pública a evaluar cualquier resultado potencialmente discriminatorio al usar sistemas de IA. La Comisión Europea y los Estados miembros deberían considerar la posibilidad de proporcionar financiación para la investigación específica sobre posibles impactos discriminatorios del uso de IA y algoritmos. Tal investigación se beneficiaría de la adaptación de metodologías de investigación establecidas, de las ciencias sociales, que se emplean para identificar la discriminación potencial en diferentes áreas.
Algunas variables utilizadas en el modelado de IA pueden ser indicadores de raza, etnia, género y otras categorías protegidas. La complejidad de los algoritmos hace que sea más difícil identificar y eliminar dichos sesgos. En lugar de proporcionar un análisis objetivo, el software de vigilancia predictiva puede convertirse en una “cámara de resonancia” que refuerza las fallas e injusticias sistémicas existentes con el “sello” de lo que parece ser legitimidad científica.” FRA, Getting the future right – Artificial intelligence and fundamental rights2
La Comisión Europea está elaborando una nueva Ley de Inteligencia Artificial, que tiene numerosos
Por ejemplo, el apartado 37 dice lo siguiente: apartados sobre los riesgos de discriminación.
“El acceso y el disfrute de determinados servicios y ayudas esenciales de carácter público y privado necesarios para que las personas participen en la sociedad o cuenten con unas condiciones de vida mejores es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En concreto, deben considerarse de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA usados con este fin pueden discriminar a personas o grupos y perpetuar patrones históricos de discriminación, por ejemplo, por motivos de origen racial o étnico, discapacidad, edad u orientación sexual, o generar nuevas formas de efectos discriminatorios”3.
A nivel nacional, España ha sido pionera en incorporar la perspectiva de derechos humanos y la prevención de la discriminación en este ámbito. Por ejemplo, en la Estrategia Española de I+D+I en Inteligencia Artificial4, en su prioridad 6 sobre la ética y la IA, se dice lo siguiente:
“Los desarrollos de las tecnologías de la IA deberán evitar el sesgo negativo y los prejuicios de género u otras formas de discriminación.
Son muchas las preguntas éticas que rodean al papel que juega o ha de jugar la IA en la sociedad, en el empleo o su impacto en la economía. El éxito de la IA dependerá de cómo las personas y las máquinas colaboren para ofrecer mejores servicios –transparentes, razonables y éticos- a los usuarios potenciales, en un mundo donde cada vez seremos más exigentes con la calidad de los servicios prestados. Es una condición en el desarrollo de las tecnologías y aplicaciones de la IA ligado a esta Estrategia de I+D+I evitar el sesgo negativo y los prejuicios de los que adolece nuestra sociedad, como el de género, raza, u otras formas de discriminación, y que deberán evitar los sistemas de soporte a la toma de decisiones.
Desde el punto de vista europeo, una IA confia
ble y ética, hecha en Europa, ha de construirse sobre la base de décadas de aplicación consensuada de los derechos fundamentales en la UE, de modo que proporcione claridad, legibilidad y prospectiva para los usuarios, inversores e innovadores. Esto requiere de un marco legal adaptado para que la IA se utilice de manera justa, transparente y responsable”.
La Carta de Derechos Digitales5, en su capítulo VIII sobre Derecho a la igualdad y a la no discriminación en el entorno digital, indica lo siguiente:
“El derecho y el principio a la igualdad inherente a las personas será aplicable en los entornos digitales, incluyendo la no discriminación y la no exclusión”.
A finales del año 2021 el Grupo Parlamentario Confederal Unidas Podemos - En Comú Podem - Galicia en Común presentó una “Proposición no de Ley para su debate en la Comisión Interior sobre los usos permitidos de los mecanismos de inteligencia artificial (IA) relativos a los sistemas de vigilancia masiva y las tecnologías que valoran a las conductas de las personas de forma predictiva”, donde se plantean una serie de medidas para evitar posibles usos discriminatorios de estos sistemas.
Los diversos textos y recomendaciones citados anteriormente señalan los posibles peligros de la inteligencia artificial para reproducir o alimentar prácticas o decisiones discriminatorias basadas en el origen étnico o racial, la orientación sexual, las creencias, etc. En la nueva Ley 15/2022, de 12 de julio, integral para la Igualdad de trato y no discriminación6 se ha introducido un apartado (artículo 23) en el cual se señala la necesidad de controlar o sancionar posibles sesgos discriminatorios en el uso de la inteligencia artificial y de los algoritmos.
Posible impacto en las personas gitanas del sesgo discriminatorio de la inteligencia artificial y los algoritmos
Por ejemplo, el uso de algoritmos para decidir sobre una planificación urbana y el desarrollo de
ciertas zonas puede llevar a la decisión de no invertir en determinado barrio porque según el algoritmo el barrio tiene ciertos índices de criminalidad; un Ayuntamiento puede decidir no invertir en ese barrio a partir de esa decisión tomada por inteligencia artificial. En realidad, puede haber un sesgo, porque ese barrio es sobre todo de población gitana, algo que el algoritmo no conoce directamente, pero indirectamente toma una decisión que discrimina una posible inversión pública en un barrio que lo necesita.
Para la decisión de dar un empleo, una vivienda, un seguro de salud, prácticas policiales, prevención de la delincuencia, etc. se usan algoritmos, y se ha demostrado que a veces estos tienen un sesgo que reproduce los prejuicios raciales que ya existen en el sistema. Dado que el antigitanismo es un fenómeno muy arraigado en la sociedad, es posible que estos sesgos se filtren o se repliquen en los sistemas automatizados (ciertos apellidos, o ciertos códigos postales, calles o barrios, o ciertos fenotipos en casos de reconocimiento facial, por ejemplo).
Desde la FSG hemos detectado al menos tres ámbitos que pueden afectar a las personas gitanas:
1- La concesión de ayudas sociales: la decisión de conceder un bono de electricidad7, de transporte, comida, etc. a menudo se hace por medio de algoritmos, y pueden darse sesgos en algunos casos que afectan especialmente a familias gitanas.
2 - El uso de la policía predictiva8 también podría llevar a una hiper vigilancia de ciertos barrios, considerados peligrosos o con altos índices de delincuencia. En algunos casos en estos barrios viven mayoritariamente de personas gitanas, que se podrían ver expuestas a un control excesivo o a prácticas de discriminación o de perfil racial.
3 - La difusión automatizada de bulos y de fake news (noticias falsas) donde se estigmatiza o criminaliza a personas gitanas. Se ha compro
bado que la difusión de este tipo de noticias es mucho mayor que las noticias objetivas o veraces, por lo que se debe estudiar cómo se produce este fenómeno. Hay una serie de algoritmos que priorizan este tipo de mensajes y bulos, y también bots destinados a crearlos y difundirlos9.
Los algoritmos funcionan a menudo recopilando patrones, pero de forma “ciega”, es decir, no tienen capacidad de comprender por qué están haciendo ciertas selecciones para crear el patrón. Por ejemplo, un algoritmo puede decidir que la comunidad gitana es especialmente peligrosa o delictiva, ya que al rastrear noticias para buscar patrones verá muy a menudo noticias de crímenes y delitos o violencia asociadas a la etnia gitana o a la palabra “gitano”. Ese mismo algoritmo después podría utilizarse para discriminar a personas gitanas.
Cristina de la Serna y Javier Sáez
Departamento de Igualdad y Lucha contra la Discriminación en la Fundación Secretariado Gitano
Referencias sobre Inteligencia artificial (IA), protección de derechos humanos y no discriminación:
Libro blanco de la Comisión sobre IA:
Materiales de la FRA sobre IA y derechos humanos:
https://fra.europa.eu/en/themes/artificial-intelligence-and-big-data
Recomendación del CoE:
Unboxing artificial intelligence: 10 steps to protect human rights
Sentencia sobre AI y discriminación:
Consejo de Europa: algoritmos y DDHH
https://rm.coe.int/algorithms-and-human-rights-en-rev/16807956b5
Declaración de Toronto
https://www.accessnow.org/cms/assets/uploads/2018/08/The-Toronto-Declaration_ENG_08-2018.pdf
FRA: #BigData: Discrimination in data-supported decision making:
https://fra.europa.eu/en/publication/2018/bigdata-discrimination-data-supported-decision-making
FRA: Data quality and artificial intelligence – mitigating bias and error to protect fundamental rights
Recommendation CM/Rec(2020)1 of the Committee of Ministers to member States on the human rights impacts of algorithmic systems:
Declaration by the Committee of Ministers on the manipulative capabilities of algorithmic processes:
https://search.coe.int/cm/pages/result_details.aspx?ObjectId=090000168092dd4b
Amnistía Internacional:
Informe sobre policía predictiva en Países Bajos y su impacto en personas gitanas: https://www.amnesty.org/en/documents/eur35/2971/2020/en/
Libros:
Armas de destrucción matemática. Cathy O’Neil. Capitan Swing, 2018.
Automating inequality. Virginia Eubanks. St Martin Press, 2018.
1 Véase por ejemplo Armas de destrucción matemática, de Cathy O’Neil, Automating inequality, de Virginia Eubanks, y Algorithms of oppression: How search engines reinforce racism, de S. U. Noble.
2 Getting the future right – Artificial intelligence and fundamental rights | European Union Agency for Fundamental Rights (europa.eu)
3 https://eur-lex.europa.eu/legal-content/ES/TXT/ HTML/?uri=CELEX:52021PC0206&from=EN
4 https://portal.mineco.gob.es/es-es/ministerio/areas-prioritarias/Paginas/inteligencia-artificial.aspx
5 https://www.lamoncloa.gob.es/presidente/actividades/ Documents/2021/140721-Carta_Derechos_Digitales_RedEs.pdf
6 https://www.boe.es/buscar/pdf/2022/BOE-A-2022-11589- consolidado.pdf Artículo 23.
7 Un caso de este tipo fue denunciado por la Fundación CIVIO: https://civio.es/novedades/2019/07/02/que-se-nos-regule-mediante-codigo-fuente-o-algoritmos-secretos-es-algo-que-jamas-debe-permitirse-en-un-estado-social-democratico-y-de-derecho/
8 Informe sobre policía predictiva en Países Bajos y su impacto en personas gitanas: https://www.amnesty.org/en/documents/eur35/2971/2020/en/
9 https://www.elperiodico.com/es/internacional/20170211/anatomia-de-los-bulos-5800799