Algunas de las decisiones que toman los algoritmos respecto de nuestras vidas son más bien benignas, como las irresistibles sugerencias personalizadas de Netflix. Pero todo se vuelve mucho más turbio cuando las empresas y los gobiernos utilizan la inteligencia artificial (IA) y el aprendizaje automatizado para tomar decisiones que afectan nuestras vidas sin que nosotros lo sepamos y, peor aún, sin que podamos apelarlas.
Estas porciones de código son consideradas casi infalibles por quienes las usan. Los bancos y otras instituciones crediticias están determinando tus puntajes de crédito, las empresas están considerando si contratarte o no, y tu aseguradora está determinando tus primas en función de las decisiones tomadas por la IA.
Y "al considerar el papel de los algoritmos en la toma de decisiones, debemos pensar no solo en los casos en que un algoritmo es el árbitro completo y final de un proceso de decisión, sino también los muchos casos en que los algoritmos desempeñan un papel clave en la configuración de un proceso de decisión, incluso cuando la decisión final la tomen los humanos”.
Pero muchas de estas piezas de software ya contienen un sesgo en su interior, algo a lo que Joy Buolamwini, fundadora de la Liga de Justicia Algorítmica, llama "la mirada codificada". Se trata de un sesgo que perpetúa injusticias y que también provoca una sensación de fatalidad: la idea de que no podemos hacer otra cosa que lo que ya hacemos en este mundo impulsado por la inteligencia artificial.
"Es evidente que el uso creciente de algoritmos para respaldar la toma de decisiones, al tiempo que brinda oportunidades para la eficiencia, conlleva un gran riesgo relacionado con resultados injustos o discriminatorios". El género, la raza, la pertenencia e incluso la ubicación pueden resultar en toda una comunidad que no recibe beneficios y se queda en desventaja.
En pocas palabras, los algoritmos pueden ser racistas. Como dijo la legisladora estadounidense Alexandria Ocasio-Cortez, los algoritmos "siempre contienen desigualdades raciales que se traducen en la vida real, porque los algoritmos son creados por seres humanos y están vinculados a presunciones humanas que simplemente están automatizadas. Y si no solucionas el sesgo, sencillamente estás automatizando el sesgo”.
Es como si la IA te aplastara el cuello con la rodilla, y como si la presión de la rodilla se hiciera más pesada con cada algoritmo. Y los algoritmos se ejecutan mucho más rápido y afectan a mucha más gente con mucha más frecuencia que, por ejemplo, las viejas leyes de segregación racial en los Estados Unidos.
Este sesgo algorítmico, como descubrió Joy Buolamwini al ver en Hong Kong la demostración de un "robot social" que no pudo detectar su rostro, puede "trasladarse tan rápido como una simple descarga de archivos en Internet".
La startup que creó al robot social utilizó el mismo software genérico de reconocimiento facial que Buolamwini había usado para su licenciatura en la Universidad Georgia Tech, donde descubrió que no funcionaba con su cara, y tuvo que pedirle ayuda a su compañera de piso, que era blanca. En ese momento pensó que “alguien más arreglaría el software”. Después de ir a Hong Kong, supo que ese alguien iba a tener que ser ella. (Para un excelente resumen acerca de cómo funciona el sesgo algorítmico, lee este artículo de Karen Hao).
¿Qué podemos hacer sobre el sesgo algorítmico? Si eres desarrollador de software o científico de datos, IBM Research tiene un kit de herramientas de código abierto que te ayudará a verificar el sesgo de tus modelos de datos.
Pero no está solo en manos de los tecnólogos hacer algo respecto del sesgo algorítmico. Puedes comenzar a reclamar tu espacio digital explorando tu elección de servicios tecnológicos. Por ejemplo, usa motores de búsqueda como DuckDuckGo, porque a diferencia del vampiro voraz de datos que es Google, no almacena tu información personal para luego utilizarla en anuncios dirigidos.
También puedes hacer peticiones y presionar a tus gobernantes para que adopten un esquema de gobernanza para la política de responsabilidad y transparencia algorítmica, para que la "alfabetización algorítmica" se incluya en el currículo, y las notificaciones estandarizadas (para comunicar el tipo y el grado de procesamiento algorítmico de las decisiones) se conviertan en un requisito.
En última instancia, tenemos que pedirnos más a nosotros mismos y a las empresas de tecnología. No es suficiente con emplear el pensamiento crítico; también necesitamos emplear el pensamiento cívico a la hora de construir y usar estas tecnologías.
Este artículo fue publicado en Daily Maverick y es reproducido en IJNet con permiso.
David Lemayian es becario ICFJ Knight desde 2016 y trabaja como tecnólogo en jefe de nuestra organización socia Code for Africa.
Imagen con licencia Creative Commons en Unsplash, vía Rock'n Roll Monkey.