Algumas decisões que os algoritmos tomam sobre nossas vidas são razoavelmente benignas, como aquelas irresistíveis “Sugestões para você” no Netflix. Mas fica complicado quando a inteligência artificial (IA, em inglês) e o aprendizado de máquina são usados por empresas e governos para a tomada de decisões que afetam nossas vidas sem que jamais saibamos disso. E pior, sem sermos capazes de apelar contra essas decisões.
Esses pedaços de código são considerados quase infalíveis por aqueles que os usam. Os bancos e outras instituições de crédito estão determinando sua pontuação de crédito, as empresas e os recrutadores estão considerando a possibilidade de contratá-lo, e sua seguradora está determinando o custo do seu seguro com base nas decisões tomadas pela inteligência artificial.
E “ao considerar o papel dos algoritmos na tomada de decisões, precisamos pensar não apenas nos casos em que um algoritmo é o árbitro final e total de um processo de decisão, mas também nos muitos casos em que os algoritmos desempenham um papel fundamental na formação de um processo de decisão, mesmo quando a decisão final é feita por humanos.”
Mas muitos desses softwares são tendenciosos, o que Joy Buolamwini, fundadora da Algorithmic Justice League, chama de “o olhar codificado”. É um preconceito que perpetua a injustiça e também provoca um senso de fatalismo: a visão de que nós são impotentes para fazer qualquer outra coisa além do que realmente fazemos neste mundo alimentado pela inteligência artificial.
“É evidente que o uso cada vez maior de algoritmos para apoiar a tomada de decisões, ao mesmo tempo em que oferece oportunidades de eficiência na prática, acarreta grande risco em relação a resultados injustos ou discriminatórios”, ela disse. Gênero, raça, tribo e até localização podem resultar em toda uma comunidade não receber benefícios e depois mantê-las em desvantagem.
Colocando de forma simples, os algoritmos podem ser racistas. Como disse a deputada americana Alexandria Ocasio-Cortez, os algoritmos “sempre têm essas desigualdades raciais que são convertidas, porque os algoritmos ainda são feitos por seres humanos, e esses algoritmos ainda estão atrelados a pressupostos humanos básicos. Eles são apenas automatizados. E suposições automatizadas --se você não corrigir o preconceito-- estarão apenas automatizando o preconceito.”
É como uma rua sem saída com cada execução de seu algoritmo. E os algoritmos são muito mais rápidos e afetam muito mais pessoas com muito mais frequência do que as leis de Jim Crow.
Esse preconceito algorítmico, como Joy Buolamwini descobriu ao passar por uma demonstração de um "robô social" da startup de Hong Kong que não conseguia detectar seu rosto, pode "se propagar tão rapidamente quanto o tempo que leva para baixar alguns arquivos da internet."
A startup usou o mesmo software genérico de reconhecimento facial que ela usara anteriormente na sua graduação na Georgia Tech, onde ela descobriu que não funcionava no seu rosto. Ela teve, então, que fazer com que uma colega (branca) a substituísse. Na época, do outro lado do mundo, ela imaginou “alguém vai consertar isso”. Depois de ir a Hong Kong, ela sabia que esse alguém teria que ser ela.
(Para um excelente resumo de como o preconceito do algoritmo acontece, veja o artigo de Karen Hao).
O que podemos fazer sobre o viés do algoritmo? Se você é um desenvolvedor de software ou um cientista de dados, o IBM Research tem um kit de ferramentas de código aberto que ajuda a verificar o viés em seus modelos de dados.
Mas não são apenas os tecnólogos que podem fazer algo sobre o preconceito do algoritmico. Você pode começar a recuperar seu espaço digital escolhendo melhor seus serviços de tecnologia. Por exemplo, usando mecanismos de pesquisa como o DuckDuckGo, porque ao contrário do vampiro voraz de dados que é o Google, ele não armazena suas informações pessoais para usar em anúncios segmentados.
Você também pode pedir e pressionar seu governo para adotar uma estrutura de governança para responsabilidade em relação aos algoritmos e política de transparência em que “educação algorítmica” seja introduzida em notificações curriculares e padronizadas (para comunicar tipo e grau de processamento do algoritmo nas decisões).
Em última análise, precisamos exigir mais de nós e das empresas de tecnologia. Não basta apenas usar o pensamento crítico, também precisamos empregar o pensamento cívico em como construímos e usamos essas tecnologias.
Muita da informação neste artigo é baseada no material publicado pelo Unbias Project, que estuda a injustiça em sistemas de algoritmos há dois anos.
Este artigo foi publicado originalmente pelo Daily Maverick. Foi republicado na IJNet com permissão.
David Lemayian é bolsista Knight do ICFJ desde 2016 e trabalha como tecnólogo-chefe da organização parceira Code for Africa.
Imagem principal sob licença CC no Unsplash via Rock'n Roll Monkey