TEMPO DE LEITURA: 5 MINUTOS
Eu estudo a relação entre tecnologias e a automatização da desigualdade há algum tempo. E no meio dessa jornada eu me deparei com uma talk no TED de uma matemática brilhante, de cabelos azuis, doutora em Harvard, pós-doc no MIT, que explicava de forma muito didática o sistema de funcionamento de algoritmos que atuam em nossa vida de forma sutil, por vezes sorrateira, e que desempenham papel de destaque na manutenção ou aprofundamento das desigualdades. O nome dela é Cathy O’Neil. E recentemente sua obra mais conhecida foi traduzida para o português, o que mostra que o tema vem alcançando relevância cada vez maior por aqui.
Para muita gente esse pode parecer um tema muito chato ou desinteressante. Mas a verdade é que nunca foi tão importante entendermos as linhas gerais de operações tecnológicas que interferem, em alguma medida, no nosso cotidiano. Caminhamos para um cenário em que nossas vidas estão sendo registradas (dados) e transformadas em linguagem computacional, de forma a otimizar operações monetárias que em nada (ou quase nada) se conectam ao nosso bem-estar.
Super-organizações brigam pela posse de dados, que representam, em certa medida, um pedaço significativo de nossas vidas: as nossas experiências digitais.
Cathy mostra no livro como essas tecnologias, que ela chama de Armas de Destruição Matemática (ADM) tendem a punir pobres e minorizades. Os privilegiados, veremos vez após outra, são processados mais pelas pessoas; as massas, pelas máquinas.
E esses modelos matemáticos, muitos deles mal concebidos, microgerenciam a economia, de publicidade a penitenciárias, e as decisões que resultam deles tem origens “obscuras, incontestáveis, irresponsabilizáveis e operam em larga escala para ordenar, atingir ou ‘otimizar’ milhões de pessoas”.
O livro traz muitos exemplos do cenário norte-americano: algoritmos de avaliação de professores cujo funcionamento interfere negativamente na vida e nas relações escolares; algoritmos de avaliação universitária que estimularam uma escalada nas taxas anuais, sobrecarregando candidatos com menores oportunidades; algoritmos atuando na economia e gerando crises; no sistema judiciário avaliando probabilidade de reincidência a partir de pressupostos nitidamente racistas; no circuito de contratações, boicotando ou ignorando determinados perfis de candidatos; elaborando escalas de horário em grande corporações como se as pessoas fossem meras engrenagens, gerando distúrbios, doenças e exaustão; distribuindo anúncios de empréstimos com taxas exorbitantes para populações de baixa renda; ou ainda vendendo a capacidade de previsão de crimes, quando na verdade penaliza bairros pobres com o aumento de um policiamento pré-orientado e movido a preconceitos. A lista segue e é longa, assustadora e revoltante.
E mostra a fragilidade desses modelos, muitas vezes percebidos como 100% confiáveis porque livres das emoções ou instabilidades que afetam humanos. Mas a verdade é que são construídos por humanos. São repletos de falhas. E sem qualquer vestígio de compaixão ou empatia que lhes permita relativizar suas decisões em casos específicos. Agem com base na noção de sucesso que lhes foi imputada. E acabam reproduzindo estruturas desiguais sob a promessa da neutralidade e da eficácia.
Pessoas pobres são mais propensas a ter pouco crédito e viver em bairros com maior criminalidade. Quando transformamos isso em dados para serem utilizados pelas ADM’s, elas podem inundar essas pessoas com anúncios predatórios de empréstimos imobiliários de alto risco ou universidades privadas com taxas altas. Envia mais policiamento para prendê-las, persegui-las e humilhá-las como forma de manter a ordem. Quando condenadas, ADM’s estimulam sentenças mais duras para estas mesmas pessoas. Esses dados alimentam outras ADM’s que marcam essas mesmas pessoas como de ‘alto risco’ ou ‘alvos fáceis’, bloqueando-as de empregos, aumentando seus juros de empréstimos imobiliários, carros e seguros, derrubando sua classificação de crédito, e assim por diante. As vítimas não têm acesso a advogados, não têm poder econômico e, mesmo que tivessem, muitas dessas ferramentas de inteligência artificial não podem ser explicadas, pois suas tomadas de decisão são muitas vezes imprevisíveis e, portanto, inculpabilizáveis.
São caixas pretas em que o aprendizado de máquina se torna quase impossível de ser rastreado e compreendido. A ferramenta oferece decisões que se mostram eficazes dentro de um protocolo específico de sucesso. Mas que podem ser extremamente prejudiciais a determinados grupos, em especial os menos favorecidos. Criam, portanto, o que Cathy O’Neil chamou de “espiral mortal de modelagem”, que torna cada vez mais perigoso e custoso ser negre, pobre, mulher, transexual etc.
“Para muitas empresas rodando esse algoritmos vigaristas, o dinheiro entrando parece provar que os modelos estão funcionando. (…) os lucros terminam por se prestar como indicador da verdade. (…) Os cientistas de dados, muitas vezes, perdem de vista as pessoas na ponta final da transação”.
cathy O’Neil. Algoritmos de destruição em massa. 2020
Apesar de falar sobre os EUA, boa parte dessa realidade já interage com a gente no Brasil. Para muitos de nós, isso tudo parece irreal. Sobretudo nos segmentos privilegiados, onde essas mesmas ferramentas parecem tornar tudo mais fácil, recomendando produtos que estavam apenas em nossa cabeça, como se lessem nossos desejos; tomando decisões e otimizando operações que nos favorecem ou poupam nosso tempo; proporcionando serviços automatizados singelos que nos fazem sentir num filme de ficção científica; criando pequenas ilusões que nos fazem aceitar pacificamente uma lógica que tem na sua gênese automatizar a desigualdade.
Enquanto reivindicamos direitos na rua, decisões são tomadas por fantasmas de código criados por empresas que tem como output central os lucros, sendo a equidade, quando muito, um subproduto. E isso torna a justiça social inviável.
É importante entendermos que estamos no começo disso tudo. Hoje os alvos mais fáceis são mais atingidos. Mas tendo em vista os lucros exorbitantes gerados por essas ADM’s, logo estarão atingindo a todes, semeando injustiças e polarizando debates sociais até que a gente decida fazer algo.
O meu resumo é um pouco trágico, mas o livro é fácil de ler e nos dá uma ideia muito didática dos rumos que o grande navio neoliberal está tomando. E aparentemente, o seu design prevê imensos porões e pequenas áreas luxuosas. Sem classe intermediária.
__
Break the bubble.
Diva. United by difference.
Break The Bubble é uma coluna dedicada a falar sobre as relações entre empatia e tecnologia, através de uma curadoria comentada de livros, filmes e outras narrativas.
Marcelo Téo é co-fundador da Diva Inclusive Solutions, pesquisador, educador, produtor de conteúdo, músico e pai. Suas pesquisas dentro e fora do âmbito acadêmico estão voltadas para o consumo narrativo e o papel da diversidade de histórias no desenvolvimento da empatia.