TEMPO DE LEITURA: 10 MINUTOS
Quando falamos sobre ou simplesmente pensamos a respeito dessa onda de ódio, extremismo e falta de empatia que marca nosso presente, fazemos uma conexão imediata com o uso de tecnologias e redes sociais. Mas geralmente, essa conexão é abstrata. Não sabemos explicar como ou porque ela acontece.
E no caso de países como o Brasil, onde existe uma política estatal de disseminação de notícias falsas, declarações racistas, homofóbicas, machistas, capacitistas, a situação é sensivelmente diferente. De um lado, uma parte da população está imersa nessa onda de ódio e não consegue percebê-la como um problema. É apenas levada por ela. De outro, muita gente assume que a situação é fruto da atuação de um governo mal intencionado, que usa essas ferramentas tecnológicas de forma inapropriada e mal intencionada. E, em parte, isso é verdade. Mas como chegamos aonde chegamos? Como explicar esse fenômeno em outros cantos do mundo, onde a estrutura social e es governantes são tão distintes da nossa realidade?
Bem, há, sem dúvida, algo de muito errado no funcionamento de alguns produtos tecnológicos consumidos por parcelas gigantescas da população mundial e que são oferecidos pelas principais empresas de tecnologia do planeta. Uma questão fundamental para entendermos essa dimensão do problema é a presença massiva de algoritmos regendo, ainda que parcialmente, nossas interações digitais. Ou melhor, deixe-me reformular.
O problema não é o uso de algoritmos em si, mas a definição de sucesso a partir da qual são criados.
Plataformas como o facebook, o Instagram, o Youtube, o Tiktok, o Twitter, entre outras, assim como a maioria dos sites que acessamos no cotidiano, contam com ferramentas de inteligência artificial dedicadas a estender a nossa permanência on line e aumentar o nosso engajamento, a qualquer custo.
No caso das recomendações, o princípio que rege o seu funcionamento é a similaridade. Oferecer mais do mesmo. Baseado naquilo que você viu/consumiu e no que pessoas que os algoritmos entendem ser como você viram/consumiram. Nos últimos anos outras variáveis vêm sendo acopladas ao processo de tomada de decisão algorítmica. E apesar das críticas, da cobrança de alguns governos, da pressão popular, dos efeitos catastróficos dessas redes nas eleições de diversos países, na gestão de uma pandemia mundial e na própria atuação das instituições políticas internacionais e regionais, a mudança real é praticamente nula.
A política dessas plataformas tem sido maquiar uma realidade assustadora através de discursos vazios sobre diversidade, compromisso com a vida ou a ciência. Mas sem qualquer ação transparente que implique em mudança real.
A recusa em mudar ou compartilhar informações detalhadas sobre a atuação de seus algoritmos e seus processos de machine learning está pautada em modelos de negócio bilionários, que garantem a eficácia de um complexo sistema de consumo digital guiado pela captura desregrada de dados pessoais des usuáries.
Acredito que muites de vocês conheçam pelo menos um pouco dessa novela, que inclui a falta de clareza sobre a obtenção dos nossos dados, as recentes pressões do governos dos EUA sobre essas gigantes tecnológicas, as pesquisas acadêmicas que comprovam o enviesamento de seus algoritmos, causando danos profundos a comunidades minorizadas, os escândalos sobre uso ilegal de informações privadas (lembremos do caso que envolveu o Facebook e a Cambridge Analytica intervindo em processos eleitorais ilegalmente como o mais radical e abusivo entre inúmeros exemplos semelhantes). A lista segue e é longa. Todos os dias periódicos de todo o mundo narram os conflitos políticos e sociais causados ou protagonizados por estas grandes corporações.
Levando em conta o tema da nossa temporada – Ódio digital -, eu gostaria de focar num exemplo mais específico: as relações entre o sistema de recomendação de vídeos do YouTube e o crescimento de grupos extremistas e discursos de ódio.
O YouTube e o extremismo
Nas eleições de 2016, Zeynep Tufekci, pesquisadora dos impactos sociais da tecnologia, escrevia um artigo sobre Donald Trump e, para tanto, assistiu alguns de seus vídeos no Youtube. Logo as recomendações da plataforma colocaram no topo da sua tela vídeos de supremacistas brancos, de negacionistas do holocausto e outros temas perturbadores. Pesquisadora sagaz, Tufekci logo criou um novo perfil e assistiu a alguns vídeos de Hillary Clinton e Bernie Sanders. As recomendações agora iam na direção de teorias da conspiração, incluindo versões sobre o 11 de Setembro e outros acontecimentos, pautadas por suposições muitas vezes absurdas. Apesar de distintas, as recomendações nas duas experiências de Tufekci apresentavam algo em comum: o algoritmo da plataforma estava indicando conteúdos mais e mais radicais do que os que a pesquisadora havia iniciado.
Ela experimentou com outros tópicos e o mesmo padrão se repetiu. De uma receita vegetariana para vídeos sobre veganismo, de uma dica sobre corrida para preparação de ultramaratonas, a plataforma estava sempre direcionando a atenção des usuáries para conteúdos mais e mais extremos. Mesmo que, em alguns casos, esse caminho pareça natural ou mesmo positivo, o seu sistema de funcionamento acusa uma ênfase aberta (mas nada transparente) na radicalização como forma de manter um modelo de negócios pautado na venda da nossa atenção. E aparentemente, sem nenhuma preocupação ética com o bem estar e o desenvolvimento social.
“Isso não acontece porque um grupo de engenheiros do YouTube está conspirando para levar o mundo a um penhasco. Uma explicação mais provável tem a ver com a relação entre inteligência artificial e modelo de negócios do Google, proprietário do YouTube. Apesar de toda sua retórica elevada, o Google é um corretor de publicidade, vendendo nossa atenção para empresas que pagarão por isso. Quanto mais tempo as pessoas ficam no YouTube, mais dinheiro o Google ganha”.
Zeynep Tufekci, em artigo publicado no New York Times.
A inteligência artificial do YouTube é otimizada para maximizar o tempo gasto online e os cliques. A combinação destes dois fatores é o que chamamos de engajamento. Logo, as recomendações precisam estar alinhadas com o engajamento, que é central no modelo de sucesso dessas ferramentas. Então se vídeos sobre terraplanismo fazem com que os usuários passem mais tempo no YouTube do que vídeos com perspectivas científicas compromissadas e verificadas, a ferramenta sugerirá mais vídeos que defendam a primeira teoria do que a última.
O algoritmo da plataforma parece ter identificado um padrão: pessoas são atraídas por conteúdos mais extremos ou mesmo incendiários. Numa TED Talk, Tufekci fala da capacidade destas ferramentas de prever diagnósticos psicológicos ou identificar padrões de comportamento. E como esses avanços vêm sendo usados de forma enviesada para segregar, excluir ou mesmo vender. Pensemos no trabalho de algoritmos de recomendação de anúncios, desses que nos seguem no ambiente digital. Se essas ferramentas já são precisas a ponto de identificar sutilezas do comportamento humano, como, por exemplo, os primeiros sinais de um surto psicótico, elas também podem ser usadas para tirar proveito dessas situações. Alguns desses surtos levam a comportamentos de consumo extravagantes. A falta de critério, transparência e de modelos de sucesso preocupados com o bem-estar das pessoas pode transformar esse diagnóstico numa oportunidade traiçoeira e impossível de rastrear. Não há culpados diretos ou provas de que isso realmente esteja acontecendo. Mas é muito provável que essa seja apenas uma das possibilidades abusivas postas em prática por organizações predadoras (com podium para Google, Facebook e Amazon) através de ferramentas de inteligência artificial.
“O que estamos testemunhando é a exploração computacional de um desejo humano natural: olhar “atrás da cortina”, cavar mais fundo em algo que nos envolve. Conforme clicamos e clicamos, somos levados pela sensação emocionante de descobrir mais segredos e verdades mais profundas. O YouTube leva os espectadores a uma toca de coelho do extremismo, enquanto o Google aumenta as vendas de anúncios”.
Zeynep Tufekci
Além da exploração imperceptível de milhões de indivíduos, tais modelos de negócio e de sucesso têm alterado cenários estruturais de efeito global, como foi o caso da eleição de Donald Trump e Jair Bolsonaro. Nos EUA, pesquisas que reuniram dados de recomendação sobre os dois principais candidatos mostraram que mais de 80% dos vídeos recomendados eram favoráveis a Trump, quer a consulta inicial fosse “Trump” ou “Clinton”. E uma grande proporção dessas recomendações eram notícias controversas e falsas. A transferência de conclusões para a realidade brasileira parece bastante óbvia.
Se você está com dificuldades para visualizar o impacto disso tudo, pense que cerca de 70% do conteúdo consumido na plataforma se dá através de recomendações algorítmicas aos usuários, o que indica um impacto considerável das políticas da empresa nas tendências de consumo de conteúdo dos seus mais de 2,3 bilhões de usuários, com mais de 1 bilhão de canais e cerca de 4 bilhões de vídeos vistos diariamente. A narrativa de um caso específico feita pelo repórter Kevin Rose do New York Times, “The Making of a YouTube Radical” ilustra esse perigo de forma brilhante e pedagógica.
Muitas das soluções anunciadas pela plataforma ao longo dos anos se mostraram ineficazes, superficiais ou mesmo enganosas. Em 2019 o Youtube anunciou alterações no algoritmo que supostamente ajudariam a combater as bolhas digitais. Mas, como mostrou a reportagem da especialista em tecnologia do MIT Technology Review Karen Hao, na verdade as alterações aprofundavam ainda mais os efeitos viciantes, enviesados e extremos das recomendações automatizadas.
Maximizar o engajamento pode criar alinhamento com valores e comportamentos que são particularmente envolventes para um pequeno grupo de pessoas às custas de outres, como racismo, homofobia, sexismo, xenofobia, bullying, ódio religioso, violência ou conspirações. Esse modelo predatório de atuação, que causa fascinação para alguns e danos irreparáveis para outres, precisa encontrar limites, preferencialmente impostos por instituições regulatórias que articulem demandas populares e leis nacionais e internacionais. Embora o Youtube tenha sido a pauta aqui, o funcionamento de outras plataformas não é muito diferente, sobretudo no que diz respeito aos modelos de negócio, com produtos desenvolvidos por equipes pouco diversas e guiadas por modelos de sucesso toscos e pobres, se levarmos em conta ideais de sustentabilidade sócio-ambiental ou ESG.
Enquanto essas mudanças estruturais não acontecem, nos resta tomar consciência e DIALOGAR em defesa das instituições e movimentos que nos ajudem a garantir fontes confiáveis de conhecimento, pontos de vista empáticos sobre lutas sociais e busca por direitos. A busca individual por narrativas diversas em nossas redes sociais e nas histórias que escolhemos consumir é um canal poderoso para despertar em nós esse senso de alerta e o desejo de ir além da indignação momentânea, projetando a voz para que seja ouvida por outras pessoas e organizações. Cobrar posicionamento destas últimas é importante. Para além do discurso, o que de fato grandes organizações vêm fazendo para combater os efeitos provocados por ferramentas que elas mesmas contratam para maximizar vendas digitais?
Também é nosso o desafio de pensar o futuro. Entender o caráter pernicioso desses modelos é um passo fundamental para proliferar um debate sobre outras possibilidades. A tecnologia precisa ser um instrumento para melhorar a vida em sociedade. Mas no momento estamos divididos entre seu potencial transformador e uma realidade que vem automatizando a desigualdade e a injustiça.
—
Break the bubble.
Diva. United by difference.
Marcelo Téo é co-fundador da Diva Inclusive Solutions, pesquisador, educador, produtor de conteúdo, músico e pai. Suas pesquisas dentro e fora do âmbito acadêmico estão voltadas para o consumo narrativo e o papel da diversidade de histórias no desenvolvimento da empatia.