Em outubro de 2020, Sá Ollebar, criadora do projeto digital Preta Pariu, iniciou um experimento: passou a publicar fotografias de mulheres brancas em seu perfil no Instagram e percebeu que o seu alcance (medido através do número de interações com “likes” e comentários) aumentou 6000% (sic).¹

A denúncia de Ollebar, não comentada pela plataforma, nos levou a diversos questionamentos:

1. o aumento do engajamento em seu feed após a postagem de imagens com mulheres brancas estaria relacionado ao algoritmo de indicação do Instagram e, portanto, a plataforma seria uma “tecnologia racista”?;
2. esse tipo de experimento é válido para comprovar discriminação algorítmica?;
3. vivendo em uma sociedade racista, o aumento de engajamento em imagens com uma estética branca não seria orgânico, tendo mais a ver com um problema social do que necessariamente com as indicações realizadas pelo Instagram e sua engenharia?

Nesse texto, pretendemos nos debruçar sobre o episódio e essas questões a partir do contexto de estudos sobre discriminação algorítmica. Nos deteremos em um primeiro momento na conceituação desse tipo de discriminação, depois em uma explicação simples como os algoritmos do Instagram funcionam e, em seguida, debateremos as problemáticas de culparmos apenas algoritmos por episódios de discriminação. Pretendemos, portanto, trazer para o debate uma visão crítica, levantando questionamentos e não propondo soluções tecnocêntricas para problemas que, ao nosso julgamento, envolvem muito mais do que engenharia e design de plataformas, sendo estruturais de nossa sociedade.

A discriminação é, há muito tempo, um tema fascinante e frustrante para os cientistas sociais. Fascinante por ser um mecanismo poderoso, subjacente a muitos padrões históricos e contemporâneos de desigualdade; frustrante por ser evasivo e difícil de medir.

A repercussão do caso de Ollebar foi grande, porém não se tratava de um caso isolado. Durante um grupo de estudos sobre discriminação algorítmica dentro do InternetLab,³ pensando na interação humana com algoritmos e como ela afeta o economia online, principalmente os aspectos relacionados à publicidade direcionada e à modulação de nosso comportamento nas plataformas de redes sociais, observamos um fenômeno no Instagram: várias mulheres negras que trabalham como influenciadoras digitais⁴ alegavam que o algoritmo dessa plataforma de compartilhamento de imagens não divulgava suas fotos da mesma forma que o fazia com mulheres brancas.

Apesar de parecer estarmos obviamente diante de casos de discriminação, esse não é um conceito simples de se mensurar e sentíamos que precisávamos nos aprofundar no termo “discriminação algorítmica”, antes de qualquer diagnóstico, uma vez que o estudo da discriminação ganhou novas roupagens com a digitalização das relações e a descentralização dos meios de comunicação que ocorreram a partir da internet, das plataformas de redes sociais e da economia baseada em dados.

Para compreender o que chamamos de discriminação algorítmica, contudo, é necessário que se entenda também: o que são algoritmos, como eles afetam a internet que conhecemos e, por consequência, as nossas vidas.

De acordo com Thomas Cormen, um algoritmo é um conjunto de instruções, organizadas de forma sequencial, que determina como algo deve ser feito.⁵ Esse conceito não necessariamente envolve computadores e redes. Toda tecnologia, no sentido mais rudimentar da palavra, “um conjunto de processos, métodos, técnicas e ferramentas relativos a arte, indústria, educação etc”, é composta, portanto, por algoritmos que nos auxiliam a realizar de tarefas simples, como lavar as mãos, às mais complexas, como a tomada de decisões para a resolução de conflitos. Cormen, porém, faz uma importante diferenciação entre algoritmos cotidianos e aqueles formulados e operados por máquinas: computadores não concedem avaliações subjetivas do mundo ao seu redor, portanto, as instruções dadas a eles são executadas de maneira literal e rígida.

Além disso, nota-se que os algoritmos operados através de computadores, são utilizados hoje, sobretudo, para solucionar problemas e auxiliar na tomada de decisões. Uma vez que esses algoritmos podem analisar dados (que chamamos de inputs) e fazer previsões a partir de probabilidade comparando a situações similares, esse é um dos objetivos de sua automatização. Quanto maior o número de dados (ou casos) disponibilizados a um algoritmo, maior a chance de os resultados que ele aponta serem mais próximos do real.

Atualmente, a quantidade crescente de dados sistematizados em plataformas privadas e públicas levou ao crescimento da utilização de algoritmos e de seus impactos na vida social. O termo Big Data foi criado para traduzir esse fenômeno. De acordo com Mayer-Schönberger e Cukier, Big Data é “a habilidade de transformar em dados muitos aspectos do mundo que nunca foram quantificados antes” (Cukier; Mayer-Schonberger, 2014).⁶

Uma das funções mais importantes de Big Data é elaborar previsões baseadas em um grande número de dados: desde a probabilidade de um cliente quitar ou não um empréstimo no banco, até a previsão do vencedor de campeonatos de esportes, passando por desastres climáticos e crises econômicas. Quando estamos tratando de discriminação algorítmica, a possível predição de comportamentos individuais é de grande interesse, pois uma análise de Big Data pode produzir resultados que impactem diretamente a vida de um indivíduo.

Ainda de acordo com Mayer-Schönberger e Cukier, não há definição precisa para Big Data, mas o fenômeno pode ser caracterizado por três tendências:

1. a quantidade de dados e informações coletadas: as análises de Big Data buscam reunir todos os dados e informações referentes a uma situação em particular, não apenas uma amostra deles — dessa forma, em Big Data, n = tudo;
2. devido à grande quantidade de informações disponíveis, os dados podem ser imprecisos. Na medida em que a magnitude aumenta, do mesmo modo aumentam as chances de equívocos;
3. a análise de Big Data busca correlações ao invés de causalidades. Isso significa que a relação entre dois fatos ou características é determinada de acordo com uma análise estatística.

Essa terceira propriedade é particularmente relevante, pois representa uma mudança nas tendências científicas, de acordo com Mendes, Mattiuzo e Fujimoto.⁷ Pensar na relação estatística entre dois acontecimentos, é, hoje, mais atrativo do que entender as causas de um fenômeno ou comportamento, pois essas correlações tendem a gerar proxies:

Ao permitir que identifiquemos uma proxy útil para determinado fenômeno, as correlações nos auxiliam a captar o presente e a prever o futuro: se A geralmente ocorre juntamente com B, é preciso ficar atento a B para podermos estimar que A ocorrerá. Utilizar B como proxy ajuda a compreender o que provavelmente está ocorrendo com A, ainda que não seja possível mensurar ou observar A de maneira direta.

Essa busca por correlações e proxies, apesar de estatística, não é completamente objetiva, refletindo preconceitos e ideologias dos profissionais (cientistas, jornalistas, pesquisadores etc.) que estão realizando tais análises. O tema ganha ainda mais complexidade quando consideramos o campo da inteligência artificial (IA), o desenvolvimento de máquinas que simulem uma inteligência similar à humana,⁹ ou seja, que consigam tomar decisões, avançando na capacidade de discernimento de forma criativa utilizando proxies como insumos. Uma das áreas internas da IA é o desenvolvimento de machine learning, tecnologia que tem a capacidade de identificar padrões, aprender com eles e tomar decisões sem uma interferência humana direta.

Ao utilizarmos essa tecnologia, mudamos a lógica de uso de algoritmos. Se para algoritmos existem inputs e outputs, de modo que um dado ingressa no computador, o algoritmo faz o que seu código determina com esse dado, e, então, se obtém um resultado. No machine learning, adentram na máquina tanto o dado como o resultado desejado, e o produto é um modelo que pode ser matemático, estatístico ou algorítmico capaz de tornar a relação entre dado e resultado verdadeira.

Soluções que utilizam esse tipo de tecnologia vêm sendo amplamente adotadas tanto pelo setor privado quanto pelo setor público, e são consideradas, por vezes, objetivas e imparciais, como dito anteriormente. Porém, esses mecanismos nem sempre são transparentes ou tampouco neutros: os algoritmos dependem das decisões que seus programadores tomam, as quais possuem vieses e preconceitos normalizados sob o manto da tecnocracia.

O fato de algoritmos serem responsáveis por processos decisórios que impactam cada vez mais a vida das pessoas sem que elas, necessariamente, entendam como estes funcionam é um dos principais problemas colocados nessa discussão e que a tornam relevante. Principalmente quando isso envolve questões econômicas e populações historicamente marginalizadas. Uma vez que, quando não se sabe as regras do jogo, fica muito mais difícil conseguir lidar com ele ou mesmo subvertê-lo.

Em Algoritmos de destruição em massa,¹⁰ Cathy O’Neil nomeia como “Armas de Destruição Matemática” (ADMs) os modelos estatísticos que fomentam a economia de dados e tendem a não ser contestados, mesmo quando errados ou danosos. A autora traz diversos exemplos de como a troca de tomadores de decisão humanos por algoritmos pode acarretar prejuízos ao transformar vidas em números.

Uma das primeiras ADMs descritas por O’Neil é a ferramenta IMPACT, utilizada pela prefeitura de Washington para avaliar os professores com objetivo de erradicar aqueles com baixa performance e com isso melhorar o ensino municipal. A ideia era minimizar o viés humano na avaliação dos profissionais da educação, dando-os uma pontuação de acordo com as notas de seus alunos em testes de matemática e linguagem. Essa pontuação teria um peso maior na média final dos professores do que comentários de seus gestores ou de sua comunidade escolar; aqueles cujas pontuações ficavam entre os 2% piores seriam demitidos. No ano seguinte ao início do programa, pelo menos 5% dos professores do município foram desligados de suas funções docentes.

Entre muitas problemáticas relacionadas ao uso dessa tecnologia está o fato de que esse mecanismo não levava em consideração o contexto dos alunos ou de suas escolas, apenas a comparação entre as suas notas em provas padronizadas em dois anos seguidos, considerando uma “piora” como um resultado direto do trabalho dos professores. Além disso, o rigor estatístico da ferramenta se perdia ao avaliar a qualidade de um profissional baseado nas provas de cerca de trinta alunos, e esse seria um espaço de amostra muito pequeno. Esses erros, porém, não podiam ser indicados ao algoritmo do IMPACT para torná-lo mais eficiente em avaliações futuras, pois os professores eram demitidos logo após a piora das notas. Ou seja, esse tipo de modelo de tomada de decisão estava definindo sua própria realidade e usando-a para justificar seus resultados, se autoperpetuando.

Safya Umoja Noble, autora do livro Algoritmos da opressão,¹¹ também nos traz exemplos de tecnologias pouco transparentes que envolvem de maneira direta os mecanismos de busca na internet. Em um de seus capítulos finais, a autora entrevistada Keid, uma cabeleireira experiente no ramo de cabelos negros e que há trinta anos gerenciava o único salão de beleza afro-americano em uma município universitário dos Estados Unidos. Keid conta a Safya que mudanças nas políticas de cotas das universidades, que reduziram o número de negros nos campus, afetaram diretamente a rentabilidade de seu negócio, porém a internet e as plataformas de anúncio vêm corroborando com a decadência de lucros de seu salão. Ela conta sua experiência com uma plataforma específica chamada Yeld, mas seu raciocínio mais marcante durante a entrevista é que por não receber avaliações positivas nesse tipo de plataforma, dado que pessoas negras normalmente não fazem check-in nos ambientes que estão por questões de segurança, seus endereço quase não aparece em buscas por cabeleireiras afro-americanas. A plataforma usa um algoritmo que, provavelmente, foi formulado por alguém que nunca pensou nessa peculiaridade de um pequeno negócio com um recorte específico de raça. Na tentativa de se manter relevante para esse tipo de ferramenta, Keid até tentou pedir aos seus clientes que a avaliassem dentro do Yeld, porém, como eles não utilizavam a plataforma com frequência, o algoritmo não considerava essas avaliações como “confiáveis”.

Para Safya, esse caso ilustra o fato de que implementar um algoritmo cego às diferenças sociais e culturais no lugar de tomadores de decisão humanas pode ter grandes consequências na vida de pessoas comuns. Além disso, Keid “tem muito pouca capacidade de afetar o algoritmo e, quando tenta, a empresa subverte sua habilidade de ser reconhecida por sua raça e gênero”. E aí está uma semelhança entre os casos de Keid, Ollabar e outras mulheres negras que denunciam algum tipo de discriminação tecnológica: há uma falta de conhecimento técnico para subverter a ordem estabelecida pelos algoritmos, existem dificuldades de contatar a empresa e provar que essa discriminação está ocorrendo e uma preocupação insuficiente das plataformas quanto a grupos historicamente marginalizados como mulheres, negros, indígenas e LGBTQIA+.

O Instagram é uma rede social criada por Kevin Systrom e Mike Krieger e lançada em 2010.¹² A rede iniciou como um espaço para compartilhamento de fotos em feeds. Atualmente, permite também o compartilhamento de vídeos, e novos recursos para publicação, visualização e interação foram criados, como reels, stories e “explorar”. Em 2012, a plataforma foi adquirida pelo então Facebook, atual Meta, empresa de Mark Zuckerberg. No final de 2021, o Instagram alcançou 2 bilhões de usuários, sendo metade destes considerados ativos. O Brasil é o terceiro país onde a rede é mais popular, atrás de Índia e Estados Unidos.¹³ Nesse cenário, a quantidade de fotos e vídeos publicados diariamente é muito grande. Apenas em stories, são 500 milhões de contas usando esse recurso diariamente.¹⁴

Para selecionar quais conteúdos serão apresentados a cada usuário, a plataforma utiliza diversos algoritmos que implementam técnicas de predição e ranking de acordo com os interesses destes. Assim, os conteúdos que obtiverem os maiores valores de probabilidades de interação serão apresentados e cada feed será personalizado para um usuário em específico.

Na ciência da computação, os algoritmos que executam este tipo de tarefa pertencem à categoria de sistemas de recomendação e podem implementar duas técnicas: a filtragem baseada em conteúdo e a filtragem colaborativa. Em ambas as técnicas, para cada conteúdo, é gerada uma pontuação que indica o grau de probabilidade daquela foto ou vídeo estar dentro dos interesses do usuário. A principal diferença é que, na primeira técnica, essa pontuação é calculada com base no histórico individual de interações do usuário e na segunda os dados utilizados no cálculo são as interações de outros usuários que podem ter perfis semelhantes, serem uma conexão na rede etc. (Isinkaye, F.O. et al, 2015).¹⁵

Assim, no caso do Instagram, para a filtragem baseada em conteúdo caberiam perguntas como “o usuário interage mais com fotos ou vídeos?” e “o usuário despende mais tempo em publicações de quais tipos e/ou autores?”. Já para a filtragem colaborativa, seriam consideradas publicações que estão engajando (recebendo atenção metrificada a partir de likes, comentários e compartilhamento) entre usuários conectados, de perfis semelhantes e que também poderiam ser de interesse de um usuário em específico. Para ambos os casos, os conteúdos que forem preditos com as maiores probabilidades serão recomendados e, possivelmente, aparecerão no topo do feed.

Além disso, uma outra particularidade do Instagram é em relação ao conjunto de publicações a ser considerado pelos algoritmos. No caso do feed e dos stories, são analisados apenas os conteúdos dos perfis seguidos pelo usuário. No caso da ferramenta “explorar”, são considerados todos os conteúdos da plataforma.¹⁶

De acordo com Adam Mosseri, CEO do Instagram, para cada conteúdo publicado, as variáveis que possuem maior importância para a realização do cálculo da recomendação são: (i) a natureza; (ii) descrição e data da publicação; (iii) a quantidade de curtidas; (iv) a proximidade do autor da publicação do usuário e as informações referentes ao perfil de consumo de conteúdo do usuário na plataforma. A partir desses dados, os algoritmos irão calcular uma previsão do grau de engajamento que o usuário poderá ter com cada conteúdo, ou seja, o tempo provável que irá despender naquela publicação, a probabilidade de interagir por meio de curtidas, comentários, compartilhamentos, utilização da ferramenta “salvar post” e a probabilidade do usuário visitar o perfil do autor da publicação.

Além de recomendações e ranking, uma outra tarefa também desempenhada pelos algoritmos do Instagram é a moderação de conteúdo, em que publicações feitas na plataforma que violem as Diretrizes da Comunidade¹⁷ são removidas ou possuem seu alcance reduzido. Os algoritmos responsáveis por esta tarefa utilizam modelos de machine learning previamente treinados para analisar imagem, vídeo e/ou texto da publicação e identificar possíveis violações de regras. Esse treino, por sua vez, envolve o reconhecimento e aprendizado, por parte do algoritmo, de padrões que representam matematicamente os conteúdos não desejados pela plataforma e quais atitudes devem ser tomadas ao identificá-los, ou seja, se aquela publicação deve ser removida, ter seu alcance reduzido ou encaminhada para análise humana.

Os algoritmos utilizados na moderação de conteúdo possuem autonomia para tomada de decisão e estão em constante atualização. Em casos de inconclusão por falta de dados, sensibilidade ao contexto, entre outros, a decisão final é encaminhada para a equipe de analistas humanos e, em seguida, é também aprendida pelos algoritmos. Dessa forma, de acordo com o Instagram, os modelos de moderação de conteúdo se tornam cada vez melhores.¹⁸

Caso relacionemos a denúncia de Ollebar, e de outras blogueiras, ao modo como os algoritmos do Instagram vêm funcionando, estaríamos dizendo que (i) na filtragem baseada em conteúdo, realizada individualmente para cada usuário, a plataforma entenderia que entre os seguidores da influenciadora a chance de interação com conteúdo seria maior em imagens com corpos e estética brancos; ou, ainda, (ii) que na filtragem colaborativa as imagens de brancos são mais atrativas por representarem maior índice de interação entre as conexões do usuário.

Descobrir qual das alternativas elencadas está ocorrendo é, todavia, uma tarefa praticamente impossível para pesquisadores na atualidade. Primeiro, pela falta de abertura da plataforma sobre o seu funcionamento real, as informações que apresentamos nessa seção são baseadas em releases à imprensa e declarações públicas do CEO da rede social. Segundo, pela quantidade de dados gerada diariamente no Instagram, seria necessária uma equipe grande de pesquisadores em um esforço de meses para que a maneira como o conteúdo é distribuído seja analisada de forma eficaz. E terceiro, porque para que um experimento como o realizado por Sá Ollebar tenha rigor científico, seria necessário que o perfil utilizado para tal teste tivesse um público amplo, diverso e representativo da parcela da sociedade brasileira que utiliza a plataforma, ter um crescimento orgânico para funcionar de acordo com o funcional normal do Instagram e que as imagens divulgadas tenham diferenças mínimas entre elas, apenas trocando a etnia das pessoas retratadas.

Contudo, o que podemos fazer, no momento, é olhar com atenção para outros exemplos de denúncia de discriminação algorítmica nas mídias sociais e entender os padrões que levam produtores de conteúdo pertencentes a populações historicamente marginalizadas a concluírem que seu trabalho está sendo prejudicado pela maneira como os algoritmos funcionam.

Em 2019, pesquisadores do então Facebook descobriram que usuários negros no Instagram possuíam até 50% mais chances de terem seus perfis bloqueados pelo sistema de moderação de conteúdo do que usuários brancos.¹⁹ Em novembro desse mesmo ano, o artista brasileiro Gabriel Jardim tentou impulsionar um post que continha uma ilustração de um menino negro brincando nas ruas de uma favela. A mensagem apresentada ao artista para justificar o impedimento do impulsionamento foi a identificação de “armas” na ilustração.²⁰

Os exemplos acima são apenas alguns dos muitos já denunciados. Eles ilustram possíveis resultados de discriminações algorítmicas nos sistemas de moderação e recomendação de conteúdo, respectivamente. De acordo com a Meta, a taxa de sucesso do sistema de moderação de conteúdo é de 90%, e muitos conteúdos são removidos sem a necessidade de serem denunciados pelos usuários.²¹ Entretanto, não há informações claras sobre a natureza desses conteúdos removidos. Considerando que todo sistema possui um percentual de erros, quanto desses conteúdos removidos foram falsos positivos? Além disso, quais as características mais frequentes dos conteúdos identificados como falsos positivos? O que se sabe é que as redes sociais da Meta implementam um sistema chamado de verificação cruzada, onde publicações de alguns grupos de usuários passam por um processo mais sensível de moderação de conteúdo. Alguns desses grupos são intitulados de marginalizados e entidades cívicas. No primeiro são agrupados “defensores dos direitos humanos, dissidentes políticos e outras pessoas que podem ser alvo de assédio individual ou coletivo ou de denúncias em massa com respaldo do Estado ou de outros adversários para proteger contra esses ataques”. No segundo estão “políticos, representantes do governo, instituições, organizações, grupos de defesa de interesses sociais e influenciadores cívicos”.²² Para os casos em que o sistema de moderação de conteúdo não detecta uma publicação que viola as regras da comunidade, a plataforma disponibiliza aos usuários a possibilidade de fazer uma denúncia.

A documentação não deixa muito claro, porém, em que parte do fluxo automatizado da moderação os conteúdos denunciados entrariam. Seria antes ou depois da etapa de detecção de conteúdo que fere as regras da comunidade? Entrar antes significaria ensinar aos algoritmos que aquele tipo de conteúdo deveria ter sido detectado para análise. E, caso entre depois, ele segue diretamente para a avaliação humana ou passa primeiro pela análise algorítmica?

Um breve esclarecimento para essas perguntas é encontrado no portal de transparência do Facebook,²³ no qual somos levados a entender que o conteúdo entra após a etapa de detecção e segue para análise algorítmica. Dada a autonomia de decisão do sistema, é possível que a análise automatizada conclua que não se trata de um conteúdo prejudicial e isso reforçaria o aprendizado de não detecção de conteúdos dessa natureza. Além disso, existe também a possibilidade da não detecção baseada no desconhecimento daquele tipo de conteúdo problemático, ou seja, o falso negativo. Assim, conteúdos prejudiciais poderão permanecer desconhecidos pelos algoritmos e, consequentemente, poderão também criar novos ou reforçar vieses já existentes.

Uma outra questão relacionada à moderação de conteúdo é a equipe de analistas humanos. A importância de se ter uma equipe diversificada para tomada de decisões relacionadas à moderação de conteúdo já foi abordada em diversos trabalhos. Em sua documentação de transparência, a Meta apresenta alguns números que apontam que as equipes são diversas e localizadas em diferentes partes do mundo. Entretanto, não há um relatório mais claro sobre como se dá a distribuição da diversidade dentro dessas equipes.²⁴ Considerando que se trata de uma plataforma com presença em diferentes países e culturas, é necessário que os times de analistas representem essa diversidade demográfica. Quando o sistema de recomendação encaminha a decisão para análise humana, é importante saber se esse encaminhamento será direcionado a profissionais capazes de compreender contexto, idioma e particularidades culturais que aquele conteúdo carrega. Além do risco de se tomar uma decisão equivocada, há também o fato de os algoritmos aprenderem com as decisões tomadas pelos humanos. Assim, decisões enviesadas realizadas por analistas humanos irão alimentar o sistema de moderação de conteúdo como novos padrões de viés ou ainda como reforço de padrões anteriormente aprendidos. E, dessa forma, esse sistema poderá perpetuar todas as decisões enviesadas que os sistemas aprenderam ao longo do tempo.

Um último aspecto possivelmente problemático relacionado aos analistas humanos é a fila de prioridade existente para a análise de conteúdos direcionados. Por se tratar de uma rede com alto volume de publicações diárias, uma grande quantidade de conteúdos é direcionada aos analistas. Assim, a fila de prioridade surge como solução para a orientação do que é mais urgente de ser avaliado. Os itens são organizados na fila de acordo com três fatores: gravidade, efeito viral e probabilidade de violação. O primeiro calcula uma probabilidade que representa o grau de dano que aquele conteúdo pode causar online e offline. O segundo verifica a rapidez com que aquele conteúdo está sendo compartilhado. O terceiro calcula a probabilidade daquele conteúdo estar de fato violando as diretrizes.²⁵

Considerando que a plataforma não diz exatamente qual é o prazo mínimo e máximo para que uma decisão direcionada aos analistas seja tomada e que esses cálculos podem possuir vieses, um conteúdo que não viola as regras da comunidade pode ser rapidamente removido e um potencialmente prejudicial pode circular na rede por vários minutos ou horas.

O recurso de denúncia de conteúdos também é utilizado de outra forma. De acordo com o Instagram,²⁶ os algoritmos de recomendação podem reduzir ou ocultar do usuário que realizou a denúncia publicações que possuem conteúdo semelhante ao denunciado. Isso é feito pois o Instagram entende que esse usuário não gosta desse tipo de conteúdo e, consequentemente, não gostaria de ser exposto a ele novamente. Essa prática pode levar a redução do alcance de publicações problemáticas, porém, considerando que é do interesse da plataforma que o usuário permaneça ativo nela pelo maior tempo possível, pode também ser utilizada para aperfeiçoar o perfil de consumo pessoal de conteúdo daquele usuário. Como consequência, poderá haver uma sensação de “problema resolvido” para o usuário denunciante, mas aquele conteúdo problemático continuará a ser distribuído a outras audiências. A plataforma poderá continuar a dar espaço e voz a publicações potencialmente prejudiciais.

A redução do alcance das publicações também pode acontecer de outras formas e esse fenômeno tem sido chamado pelos usuários de shadowbanning. Nesses casos, o alcance de uma publicação é reduzido sem o autor ter conhecimento. Essa prática não é oficialmente confirmada pelo Instagram,²⁷ porém vários usuários já relataram redução no alcance de suas publicações.

Uma das formas já identificadas pelos usuários é a limitação do alcance de acordo com as hashtags utilizadas. Esse caso acontece quando o texto da publicação é acompanhado de alguma hashtag “banida”. Nessas situações, a publicação não é apresentada na ferramenta “explorar”. Em [https://metahashtags.com/banned-hashtags/] é possível realizar testes assim como ter acesso a uma lista de hashtags posteriormente testadas. E, apesar do Instagram negar, é possível fazer essa verificação digitando no “explorar” alguma dessas hashtags. A mensagem retornada pela plataforma diz que os conteúdos mais recentes que utilizaram aquela hashtag não serão apresentados. De acordo com o Instagram, a ferramenta “explorar” é utilizada para alcançar novos públicos e, consequentemente, conseguir novos seguidores.²⁸ Assim, a consequência direta dessa prática é dificultar que o público ainda não alcançado por um perfil descubra seu conteúdo.²⁹

Além das inúmeras dúvidas geradas pela falta de transparência que impossibilitam a realização de análises sobre discriminação algorítmica em plataformas de mídias sociais, outra problemática do tema é que ao culparmos apenas os algoritmos, deixamos de chamar a atenção para as discriminações da sociedade que são reproduzidas. Quando o problema é de viés tecnológico e quando vem das pessoas reproduzindo seus racismos?

Ao observarmos o mercado publicitário brasileiro, por exemplo, principal forma de criadores de conteúdo ganharem dinheiro por meio dessas plataformas, percebemos que existem menos criadores de conteúdo negros, cerca de 17%; dentre esses, aqueles com mais de 100 mil seguidores ganham em média R$ 850 por postagem com publicidade, enquanto brancos com o mesmo alcance ganham pouco mais de R$ 1.400 por postagem.³⁰ Essa disparidade de remuneração entre influenciadores brancos e negros reflete outras diferenças de remuneração no Brasil. De acordo com o Síntese de Indicadores Sociais 2020, realizada pelo IBGE, pretos e pardos estão presentes de forma mais acentuada nas atividades com os menores rendimentos no Brasil: agropecuária (62,7%), construção (65,2%) e serviços domésticos (66,6%). Já os brancos são maioria nas áreas mais bem remuneradas como informação, financeira, administração pública, educação, saúde e serviços sociais.³¹

Além disso, influenciadores negros são mais procurados para falar sobre racialidade e ativismo social, temas nichados e limitantes, podendo muitas vezes, como mencionado na última seção, criar barreiras de alcance devido às regras de moderação de conteúdo.³²

Percebe-se, portanto, que assim como em outros ambientes, as plataformas também exigem que pessoas negras e pertencentes a populações historicamente marginalizadas também precisam, antes de tudo, ter acesso a códigos e conhecimentos nem sempre disponíveis a essa parcela populacional, como: agentes que os orientem, educação midiática, cursos de marketing digital etc. Esses códigos criam barreiras de acesso e distanciam cada vez mais o alcance de negros e brancos nas redes. Sendo, talvez, obstáculos tão poderosos para a ascensão social desses influenciadores e para propagação de sua mensagem quanto os algoritmos.

Para romper com esse ciclo é preciso que plataformas e agências pensem na equidade como um valor, entendendo que a discriminação nesses casos é tratar todos os tipos de conteúdo a partir de regras genéricas.

Diversos pesquisadores vêm trabalhando em técnicas que visam compreender melhor o funcionamento de modelos algorítmicos caixas-pretas (Explainable AI) para evitar que futuros modelos reproduzam as discriminações dos modelos que já se encontram em funcionamento (balanceamento de bases de dados, novas técnicas de amostragem e rotulagem de dados, novas métricas para avaliar a eficácia de modelos gerados por IA, entre outros). Dessa forma, é importante que as plataformas se envolvam na implementação dessas ou outras técnicas para tentar reduzir os comportamentos problemáticos dos algoritmos e de seus usuários.

Considerando que respostas simples para problemas complexos muitas vezes nos levam a cometer erros, nosso objetivo com esse artigo não é trazer soluções ou mesmo certezas sobre as denúncias de discriminação expressas nas redes nos três últimos anos. Mas, sim, levantar questionamentos relevantes sobre o tópico, fomentando o debate e expondo um campo de pesquisa que ainda precisa ser explorado no Brasil. O leque de iniciações científicas, dissertações e teses que podem ser produzidas de forma interdisciplinar, tanto em cursos como ciência da computação, quanto em antropologia, por exemplo, é amplo quando falamos de discriminação algorítmica, e as fronteiras entre técnica e interação humana ainda são muito difusas.