Conforme os governos nacionais e regionais formam comissões de especialistas para regulamentar a “tomada de decisão automatizada”, um novo campo de pesquisa patrocinado por corporações propõe formalizar o ideal elusivo de “justiça” ou “equidade”² como uma propriedade matemática dos algoritmos e seus resultados. Cientistas da computação, economistas, advogados, lobistas e reformadores de política pública desejam fabricar, antecipadamente ou em lugar de uma regulamentação, redefinições algorítmicas de “justiça” e categorias legais como “discriminação”, “impacto díspar” e “igualdade de oportunidades”.³ Mais recentemente, vozes críticas salutares, que alertam quanto aos limites de tais propostas, proliferaram tanto dentro quanto fora desse campo vagamente conectado.⁴

Mas as aspirações gerais por algoritmos equitativos e justos têm uma longa história. Nestas anotações, recenseio algumas tentativas passadas de responder a questões de equidade através do uso de algoritmos. Sem procurar ser exaustivo, faço um esboço das grandes transformações pelas quais passaram tais tentativas, indicando ao longo do caminho as pesquisas acadêmicas que fundamentaram meu relato.

Em um sentido amplo, a “equidade algorítmica” pode se referir geralmente a qualquer uso de algoritmos que busque alcançar equidade na resolução de disputas sociais. “Algoritmo” deriva do latim medieval tardio algorismus, do nome do matemático islâmico Al-Khwārizmī, cujos manuscritos em árabe descreveram o sistema aritmético indiano. O significado da palavra eventualmente acabou correspondendo à definição técnica empregada na ciência da computação atual: “qualquer procedimento computacional bem definido que toma algum valor, ou conjunto de valores, como input e produz algum valor, ou conjunto de valores, como output”.⁵

Segundo a linguista Anna Wierzbicka, fairness pode denotar um conjunto de “suposições culturais” com relação à “regulamentação da vida [humana] levada a efeito por regras de interação declaradas e não declaradas”, regras que a maioria dos interagentes veem como “geralmente aplicáveis” e “razoáveis”. Este significado em inglês moderno foi desenvolvido em conjunto com a filosofia política anglo-americana, e “pode ser relacionado com o afastamento do pós-Iluminismo da metafísica e com a mudança de uma ética baseada na religião para uma ‘moral processual’ e para uma ética baseada na ‘razão’, na ‘cooperação social’ e na ‘vantagem racional de cada participante’”.⁶

No sentido amplo aberto por essas definições, a ideia de justiça-por-algoritmo remonta pelo menos ao século XVII. No sentido restrito produzido em pesquisas acadêmicas recentes, a justiça algorítmica é comumente entendida em referência especificamente à classificação algorítmica do risco representado por cada pessoa, envolvendo algum critério matemático de justiça como uma consideração complementar ou um limite para a otimização habitual da utilidade. Minhas seguintes anotações avançam cronologicamente, grosso modo, da ideia mais ampla para o conceito mais restrito.

Desde a antiguidade, os teóricos morais formularam concepções de justiça com base em ideias matemáticas. Aristóteles discutiu a justiça distributiva e corretiva em termos da proporção geométrica e aritmética, respectivamente.⁷ Mas foi somente no início do período moderno que surgiram esforços mais sistemáticos para usar cálculos matemáticos na resolução de conflitos políticos sobre justiça e equidade. Por exemplo, na Inglaterra do século XVII, métodos concorrentes para o cálculo do “valor presente” de bens futuros procuraram responder a uma questão de equidade: quanto deve valer, no presente, uma propriedade a ser trocada no futuro?

O historiador William Deringer relata que, já na década de 1620, matemáticos desenvolveram tabelas de “valor presente” para determinar termos justos para certos arrendamentos agrícolas, especialmente de terras pertencentes à Igreja Anglicana. Em 1706, tais cálculos matemáticos tornaram-se relevantes para uma questão política importante: a de como equilibrar os termos de uma potencial união constitucional entre a Inglaterra e a Escócia. O debate centrou-se em como determinar o valor justo de um “equivalente” monetário proposto, que deveria ser pago antecipadamente pelo governo inglês às partes interessadas escocesas como compensação por taxas tributárias futuras mais altas. Com base no cálculo do desconto de juros compostos, os ingleses concordaram em pagar £398.085,10.⁸ Múltiplos fatores tornaram possível esta intrigante possibilidade de resolver um conflito político importante através de um elaborado cálculo matemático, incluindo o legado persistente da ética aristotélica e o enfraquecimento da Igreja como uma instituição capaz de inspirar confiança pública.

No Iluminismo, as questões éticas foram centrais para a articulação inicial da teoria da probabilidade e para que se concebessem as primeiras máquinas de calcular.⁹ Os cálculos de Blaise Pascal de expectativas equivalentes, que formaram a base para ideias subsequentes de probabilidade, foram motivados por questões de equidade na repartição — em particular, a divisão justa das apostas no jogo ou dos lucros esperados de contratos comerciais com resultados incertos, como aqueles relativos a seguros e ao comércio marítimo. Mesmo a famosa correspondência de Pascal com Pierre de Fermat em 1654, que supostamente inaugurou a matemática da probabilidade, discutiu a questão de como dividir de forma justa as apostas em um jogo de azar que tivesse sido interrompido.¹⁰ O historiador e estatístico Alain Desrosières escreve que Pascal, ao propor seu método matemático de adjudicação, não só “tomou emprestado da linguagem dos juristas”, mas também “criou uma nova maneira de manter o papel de árbitro acima de interesses particulares, um papel anteriormente preenchido por teólogos.”¹¹ Do mesmo modo, Gottfried Leibniz, que desenvolveu um protótipo de máquina de calcular, procurou elaborar um cálculo universal da razão baseado em uma linguagem formal inequívoca — com a esperança de que resolvesse disputas morais:

Mas, voltando à expressão dos pensamentos através dos caracteres, esta é a minha opinião: dificilmente será possível acabar com as controvérsias e impor silêncio às seitas, a menos que argumentos complexos sejam remetidos à forma de cálculos simples, [e] termos de significância vaga e incerta à forma de caracteres determinados… Uma vez feito isso, quando as controvérsias surgirem, não haverá mais necessidade de uma disputa entre dois filósofos do que entre dois contadores. De fato, bastará pegar a caneta na mão, sentar-se no ábaco, e — tendo convocado, se quisermos, um amigo — dizer um ao outro: calculemos.

No século XVIII, probabilistas como o Marquês de Condorcet e Pierre-Simon Laplace prolongaram os sonhos de Pascal e Leibniz ao desenvolver uma abordagem probabilística das ciências morais, incluindo a jurisprudência. Como evidencia a historiadora Lorraine Daston, esses probabilistas “clássicos” tomaram emprestada a linguagem jurídica para descrever seus formalismos matemáticos e tentaram reformar a prática judicial em domínios tão diversos como o direito penal e o direito contratual.¹² Um caso notável da adoção legal da probabilidade matemática foi a transformação da “equidade contratual” no direito inglês a partir da segunda metade do século XVIII, o que levou ao desenvolvimento, em 1810, de uma regra segundo a qual “os contratos referentes à venda de reversões¹³ podem ser rescindidos somente com base em algum desvio do preço justo”. De fato, como observa a historiadora Ciara Kennefick, a matemática inicial da probabilidade e a lei da justiça contratual no direito de propriedade influenciaram-se mutuamente.¹⁴

As tentativas de matematizar as ciências morais e de desenvolver probabilidades de “testemunho” e “julgamento” eventualmente acabaram enfrentando várias críticas no início do século XIX. Alguns críticos se concentraram em questões sobre a exatidão; outros tinham objeções mais profundas. Como Daston explica, as críticas mais fortes “refletiram uma mudança profunda nas suposições relativas à natureza dos fenômenos morais aos quais os probabilistas procuravam aplicar seus cálculos, e não a alguma desconfiança da matemática per se”. Com base no “bom senso”, uma nova onda de cientistas sociais rejeitou tanto a psicologia associacionista das ciências morais quanto a moralidade reducionista dos probabilistas clássicos.

As probabilidades do testemunho e do julgamento desapareceram dos textos e tratados padrão sobre probabilidade. A avaliação das provas no tribunal, assim como a estruturação dos tribunais, tornou-se mais uma vez um assunto qualitativo. Em meados do século XIX, a abordagem probabilística das ciências morais havia saído de moda.¹⁵ No entanto, os cálculos probabilísticos e estatísticos continuaram a fundamentar muitos tipos de afirmações normativas sobre a sociedade. No final da era napoleônica, a súbita publicação de grandes quantidades de dados numéricos, especialmente sobre crimes, suicídios e outros fenômenos de desvio, revelou o que o filósofo Ian Hacking chama de “regularidades estatísticas semelhantes a leis nas grandes populações”. Essas regularidades em médias e dispersões minaram gradualmente crenças que antes eram dominantes no determinismo, e a ideia da natureza humana foi deslocada por “um modelo de pessoas normais com leis de dispersão”.¹⁶

Os seguros eram um domínio central para a institucionalização das aspirações para a justiça algorítmica. Um episódio crucial foi o surgimento do conceito moderno de “risco”. Nos Estados Unidos do século XIX, o risco tornou-se parte da linguagem cotidiana, junto com o surgimento de instituições de gestão de risco corporativo. Anteriormente, o termo se referia simplesmente à mercadoria trocada em um contrato de seguro marítimo. A transformação do conceito de risco aconteceu em grande parte em disputas legais anteriores à Guerra da Secessão sobre a responsabilidade do seguro marítimo por revoltas de escravos no Oceano Atlântico.

Em um caso ilustrativo, a Suprema Corte da Louisiana considerou a questão da responsabilidade do seguro após escravos negros no navio Creole, em rota de Norfolk para Nova Orleans em 1841, iniciarem uma insurreição bem-sucedida e navegarem para a liberdade nas Bahamas. A Suprema Corte decidiu que a revolta bem sucedida anulava o contrato de seguro. O argumento da Corte repousava sobre uma ligação incipiente entre liberdade, autopropriedade e risco. Como menciona o historiador Jonathan Levy, o “destino [de um escravo] pertencia a seu amo e o ‘risco’ mercantilizava esse destino como propriedade privada do amo”. Mas quando os escravos do Creole se revoltaram com sucesso, eles ganharam sua liberdade e assim recuperaram seus próprios “riscos” pessoais.¹⁷ Essa ideia de uma atribuição do risco à própria pessoa mais tarde possibilitou a prática da classificação individualizada de riscos, por exemplo, em seguros de vida.

A classificação de risco logo fez aflorarem controvérsias sobre a discriminação racial: em 1881, as empresas de seguros de vida começaram a cobrar taxas diferenciadas com base na raça. Ao contrário das seguradoras cooperativas, cujos segurados pagavam as mesmas taxas independentemente de idade, saúde ou raça, as empresas de seguros Prudential e Metropolitan impunham penalidades aos segurados afro-americanos. Quando os ativistas de direitos civis desafiaram essa política, as corporações alegaram diferenças nas taxas médias de mortalidade entre raças como justificativa. Segundo o historiador Dan Bouk, em 1884, um deputado estadual de Massachusetts, Julius C. Chappelle — afro-americano nascido na Carolina do Sul antes da Guerra da Secessão — questionou a equidade dessa prática e apresentou um projeto de lei para proibi-la. Os opositores do projeto de lei invocaram estatísticas de mortes, mas Chappelle e seus aliados reformularam a questão em termos das perspectivas futuras dos afro-americanos, enfatizando seu potencial para alcançar a igualdade. Essa visão para o futuro prevaleceu sobre as estatísticas fatalistas da oposição, e o projeto de lei foi aprovado. Após a vitória em Massachusetts, projetos semelhantes foram aprovados em Connecticut, Ohio, Nova York, Michigan e Nova Jersey. Nos Estados Unidos, a discriminação racial não tem sido apenas um efeito das políticas institucionais baseadas na classificação de risco, mas muitas vezes sua própria motivação.

No século XIX, as informações estatísticas eram tipicamente baseadas em médias populacionais, uma vez que as principais ferramentas modernas das estatísticas matemáticas — correlação e regressão — surgiram apenas antes do século XX. Essas ferramentas, desenvolvidas pelos eugenistas Francis Galton e Karl Pearson, facilitam a análise das diferenças entre indivíduos.¹⁸ Ao longo do século XX, as estatísticas matemáticas transformaram as ciências humanas, assim como as operações das empresas capitalistas e dos estados em diversos domínios além dos seguros.

O restante de minhas anotações se concentra nos sistemas de classificação de riscos, que são frequentemente chamados de “atuariais” por causa de suas origens nos seguros. Além dos domínios atuariais, no início do século XX as aspirações de justiça-por-algoritmos eram variadas, desde o surgimento da análise de custo-benefício no Corpo de Engenheiros do Exército dos EUA, documentada pelo historiador Theodore Porter,¹⁹ até os debates sobre demarcação de distritos eleitorais e gerrymandering²⁰ partidário, estudados pela historiadora Alma Steingart.²¹

Após a Segunda Guerra, os modelos matemáticos de otimização, influenciados pela teoria da “utilidade esperada” do matemático John von Neumann e do economista Oskar Morgenstern, expandiram os usos dos métodos estatísticos nas ciências humanas e dos sistemas atuariais nas instituições capitalistas.²² Intelectualmente, esse processo fazia parte daquilo que Daston e seus colegas descrevem como o surgimento de uma “racionalidade da Guerra Fria”, caracterizada por regras rígidas distintas dos modos anteriores à razão Iluminista que tinham sido fundamentadas no julgamento humano e na deliberação consciente.

Politicamente, a expansão das técnicas atuariais é, às vezes, associada ao neoliberalismo do pós-guerra; os sociólogos Marion Fourcade e Kieran Healy escrevem que “na era neoliberal as instituições de mercado usam cada vez mais técnicas atuariais para dividir e classificar os indivíduos em situações de classificação que definem suas probabilidades de vida”.²³ O uso de computadores digitais é apenas parte dessa história, uma vez que, durante boa parte do século XX, os cálculos estatísticos/atuariais eram realizados principalmente por trabalhadores humanos, geralmente mulheres — em sintonia com padrões mais gerais de divisão do trabalho por gênero, mapeados por historiadores da computação como Jennifer Light, Nathan Ensmenger e Mar Hicks.²⁴

Embora os experimentos com classificação individualizada de risco nos departamentos de polícia e agências de crédito dos Estados Unidos tenham começado na primeira metade do século XX, esses métodos atuariais só se generalizaram na segunda metade do século. De acordo com o historiador Josh Lauer, a adoção generalizada da pontuação estatística de crédito em agências de crédito ao consumidor começou nos anos 1960, quando os cálculos de solvência creditícia foram comercializados como um substituto para avaliações que ainda dependiam em grande parte de relatórios de “caráter” baseados em entrevistas pessoais.²⁵ A cientista social Martha Poon mostra que em 1970, a Fair, Isaac & Company, uma empresa vendedora de “tabelas de desempenho”²⁶ de crédito, invocou o discurso da objetividade estatística para evitar uma proposta de extensão da legislação antidiscriminação que proibisse o uso das tais tabelas, e também para estabelecer a pontuação estatística como o método apropriado para demonstrar conformidade com a definição de equidade na lei.²⁷

No sistema penal, os primeiros ensaios de avaliação de risco atuarial começaram nos anos 1920 e 1930, quando sociólogos da Escola de Chicago propuseram o uso de análise de regressão para decisões de liberdade condicional em Illinois. Entretanto, como mostra o teórico crítico Bernard Harcourt, esses métodos atuariais só começaram a se difundir nacionalmente nos anos 1980, como parte de um conjunto mais amplo de políticas que operacionalizavam decisões de pré-julgamento e sentença, implementando uma estratégia penal de “incapacidade seletiva.”²⁸ Embora a relação entre a lógica atuarial e o encarceramento em massa seja complexa, vale notar que a adoção progressiva de métodos atuariais coincide com o aumento dramático da população carcerária dos EUA desde os anos 1980 e com a mudança penalista no rumo de intervenções pontuais no controle do crime e na gestão de risco, afastando das políticas de providência social de meados do século.²⁹

Em 1970, no auge das controvérsias em torno da redlining,³⁰ ativistas feministas e de direitos civis norte-americanos argumentaram que a classificação de risco na precificação dos seguros era injusta e discriminatória. Para se proteger, a indústria de seguros disseminou o conceito de “equidade atuarial”: a ideia de que cada pessoa deveria pagar por seu próprio risco. A indústria promoveu esse conceito antirredistributivo de equidade atuarial em campanhas e propagandas, tentando convencer o povo norte-americano de que a classificação de risco em seguros privados era inerentemente “justa” — e não se incluía no tipo de discriminação que havia sido proibida pela Lei de Direitos Civis. Como a historiadora Caley Horan discute, a indústria enquadrou a equidade como um assunto técnico complexo fora da compreensão dos ativistas, e a classificação do risco como um processo apolítico baseado em cálculos objetivos.³¹ No início dos anos 1980, a estratégia da indústria de promover a equidade atuarial tinha efetivamente derrotado os esforços dos ativistas de direitos civis e feministas para aprovar uma legislação federal de seguros que não fizesse distinções de gênero.

Estamos em meio a outra crise moral dos sistemas atuariais. Essa crise é mais ampla no seu escopo, uma vez que é enquadrada em termos mais gerais, seguindo os rebrandings comerciais: “algoritmos”, “big data”, “inteligência artificial”, “tomada de decisão automatizada” e assim por diante. Também é maior em magnitude, pois os sistemas atuariais/algorítmicos se tornaram onipresentes na era da computação digital, junto com o surgimento de uma abordagem altamente instrumental da estatística e do aprendizado de máquinas, que o historiador Matthew Jones denomina “positivismo de dados.”³² Mais uma vez, há propostas de regulamentação legal. Mais uma vez, as corporações estão trabalhando arduamente para evitar e conter os esforços regulatórios e para prescrever definições técnicas de imparcialidade para fins estratégicos. O discurso público está saturado de projetos e propostas reformistas e que “visam corrigir preconceitos raciais, mas acabam fazendo o contrário” — como observa a socióloga Ruha Benjamin.³³

No entanto, há diferenças fundamentais nas propostas técnicas em jogo. Na década de 1970, os proponentes da “equidade atuarial” simplesmente a equipararam à precisão preditiva; eles colocaram a equidade como equivalente à otimização da utilidade na classificação de risco. Hoje, os proponentes da “justiça algorítmica” tendem a definir equidade e utilidade como considerações distintas, muitas vezes concorrentes. A equidade é geralmente considerada uma consideração ou restrição complementar à otimização da utilidade, e os defensores muitas vezes falam de “contrapartidas” entre equidade e utilidade. Essa distinção responde a um reconhecimento generalizado de que a otimização convencional da utilidade em sistemas atuariais — tipicamente a maximização do lucro ou a minimização do risco — pode ser inerentemente injusta ou discriminatória. O debate emergente sobre a justiça algorítmica pode ser lido como uma resposta a essa última crise moral do capitalismo racial gerido computacionalmente.³⁴

Para voltar à análise semântica do início destas notas, os debates sobre o significado de “justiça” ou “equidade” revelam uma tensão entre as regras de interação declaradas e não declaradas que constituem seu significado. Quando os lobistas e pesquisadores corporativos tentam prescrever uma definição de equidade, eles silenciam sobre algumas questões enquanto fingem que aquilo que está explicitamente declarado esgota os problemas em discussão. Assim, os defensores da “equidade atuarial” na década de 1970, patrocinados por empresas de seguros, enquadraram os problemas de discriminação e injustiça como redutíveis à questão explícita de que se trata de evitar previsões imprecisas, deixando de lado, para começar, as lutas políticas relativas ao modelo de seguro privado e o uso da classificação de risco. Os atuais defensores da “justiça algorítmica”, às vezes patrocinados pelas empresas do Vale do Silício, tendem a enquadrar a discriminação e a injustiça como redutíveis à distinção declarada entre a otimização da utilidade e outros critérios matemáticos, ao mesmo tempo em guardam silêncio sobre as lutas políticas em curso sobre as restrições legalmente aplicáveis aos sistemas atuariais e às novas tecnologias, tais como o reconhecimento facial e o reconhecimento automático de alvos nos drones de guerra.

A justiça algorítmica deve ser entendida não como uma nova invenção, mas, sim, como uma aspiração que reaparece persistentemente na história. Muitas iterações têm surgido ao longo do período moderno, cada uma envolvendo esforços para prescrever certos algoritmos como soluções intrinsecamente justas para conflitos políticos. A cada vez, esses esforços procuram reformar a prática judicial e incorporar tais prescrições à lei. No entanto, a cada vez, as pessoas afetadas organizam uma resistência coletiva contra as definições prescritas de justiça. Os conflitos e as definições são cada vez mais complexos, pois cada iteração herda as suposições da anterior, sempre em maior número. Atualmente, um questionamento crítico dessas suposições arraigadas é urgentemente necessário. E as suposições que trazem consequências mais graves são aquelas que os beneficiários do capitalismo racial preferem manter em silêncio.