Este artigo foi traduzido automaticamente. A versão original está disponível em inglês.
Em 2013, Eric Loomis estava diante de um juiz de Wisconsin depois de se declarar culpado de duas acusações menores: tentar fugir de um policial de trânsito e dirigir um carro sem o consentimento do dono. O estado ligava o caso a um ataque a tiros disparados de um carro em movimento, do qual ele negava ter participado. O relatório pré-sentença incluía uma avaliação de risco do COMPAS, uma pontuação de 1 a 10 gerada por um algoritmo proprietário para estimar a probabilidade de que ele voltasse a delinquir. O número era alto. Seus advogados pediram para examinar a metodologia. Ouviram que ela era proprietária — pertencia a uma empresa privada chamada Northpointe e não estava aberta à inspeção deles.
A Suprema Corte de Wisconsin decidiu em 2016 que Loomis tivera o devido processo legal, embora nem ele nem seus advogados pudessem examinar como sua pontuação fora calculada. Ele podia conferir os dados de entrada e o número final, ainda que não a lógica que ligava um ao outro, e a pontuação não havia sido o fator decisivo na sua sentença. O tribunal exigiu que todos os futuros relatórios de sentença que usassem o COMPAS trouxessem um aviso por escrito listando os problemas conhecidos do algoritmo. O aviso era detalhado e honesto, e mesmo assim o tribunal manteve o uso do algoritmo. Se a própria lei penal aplicada à sentença tivesse sido mantida em segredo diante da defesa, a crise de devido processo seria evidente; como a regra lacrada era um algoritmo, o tribunal a tratou como uma ferramenta.
Qual é, exatamente, a diferença entre uma lei secreta e uma regra proprietária que funciona como lei?
O que faz de algo uma regulação
Uma definição operacional útil de regulação tem três ingredientes: efeito vinculante, cumprimento obrigatório e consequências para quem não cumpre. Por essa definição, uma lei que proíbe a discriminação na concessão de crédito é uma regulação. Mas também o é, em termos funcionais, um algoritmo que rejeita automaticamente pedidos de empréstimo de candidatos de determinados CEPs, um efeito nada menos real pela ausência de uma lei assinada.
Lawrence Lessig defendeu que “o código é lei”: a arquitetura do software molda o comportamento com a mesma força que as normas jurídicas. Frank Pasquale argumenta que sistemas algorítmicos opacos governam hoje o crédito, o emprego e a reputação sem prestar contas a ninguém. Se um algoritmo já funciona como regulação, vinculante, obrigatório e com consequências, que responsabilização deveria acompanhar esse poder, e por que nada o acompanhou?
O teste funcional se aplica sem esforço às áreas em que a autoridade algorítmica ganhou mais peso. Uma pontuação de risco para fiança é inescapável: o réu não pode escolher não ser pontuado, não pode trocá-la por outra métrica, não pode recusar um número que pesa muito na decisão sobre se vai dormir numa cela ou em casa enquanto espera o julgamento. Uma decisão de crédito algorítmica não tem um responsável individual que possa ser interrogado, nem um juízo discricionário que se possa contestar. O algoritmo gera uma regra; a regra produz um resultado; o resultado é definitivo, a menos que o solicitante consiga atravessar um processo de contestação que nunca mostra a própria lógica da pontuação. Uma remoção feita pela moderação de conteúdo é imediata: a publicação some. O recurso que existir para o usuário comum é julgado com base num padrão tão genérico quanto “assédio” ou “violência”, o que não oferece base real para contestação.
A regulação formal traz quatro critérios de responsabilização que faltam a esses sistemas. Transparência: nos Estados Unidos, a Lei de Procedimento Administrativo (Administrative Procedure Act, ou APA) exige o procedimento de notice-and-comment para a maioria das normas vinculantes das agências: a norma precisa ser publicada para receber comentários antes de poder obrigar alguém. Devido processo: o direito de confrontar e contestar o critério jurídico aplicado a você é um alicerce do governo submetido à lei. Legitimidade democrática: numa democracia constitucional, a autoridade para criar normas vinculantes nasce de processos de autorização que remontam a órgãos eleitos. Responsabilidade civil: existem mecanismos para atribuir responsabilidade quando o exercício do governo causa danos.
Os sistemas algorítmicos, tal como são usados hoje, não atendem plenamente a nenhum desses critérios; no máximo carregam fragmentos de cada um, conforme o país e o setor. A objeção habitual é que a Quinta e a Décima Quarta Emendas, e a responsabilização constitucional em geral, obrigam o Estado, não as empresas privadas. Do ponto de vista do direito constitucional, está correto, mas responde a outra pergunta: se sistemas que exercem poder regulatório em sentido funcional, em escala populacional, deveriam prestar contas na proporção desse poder, e para essa pergunta o enquadramento do direito administrativo serve melhor do que o constitucional. Ninguém precisa submeter a Meta ao Bill of Rights para perguntar por que sistemas com mais alcance de governo do que a maioria dos governos deveriam operar com menos responsabilização do que a permitida a qualquer governo.
A state action e seus limites
A doutrina da state action sustenta que as proteções constitucionais do Bill of Rights limitam os agentes do governo, não as empresas privadas. Um empregador privado pode restringir a expressão sem esbarrar na Primeira Emenda. Uma plataforma privada pode remover publicações sem acionar as exigências do devido processo. Frank Pasquale argumenta que as plataformas dominantes exercem hoje uma “soberania funcional”, regulando mercados e comportamentos de formas antes reservadas aos governos, e que um poder desse tipo exige uma responsabilização nos moldes do direito público. A Lei de IA da UE contorna implicitamente o problema da state action ao adotar um enquadramento funcional: regula os sistemas de IA pelo que fazem e a quem, não pelo fato de um governo tê-los implantado. Julgar um sistema por sua função, e não por quem o opera, é o enquadramento certo para a autoridade algorítmica.A liberdade numa pontuação: o COMPAS e a máquina de sentenças
O COMPAS, sigla de Correctional Offender Management Profiling for Alternative Sanctions, é uma ferramenta proprietária de avaliação de risco desenvolvida pela Northpointe, hoje Equivant. Ele produz uma pontuação de 1 a 10 que estima a probabilidade de um réu voltar a delinquir. Essa pontuação tem sido usada em decisões sobre prisão preventiva, em sentenças e em decisões de liberdade condicional em vários estados americanos.
Em 2016, repórteres da ProPublica recorreram à lei de acesso a registros públicos da Flórida para obter as pontuações do COMPAS de mais de 7.000 réus do condado de Broward, presos em 2013 e 2014, e acompanharam quem voltou a ser preso nos dois anos seguintes. Entre os réus que não foram presos de novo, os negros tinham quase o dobro de chance dos brancos de terem sido classificados como de risco médio ou alto.
A Northpointe respondeu que as pontuações do COMPAS são calibradas: uma pontuação 7 prevê aproximadamente a mesma probabilidade de reincidência, seja qual for a raça do réu. Os dados sustentavam as duas afirmações, porque elas medem coisas diferentes. A tese da calibração diz respeito à precisão preditiva entre grupos. A disparidade de falsos positivos diz respeito ao que acontece com as pessoas que não reincidem, e, entre elas, as marcadas por engano são desproporcionalmente negras. Um algoritmo pode passar num teste de calibração e ainda assim produzir resultados que pesam mais sobre um grupo demográfico. Escolher qual critério de justiça importa é uma questão de política pública, e no entanto nenhum órgão público jamais fez essa escolha para o COMPAS.
O conflito está embutido na matemática, e já foi demonstrado: quando as taxas-base de reincidência diferem entre grupos, uma classificação de alto risco igualmente preditiva para cada grupo não pode também dar aos dois grupos taxas iguais de falsos positivos e de falsos negativos, a menos que as previsões sejam perfeitas. Não é possível ter tudo isso ao mesmo tempo. Nenhuma metodologia melhor poderia ter resolvido a disputa entre a ProPublica e a Northpointe, e isso torna o argumento da responsabilização mais urgente. Se não existe resposta puramente técnica sobre como equilibrar critérios de justiça, alguém precisa fazer a escolha, e quem a fizer deve responder por ela.
Eric Loomis não havia sido condenado por nenhum crime violento: declarara-se culpado de fugir de um policial e de dirigir um carro sem o consentimento do dono, enquanto as acusações ligadas aos disparos, que ele negava, foram arquivadas, mas “consideradas” na sentença. Sua pontuação no COMPAS saiu alta. Ele contestou o uso dela na sentença alegando violação do devido processo: o caráter proprietário do algoritmo, argumentou, o impedia de questionar a validade científica daquilo que o tribunal usava para restringir sua liberdade.
A resposta da Suprema Corte de Wisconsin, em State v. Loomis, foi que o devido processo estava atendido porque o réu podia verificar a exatidão dos dados de entrada — seus antecedentes criminais, suas respostas ao questionário pré-sentença. Ele não tinha o direito de saber como esses dados eram ponderados uns em relação aos outros, nem como a lógica da pontuação os transformava num número.
Tinha o direito de conferir se os dados registrados sobre ele estavam corretos e de discutir a pontuação que saía do outro lado. Isso poderia flagrar um registro errado na sua ficha, mas não uma falha na maneira como a ficha era convertida numa pontuação de risco.
Ainda assim, o tribunal fez algo digno de nota. Exigiu que todo relatório pré-sentença que se apoiasse no COMPAS trouxesse uma advertência por escrito com os limites do seu uso e uma lista de ressalvas: que seu funcionamento é mantido em segredo; que ele identifica grupos de alto risco, e não indivíduos de alto risco; que estudos questionaram se ele classifica infratores de minorias como de risco mais alto; que ele não havia sido validado para a população de Wisconsin; e que o COMPAS não foi desenvolvido para uso em sentenças, mas para decisões do sistema prisional sobre tratamento, supervisão e liberdade condicional.
Depois de pôr no papel o que poderia estar errado com o algoritmo, o tribunal manteve seu uso mesmo assim, com uma cerca ao redor: uma pontuação de risco não pode ser usada para decidir se alguém vai para a prisão nem por quanto tempo, e nunca pode ser o fator determinante. Nada na decisão permitiu ao réu ver como sua pontuação fora calculada.
Em 2017, a Suprema Corte dos EUA recusou-se a julgar o caso. Se ferramentas algorítmicas proprietárias podem ser usadas para restringir a liberdade sem nenhuma forma de examinar sua metodologia continua sendo uma pergunta que o mais alto tribunal do país não respondeu.
A impossibilidade matemática da justiça
Se a taxa-base do resultado em questão (aqui, a reincidência) difere entre grupos demográficos, duas demonstrações matemáticas mostram que os critérios de justiça entram em conflito. Uma pontuação não pode ser calibrada (uma dada pontuação significa o mesmo risco real em todos os grupos) e também dar às pessoas que reincidem, e às que não reincidem, a mesma pontuação média em todos os grupos. Quando as pontuações são divididas em classificações de alto e baixo risco, essas classificações não podem ser igualmente preditivas para cada grupo (a mesma proporção dos sinalizados reincide) e também apresentar taxas iguais de falsos positivos e de falsos negativos. Nenhum desses pares de condições pode ser satisfeito ao mesmo tempo, a menos que as previsões sejam perfeitas, o que na prática nunca são, e nenhuma melhoria de projeto ou de dados contorna isso: é uma propriedade matemática da situação. A defesa que a Northpointe fez do COMPAS se sustentou quanto à calibração e deixou intacta a questão da responsabilização: quem decidiu qual critério de justiça deveria prevalecer, com base em quê e com que legitimidade? O resultado de impossibilidade não encerra o debate sobre justiça. Mostra que a escolha é política, e é por isso que a proteção proprietária é o lugar errado para fazê-la.A regra invisível: crédito, contratação e vida econômica
O direito ainda não enfrentou à altura uma comparação simples. Uma gerente de crédito que discrimina é, ao menos em princípio, responsabilizável. Ela pode ser ouvida em depoimento, seus e-mails podem ser requisitados judicialmente, suas anotações sobre os candidatos podem ser examinadas. O raciocínio por trás de suas decisões pode ser analisado num processo, confrontado com a Fair Housing Act ou a Equal Credit Opportunity Act e levado até uma sentença. Um algoritmo discriminatório que produza os mesmos resultados de crédito racialmente desiguais não é nada disso. Ainda se pode obrigar o credor a apresentar testemunhas e registros sobre como o modelo foi construído e testado, mas não há um responsável individual a ser ouvido sobre por que esse candidato foi rejeitado. A regra que gerou o resultado é proprietária, e um autor da ação geralmente só chega até ela se vencer uma disputa na fase de produção de provas, sob uma ordem de confidencialidade, depois de convencer um tribunal de que ela tem alguma relevância.
As pontuações FICO, a principal medida de capacidade de crédito no crédito ao consumidor dos EUA, são calculadas por uma fórmula proprietária. A FICO divulga cinco categorias amplas e seus pesos aproximados (histórico de pagamentos, 35%; valores devidos, 30; tempo de histórico, 15; crédito novo, 10; composição do crédito, 10), mas não o modelo em si. Os consumidores têm alguns direitos de contestar a exatidão dos dados de base, como um pagamento atrasado ou uma cobrança, mas nenhum direito de contestar como esses dados são ponderados uns em relação aos outros. Essa ponderação é a parte proprietária e, em termos funcionais, é a regra.
Em 2023, o Consumer Financial Protection Bureau (CFPB), ao lado do Departamento de Justiça, da EEOC e da FTC, alertou que sistemas automatizados treinados com dados históricos podem perpetuar vieses ilegais e automatizar a discriminação. Os bairros ainda exibem os contornos dos mapas de redlining. Um algoritmo treinado com dados históricos que use o CEP como variável não precisa ser projetado para discriminar. Pode absorver a discriminação passivamente, como sinal herdado. A resposta do direito, desde então, andou para trás. Em 2025, o CFPB retirou a orientação que confirmava que credores que usam modelos complexos e opacos ainda precisam dar aos candidatos razões específicas para uma recusa; o dever legal continua, mas a orientação acabou. Depois, uma norma do CFPB que entrou em vigor em 2026, e que hoje está sendo contestada na Justiça, declarou que a Equal Credit Opportunity Act não autoriza de forma alguma ações por impacto desproporcional. Fora da habitação, onde a Fair Housing Act ainda as admite, isso eliminou a principal ferramenta federal criada exatamente para esse problema: provar que uma regra aparentemente neutra produz resultados discriminatórios quando havia uma alternativa mais justa.
A HireVue mostra como isso funciona no emprego. A empresa vendia avaliações pré-contratação baseadas em vídeo, que usavam IA para avaliar candidatos a partir de entrevistas gravadas. Um grupo de defesa da privacidade apresentou uma queixa à Federal Trade Commission alegando, entre outras coisas, que a HireVue negava falsamente usar tecnologia de reconhecimento facial. A HireVue deixou de analisar as expressões faciais dos candidatos em 2020 e mais tarde explicou por quê: segundo a própria empresa, os sinais não verbais, entre eles as expressões faciais, haviam acrescentado apenas cerca de um quarto de 1% ao poder preditivo na maioria das funções, o que não compensava diante das preocupações com viés. Durante anos, candidatos foram avaliados em parte por suas expressões e movimentos, e ninguém de fora da empresa podia testar se isso era justo.
O caso iTutorGroup é o exemplo mais cru. A EEOC processou a empresa de aulas particulares on-line por programar seu software de candidaturas para rejeitar automaticamente mulheres com 55 anos ou mais e homens com 60 anos ou mais. Mais de 200 candidatos qualificados nos EUA foram rejeitados apenas pela idade. A iTutorGroup concordou em pagar US$ 365.000 num acordo, a ser dividido entre os candidatos que o software havia descartado: menos de US$ 1.825 por pessoa, em média, por uma oportunidade de emprego perdida. O acordo homologado também exigiu treinamento antidiscriminação, uma nova política interna e pelo menos cinco anos de monitoramento pela EEOC.
O problema estrutural é mais difícil de levar aos tribunais do que qualquer caso isolado. Esses sistemas produzem erros sistemáticos, com padrão e visíveis nos dados agregados, que os indivíduos raramente conseguem contestar, porque a regra que gera o erro não lhes é revelada. Se fossem normas legais, cada uma poderia ser contestada em si mesma: você conheceria a regra, saberia como ela se aplicou a você, teria fundamento para uma ação. Com os algoritmos, o dano é real e documentado no agregado, enquanto a regra que o gera continua invisível para as pessoas que ela prejudica.
ECOA, Fair Housing Act e a lacuna de transparência
O direito do impacto desproporcional permite que um autor conteste uma prática que produz resultados discriminatórios sem nenhuma prova de intenção, se havia uma alternativa menos discriminatória disponível. A Suprema Corte confirmou que essas ações são cabíveis sob a Fair Housing Act. Para o crédito sob a Equal Credit Opportunity Act, a porta se estreitou: uma norma do CFPB que entrou em vigor em 2026 afirma que a ECOA não autoriza responsabilização por impacto desproporcional, e o órgão retirou em 2025 sua orientação sobre notificações de decisões adversas tomadas por algoritmos. Onde as ações por impacto desproporcional sobrevivem, a análise de alternativas menos discriminatórias exige entender o modelo: que variáveis usa, como são ponderadas, o que mudaria se algumas fossem excluídas ou reponderadas. Quando o modelo é proprietário e seu desenvolvedor invoca a proteção do segredo comercial, um mecanismo teoricamente disponível aos autores pode se tornar muito difícil de usar na prática.A lei do feed
A Meta afirma que sua família de aplicativos (Facebook, Instagram, Messenger, WhatsApp) teve em média cerca de 3,6 bilhões de pessoas ativas por dia em junho de 2026. O planeta inteiro abriga pouco mais de 8 bilhões. O público diário da Meta é maior do que a população de qualquer país do mundo.
O YouTube não divulga um número total; diz que só o Shorts atrai “bilhões” de usuários conectados por mês. O TikTok anunciou 1 bilhão de usuários mensais em 2021. O X, antigo Twitter, deixou de informar números de usuários em documentos públicos quando fechou o capital, e os cerca de 600 milhões de usuários mensais que Elon Musk afirmou ter nunca foram verificados de forma independente.
Não some esses números. A sobreposição é enorme; a maioria das pessoas que usam o TikTok também usa o Instagram. Só o número da Meta já diz algo específico. Uma empresa privada toma decisões vinculantes bilhões de vezes por dia sobre o que essas 3,6 bilhões de pessoas podem dizer, o que podem ver, o conteúdo de quem chega até elas e o de quem não chega. Essas decisões são tomadas, em sua imensa maioria, por sistemas algorítmicos. As políticas escritas são públicas; a engrenagem de ranqueamento e de aplicação que as executa, não. A União Europeia é a grande exceção: desde 2024, a Lei de Serviços Digitais garante aos usuários uma decisão fundamentada, um recurso gratuito e acesso a órgãos independentes de resolução de litígios. A Índia mantém um comitê governamental de recursos, o Grievance Appellate Committee, cujas decisões as plataformas são obrigadas a cumprir. Na maioria dos outros países, o usuário comum não tem recurso algum garantido por lei.
A defesa costumeira desse arranjo é que a moderação de conteúdo se parece com o juízo editorial, que o editor de um jornal decidindo o que publicar exerce o mesmo tipo de discricionariedade que os sistemas de conteúdo da Meta. A analogia não resiste ao contato com a escala. Mesmo os maiores jornais contam seus leitores em milhões, não em bilhões, e nenhum se apresenta como infraestrutura pública. Quando as eleições, os protestos, as emergências de saúde e os registros públicos de bilhões de pessoas vivem numa plataforma, e os algoritmos dessa plataforma decidem quais vozes são amplificadas e quais são suprimidas nesses momentos, isso é poder regulatório, com efeito vinculante e consequências reais. Também é obrigatório na prática: não dá para participar dessas esferas públicas numa escala comparável por meio de uma plataforma concorrente com outras regras, porque nenhuma alternativa chega perto desse alcance.
Nenhuma lei nacional sobre a expressão jamais foi aplicada com esse alcance. Os governos têm a autoridade, mas nenhum governo jamais precisou montar uma infraestrutura de fiscalização da expressão para 3,6 bilhões de usuários diários em dezenas de línguas. Esses sistemas montaram, de forma desigual. Suas políticas são publicadas, mas as regras operacionais que decidem cada caso, os limiares, os classificadores e os sinais de ranqueamento, não.
O Comitê de Supervisão da Meta foi criado para exercer um controle independente sobre as decisões de moderação de conteúdo. O Brennan Center for Justice sustenta que o Comitê não consegue fazer seu trabalho sem acesso aos sistemas algorítmicos da Meta, os sistemas que tomam a imensa maioria das decisões sobre o que é amplificado, o que é rebaixado e o que é removido. O Comitê revisa uma pequena fração selecionada de decisões a posteriori. Nem o Comitê nem o público conseguem ver a engrenagem que aplica as regras.
Em 2016 e 2017, o Facebook foi usado para espalhar discurso de ódio contra os rohingyas em Mianmar. Investigadores da ONU chamaram a plataforma de “um instrumento útil para quem procura espalhar o ódio” e descreveram a resposta da empresa como lenta e ineficaz; o Facebook tinha pouquíssimos moderadores de conteúdo que entendiam a língua birmanesa. A plataforma amplificou conteúdo que não estava equipada para ler. Não havia mecanismo de responsabilização capaz de deter, contestar ou sequer documentar o padrão em tempo real. A empresa reconheceu que demorou demais para agir.
Quem matou foram os militares. Menos de um ano depois da campanha que eles lançaram em agosto de 2017, quase 725 mil rohingyas haviam fugido para Bangladesh, e os investigadores da ONU consideraram conservadora uma estimativa de até 10 mil mortos. O Facebook não causou essa campanha, mas transportou o ódio que a precedeu, e, quando uma plataforma não consegue ler as publicações que amplifica, a incapacidade de moderar começa a ter o mesmo efeito de uma decisão de não moderar.
A Seção 230 e a lacuna da imunidade
A Seção 230 da Communications Decency Act concede às plataformas ampla imunidade quanto à responsabilidade pelo conteúdo publicado por terceiros e pelas decisões de moderação tomadas de boa-fé. O resultado é uma estrutura jurídica em que as plataformas respondem pouco pelo que seus usuários publicam e não prestam contas publicamente pelas regras que aplicam a essas publicações. Essa imunidade foi pensada para uma internet que já não existe, feita de pequenos serviços que hospedavam conteúdo de usuários, e não de entidades que tomam decisões vinculantes de governo para bilhões de pessoas todos os dias. Os esforços atuais para reformar ou revogar a Seção 230 são movidos pelo mesmo problema estrutural que este artigo identifica: o descompasso entre o poder que esses sistemas exercem e os mecanismos de responsabilização que hoje acompanham esse poder. Se a reforma da Seção 230 é a alavanca certa, e que consequências imprevistas ela traria, é outra discussão.Quatro exigências da regulação formal
Ponha os quatro critérios da regulação legítima diante da pontuação para fiança, da pontuação de crédito, do filtro de contratação e do feed.
Comece pela transparência. A exigência de notice-and-comment da APA existe porque regulações secretas são incompatíveis com o tipo de governo que depende de consentimento. Ninguém consegue consentir de verdade com uma regra que nunca viu, nem contestá-la. Um algoritmo de fiança dá nota 8 a um réu. Essa nota pesa na decisão sobre se a pessoa dorme em casa ou numa cela enquanto espera o julgamento. A regra que gerou o 8 não é revelada. Pode ser inferida, de modo incompleto e imperfeito, por alguém com acesso a grandes bases de dados e às ferramentas estatísticas para fazer sua engenharia reversa, o que está muito longe da norma publicada que o notice-and-comment exige. Quando um algoritmo de moderação remove uma publicação e o usuário recebe uma notificação citando “violência” ou “assédio”, a notificação não diz qual padrão foi aplicado, como seu limiar foi definido nem com que grau de confiança o algoritmo foi acionado. A regra só pode ser inferida a partir do padrão acumulado das decisões de aplicação, uma remoção de cada vez.
A transparência é a condição para todo o resto, porque ninguém pode confrontar e contestar um critério jurídico que não consegue ver. Esse direito de confrontar e contestar é a razão pela qual os réus têm o direito de conhecer as acusações contra eles, e pela qual os regulados têm o direito de participar da elaboração das normas. Os advogados de Eric Loomis pediram a metodologia usada para restringir a liberdade de seu cliente. O tribunal disse não. Os candidatos da iTutorGroup rejeitados automaticamente nunca souberam que uma regra fora aplicada a eles, muito menos qual era a regra. Os usuários do Facebook que recebem uma notificação de remoção ficam sabendo qual Padrão da Comunidade violaram e nada sobre onde a linha foi traçada. O devido processo exige a oportunidade de responder a algo específico.
Em seguida vem a legitimidade democrática. Os parlamentos são eleitos. As agências recebem poderes delegados pelos parlamentos, são supervisionadas por autoridades eleitas e se submetem às exigências procedimentais da APA. Suas decisões podem ser contestadas na Justiça federal. Empresas privadas que usam algoritmos para governar o acesso ao crédito, ao emprego, à liberdade e à expressão de centenas de milhões ou bilhões de pessoas não têm uma estrutura de responsabilização equivalente. Prestam contas aos acionistas, não às populações que governam. Quando as decisões de produto de uma empresa se tornam decisões de governo, uma estrutura de responsabilização feita para produtos deixa de bastar.
Por fim, há a responsabilidade civil, que torna os outros três exigíveis. Responsabilidade extracontratual, responsabilidade pelo produto, responsabilização administrativa: tudo isso existe para atribuir responsabilidade quando o exercício do governo causa danos. Para o dano algorítmico em escala populacional, nenhum desses mecanismos funciona a contento. A certificação de uma ação coletiva no processo civil federal exige demonstrar questões de direito ou de fato comuns a toda a classe. Quando a regra é proprietária e o dano se espalha por milhões de pequenas lesões individuais, de empréstimos negados a pontuações de fiança com falsos positivos e publicações suprimidas, a exigência de uma questão comum é estruturalmente difícil de cumprir sem acesso ao próprio modelo. O dano agregado é enorme. Os casos individuais continuam invisíveis para mecanismos jurídicos pensados para julgamentos individuais.
Volte ao acordo da iTutorGroup: menos de US$ 1.825 por pessoa, em média, por uma oportunidade de emprego perdida. Esse número nem se aproxima do dano real. O treinamento e o monitoramento previstos no acordo homologado obrigam uma única empresa; para qualquer outra que esteja pesando o risco, o preço registrado é o dinheiro. Amplie a escala: se um algoritmo rejeita 20.000 candidatos por motivos discriminatórios e cada caso é resolvido com esse mesmo valor, a responsabilidade potencial fica abaixo de US$ 36,5 milhões. Para uma empresa cuja receita chega às centenas de milhões, isso é um custo operacional.
Os quatro dependem uns dos outros: sem transparência, o devido processo não tem nada de específico a contestar, e sem nenhum dos dois a responsabilidade civil é difícil de estabelecer. O poder regulatório algorítmico hoje não tem nenhum dos quatro por inteiro.
A resposta e seus limites
A Lei de IA da UE entrou em vigor em agosto de 2024. É, até agora, o marco regulatório mais abrangente construído para lidar com a autoridade algorítmica.
O que ela faz é substancial. A lei classifica os sistemas de IA por nível de risco. Sua lista de alto risco, que carrega o ônus completo de conformidade, menciona explicitamente a pontuação de crédito, a contratação e a avaliação de desempenho, e a justiça criminal: ferramentas que avaliam o risco de uma pessoa cometer um crime ou reincidir, e IA que auxilia juízes na aplicação da lei. Para esses sistemas, a lei exige avaliações de conformidade antes da implantação, supervisão humana e transparência perante as pessoas afetadas; órgãos públicos e empresas de pontuação de crédito também precisam realizar uma avaliação de impacto sobre os direitos fundamentais. Quem está sujeito a decisões da maioria desses sistemas listados ganha o direito a uma explicação quando a decisão produz efeitos jurídicos ou impactos significativamente adversos sobre sua saúde, sua segurança ou seus direitos fundamentais. Violar as regras de alto risco pode custar até 15 milhões de euros ou 3% do faturamento anual global. Essas obrigações deveriam passar a valer em agosto de 2026; uma emenda posterior, já em vigor, adiou os requisitos de alto risco para dezembro de 2027. O direito a explicação manteve no papel sua data de agosto de 2026, mas se vincula a sistemas de alto risco cujas regras de classificação foram adiadas junto com o restante.
Não são exigências simbólicas. O COMPAS, se fosse usado na Europa como um dos sistemas de alto risco listados, teria de passar por avaliação de conformidade obrigatória e por avaliação de impacto sobre os direitos fundamentais antes do uso. O sistema de avaliação por vídeo da HireVue, se usado em decisões de contratação que afetassem trabalhadores baseados na UE, exigiria supervisão humana e direito a explicação.
Nos Estados Unidos, o avanço é mais fragmentado. Desde 2023, a cidade de Nova York exige auditorias de viés anuais e independentes, com resultados publicados, para ferramentas automatizadas de decisão de emprego usadas na contratação ou promoção para vagas sediadas na cidade. Desde janeiro de 2026, Illinois proíbe o uso de IA em decisões de emprego que resulte em discriminação ilegal, veda o uso de CEPs como substitutos de características protegidas e obriga os empregadores a avisar quando a IA é usada em decisões de contratação ou de emprego. O Colorado substituiu sua lei de IA, que nunca chegou a ser aplicada, por outra mais restrita sobre a tomada de decisões automatizada em decisões relevantes, que entra em vigor em janeiro de 2027: aviso antes do uso, explicação em linguagem simples depois de uma decisão adversa, correção de dados inexatos e o direito de pedir uma reconsideração humana efetiva.
São avanços reais num problema que, cinco anos atrás, não era regulado a sério, mas compartilham uma limitação estrutural. À parte algumas proibições absolutas, como a da Lei de IA de prever o risco de uma pessoa cometer um crime apenas com base na definição de perfis ou em traços de personalidade, e a de Illinois sobre o uso discriminatório, operam principalmente por meio de padrões de projeto, documentação, auditoria e divulgação. Exigem que alguém, seja um auditor, um regulador ou uma equipe de compliance, avalie se o sistema é justo. No máximo, dão ao indivíduo governado pelo sistema uma explicação, a correção de dados errados ou uma segunda análise feita por um ser humano. Nenhum deles permite que essa pessoa inspecione a própria regra. O direito a explicação da Lei de IA significa que uma pessoa sujeita a uma decisão da maioria dos sistemas de alto risco listados, quando essa decisão tem efeitos jurídicos ou impactos significativamente adversos sobre sua saúde, sua segurança ou seus direitos fundamentais, deve receber uma explicação dela. Não significa que a pessoa possa examinar os pesos do modelo, a composição dos dados de treinamento ou a metodologia algorítmica. A pessoa fica sabendo por que uma decisão foi contra ela e não ganha nenhum meio de auditar o sistema que a tomou.
A defasagem estrutural é outro problema. O regime de alto risco da Lei de IA da UE foi construído em torno dos sistemas de IA tal como existiam, grosso modo, entre 2020 e 2022. Quando a conformidade de alto risco passar a ser exigida, os sistemas regulados já terão atravessado várias mudanças de geração. As regulações são escritas ao longo de anos; os sistemas algorítmicos evoluem ao longo de meses. O descompasso está no ritmo da produção de leis diante do ritmo da tecnologia; uma redação melhor não o teria eliminado.
A experiência do GDPR deveria moderar as expectativas. Seu Artigo 22, aplicável desde 2018, deu às pessoas na UE o direito de não serem sujeitas a decisões exclusivamente automatizadas com efeitos significativos, a menos que a decisão seja necessária para um contrato, autorizada por lei ou objeto de consentimento explícito; artigos complementares acrescentaram o direito a informações significativas sobre a lógica envolvida. No papel, é forte. As orientações da UE dizem que uma empresa não pode escapar dele “fabricando envolvimento humano”, e o mais alto tribunal da UE ampliou seu alcance: em 2023, decidiu que uma pontuação de crédito pode, por si só, contar como decisão automatizada, e em 2025, que uma pessoa a quem foi negado crédito tem direito a uma explicação do procedimento e dos princípios efetivamente aplicados a ela, com as objeções de segredo comercial ponderadas por um tribunal ou por uma autoridade reguladora, e não aceitas pela simples palavra da empresa. Na prática, foram necessários sete anos e repetidos litígios para chegar lá. Os direitos de explicação da própria Lei de IA merecem a mesma cautela.
O Artigo 22 do GDPR e o ceticismo aprendido
O Artigo 22 do GDPR, aplicável desde 2018, dá às pessoas na UE o direito de não serem sujeitas a decisões relevantes puramente automatizadas, com exceções para contratos, autorização legal e consentimento explícito; os artigos de transparência do regulamento acrescentam o direito a informações significativas sobre a lógica. Na prática, seu impacto foi limitado. O critério de decisão “exclusivamente automatizada” convidou a um atalho, uma fina camada de aprovação humana, embora as orientações da UE digam que uma participação simbólica não conta. Os direitos de explicação foram disputados durante anos, até que o Tribunal de Justiça da UE decidiu em 2025 que as pessoas têm direito a uma explicação do procedimento e dos princípios efetivamente aplicados no seu próprio caso, e não apenas a uma descrição genérica ou ao algoritmo em estado bruto. A disposição sobre o direito a explicação do Artigo 86 da Lei de IA da UE foi redigida tendo em vista as falhas do Artigo 22. Se o Artigo 22 servir de guia, a fiscalização e os tribunais decidirão se a nova disposição consegue mais do que a antiga conseguiu.O paradoxo da responsabilização
Os mecanismos jurídicos de que dispomos para contestar o exercício do governo foram construídos para lidar com atos individuais de responsáveis identificáveis, que agem sob regras declaradas. Uma lei é contestada por uma pessoa num caso. Uma norma de agência é questionada por meio do notice-and-comment ou de um litígio com base na APA. Uma decisão administrativa é objeto de recurso a uma instância revisora. Um funcionário que discrimina pode ser ouvido em depoimento. Esses mecanismos pressupõem uma estrutura específica: uma decisão singular, uma regra declarada, alguém que conteste e consiga identificar o dano, um responsável que possa ser interrogado.
O poder regulatório algorítmico quebra todos esses pressupostos de uma só vez. Para contestar uma decisão algorítmica na Justiça, em geral é preciso alguma combinação de três coisas: a regra que a gerou, que é proprietária e geralmente só pode ser obtida na produção de provas sob uma ordem de confidencialidade; um contrafactual que mostre o que um resultado diferente teria exigido, difícil de construir sem acesso ao modelo ou uma explicação completa da empresa; e, numa ação por discriminação, a prova de um padrão, o que requer dados em escala populacional que a pessoa afetada quase certamente não tem.
A resposta da Suprema Corte de Wisconsin foi exigir advertências por escrito. Uma advertência no relatório pré-sentença dá nome ao problema, e o réu ainda pode contestar a pontuação com outras provas, mas nada nela permite que ele examine o cálculo.
A autorização democrática está ausente em cada ponto onde poderia ter sido estabelecida. O Comitê de Supervisão da Meta não tem acesso ao algoritmo que supostamente supervisiona. O CFPB pode exigir o modelo de um credor numa investigação, mas o tomador de crédito pontuado por ele só tem direito a uma lista de razões. A Suprema Corte de Wisconsin se recusou a mandar abrir o COMPAS. Em cada momento em que a responsabilização poderia ter sido imposta, o interesse proprietário foi tratado como uma barreira que o poder público não atravessaria. Nenhuma lei exigia essa deferência, e nenhuma dessas instâncias forçou a questão.
O que faz os sistemas algorítmicos valerem a pena em grande escala é a consistência em milhões de casos, a velocidade e a eliminação da discricionariedade humana, que produz suas próprias falhas discriminatórias. São exatamente essas características que os tornam ilegíveis para os mecanismos de responsabilização que o direito desenvolveu. Um gerente de crédito enviesado ou um juiz enviesado na hora da sentença responde por seus atos de formas que um algoritmo enviesado não responde, e o sistema jurídico ainda não descobriu como cobrar do algoritmo a mesma prestação de contas.
Os marcos que estão sendo construídos agora, da Lei de IA da UE às leis de Nova York, do Colorado e de Illinois, auditam o sistema e explicam a decisão. Não abrem o modelo para a pessoa que ele pontua.
Sistemas algorítmicos podem produzir resultados sistematicamente discriminatórios durante anos antes que qualquer contestação seja possível, porque a contestação exige um acesso que não é dado a quem contesta. A iTutorGroup discriminou centenas de candidatos durante todo o tempo em que o sistema esteve em uso, até a EEOC entrar com a ação. A HireVue avaliou candidatos em parte por suas expressões faciais durante anos antes de abandonar o recurso por considerar que seu ganho marginal não compensava. O COMPAS é usado em sentenças em vários estados há mais de uma década. Quando a contestação vem, vem depois do dano, e as pessoas prejudicadas nesse meio-tempo não são reparadas por uma eventual solução.
De volta a Wisconsin
Leia as ressalvas que a Suprema Corte de Wisconsin exigiu em todo relatório pré-sentença com o COMPAS, nas palavras do próprio tribunal: “O caráter proprietário do COMPAS tem sido invocado para impedir a divulgação de informações sobre como os fatores são ponderados ou como as pontuações de risco são determinadas.” “Como as pontuações de avaliação de risco do COMPAS se baseiam em dados de grupo, elas são capazes de identificar grupos de infratores de alto risco — e não um indivíduo específico de alto risco.” “Alguns estudos sobre as pontuações de avaliação de risco do COMPAS levantaram dúvidas sobre se elas classificam de forma desproporcional infratores de minorias como tendo maior risco de reincidência.” “Uma avaliação de risco do COMPAS compara os réus a uma amostra nacional, mas nenhum estudo de validação cruzada para a população de Wisconsin foi concluído até agora. As ferramentas de avaliação de risco devem ser constantemente monitoradas e recalibradas quanto à precisão, em razão de mudanças nas populações e subpopulações.” E: “O COMPAS não foi desenvolvido para uso em sentenças, mas se destinava ao uso pelo Departamento Correcional em decisões sobre tratamento, supervisão e liberdade condicional.”
São constatações do próprio tribunal sobre o que não foi testado e o que pode estar errado. Depois de listá-las, ele ainda assim permitiu a pontuação na sentença, dentro dos limites que havia fixado. A advertência diz ao juiz da sentença que essa ferramenta pode discriminar, não foi validada para o estado, não foi feita para sentenças e funciona por regras que ninguém na sala de audiência pode inspecionar.
O juiz pode dar menos peso à pontuação, e o réu pode contestá-la com outras provas. Mas ninguém, nem o juiz, nem o réu, nem o tribunal de apelação, ganha um meio de abrir o próprio cálculo.
Aviso sobre IA generativa
Parte do conteúdo desta página foi gerada e/ou editada com a ajuda de uma IA generativa.
Mídia
Principais fontes e referências
Criminal justice and COMPAS
Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, “Machine Bias,” ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
ProPublica, “How We Analyzed the COMPAS Recidivism Algorithm,” May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
“ProPublica Responds to Company’s Critique of Machine Bias Story,” ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story
equivant, “Who is equivant?” FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/
State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01
Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm
Alexandra Chouldechova, “Fair prediction with disparate impact: A study of bias in recidivism prediction instruments,” Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524
Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, “Inherent trade-offs in the fair determination of risk scores,” Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf
Law, regulation and accountability
Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.
Frank Pasquale, The Black Box Society. Harvard University Press, 2015.
Frank Pasquale, “From Territorial to Functional Sovereignty: The Case of Amazon,” LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/
Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553
“State action,” Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action
Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23
Credit and hiring
myFICO, “What’s in my FICO Scores?” https://www.myfico.com/credit-education/whats-in-your-credit-score
CFPB, DOJ Civil Rights Division, EEOC and FTC, “Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems,” April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf
Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 (“Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal,” 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal
Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b
National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/
Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371
“HireVue drops facial monitoring amid A.I. algorithm audit,” Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/
EPIC, “In re HireVue,” FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue
EEOC, “iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit,” September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit
Platforms and speech
Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm
United Nations, “Population” (Global Issues). https://www.un.org/en/global-issues/population
YouTube Official Blog, Press. https://blog.youtube/press/
TikTok Newsroom, “Thanks a billion!” September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en
“Musk Says X Has 600 Million Monthly Active Users,” Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users
Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/
European Commission, “Digital Services Act: Questions and answers” and “Out-of-court dispute settlement bodies under the Digital Services Act.” https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement
Grievance Appellate Committee, Government of India (appeals against intermediaries’ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/
Faiza Patel and Julian Melendi, “Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job,” Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job
Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf
Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230
New rules: EU and US
Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/
Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, “Digital AI Omnibus Delays Key Deadlines, Introduces New Rules,” August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/
Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053
Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf
Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf
NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page
Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, “Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence,” 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence
Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, “Colorado Act Legislation: The AI Strikes Back,” May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/
