Advertisement

Il s’agit d’un article traduit par une machine. La version originale est disponible en anglais.

En 2013, Eric Loomis comparaît devant un juge du Wisconsin après avoir plaidé coupable de deux infractions mineures : avoir tenté de se soustraire à un agent de la circulation et avoir conduit une voiture sans le consentement de son propriétaire. L’État rattache l’affaire à une fusillade depuis un véhicule à laquelle il nie avoir pris part. Le rapport présentenciel comprend une évaluation du risque COMPAS, un score de 1 à 10 produit par un algorithme propriétaire pour estimer la probabilité qu’il récidive. Le chiffre est élevé. Ses avocats demandent à examiner la méthode. On leur répond qu’elle est propriétaire — la propriété d’une entreprise privée, Northpointe, qu’il ne leur revient pas d’inspecter.

En 2016, la Cour suprême du Wisconsin a jugé que Loomis avait bénéficié d’une procédure régulière, alors même que ni lui ni ses avocats n’avaient pu examiner le calcul de son score. Il pouvait vérifier les données d’entrée et le chiffre final, à défaut de la logique qui les reliait, et le score n’avait pas été le facteur décisif de sa peine. La cour a exigé que tout rapport présentenciel recourant à COMPAS comporte désormais un avertissement écrit énumérant les problèmes connus de l’algorithme. L’avertissement était détaillé et honnête, et la cour a malgré tout validé l’usage de l’algorithme. Si c’était la loi pénale elle-même qu’on avait soustraite à la défense, la violation des garanties procédurales aurait sauté aux yeux ; parce que la règle tenue secrète était un algorithme, la cour l’a traitée comme un outil.

Qu’est-ce qui distingue, au juste, une loi secrète d’une règle propriétaire qui fait office de loi ?

Ce qui fait une réglementation

Une définition de travail commode de la réglementation réunit trois ingrédients : un effet contraignant, une obligation de s’y conformer et des conséquences en cas de manquement. Selon cette définition, une loi qui interdit la discrimination dans l’octroi de crédits est une réglementation. Mais un algorithme qui rejette automatiquement les demandes de prêt des habitants de certains codes postaux en est une aussi, dans les faits : son effet n’est pas moins réel parce qu’aucune loi n’a été signée.

Lawrence Lessig a soutenu que « le code, c’est la loi » : l’architecture des logiciels façonne les comportements aussi sûrement que les règles juridiques. Frank Pasquale soutient que des systèmes algorithmiques opaques gouvernent désormais le crédit, l’emploi et la réputation sans avoir de comptes à rendre. Si un algorithme fonctionne déjà comme une réglementation, contraignante, obligatoire et lourde de conséquences, quelle responsabilité devrait accompagner ce pouvoir, et pourquoi aucune ne s’y est attachée ?

Le critère fonctionnel s’applique sans difficulté aux domaines où l’autorité algorithmique pèse le plus. Un score de risque en matière de détention provisoire est inévitable : le prévenu ne peut pas refuser d’être noté, ne peut pas y substituer un autre indicateur, ne peut pas se soustraire à un chiffre qui pèse lourd dans la question de savoir s’il dormira en cellule ou chez lui en attendant son procès. Une décision de crédit algorithmique n’a pas de décideur individuel que l’on puisse interroger, pas de jugement discrétionnaire à remettre en cause. L’algorithme produit une règle ; la règle produit un résultat ; le résultat est définitif, à moins que le demandeur ne parvienne au bout d’une procédure de contestation qui ne montre jamais la logique de notation elle-même. Un retrait pour modération de contenu est immédiat : la publication a disparu. Le recours éventuellement offert aux utilisateurs ordinaires se règle au regard d’une norme aussi générale que « harcèlement » ou « violence », qui ne fournit aucune base réelle de contestation.

La réglementation formelle obéit à quatre exigences de responsabilité qui font défaut à ces systèmes. La transparence : aux États-Unis, l’Administrative Procedure Act impose pour la plupart des règles contraignantes des agences une procédure de publication et de consultation (notice-and-comment) : la règle doit être soumise aux commentaires du public avant de pouvoir s’imposer à quiconque. La procédure régulière : le droit de connaître et de contester la norme juridique qui vous est appliquée est au fondement de tout gouvernement par le droit. La légitimité démocratique : dans une démocratie constitutionnelle, le pouvoir d’édicter des règles contraignantes découle de procédures d’habilitation qui remontent à des assemblées élues. La responsabilité juridique : des mécanismes existent pour imputer les torts lorsque l’exercice de ce pouvoir cause un préjudice.

Tels qu’ils sont déployés aujourd’hui, les systèmes algorithmiques ne satisfont pleinement à aucune de ces exigences ; au mieux en portent-ils des fragments, selon le pays et le secteur. L’objection habituelle veut que les cinquième et quatorzième amendements, et la responsabilité constitutionnelle en général, s’imposent à l’État et non aux entreprises privées. C’est exact en droit constitutionnel, mais cela répond à une autre question : celle de savoir si des systèmes qui exercent un pouvoir réglementaire au sens fonctionnel, à l’échelle de populations entières, devraient rendre des comptes à la mesure de ce pouvoir, et un cadre de droit administratif convient mieux à cette question qu’un cadre constitutionnel. Nul besoin de soumettre Meta au Bill of Rights pour se demander pourquoi des systèmes dont l’emprise sur la vie collective dépasse celle de la plupart des gouvernements devraient rendre moins de comptes qu’on ne le tolère d’aucun gouvernement.

L'action de l'État et ses limites

La doctrine de l'action de l'État (state action) veut que les protections constitutionnelles du Bill of Rights s'imposent aux acteurs publics, non aux entreprises privées. Un employeur privé peut restreindre la liberté d'expression sans que le premier amendement soit en jeu. Une plateforme privée peut retirer des publications sans déclencher les exigences de la procédure régulière. Frank Pasquale soutient que les plateformes dominantes exercent désormais une « souveraineté fonctionnelle », régulant marchés et comportements d'une manière autrefois réservée aux gouvernements, et qu'un pouvoir de cette nature appelle une responsabilité calquée sur celle du droit public. Le règlement européen sur l'intelligence artificielle contourne implicitement le problème de l'action de l'État en adoptant une approche fonctionnelle : il encadre les systèmes d'IA selon ce qu'ils font et à qui, non selon qu'un gouvernement les a déployés ou non. Juger un système à sa fonction plutôt qu'à l'identité de celui qui l'exploite, voilà le bon cadre pour l'autorité algorithmique.

La liberté au score : COMPAS et la machine à punir

COMPAS, acronyme de Correctional Offender Management Profiling for Alternative Sanctions, est un outil propriétaire d’évaluation du risque mis au point par Northpointe, devenue Equivant. Il produit un score de 1 à 10 qui estime la probabilité qu’un prévenu récidive. Ce score a servi dans des décisions de détention provisoire, de condamnation et de libération conditionnelle dans plusieurs États américains.

En 2016, des journalistes de ProPublica se sont appuyés sur la loi floridienne d’accès aux documents publics pour obtenir les scores COMPAS de plus de 7 000 prévenus du comté de Broward, arrêtés en 2013 et 2014, et ont suivi lesquels avaient été de nouveau arrêtés au cours des deux années suivantes. Parmi les prévenus qui n’avaient pas été arrêtés de nouveau, les Noirs risquaient presque deux fois plus que les Blancs d’avoir été classés à risque moyen ou élevé.

Northpointe a répondu que les scores COMPAS sont calibrés : un score de 7 prédit à peu près la même probabilité de récidive quelle que soit l’origine du prévenu. Les données étayaient les deux affirmations, parce qu’elles mesurent des choses différentes. L’argument du calibrage porte sur la précision prédictive d’un groupe à l’autre. L’écart de faux positifs porte sur ce qui arrive aux personnes qui ne récidivent pas, et parmi elles, celles qu’on a signalées à tort sont, de façon disproportionnée, des Noirs. Un algorithme peut réussir un test de calibrage et produire malgré tout des résultats qui frappent plus durement une catégorie de la population. Choisir le critère d’équité qui compte est une question politique, et pourtant aucune instance publique n’a jamais fait ce choix pour COMPAS.

Le conflit est inscrit dans les mathématiques, et il a été démontré : lorsque les taux de base de récidive diffèrent entre les groupes, une étiquette de haut risque aussi prédictive pour chacun d’eux ne peut pas en même temps donner aux deux groupes des taux égaux de faux positifs et de faux négatifs, à moins que les prédictions ne soient parfaites. On ne peut pas tout avoir à la fois. Aucune méthode plus fine n’aurait pu trancher le différend entre ProPublica et Northpointe, ce qui rend l’argument de la responsabilité d’autant plus pressant. S’il n’existe pas de réponse purement technique à la manière d’arbitrer entre critères d’équité, alors quelqu’un doit faire ce choix, et celui qui le fait devrait en répondre.

Eric Loomis n’avait été reconnu coupable d’aucun acte violent : il avait plaidé coupable de fuite devant un agent et de conduite d’une voiture sans le consentement de son propriétaire, tandis que les chefs d’accusation liés à la fusillade, qu’il niait, avaient été abandonnés mais « pris en considération » (read in) lors du prononcé de la peine. Son score COMPAS s’est révélé élevé. Il en a contesté l’usage au nom de la procédure régulière : le caractère propriétaire de l’algorithme, faisait-il valoir, l’empêchait de contester la validité scientifique de l’outil dont le tribunal se servait pour restreindre sa liberté.

Dans State v. Loomis, la Cour suprême du Wisconsin a répondu que la procédure régulière était respectée, puisque le prévenu pouvait vérifier l’exactitude des données d’entrée — son casier judiciaire, ses réponses au questionnaire présentenciel. Il n’avait pas le droit de savoir comment ces données étaient pondérées les unes par rapport aux autres, ni comment la logique de notation les transformait en chiffre.

Il avait le droit de vérifier que les données saisies à son sujet étaient correctes, et de discuter le score qui sortait à l’autre bout. Cela pouvait permettre de repérer une erreur de saisie dans son dossier, mais pas un défaut dans la façon dont ce dossier était converti en score de risque.

La cour a pourtant fait quelque chose de remarquable. Elle a exigé que tout rapport présentenciel s’appuyant sur COMPAS comporte un avertissement écrit exposant les limites de son usage, assorti d’une liste de mises en garde : que son fonctionnement est tenu secret, qu’il identifie des groupes à haut risque et non des individus à haut risque, que des études se sont demandé s’il classait les délinquants issus de minorités comme présentant un risque plus élevé, qu’il n’avait pas été validé sur la population du Wisconsin, et que COMPAS n’avait pas du tout été conçu pour le prononcé des peines, mais pour des décisions de l’administration pénitentiaire portant sur le traitement, la surveillance et la libération conditionnelle.

Après avoir couché par écrit ce qui pouvait clocher dans l’algorithme, la cour en a tout de même validé l’usage, en l’encadrant : un score de risque ne peut servir à décider si une personne va en prison ni pour combien de temps, et ne peut jamais être le facteur déterminant. Rien dans la décision ne permettait au prévenu de voir comment son score avait été calculé.

En 2017, la Cour suprême des États-Unis a refusé de se saisir de l’affaire. La question de savoir si des outils algorithmiques propriétaires peuvent servir à restreindre la liberté sans aucun moyen d’en examiner la méthode reste sans réponse de la part de la plus haute juridiction du pays.

L'impossibilité mathématique de l'équité

Si le taux de base du résultat considéré (ici, la récidive) diffère entre groupes démographiques, deux démonstrations mathématiques montrent que les critères d'équité se heurtent. Un score ne peut pas être calibré (un score donné correspond au même risque réel dans chaque groupe) et aussi attribuer aux personnes qui récidivent, et à celles qui ne récidivent pas, le même score moyen dans chaque groupe. Une fois les scores répartis en étiquettes de haut et de faible risque, ces étiquettes ne peuvent pas être aussi prédictives pour chaque groupe (la même proportion des personnes signalées récidive) et aussi présenter des taux égaux de faux positifs et de faux négatifs. Aucune de ces deux paires de conditions ne peut être satisfaite simultanément, à moins que les prédictions ne soient parfaites, ce qu'elles ne sont jamais en pratique, et aucune amélioration de la conception ou des données ne permet de contourner cet obstacle : c'est une propriété mathématique de la situation. La défense de COMPAS par Northpointe tenait sur le calibrage et laissait intacte la question de la responsabilité : qui a décidé quel critère d'équité devait prévaloir, sur quelle base et avec quelle légitimité ? Le résultat d'impossibilité ne clôt pas le débat sur l'équité. Il montre que le choix est politique, et c'est pourquoi il ne devrait pas se faire à l'abri du secret propriétaire.

La règle invisible : crédit, embauche et vie économique

Le droit ne s’est pas vraiment confronté à une comparaison toute simple. Une conseillère de crédit qui discrimine doit, du moins en principe, rendre des comptes. On peut l’entendre sous serment, saisir ses courriels par voie d’assignation, examiner ses notes sur les demandeurs. Le raisonnement qui sous-tend ses décisions peut être examiné en justice, confronté au Fair Housing Act ou à l’Equal Credit Opportunity Act, et plaidé jusqu’au verdict. Un algorithme discriminatoire qui aboutit aux mêmes disparités raciales dans l’octroi de prêts n’offre aucune de ces prises. On peut toujours contraindre le prêteur à produire des témoins et des documents sur la manière dont le modèle a été construit et testé, mais il n’y a pas de décideur individuel à entendre sous serment sur les raisons du refus opposé à ce demandeur. La règle qui a produit le résultat est propriétaire, et un plaignant ne peut généralement l’atteindre qu’en gagnant une bataille de communication des pièces, sous ordonnance de confidentialité, après avoir convaincu un tribunal qu’elle présente le moindre intérêt pour l’affaire.

Les scores FICO, mesure dominante de la solvabilité dans le crédit à la consommation aux États-Unis, sont calculés selon une formule propriétaire. FICO publie cinq grandes catégories et leur poids approximatif (historique de paiement 35 %, montants dus 30, ancienneté de l’historique 15, nouveaux crédits 10, diversité des crédits 10), mais pas le modèle lui-même. Les consommateurs disposent de certains droits pour contester l’exactitude des données sous-jacentes, un paiement manqué ou un recouvrement par exemple, mais d’aucun droit de contester la façon dont ces données sont pondérées les unes par rapport aux autres. Cette pondération est la partie propriétaire, et, d’un point de vue fonctionnel, c’est elle la règle.

En 2023, le Consumer Financial Protection Bureau, avec le ministère de la Justice, l’EEOC et la FTC, a averti que des systèmes automatisés entraînés sur des données historiques peuvent perpétuer des biais illégaux et automatiser la discrimination. Les quartiers portent encore le tracé des cartes du redlining. Un algorithme entraîné sur des données historiques et qui utilise le code postal comme variable n’a pas besoin d’être conçu pour discriminer. Il peut absorber la discrimination passivement, comme un signal hérité. La réponse du droit a depuis reculé. En 2025, le CFPB a retiré ses lignes directrices confirmant que les prêteurs recourant à des modèles complexes et opaques doivent tout de même indiquer aux demandeurs les motifs précis d’un refus ; l’obligation légale demeure, mais les lignes directrices ont disparu. Puis une règle du CFPB entrée en vigueur en 2026, aujourd’hui contestée en justice, a déclaré que l’Equal Credit Opportunity Act n’autorise aucune action fondée sur l’effet discriminatoire (disparate impact). Hors du logement, où le Fair Housing Act les permet toujours, cela a supprimé le principal outil fédéral conçu précisément pour ce problème : prouver qu’une règle neutre en apparence produit des résultats discriminatoires alors qu’une solution plus équitable existait.

HireVue montre comment cela se joue dans l’emploi. L’entreprise vendait des évaluations préalables à l’embauche fondées sur la vidéo, qui utilisaient l’IA pour juger des candidats à partir d’entretiens enregistrés. Une association de défense de la vie privée a déposé une plainte auprès de la Federal Trade Commission, alléguant notamment que HireVue niait à tort recourir à la reconnaissance faciale. HireVue a cessé d’analyser les expressions faciales des candidats en 2020, puis a expliqué pourquoi : de l’aveu même de l’entreprise, les signaux non verbaux, dont les expressions du visage, n’ajoutaient qu’environ un quart de 1 % au pouvoir prédictif pour la plupart des postes, ce qui n’en valait pas la peine au vu des inquiétudes sur les biais. Pendant des années, des candidats avaient été notés en partie sur leurs expressions et leurs mouvements, et personne hors de l’entreprise ne pouvait vérifier si c’était équitable.

L’affaire iTutorGroup en est l’exemple le plus brutal. L’EEOC a poursuivi cette entreprise de cours en ligne pour avoir programmé son logiciel de candidature de manière à rejeter automatiquement les candidates âgées de 55 ans ou plus et les candidats âgés de 60 ans ou plus. Plus de 200 candidats qualifiés aux États-Unis ont été écartés sur le seul critère de l’âge. iTutorGroup a accepté de payer 365 000 dollars pour régler l’affaire, à partager entre les candidats que le logiciel avait éliminés : moins de 1 825 dollars chacun, en moyenne, pour une chance d’emploi perdue. Le jugement d’accord (consent decree) imposait aussi une formation à la non-discrimination, une nouvelle politique interne et au moins cinq ans de contrôle par l’EEOC.

Le problème structurel est plus difficile à porter devant les tribunaux qu’aucune affaire individuelle. Ces systèmes produisent des erreurs systématiques, récurrentes et visibles dans les données agrégées, que les individus parviennent rarement à contester, parce que la règle qui engendre l’erreur ne leur est pas communiquée. S’il s’agissait de règles inscrites dans la loi, chacune pourrait être attaquée telle qu’elle est rédigée : vous connaîtriez la règle, vous sauriez comment elle s’applique à vous, vous auriez un fondement pour agir en justice. Avec les algorithmes, le préjudice est réel et documenté à l’échelle agrégée, tandis que la règle qui le produit reste invisible pour ceux qu’elle lèse.

ADVERTISEMENT
ECOA, Fair Housing Act et le déficit de transparence

Le droit de l'effet discriminatoire permet à un plaignant de contester une pratique qui produit des résultats discriminatoires sans avoir à prouver une intention, dès lors qu'une solution moins discriminatoire était disponible. La Cour suprême a confirmé que de telles actions sont recevables au titre du Fair Housing Act. Pour le crédit relevant de l'Equal Credit Opportunity Act, la porte s'est rétrécie : une règle du CFPB entrée en vigueur en 2026 dispose que l'ECOA n'autorise pas la responsabilité fondée sur l'effet discriminatoire, et le Bureau a retiré en 2025 ses lignes directrices sur les avis de refus fondés sur des algorithmes. Là où ces actions subsistent, l'analyse des solutions moins discriminatoires exige de comprendre le modèle : quelles variables il utilise, comment elles sont pondérées, ce qui changerait si certaines étaient exclues ou repondérées. Lorsque le modèle est propriétaire et que son concepteur invoque le secret des affaires, un cadre théoriquement ouvert aux plaignants peut devenir très difficile à utiliser en pratique.

La loi du fil d’actualité

Meta affirme que sa famille d’applications (Facebook, Instagram, Messenger, WhatsApp) a réuni en moyenne environ 3,6 milliards de personnes actives par jour en juin 2026. La planète entière en compte un peu plus de 8 milliards. L’audience quotidienne de Meta dépasse la population de n’importe quel pays au monde.

YouTube ne donne pas de chiffre global ; la plateforme affirme que ses seuls Shorts attirent « des milliards » d’utilisateurs connectés par mois. TikTok a annoncé 1 milliard d’utilisateurs mensuels en 2021. X, l’ancien Twitter, a cessé de publier ses chiffres d’utilisateurs dans des documents publics en quittant la Bourse, et les quelque 600 millions d’utilisateurs mensuels revendiqués par Elon Musk n’ont jamais été vérifiés de manière indépendante.

Inutile d’additionner ces chiffres. Les recoupements sont énormes ; la plupart des utilisateurs de TikTok utilisent aussi Instagram. Le chiffre de Meta, à lui seul, dit quelque chose de précis. Une entreprise privée prend des milliards de fois par jour des décisions contraignantes sur ce que ces 3,6 milliards de personnes peuvent dire, ce qu’elles peuvent voir, quels contenus leur parviennent et lesquels ne leur parviennent pas. Ces décisions sont prises dans leur écrasante majorité par des systèmes algorithmiques. Les politiques écrites sont publiques ; la machinerie de classement et d’application qui les met en œuvre ne l’est pas. L’Union européenne constitue la grande exception : depuis 2024, le règlement sur les services numériques garantit aux utilisateurs une décision motivée, un recours gratuit et l’accès à des organismes indépendants de règlement des litiges. L’Inde dispose d’un comité gouvernemental d’appel des réclamations, le Grievance Appellate Committee, dont les plateformes doivent appliquer les décisions. Dans la plupart des autres pays, un utilisateur ordinaire n’a aucun recours juridiquement contraignant.

La défense habituelle de cet état de choses veut que la modération des contenus s’apparente au jugement éditorial, qu’un rédacteur en chef qui décide de ce qu’il publie exerce le même type de discrétion que les systèmes de Meta. L’analogie ne résiste pas à l’épreuve de l’échelle. Même les plus grands journaux comptent leurs lecteurs en millions, non en milliards, et aucun ne prétend être une infrastructure publique. Lorsque les élections, les manifestations, les urgences sanitaires et les archives publiques de milliards de personnes vivent sur une plateforme, et que les algorithmes de cette plateforme décident quelles voix sont amplifiées et lesquelles sont étouffées en ces moments-là, il s’agit d’un pouvoir réglementaire, à l’effet contraignant et aux conséquences réelles. Il est aussi obligatoire dans les faits : on ne peut pas prendre part à ces espaces publics à une échelle comparable par l’intermédiaire d’une plateforme concurrente aux règles différentes, car aucune autre n’approche cette portée.

Aucune loi nationale sur l’expression n’a jamais été appliquée à une telle échelle. Les gouvernements en ont le pouvoir, mais aucun n’a jamais eu besoin de bâtir une infrastructure de contrôle de la parole couvrant 3,6 milliards d’utilisateurs quotidiens dans des dizaines de langues. Ces systèmes l’ont fait, inégalement. Leurs politiques sont publiées, mais les règles opérationnelles qui tranchent chaque cas, les seuils, les classifieurs et les signaux de classement, ne le sont pas.

Le conseil de surveillance de Meta a été créé pour exercer un contrôle indépendant sur les décisions de modération. Le Brennan Center for Justice a fait valoir que ce conseil ne peut pas faire son travail sans accès aux systèmes algorithmiques de Meta, ceux-là mêmes qui prennent l’écrasante majorité des décisions sur ce qui est amplifié, rétrogradé ou supprimé. Le conseil examine après coup une petite fraction de décisions choisies. Ni le conseil ni le public ne peuvent voir la machinerie qui applique les règles.

En 2016 et 2017, Facebook a servi à diffuser des discours de haine contre les Rohingyas en Birmanie. Les enquêteurs de l’ONU ont qualifié la plateforme d’« instrument utile pour ceux qui cherchent à répandre la haine » et jugé la réaction de l’entreprise lente et inefficace ; Facebook comptait trop peu de modérateurs comprenant le birman. La plateforme amplifiait des contenus qu’elle n’était pas en mesure de lire. Aucun mécanisme de responsabilité n’existait pour arrêter, contester ou même documenter le phénomène en temps réel. L’entreprise a reconnu avoir été trop lente à agir.

Les tueries ont été le fait de l’armée. Moins d’un an après la campagne qu’elle a lancée en août 2017, près de 725 000 Rohingyas avaient fui vers le Bangladesh, et les enquêteurs de l’ONU ont jugé prudente une estimation allant jusqu’à 10 000 morts. Facebook n’a pas causé cette campagne, mais la plateforme a véhiculé la haine qui l’a précédée, et lorsqu’une plateforme ne peut pas lire les publications qu’elle amplifie, l’incapacité de modérer commence à produire le même effet qu’une décision de ne pas le faire.

La section 230 et le vide de responsabilité

La section 230 du Communications Decency Act accorde aux plateformes une large immunité de responsabilité pour les contenus publiés par des tiers et pour les décisions de modération prises de bonne foi. Il en résulte une structure juridique dans laquelle les plateformes répondent peu de ce que publient leurs utilisateurs et ne rendent aucun compte public des règles qu'elles y appliquent. Cette immunité a été pensée pour un internet qui n'existe plus, celui de petits services hébergeant des contenus d'utilisateurs, et non d'entités qui prennent chaque jour des décisions de gouvernance contraignantes pour des milliards de personnes. Les efforts actuels pour réformer ou abroger la section 230 sont animés par le même problème structurel que cet article met en évidence : le décalage entre le pouvoir qu'exercent ces systèmes et les mécanismes de responsabilité qui s'attachent aujourd'hui à ce pouvoir. Savoir si la réforme de la section 230 est le bon levier, et quelles conséquences imprévues elle entraînerait, relève d'un autre débat.

Les quatre exigences de la réglementation formelle

Confrontons les quatre critères d’une réglementation légitime au score de détention provisoire, au score de crédit, au filtre d’embauche et au fil d’actualité.

Commençons par la transparence. L’exigence de publication et de consultation de l’APA existe parce que des réglementations secrètes sont incompatibles avec un mode de gouvernement qui requiert le consentement. On ne peut ni consentir réellement à une règle qu’on n’a jamais vue, ni la contester. Un algorithme de détention provisoire attribue un 8 à un prévenu. Ce score pèse sur la question de savoir si la personne dormira chez elle ou en cellule en attendant son procès. La règle qui produit ce 8 n’est pas divulguée. Elle peut être déduite, de manière incomplète et imparfaite, par quelqu’un qui a accès à de vastes jeux de données et aux outils statistiques permettant de la reconstituer par rétro-ingénierie, ce qui est loin de la règle publiée qu’exige la procédure de consultation. Lorsqu’un algorithme de modération retire une publication et que l’utilisateur reçoit une notification invoquant la « violence » ou le « harcèlement », celle-ci ne précise ni quelle norme a été appliquée, ni comment son seuil a été fixé, ni à quel niveau de confiance l’algorithme s’est déclenché. La règle ne peut être déduite que du schéma accumulé des sanctions, un retrait après l’autre.

La transparence est la condition de tout le reste, car nul ne peut connaître et contester une norme juridique qu’il ne voit pas. Ce droit de connaître et de contester explique que les prévenus aient le droit de prendre connaissance des charges retenues contre eux, et que les parties soumises à une réglementation aient le droit de participer à son élaboration. Les avocats d’Eric Loomis ont demandé la méthode employée pour restreindre la liberté de leur client. La cour a dit non. Les candidats d’iTutorGroup rejetés automatiquement n’ont jamais su qu’une règle leur avait été appliquée, et encore moins laquelle. Les utilisateurs de Facebook qui reçoivent une notification de retrait apprennent quel Standard de la communauté ils ont enfreint, et rien de l’endroit où sa limite a été tracée. La procédure régulière exige la possibilité de répondre à quelque chose de précis.

Vient ensuite la légitimité démocratique. Les assemblées législatives sont élues. Les agences tiennent leur pouvoir d’une délégation du législateur, sont supervisées par des élus et soumises aux exigences procédurales de l’APA. Leurs décisions peuvent être contestées devant les tribunaux fédéraux. Les entreprises privées qui déploient des algorithmes régissant l’accès au crédit, à l’emploi, à la liberté et à l’expression pour des centaines de millions ou des milliards de personnes n’ont aucune structure de responsabilité équivalente. Elles rendent des comptes à leurs actionnaires, non aux populations qu’elles gouvernent. Lorsque les décisions d’une entreprise sur ses produits deviennent des décisions de gouvernement, une structure de responsabilité conçue pour des produits ne suffit plus.

Reste enfin la responsabilité juridique, qui rend les trois autres exigences opposables. Responsabilité civile, responsabilité du fait des produits, responsabilité administrative : tout cela existe pour imputer les torts lorsque l’exercice du pouvoir cause un préjudice. Face aux préjudices algorithmiques à l’échelle de populations entières, aucun de ces mécanismes ne fonctionne convenablement. Pour obtenir la certification d’une action de groupe, la procédure civile fédérale exige de démontrer des questions de droit ou de fait communes à l’ensemble du groupe. Lorsque la règle est propriétaire et que le préjudice se disperse en millions de petits torts individuels, des prêts refusés aux scores de détention faussement positifs en passant par les publications étouffées, l’exigence d’une question commune est structurellement difficile à satisfaire sans accès au modèle lui-même. Le préjudice agrégé est énorme. Les cas individuels restent invisibles pour des mécanismes juridiques conçus pour juger des affaires individuelles.

Revenons à la transaction d’iTutorGroup : moins de 1 825 dollars par personne, en moyenne, pour une chance d’emploi perdue. Ce chiffre ne donne pas même une idée approximative du préjudice réel. La formation et le contrôle imposés par le jugement d’accord ne lient qu’une seule entreprise ; pour toute autre qui évalue le risque, le prix inscrit au dossier est la somme versée. Changeons d’échelle : si un algorithme rejette 20 000 candidats pour des motifs discriminatoires et que chacun transige au même tarif, la responsabilité potentielle reste inférieure à 36,5 millions de dollars. Pour une entreprise dont le chiffre d’affaires se compte en centaines de millions, c’est un coût d’exploitation comme un autre.

Les quatre exigences dépendent les unes des autres : sans transparence, la procédure régulière n’a rien de précis à contester, et sans l’une ni l’autre, la responsabilité est difficile à établir. Le pouvoir réglementaire algorithmique ne satisfait aujourd’hui pleinement à aucune des quatre.

La riposte et ses limites

Le règlement européen sur l’intelligence artificielle est entré en vigueur en août 2024. C’est à ce jour le cadre réglementaire le plus complet conçu pour faire face à l’autorité algorithmique.

Sa portée est considérable. Le règlement classe les systèmes d’IA par niveau de risque. Sa liste des systèmes à haut risque, qui supportent l’intégralité des obligations de conformité, cite expressément la notation de crédit, le recrutement et l’évaluation des performances, ainsi que la justice pénale : les outils qui évaluent le risque qu’une personne commette une infraction ou récidive, et l’IA qui aide les juges à appliquer le droit. Pour ces systèmes, le règlement impose des évaluations de conformité avant la mise en service, un contrôle humain et la transparence envers les personnes concernées ; les organismes publics et les acteurs de la notation de crédit doivent en outre réaliser une analyse d’impact sur les droits fondamentaux. Les personnes visées par des décisions de la plupart de ces systèmes répertoriés obtiennent un droit à l’explication lorsqu’une décision produit des effets juridiques ou des conséquences négatives importantes sur leur santé, leur sécurité ou leurs droits fondamentaux. Enfreindre les règles applicables au haut risque peut coûter jusqu’à 15 millions d’euros ou 3 % du chiffre d’affaires annuel mondial. Ces obligations devaient initialement s’appliquer en août 2026 ; une modification ultérieure, déjà en vigueur, a reporté les exigences applicables au haut risque à décembre 2027. Le droit à l’explication a conservé sur le papier sa date d’août 2026, mais il s’attache à des systèmes à haut risque dont les règles de classification ont été reportées avec le reste.

Ces exigences n’ont rien de symbolique. COMPAS, s’il était déployé en Europe au titre des systèmes à haut risque répertoriés, devrait passer une évaluation de conformité obligatoire et une analyse d’impact sur les droits fondamentaux avant usage. Le système d’évaluation vidéo de HireVue, s’il servait à des décisions d’embauche concernant des travailleurs établis dans l’UE, serait soumis à un contrôle humain et à des droits à l’explication.

Aux États-Unis, les avancées sont plus fragmentaires. Depuis 2023, la ville de New York impose des audits de biais indépendants annuels, aux résultats publiés, pour les outils automatisés de décision en matière d’emploi utilisés dans le recrutement ou la promotion à des postes basés à New York. Depuis janvier 2026, l’Illinois interdit d’utiliser l’IA dans les décisions d’emploi d’une manière qui aboutit à une discrimination illégale, proscrit les codes postaux comme substituts de caractéristiques protégées et oblige les employeurs à prévenir lorsque l’IA intervient dans des décisions d’embauche ou d’emploi. Le Colorado a remplacé sa loi sur l’IA, jamais appliquée, par une loi plus étroite sur la prise de décision automatisée dans les décisions lourdes de conséquences, qui entre en vigueur en janvier 2027 : information avant usage, explication en langage clair après une décision défavorable, correction des données inexactes et droit de demander un réexamen humain digne de ce nom.

Ce sont de vrais progrès sur un problème que personne ne réglementait sérieusement il y a cinq ans, mais ils partagent une limite structurelle. Hormis quelques interdictions pures et simples, comme celle du règlement sur l’IA de prédire le risque qu’une personne commette une infraction sur la seule base du profilage ou de traits de personnalité, et celle de l’Illinois visant les usages discriminatoires, ils passent principalement par des normes de conception, la documentation, l’audit et la divulgation. Ils exigent que quelqu’un, auditeur, régulateur ou équipe de conformité, évalue si le système est équitable. Au mieux, ils offrent à la personne gouvernée par le système une explication, la correction de données erronées ou un second examen par un humain. Aucun ne permet à cette personne d’inspecter la règle elle-même. Le droit à l’explication prévu par le règlement européen signifie qu’une personne visée par une décision de la plupart des systèmes à haut risque répertoriés, lorsque cette décision a des effets juridiques ou des conséquences négatives importantes sur sa santé, sa sécurité ou ses droits fondamentaux, doit en recevoir une explication. Il ne signifie pas qu’elle puisse examiner les poids du modèle, la composition des données d’entraînement ou la méthode algorithmique. La personne apprend pourquoi une décision lui a été défavorable, sans aucun moyen d’auditer le système qui l’a prise.

Le décalage structurel est un problème distinct. Le cadre du règlement européen pour le haut risque a été construit autour des systèmes d’IA tels qu’ils existaient à peu près entre 2020 et 2022. Le temps que la conformité devienne obligatoire, les systèmes visés auront connu plusieurs changements de génération. Les réglementations s’écrivent en années ; les systèmes algorithmiques évoluent en mois. Le décalage tient au rythme de la fabrique des lois face à celui de la technologie ; une meilleure rédaction ne l’aurait pas comblé.

L’expérience du RGPD invite à modérer les attentes. Son article 22, applicable depuis 2018, a donné aux personnes dans l’UE le droit de ne pas faire l’objet de décisions entièrement automatisées aux effets importants, sauf si la décision est nécessaire à un contrat, autorisée par la loi ou explicitement consentie ; d’autres articles y ont ajouté le droit d’obtenir des informations utiles sur la logique sous-jacente. Sur le papier, le dispositif est solide. Les lignes directrices européennes précisent qu’une entreprise ne peut s’y soustraire en « fabriquant une intervention humaine », et la plus haute juridiction de l’UE en a élargi la portée : en 2023, elle a jugé qu’un score de crédit peut constituer en soi une décision automatisée, et en 2025, qu’une personne à qui l’on refuse un crédit a droit à une explication de la procédure et des principes effectivement appliqués à son cas, les objections tirées du secret des affaires devant être pesées par un juge ou une autorité de contrôle plutôt qu’acceptées sur la seule parole de l’entreprise. En pratique, il a fallu sept ans et des contentieux répétés pour en arriver là. Les droits à l’explication du règlement sur l’IA appellent la même prudence.

L'article 22 du RGPD, ou le scepticisme appris

L'article 22 du RGPD, applicable depuis 2018, donne aux personnes dans l'UE le droit de ne pas faire l'objet de décisions entièrement automatisées lourdes de conséquences, sauf exceptions pour les contrats, l'autorisation légale et le consentement explicite ; les articles du règlement consacrés à la transparence y ajoutent le droit d'obtenir des informations utiles sur la logique sous-jacente. En pratique, son effet a été limité. Le seuil du « fondé exclusivement sur un traitement automatisé » a ouvert la voie à un contournement, une mince couche de validation humaine, alors même que les lignes directrices européennes précisent qu'une intervention de pure forme ne compte pas. Les droits à l'explication ont été contestés pendant des années, jusqu'à ce que la Cour de justice de l'UE juge en 2025 que les personnes ont droit à une explication de la procédure et des principes effectivement appliqués dans leur propre cas, et non à une simple description générique ou à l'algorithme brut. La disposition sur le droit à l'explication de l'article 86 du règlement européen sur l'IA a été rédigée en tenant compte des échecs de l'article 22. Si l'article 22 sert de guide, ce sont l'application et les tribunaux qui décideront si la nouvelle disposition fera mieux que l'ancienne.

Le paradoxe de la responsabilité

Les mécanismes juridiques dont nous disposons pour contester l’exercice du pouvoir ont été conçus pour traiter des actes individuels, accomplis par des décideurs identifiables selon des règles énoncées. Une loi est contestée par une personne dans une affaire. Un règlement d’agence est contesté par la procédure de consultation ou par un recours fondé sur l’APA. Une décision administrative fait l’objet d’un appel devant une instance de contrôle. Un fonctionnaire qui discrimine peut être appelé à déposer. Ces mécanismes supposent une structure précise : une décision singulière, une règle énoncée, un requérant capable d’identifier le préjudice, un décideur qu’on peut interroger.

Le pouvoir réglementaire algorithmique fait voler en éclats toutes ces hypothèses à la fois. Pour contester une décision algorithmique en justice, il faut en général réunir, dans des proportions variables, trois éléments : la règle qui l’a produite, propriétaire et généralement accessible seulement par la communication des pièces sous ordonnance de confidentialité ; un contrefactuel montrant ce qu’il aurait fallu pour obtenir un autre résultat, difficile à construire sans accès au modèle ou sans explication complète de l’entreprise ; et, pour une action en discrimination, la preuve d’un schéma récurrent, qui suppose des données à l’échelle de la population dont la personne lésée ne dispose presque certainement pas.

La réponse de la Cour suprême du Wisconsin a été d’exiger des avertissements écrits. Un avertissement dans le rapport présentenciel nomme le problème, et le prévenu peut encore contester le score à l’aide d’autres éléments de preuve, mais rien dans cet avertissement ne lui permet d’examiner le calcul.

L’habilitation démocratique est absente à chacun des moments où elle aurait pu être établie. Le conseil de surveillance de Meta n’a pas accès à l’algorithme qu’il est censé superviser. Le CFPB peut exiger le modèle d’un prêteur dans le cadre d’une enquête, mais l’emprunteur que ce modèle a noté n’a droit qu’à une liste de motifs. La Cour suprême du Wisconsin a refusé d’ordonner l’ouverture de COMPAS. À chaque occasion d’imposer une responsabilité, l’intérêt propriétaire a été traité comme une barrière que les pouvoirs publics ne franchiraient pas. Aucune loi n’exigeait cette déférence, et aucune de ces instances n’a poussé la question jusqu’au bout.

Ce qui rend les systèmes algorithmiques intéressants à déployer à grande échelle, c’est leur constance sur des millions de cas, leur rapidité et l’élimination du pouvoir discrétionnaire humain, qui produit ses propres défaillances discriminatoires. Ce sont précisément ces caractéristiques qui les rendent illisibles pour les mécanismes de responsabilité élaborés par le droit. Un conseiller de crédit partial ou un juge partial doit rendre des comptes d’une manière qu’un algorithme partial ignore, et le système juridique n’a pas encore trouvé comment demander à l’algorithme les mêmes comptes.

Les cadres en construction aujourd’hui, du règlement européen sur l’IA aux lois de New York, du Colorado et de l’Illinois, auditent le système et expliquent la décision. Ils n’ouvrent pas le modèle à la personne qu’il note.

Les systèmes algorithmiques peuvent produire des résultats systématiquement discriminatoires pendant des années avant qu’aucune contestation soit possible, parce que la contestation requiert un accès qu’on refuse à celui qui conteste. iTutorGroup a discriminé des centaines de candidats pendant toute la durée, quelle qu’elle soit, où le système a été en service avant que l’EEOC n’engage des poursuites. HireVue a noté des candidats en partie sur leurs expressions faciales pendant des années avant d’abandonner cette fonction, jugée sans valeur suffisante. COMPAS sert au prononcé des peines dans plusieurs États depuis plus de dix ans. Quand une contestation survient, elle survient après le préjudice, et l’issue finale ne répare pas le tort subi par les personnes lésées entre-temps.

Retour au Wisconsin

Lisez les mises en garde que la Cour suprême du Wisconsin a exigées dans chaque rapport présentenciel COMPAS, dans les termes mêmes de la cour : « Le caractère propriétaire de COMPAS a été invoqué pour empêcher la divulgation d’informations relatives à la manière dont les facteurs sont pondérés ou dont les scores de risque sont déterminés. » « Parce que les scores d’évaluation du risque COMPAS reposent sur des données de groupe, ils permettent d’identifier des groupes de délinquants à haut risque — et non un individu à haut risque en particulier. » « Certaines études des scores d’évaluation du risque COMPAS ont soulevé la question de savoir s’ils classent de manière disproportionnée les délinquants issus de minorités comme présentant un risque de récidive plus élevé. » « Une évaluation du risque COMPAS compare les prévenus à un échantillon national, mais aucune étude de validation croisée portant sur la population du Wisconsin n’a encore été menée à terme. Les outils d’évaluation du risque doivent être constamment surveillés et réétalonnés pour rester exacts, en raison de l’évolution des populations et des sous-populations. » Et : « COMPAS n’a pas été conçu pour le prononcé des peines, mais était destiné à être utilisé par l’administration pénitentiaire pour prendre des décisions relatives au traitement, à la surveillance et à la libération conditionnelle. »

Ce sont les propres constats de la cour sur ce qui n’a pas été vérifié et ce qui pourrait être faux. Après les avoir énumérés, elle a tout de même autorisé le score lors du prononcé des peines, dans les limites qu’elle avait fixées. L’avertissement dit au juge chargé de fixer la peine que cet outil pourrait discriminer, qu’il n’a pas été validé pour l’État, qu’il n’a pas été conçu pour le prononcé des peines et qu’il fonctionne selon des règles que personne dans la salle d’audience ne peut inspecter.

Le juge peut minorer le score, et le prévenu peut le contester par d’autres éléments de preuve. Mais personne, ni le juge, ni le prévenu, ni la cour d’appel, n’a les moyens d’ouvrir le calcul lui-même.

Avertissement relatif à l’IA générative

Certains contenus de cette page ont été générés et/ou édités avec l’aide d’une IA générative.

Médias

Diagramme d’un algorithme de la machine analytique pour le calcul des nombres de Bernoulli, tiré de Sketch of The Analytical Engine Invented by Charles Babbage de Luigi Menabrea, avec les notes d’Ada Lovelace – Wikipédia

Principales sources et références

Criminal justice and COMPAS

Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, « Machine Bias, » ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

ProPublica, « How We Analyzed the COMPAS Recidivism Algorithm, » May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

« ProPublica Responds to Company’s Critique of Machine Bias Story, » ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story

equivant, « Who is equivant? » FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/

State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01

Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm

Alexandra Chouldechova, « Fair prediction with disparate impact: A study of bias in recidivism prediction instruments, » Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524

Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, « Inherent trade-offs in the fair determination of risk scores, » Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf

Law, regulation and accountability

Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.

Frank Pasquale, The Black Box Society. Harvard University Press, 2015.

Frank Pasquale, « From Territorial to Functional Sovereignty: The Case of Amazon, » LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/

Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553

« State action, » Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action

Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23

Credit and hiring

myFICO, « What’s in my FICO Scores? » https://www.myfico.com/credit-education/whats-in-your-credit-score

CFPB, DOJ Civil Rights Division, EEOC and FTC, « Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems, » April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf

Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 (« Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal, » 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal

Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b

National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/

Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371

« HireVue drops facial monitoring amid A.I. algorithm audit, » Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/

EPIC, « In re HireVue, » FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue

EEOC, « iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit, » September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit

Platforms and speech

Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm

United Nations, « Population » (Global Issues). https://www.un.org/en/global-issues/population

YouTube Official Blog, Press. https://blog.youtube/press/

TikTok Newsroom, « Thanks a billion! » September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en

« Musk Says X Has 600 Million Monthly Active Users, » Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users

Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/

European Commission, « Digital Services Act: Questions and answers » and « Out-of-court dispute settlement bodies under the Digital Services Act. » https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement

Grievance Appellate Committee, Government of India (appeals against intermediaries’ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/

Faiza Patel and Julian Melendi, « Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job, » Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job

Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf

Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230

New rules: EU and US

Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/

Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, « Digital AI Omnibus Delays Key Deadlines, Introduces New Rules, » August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/

Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng

Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053

Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf

Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf

NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page

Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, « Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence, » 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence

Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, « Colorado Act Legislation: The AI Strikes Back, » May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/

ADVERTISEMENT