Dies ist ein maschinell übersetzter Artikel. Die Originalfassung ist auf Englisch verfügbar.
Eric Loomis stand 2013 vor einem Richter in Wisconsin, nachdem er sich in zwei minder schweren Anklagepunkten schuldig bekannt hatte: Er hatte versucht, sich einer Verkehrskontrolle durch Flucht zu entziehen, und ein Auto ohne Zustimmung des Halters gefahren. Der Staat brachte den Fall mit Schüssen aus einem fahrenden Auto in Verbindung, an denen er jede Beteiligung bestritt. Der Bericht zur Vorbereitung der Strafzumessung enthielt eine COMPAS-Risikobewertung, einen Wert von 1 bis 10, den ein proprietärer Algorithmus berechnet hatte, um die Wahrscheinlichkeit eines Rückfalls abzuschätzen. Der Wert war hoch. Seine Anwälte wollten die Methodik prüfen. Man beschied ihnen, sie sei proprietär – Eigentum eines Privatunternehmens namens Northpointe, nicht zur Einsicht für sie bestimmt.
Der Oberste Gerichtshof von Wisconsin entschied 2016, Loomis sei ein faires Verfahren zuteilgeworden, obwohl weder er noch seine Anwälte prüfen konnten, wie sein Score berechnet worden war. Er habe die Eingabedaten und das Endergebnis überprüfen können, wenn auch nicht die Logik dazwischen, und der Score sei nicht ausschlaggebend für sein Strafmaß gewesen. Das Gericht verlangte, dass jeder künftige Strafzumessungsbericht, der COMPAS heranzieht, einen schriftlichen Warnhinweis mit den bekannten Schwächen des Algorithmus enthält. Der Warnhinweis war ausführlich und ehrlich, und das Gericht billigte den Einsatz des Algorithmus trotzdem. Wäre der Verteidigung das Strafgesetz selbst vorenthalten worden, hätte jeder die Verletzung des fairen Verfahrens sofort gesehen; weil die versiegelte Regel ein Algorithmus war, behandelte das Gericht sie als Werkzeug.
Worin genau unterscheidet sich ein geheimes Gesetz von einer proprietären Regel, die wie ein Gesetz wirkt?
Was eine Regulierung ausmacht
Eine brauchbare Arbeitsdefinition von Regulierung hat drei Bestandteile: bindende Wirkung, verpflichtende Befolgung und Konsequenzen bei Nichtbefolgung. Nach dieser Definition ist ein Gesetz, das Diskriminierung bei der Kreditvergabe verbietet, eine Regulierung. Funktional gilt das aber auch für einen Algorithmus, der Kreditanträge aus bestimmten Postleitzahlgebieten automatisch ablehnt, eine Wirkung, die nicht weniger real ist, nur weil kein unterzeichnetes Gesetz dahintersteht.
Lawrence Lessig vertrat die These „Code ist Gesetz“: Die Architektur von Software lenkt Verhalten ebenso zuverlässig wie Rechtsnormen. Frank Pasquale argumentiert, dass undurchsichtige algorithmische Systeme heute über Kredit, Beschäftigung und Ansehen bestimmen, ohne Rechenschaft abzulegen. Wenn ein Algorithmus bereits als Regulierung fungiert, bindend, verpflichtend und folgenreich, welche Rechenschaftspflicht sollte dann mit dieser Macht einhergehen, und warum geht bisher keine damit einher?
Der funktionale Test lässt sich sauber auf die Bereiche anwenden, in denen algorithmische Autorität die größten Folgen hat. Einem Risikoscore bei der Haftentscheidung entkommt man nicht: Der Beschuldigte kann nicht wählen, ob er bewertet wird, kann keine andere Kennzahl an dessen Stelle setzen und sich keiner Zahl entziehen, die schwer dafür ins Gewicht fällt, ob er bis zum Prozess in einer Zelle schläft oder zu Hause. Hinter einer algorithmischen Kreditentscheidung steht kein einzelner Entscheider, den man befragen könnte, kein Ermessensurteil, das sich anzweifeln ließe. Der Algorithmus erzeugt eine Regel; die Regel erzeugt ein Ergebnis; das Ergebnis ist endgültig, es sei denn, der Antragsteller kämpft sich durch ein Beschwerdeverfahren, das die Bewertungslogik selbst nie offenlegt. Die Löschung durch die Inhaltsmoderation geschieht sofort: Der Beitrag ist weg. Welcher Widerspruch gewöhnlichen Nutzern auch offensteht, er wird an einem so allgemeinen Inhaltsstandard wie „Belästigung“ oder „Gewalt“ entschieden, der keine echte Grundlage für eine Anfechtung bietet.
Formelle Regulierung erfüllt vier Kriterien der Rechenschaft, die diesen Systemen fehlen. Transparenz: In den Vereinigten Staaten schreibt der Administrative Procedure Act für die meisten verbindlichen Behördenregeln ein Notice-and-Comment-Verfahren vor: Die Regel muss zur Stellungnahme veröffentlicht werden, bevor sie irgendjemanden binden kann. Faires Verfahren: Das Recht, den auf einen selbst angewandten rechtlichen Maßstab zu kennen und anzufechten, ist ein Fundament der Herrschaft des Rechts. Demokratische Legitimität: Die Befugnis, verbindliche Regeln zu erlassen, leitet sich in einer Verfassungsdemokratie aus Ermächtigungsverfahren ab, die auf gewählte Gremien zurückgehen. Haftung: Es gibt Mechanismen, um Verantwortung zuzuweisen, wenn Regierungshandeln Schaden anrichtet.
Algorithmische Systeme, wie sie derzeit eingesetzt werden, erfüllen keines dieser Kriterien vollständig; bestenfalls tragen sie Bruchstücke davon, je nach Land und Branche. Der übliche Einwand lautet, dass der Fünfte und der Vierzehnte Zusatzartikel der Verfassung und die verfassungsrechtliche Rechenschaft überhaupt den Staat binden, nicht private Unternehmen. Verfassungsrechtlich ist das richtig, doch es beantwortet eine andere Frage: ob Systeme, die im funktionalen Sinn regulatorische Macht über ganze Bevölkerungen ausüben, in einem dieser Macht entsprechenden Maß rechenschaftspflichtig sein sollten, und für diese Frage passt ein verwaltungsrechtlicher Rahmen besser als ein verfassungsrechtlicher. Niemand muss Meta der Bill of Rights unterwerfen, um zu fragen, warum Systeme mit größerer Steuerungsreichweite als die meisten Regierungen mit weniger Rechenschaft operieren sollten, als irgendeiner Regierung erlaubt ist.
Staatliches Handeln und seine Grenzen
Nach der State-Action-Doktrin binden die Grundrechte der Bill of Rights staatliche Akteure, nicht private Unternehmen. Ein privater Arbeitgeber kann die Meinungsäußerung einschränken, ohne dass der Erste Zusatzartikel berührt wäre. Eine private Plattform kann Beiträge entfernen, ohne Anforderungen an ein faires Verfahren auszulösen. Frank Pasquale argumentiert, dass dominante Plattformen inzwischen „funktionale Souveränität“ ausüben, indem sie Märkte und Verhalten auf eine Weise regulieren, die einst Regierungen vorbehalten war, und dass Macht dieser Art eine Rechenschaft nach dem Muster des öffentlichen Rechts verlangt. Die KI-Verordnung der EU umgeht das State-Action-Problem stillschweigend, indem sie einen funktionalen Ansatz wählt: Sie reguliert KI-Systeme danach, was sie tun und wen sie betreffen, nicht danach, ob eine Regierung sie eingesetzt hat. Ein System nach seiner Funktion zu beurteilen statt danach, wer es betreibt, ist der richtige Rahmen für algorithmische Autorität.Freiheit nach Punkten: COMPAS und die Strafzumessungsmaschine
COMPAS, kurz für Correctional Offender Management Profiling for Alternative Sanctions, ist ein proprietäres Instrument zur Risikobewertung, entwickelt von Northpointe, heute Equivant. Es erzeugt einen Score von 1 bis 10, der die Wahrscheinlichkeit schätzt, dass ein Beschuldigter rückfällig wird. Dieser Score wurde in mehreren US-Bundesstaaten bei Entscheidungen über Untersuchungshaft, Strafzumessung und vorzeitige Entlassung auf Bewährung herangezogen.
2016 nutzten Reporter von ProPublica das Informationsfreiheitsgesetz Floridas, um die COMPAS-Scores von mehr als 7.000 Beschuldigten aus Broward County zu beschaffen, die 2013 und 2014 festgenommen worden waren, und verfolgten, wer in den folgenden zwei Jahren erneut festgenommen wurde. Unter den Beschuldigten, die nicht erneut festgenommen wurden, war bei Schwarzen fast doppelt so häufig wie bei Weißen ein mittleres oder hohes Risiko vermerkt worden.
Northpointe entgegnete, die COMPAS-Scores seien kalibriert: Ein Wert von 7 sage unabhängig von der Hautfarbe eines Beschuldigten ungefähr dieselbe Rückfallwahrscheinlichkeit voraus. Die Daten stützten beide Behauptungen, weil sie Verschiedenes messen. Die Kalibrierungsbehauptung betrifft die Vorhersagegenauigkeit über Gruppen hinweg. Die Ungleichheit bei den falsch Positiven betrifft das, was Menschen widerfährt, die nicht rückfällig werden, und unter ihnen sind die zu Unrecht Markierten überproportional Schwarze. Ein Algorithmus kann einen Kalibrierungstest bestehen und trotzdem Ergebnisse liefern, die eine Bevölkerungsgruppe am härtesten treffen. Welches Fairnesskriterium zählt, ist eine politische Frage, und doch hat keine öffentliche Stelle diese Wahl für COMPAS je getroffen.
Der Konflikt steckt in der Mathematik, und er ist bewiesen: Wenn sich die Rückfallquoten zwischen Gruppen unterscheiden, kann eine Hochrisikoeinstufung, die für jede Gruppe gleich gut vorhersagt, nicht zugleich beiden Gruppen gleiche Raten falsch positiver und falsch negativer Ergebnisse bescheren, es sei denn, die Vorhersagen sind perfekt. Alles zugleich ist nicht zu haben. Keine bessere Methodik hätte den Streit zwischen ProPublica und Northpointe beilegen können, und das macht das Argument für Rechenschaft umso dringlicher. Wenn es keine rein technische Antwort darauf gibt, wie Fairnesskriterien gegeneinander abzuwägen sind, dann muss jemand die Wahl treffen, und wer immer sie trifft, sollte dafür Rechenschaft ablegen.
Eric Loomis war keiner Gewalttat überführt worden: Er hatte sich schuldig bekannt, vor einem Polizisten geflohen zu sein und ein Auto ohne Zustimmung des Halters gefahren zu haben, während die Anklagepunkte im Zusammenhang mit den Schüssen, die er bestritt, fallen gelassen, aber bei der Strafzumessung dennoch berücksichtigt wurden („read in“). Sein COMPAS-Score fiel hoch aus. Er focht dessen Verwendung bei der Strafzumessung mit Berufung auf sein Recht auf ein faires Verfahren an: Der proprietäre Charakter des Algorithmus, argumentierte er, hindere ihn daran, die wissenschaftliche Gültigkeit dessen anzufechten, was das Gericht heranzog, um seine Freiheit zu beschränken.
Die Antwort des Obersten Gerichtshofs von Wisconsin in State v. Loomis lautete, dem fairen Verfahren sei Genüge getan, weil der Angeklagte die Richtigkeit der Eingabedaten überprüfen könne – sein Vorstrafenregister, seine Antworten im Fragebogen vor der Strafzumessung. Ein Recht darauf, zu erfahren, wie diese Eingaben gegeneinander gewichtet wurden oder wie die Bewertungslogik daraus eine Zahl machte, hatte er nicht.
Er hatte das Recht zu prüfen, ob die über ihn eingegebenen Daten stimmten, und mit dem Score zu streiten, der am anderen Ende herauskam. Damit ließ sich ein falscher Eintrag in seiner Akte aufspüren, aber kein Fehler in der Art, wie aus der Akte ein Risikoscore wurde.
Eines tat das Gericht allerdings, das Beachtung verdient. Es verlangte, dass jeder Strafzumessungsbericht, der sich auf COMPAS stützt, einen schriftlichen Hinweis enthält, der die Grenzen seiner Verwendung darlegt und eine Reihe von Warnungen aufführt: dass seine Funktionsweise geheim gehalten wird, dass es Hochrisikogruppen erkennt und nicht Hochrisikopersonen, dass Studien die Frage aufgeworfen haben, ob es Straftäter aus Minderheiten als riskanter einstuft, dass es nicht an einer Population aus Wisconsin validiert worden war und dass COMPAS überhaupt nicht für die Strafzumessung entwickelt wurde, sondern für Entscheidungen des Strafvollzugs über Behandlung, Aufsicht und Bewährung.
Nachdem das Gericht schriftlich festgehalten hatte, was an dem Algorithmus falsch sein könnte, billigte es seinen Einsatz dennoch, wenn auch mit einem Zaun darum: Ein Risikoscore darf nicht darüber entscheiden, ob jemand ins Gefängnis kommt oder für wie lange, und darf nie der ausschlaggebende Faktor sein. Nichts in dem Urteil erlaubte dem Angeklagten zu sehen, wie sein Score berechnet worden war.
Der Oberste Gerichtshof der USA lehnte es 2017 ab, den Fall anzunehmen. Ob proprietäre algorithmische Werkzeuge die Freiheit eines Menschen beschränken dürfen, ohne dass es irgendeine Möglichkeit gibt, ihre Methodik zu prüfen, ist eine Frage, die das höchste Gericht des Landes bis heute nicht beantwortet hat.
Die mathematische Unmöglichkeit der Fairness
Unterscheidet sich die Grundrate des relevanten Ereignisses (hier: Rückfall) zwischen Bevölkerungsgruppen, zeigen zwei mathematische Beweise, dass Fairnesskriterien miteinander kollidieren. Ein Score kann nicht kalibriert sein (ein bestimmter Score bedeutet in jeder Gruppe dasselbe reale Risiko) und zugleich den Menschen, die rückfällig werden, und denen, die es nicht werden, in jeder Gruppe denselben durchschnittlichen Score geben. Werden Scores in Hoch- und Niedrigrisikoeinstufungen aufgeteilt, können diese Einstufungen nicht für jede Gruppe gleich gut vorhersagen (derselbe Anteil der als riskant Eingestuften wird rückfällig) und zugleich gleiche Raten falsch positiver und falsch negativer Ergebnisse aufweisen. Keines dieser Kriterienpaare lässt sich zugleich erfüllen, es sei denn, die Vorhersagen sind perfekt, was sie in der Praxis nie sind, und keine Verbesserung bei Design oder Daten kommt daran vorbei: Es ist eine mathematische Eigenschaft der Situation. Northpointes Verteidigung von COMPAS hielt bei der Kalibrierung stand und ließ die Frage der Rechenschaft unberührt: Wer hat entschieden, welches Fairnesskriterium gelten soll, auf welcher Grundlage und mit welcher Legitimität? Das Unmöglichkeitsergebnis erledigt die Fairnessdebatte nicht. Es zeigt, dass die Wahl eine politische ist, und deshalb ist der Schutz proprietärer Interessen der falsche Ort, um sie zu treffen.Die unsichtbare Regel: Kredit, Einstellung und wirtschaftliches Leben
Einem einfachen Vergleich hat sich das Recht bisher nicht angemessen gestellt. Eine Kreditsachbearbeiterin, die diskriminiert, ist zumindest im Prinzip zur Rechenschaft zu ziehen. Man kann sie unter Eid befragen, ihre E-Mails herausverlangen, ihre Notizen zu Antragstellern prüfen. Die Gründe für ihre Entscheidungen lassen sich vor Gericht untersuchen, am Maßstab des Fair Housing Act oder des Equal Credit Opportunity Act anfechten und bis zu einem Urteil verhandeln. Ein diskriminierender Algorithmus, der dieselben rassistisch ungleichen Ergebnisse bei der Kreditvergabe hervorbringt, bietet nichts davon. Der Kreditgeber kann weiterhin dazu verpflichtet werden, Zeugen und Unterlagen dazu vorzulegen, wie das Modell entwickelt und getestet wurde, aber es gibt keinen einzelnen Entscheider, den man dazu befragen könnte, warum dieser Antragsteller abgelehnt wurde. Die Regel, die das Ergebnis erzeugt hat, ist proprietär, und ein Kläger kommt an sie meist nur heran, wenn er einen Streit im Discovery-Verfahren gewinnt, unter einer Schutzanordnung, nachdem er ein Gericht überhaupt erst von ihrer Relevanz überzeugt hat.
FICO-Scores, das maßgebliche Maß für Kreditwürdigkeit bei Verbraucherkrediten in den USA, werden nach einer proprietären Formel berechnet. FICO veröffentlicht fünf grobe Kategorien und ihre ungefähre Gewichtung (Zahlungshistorie 35 Prozent, offene Verbindlichkeiten 30, Dauer der Kredithistorie 15, neue Kredite 10, Kreditmix 10), nicht aber das Modell selbst. Verbraucher haben gewisse Rechte, die Richtigkeit der zugrunde liegenden Daten zu bestreiten, etwa einer versäumten Zahlung oder eines Inkassofalls, aber kein Recht, anzufechten, wie diese Eingaben gegeneinander gewichtet werden. Diese Gewichtung ist der proprietäre Teil, und funktional betrachtet ist sie die Regel.
2023 warnte das Consumer Financial Protection Bureau gemeinsam mit dem Justizministerium, der EEOC und der FTC, dass automatisierte Systeme, die mit historischen Daten trainiert werden, rechtswidrige Voreingenommenheit fortschreiben und Diskriminierung automatisieren können. In Stadtvierteln zeichnen sich noch immer die Umrisse der Redlining-Karten ab. Ein Algorithmus, der mit historischen Daten trainiert wurde und die Postleitzahl als Merkmal nutzt, muss nicht dafür entworfen sein zu diskriminieren. Er kann Diskriminierung passiv aufnehmen, als ererbtes Signal. Die Antwort des Rechts hat sich seither zurückentwickelt. 2025 zog das CFPB seine Leitlinie zurück, die bestätigt hatte, dass Kreditgeber, die komplexe, undurchsichtige Modelle einsetzen, Antragstellern dennoch konkrete Gründe für eine Ablehnung nennen müssen; die gesetzliche Pflicht besteht weiter, die Leitlinie ist verschwunden. Dann erklärte eine CFPB-Vorschrift, die 2026 in Kraft trat und inzwischen vor Gericht angefochten wird, der Equal Credit Opportunity Act erlaube überhaupt keine Klagen wegen mittelbarer Diskriminierung (disparate impact). Außerhalb des Wohnungswesens, wo der Fair Housing Act sie weiterhin zulässt, entfiel damit das wichtigste bundesrechtliche Werkzeug, das genau für dieses Problem geschaffen wurde: den Nachweis, dass eine dem Anschein nach neutrale Regel diskriminierende Ergebnisse hervorbringt, obwohl es eine fairere Alternative gegeben hätte.
HireVue zeigt, wie sich das auf dem Arbeitsmarkt auswirkt. Das Unternehmen verkaufte videobasierte Eignungstests vor der Einstellung, die mithilfe von KI Bewerber anhand aufgezeichneter Vorstellungsgespräche bewerteten. Eine Datenschutzorganisation reichte bei der Federal Trade Commission eine Beschwerde ein, in der sie unter anderem behauptete, HireVue habe den Einsatz von Gesichtserkennung wahrheitswidrig bestritten. HireVue hörte 2020 auf, die Mimik von Bewerbern auszuwerten, und erklärte später, warum: Nach eigener Darstellung des Unternehmens hatten nonverbale Signale, darunter die Mimik, für die meisten Stellen nur etwa ein Viertelprozent zur Vorhersagekraft beigetragen, was sich angesichts der Bedenken wegen Voreingenommenheit nicht lohnte. Jahrelang waren Bewerber teilweise nach Gesichtsausdruck und Bewegung bewertet worden, und niemand außerhalb des Unternehmens konnte prüfen, ob das fair war.
Der Fall iTutorGroup ist das unverblümteste Beispiel. Die EEOC verklagte das Online-Nachhilfeunternehmen, weil es seine Bewerbungssoftware so programmiert hatte, dass sie Bewerberinnen ab 55 und Bewerber ab 60 Jahren automatisch ablehnte. Mehr als 200 qualifizierte Bewerber in den USA wurden allein wegen ihres Alters abgelehnt. iTutorGroup willigte ein, zur Beilegung 365.000 Dollar zu zahlen, aufzuteilen unter den Bewerbern, die die Software aussortiert hatte: im Durchschnitt weniger als 1.825 Dollar pro Person für eine verlorene Beschäftigungschance. Der gerichtlich bestätigte Vergleich schrieb außerdem Schulungen gegen Diskriminierung, eine neue Richtlinie und mindestens fünf Jahre Überwachung durch die EEOC vor.
Der strukturelle Punkt ist schwerer einzuklagen als jeder Einzelfall. Diese Systeme produzieren systematische Fehler, die einem Muster folgen und in aggregierten Daten sichtbar sind, gegen die sich Einzelne aber selten wehren können, weil ihnen die Regel, die den Fehler erzeugt, nicht offengelegt wird. Wären es gesetzliche Regeln, ließe sich jede schon ihrem Wortlaut nach anfechten: Man würde die Regel kennen, man wüsste, wie sie auf einen angewandt wurde, man hätte einen Klagegrund. Bei Algorithmen ist der Schaden real und in der Gesamtheit belegt, während die Regel, die ihn erzeugt, für die Geschädigten unsichtbar bleibt.
ECOA, Fair Housing Act und die Offenlegungslücke
Das Recht der mittelbaren Diskriminierung erlaubt es einem Kläger, eine Praxis anzufechten, die diskriminierende Ergebnisse hervorbringt, ohne jeden Nachweis von Absicht, sofern eine weniger diskriminierende Alternative verfügbar war. Der Oberste Gerichtshof der USA hat bestätigt, dass solche Klagen nach dem Fair Housing Act möglich sind. Für die Kreditvergabe nach dem Equal Credit Opportunity Act hat sich die Tür verengt: Eine CFPB-Vorschrift, die 2026 in Kraft trat, stellt fest, dass der ECOA keine Haftung wegen mittelbarer Diskriminierung begründet, und die Behörde zog 2025 ihre Leitlinie zu Ablehnungsbescheiden bei algorithmischen Entscheidungen zurück. Wo Klagen wegen mittelbarer Diskriminierung fortbestehen, setzt die Prüfung weniger diskriminierender Alternativen voraus, dass man das Modell versteht: welche Merkmale es nutzt, wie sie gewichtet sind, was sich ändern würde, wenn einige ausgeschlossen oder anders gewichtet würden. Ist das Modell proprietär und beruft sich sein Entwickler auf den Schutz von Geschäftsgeheimnissen, kann ein Rahmen, der Klägern theoretisch offensteht, in der Praxis sehr schwer nutzbar werden.Das Gesetz des Feeds
Meta gibt an, dass seine App-Familie (Facebook, Instagram, Messenger, WhatsApp) im Juni 2026 im Durchschnitt rund 3,6 Milliarden täglich aktive Menschen erreichte. Auf dem ganzen Planeten leben etwas mehr als 8 Milliarden. Metas tägliches Publikum ist größer als die Bevölkerung jedes einzelnen Staates der Erde.
YouTube nennt keine Gesamtzahl; nach eigenen Angaben ziehen allein seine Shorts „Milliarden“ angemeldeter Nutzer im Monat an. TikTok verkündete 2021 eine Milliarde monatliche Nutzer. X, vormals Twitter, hörte mit dem Rückzug von der Börse auf, Nutzerzahlen in öffentlichen Pflichtmitteilungen zu melden, und die rund 600 Millionen monatlichen Nutzer, die Elon Musk für sich reklamiert hat, wurden nie unabhängig überprüft.
Man sollte diese Zahlen nicht addieren. Die Überschneidungen sind enorm; die meisten, die TikTok nutzen, nutzen auch Instagram. Schon die Zahl von Meta allein sagt etwas Bestimmtes. Ein Privatunternehmen trifft milliardenfach am Tag bindende Entscheidungen darüber, was diese 3,6 Milliarden Menschen sagen dürfen, was sie sehen können, wessen Inhalte sie erreichen und wessen nicht. Diese Entscheidungen treffen ganz überwiegend algorithmische Systeme. Die schriftlichen Richtlinien sind öffentlich; die Ranking- und Durchsetzungsmaschinerie, die sie anwendet, ist es nicht. Die Europäische Union ist die große Ausnahme: Seit 2024 garantiert das Gesetz über digitale Dienste den Nutzern eine begründete Entscheidung, einen kostenlosen Widerspruch und Zugang zu unabhängigen Streitbeilegungsstellen. Indien unterhält ein staatliches Grievance Appellate Committee, dessen Entscheidungen die Plattformen befolgen müssen. In den meisten anderen Ländern hat ein gewöhnlicher Nutzer überhaupt kein rechtlich durchsetzbares Widerspruchsrecht.
Die übliche Verteidigung dieser Ordnung lautet, Inhaltsmoderation gleiche redaktionellem Urteil: Ein Zeitungsredakteur, der entscheidet, was gedruckt wird, übe dieselbe Art von Ermessen aus wie Metas Inhaltssysteme. Die Analogie hält der schieren Größenordnung nicht stand. Selbst die größten Zeitungen zählen ihre Leser in Millionen, nicht in Milliarden, und keine beansprucht, öffentliche Infrastruktur zu sein. Wenn Wahlen, Proteste, gesundheitliche Notlagen und öffentliche Bekanntmachungen von Milliarden Menschen auf einer Plattform stattfinden und deren Algorithmen in solchen Momenten entscheiden, welche Stimmen verstärkt und welche unterdrückt werden, dann ist das regulatorische Macht, mit bindender Wirkung und realen Folgen. Verpflichtend ist sie in der Praxis ebenfalls: Man kann an diesen Öffentlichkeiten in vergleichbarem Umfang nicht über eine konkurrierende Plattform mit anderen Regeln teilnehmen, weil keine Alternative auch nur annähernd diese Reichweite hat.
Kein nationales Äußerungsrecht wurde je mit dieser Reichweite durchgesetzt. Regierungen haben die Befugnis, doch keine Regierung musste je eine Durchsetzungsinfrastruktur für Äußerungen von 3,6 Milliarden täglichen Nutzern in Dutzenden Sprachen aufbauen. Diese Systeme haben es getan, wenn auch ungleichmäßig. Ihre Richtlinien sind veröffentlicht, die operativen Regeln aber, die über jeden einzelnen Fall entscheiden, die Schwellenwerte, Klassifikatoren und Ranking-Signale, sind es nicht.
Metas Oversight Board wurde eingerichtet, um Entscheidungen der Inhaltsmoderation unabhängig zu überprüfen. Das Brennan Center for Justice hat argumentiert, dass das Board seine Aufgabe ohne Zugang zu Metas algorithmischen Systemen nicht erfüllen kann, also zu den Systemen, die die überwältigende Mehrheit der Entscheidungen darüber treffen, was verstärkt, was herabgestuft und was entfernt wird. Das Board prüft im Nachhinein einen kleinen ausgewählten Bruchteil der Entscheidungen. Weder das Board noch die Öffentlichkeit kann die Maschinerie sehen, die die Regeln anwendet.
2016 und 2017 wurde Facebook genutzt, um in Myanmar Hassrede gegen die Rohingya zu verbreiten. UN-Ermittler nannten die Plattform „ein nützliches Instrument für diejenigen, die Hass verbreiten wollen“, und beschrieben die Reaktion des Unternehmens als langsam und wirkungslos; Facebook hatte zu wenige Moderatoren, die Birmanisch verstanden. Die Plattform verstärkte Inhalte, die sie nicht lesen konnte. Es gab keinen Mechanismus der Rechenschaft, der das Muster in Echtzeit hätte stoppen, anfechten oder auch nur dokumentieren können. Das Unternehmen räumte ein, zu langsam gehandelt zu haben.
Getötet hat das Militär. Innerhalb eines Jahres nach Beginn der Kampagne, die es im August 2017 startete, waren fast 725.000 Rohingya nach Bangladesch geflohen, und die UN-Ermittler nannten eine Schätzung von bis zu 10.000 Toten konservativ. Facebook hat diese Kampagne nicht verursacht, aber es transportierte den Hass, der ihr vorausging, und wenn eine Plattform die Beiträge, die sie verstärkt, nicht lesen kann, hat die Unfähigkeit zu moderieren allmählich dieselbe Wirkung wie die Entscheidung, es nicht zu tun.
Section 230 und die Immunitätslücke
Section 230 des Communications Decency Act gewährt Plattformen weitreichende Immunität von der Haftung für Inhalte, die Dritte veröffentlichen, und für Moderationsentscheidungen in gutem Glauben. Das Ergebnis ist eine Rechtsordnung, in der Plattformen kaum für das haften, was ihre Nutzer posten, und keinerlei öffentliche Rechenschaft für die Regeln schulden, die sie darauf anwenden. Diese Immunität wurde für ein Internet geschaffen, das es nicht mehr gibt: ein Internet kleiner Dienste, die Nutzerinhalte bereitstellen, nicht eines von Akteuren, die täglich bindende Steuerungsentscheidungen für Milliarden Menschen treffen. Die aktuellen Bestrebungen, Section 230 zu reformieren oder abzuschaffen, entspringen demselben strukturellen Problem, das dieser Artikel benennt: dem Missverhältnis zwischen der Macht, die diese Systeme ausüben, und den Mechanismen der Rechenschaft, die derzeit an diese Macht geknüpft sind. Ob eine Reform von Section 230 der richtige Hebel ist und welche unbeabsichtigten Folgen sie hätte, ist eine andere Debatte.Vier Dinge, die formelle Regulierung verlangt
Man lege die vier Kriterien legitimer Regulierung neben den Haftscore, den Kreditscore, den Bewerbungsfilter und den Feed.
Zuerst die Transparenz. Das Notice-and-Comment-Verfahren des APA gibt es, weil geheime Vorschriften mit einer Form des Regierens unvereinbar sind, die Zustimmung voraussetzt. Einer Regel, die man nie gesehen hat, kann man weder sinnvoll zustimmen noch widersprechen. Ein Haftalgorithmus bewertet einen Beschuldigten mit 8. Dieser Wert fällt ins Gewicht, wenn es darum geht, ob der Mensch bis zum Prozess zu Hause oder in einer Zelle schläft. Die Regel, die die 8 erzeugt, wird nicht offengelegt. Sie lässt sich erschließen, unvollständig und unvollkommen, von jemandem mit Zugang zu großen Datensätzen und den statistischen Werkzeugen, um sie nachzukonstruieren, was weit entfernt ist von der veröffentlichten Regel, die das Notice-and-Comment-Verfahren verlangt. Wenn ein Moderationsalgorithmus einen Beitrag entfernt und der Nutzer eine Benachrichtigung erhält, die sich auf „Gewalt“ oder „Belästigung“ beruft, steht darin nicht, welcher Maßstab angewandt wurde, wie seine Schwelle festgelegt wurde oder ab welchem Konfidenzniveau der Algorithmus ausgelöst hat. Die Regel lässt sich nur aus dem angesammelten Muster der Durchsetzungsergebnisse erschließen, eine Löschung nach der anderen.
Transparenz ist die Voraussetzung für alles Weitere, denn niemand kann einen rechtlichen Maßstab kennen und anfechten, den er nicht sehen kann. Dieses Recht, ihn zu kennen und anzufechten, ist der Grund, warum Angeklagte die Vorwürfe gegen sich einsehen dürfen und warum Regulierte an der Normsetzung mitwirken dürfen. Eric Loomis’ Anwälte verlangten die Methodik, mit der die Freiheit ihres Mandanten beschränkt wurde. Das Gericht sagte nein. Die automatisch abgelehnten Bewerber von iTutorGroup erfuhren nie, dass überhaupt eine Regel auf sie angewandt worden war, geschweige denn welche. Facebook-Nutzer, die eine Löschbenachrichtigung erhalten, erfahren, gegen welchen Gemeinschaftsstandard sie verstoßen haben, und nichts darüber, wo dessen Grenze gezogen wurde. Ein faires Verfahren setzt voraus, dass man auf etwas Bestimmtes antworten kann.
Dann kommt die demokratische Legitimität. Parlamente werden gewählt. Behörden erhalten ihre Befugnisse von Parlamenten, werden von gewählten Amtsträgern beaufsichtigt und unterliegen den Verfahrensvorschriften des APA. Ihre Entscheidungen lassen sich vor Bundesgerichten anfechten. Private Unternehmen, die Algorithmen einsetzen, welche für Hunderte Millionen oder Milliarden Menschen den Zugang zu Kredit, Beschäftigung, Freiheit und freier Rede regeln, haben keine entsprechende Struktur der Rechenschaft. Sie sind ihren Aktionären verantwortlich, nicht den Bevölkerungen, die sie regieren. Wenn die Produktentscheidungen eines Unternehmens zu Regierungsentscheidungen werden, genügt eine für Produkte gebaute Struktur der Rechenschaft nicht mehr.
Und dann ist da die Haftung, die die anderen drei erst durchsetzbar macht. Deliktsrecht, Produkthaftung, verwaltungsrechtliche Verantwortlichkeit: Sie existieren, um Verantwortung zuzuweisen, wenn Regierungshandeln Schaden anrichtet. Bei algorithmischen Schäden, die ganze Bevölkerungen treffen, funktioniert keines davon angemessen. Die Zulassung einer Sammelklage nach dem Zivilprozessrecht des Bundes verlangt den Nachweis von Rechts- oder Tatsachenfragen, die der gesamten Gruppe gemeinsam sind. Ist die Regel proprietär und verteilt sich der Schaden auf Millionen kleiner Einzelschäden, von abgelehnten Krediten über falsch positive Haftscores bis zu unterdrückten Beiträgen, dann ist das Erfordernis gemeinsamer Fragen ohne Zugang zum Modell selbst strukturell kaum zu erfüllen. In der Summe ist der Schaden enorm. Die einzelnen Fälle bleiben für rechtliche Mechanismen unsichtbar, die für die Entscheidung von Einzelfällen gebaut sind.
Zurück zum Vergleich mit iTutorGroup: im Durchschnitt weniger als 1.825 Dollar pro Person für eine verlorene Beschäftigungschance. Diese Zahl kommt dem tatsächlichen Schaden nicht einmal nahe. Schulungen und Überwachung aus dem Vergleich binden ein einziges Unternehmen; für alle anderen, die das Risiko abwägen, ist der aktenkundige Preis das Geld. Man rechne es hoch: Lehnt ein Algorithmus 20.000 Bewerber aus diskriminierenden Gründen ab und wird jeder zum selben Satz abgefunden, liegt die mögliche Haftung unter 36,5 Millionen Dollar. Für ein Unternehmen, dessen Umsatz in die Hunderte Millionen geht, sind das Betriebskosten.
Die vier hängen voneinander ab: Ohne Transparenz hat ein faires Verfahren nichts Bestimmtes, das sich anfechten ließe, und ohne beides ist Haftung schwer zu begründen. Algorithmische Regulierungsmacht erfüllt derzeit keines der vier Kriterien vollständig.
Die Antwort und ihre Grenzen
Die KI-Verordnung der EU trat im August 2024 in Kraft. Sie ist der bislang umfassendste Regulierungsrahmen, der geschaffen wurde, um algorithmischer Autorität beizukommen.
Was sie leistet, ist beachtlich. Die Verordnung ordnet KI-Systeme nach Risikostufen. Ihre Liste der Hochrisikosysteme, für die die vollen Pflichten gelten, nennt ausdrücklich Kreditwürdigkeitsprüfung, Einstellung und Leistungsbewertung sowie die Strafjustiz: Werkzeuge, die das Risiko einer Person einschätzen, eine Straftat zu begehen oder rückfällig zu werden, und KI, die Richter bei der Anwendung des Rechts unterstützt. Für diese Systeme schreibt die Verordnung Konformitätsbewertungen vor dem Einsatz, menschliche Aufsicht und Transparenz gegenüber den Betroffenen vor; öffentliche Stellen und Anbieter von Kreditscorings müssen zudem eine Grundrechte-Folgenabschätzung durchführen. Wer Entscheidungen der meisten dieser gelisteten Systeme unterworfen ist, erhält ein Recht auf Erläuterung, wenn eine Entscheidung Rechtswirkung entfaltet oder seine Gesundheit, Sicherheit oder Grundrechte erheblich beeinträchtigt. Ein Verstoß gegen die Hochrisikoregeln kann bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes kosten. Ursprünglich sollten diese Pflichten ab August 2026 gelten; eine spätere Änderung, die bereits in Kraft ist, verschob die Hochrisikoanforderungen auf Dezember 2027. Für das Recht auf Erläuterung blieb es auf dem Papier bei August 2026, doch es knüpft an Hochrisikosysteme an, deren Einstufungsregeln mit den übrigen Anforderungen verschoben wurden.
Das sind keine symbolischen Anforderungen. COMPAS müsste, würde es in Europa als eines der gelisteten Hochrisikosysteme eingesetzt, vor der Verwendung eine verpflichtende Konformitätsbewertung und eine Grundrechte-Folgenabschätzung durchlaufen. Das Videobewertungssystem von HireVue würde, wenn es für Einstellungsentscheidungen über Beschäftigte in der EU genutzt würde, menschliche Aufsicht und Erläuterungsrechte erfordern.
In den Vereinigten Staaten geht es stückweise voran. New York City verlangt seit 2023 für automatisierte Werkzeuge, die bei Einstellung oder Beförderung für Stellen in New York City eingesetzt werden, jährliche unabhängige Prüfungen auf Verzerrungen mit veröffentlichten Ergebnissen. Seit Januar 2026 verbietet Illinois den Einsatz von KI bei Personalentscheidungen, wenn er zu rechtswidriger Diskriminierung führt, untersagt Postleitzahlen als Stellvertreter für geschützte Merkmale und verpflichtet Arbeitgeber, mitzuteilen, wenn KI bei Einstellungs- oder Personalentscheidungen zum Einsatz kommt. Colorado ersetzte sein nie umgesetztes KI-Gesetz durch ein enger gefasstes zu automatisierten Entscheidungen in folgenreichen Fragen, das im Januar 2027 in Kraft tritt: Hinweis vor dem Einsatz, eine verständliche Erklärung nach einer nachteiligen Entscheidung, Berichtigung unrichtiger Daten und das Recht, eine echte erneute Prüfung durch einen Menschen zu verlangen.
Das sind echte Fortschritte bei einem Problem, das vor fünf Jahren noch nicht ernsthaft reguliert war, doch sie teilen eine strukturelle Beschränkung. Abgesehen von einigen vollständigen Verboten, etwa dem Verbot der KI-Verordnung, das Risiko einer Person, eine Straftat zu begehen, allein anhand von Profiling oder Persönlichkeitsmerkmalen vorherzusagen, und dem Verbot diskriminierender Nutzung in Illinois, wirken sie hauptsächlich über Designstandards, Dokumentation, Prüfung und Offenlegung. Sie verlangen, dass jemand, ob Prüfer, Aufsichtsbehörde oder Compliance-Abteilung, beurteilt, ob das System fair ist. Bestenfalls geben sie dem Menschen, über den das System bestimmt, eine Erklärung, eine Berichtigung falscher Daten oder einen zweiten Blick durch einen Menschen. Keine davon erlaubt es diesem Menschen, die Regel selbst einzusehen. Das Recht auf Erläuterung in der KI-Verordnung bedeutet, dass jemand, der einer Entscheidung der meisten gelisteten Hochrisikosysteme unterworfen ist, eine Erläuterung dieser Entscheidung erhalten muss, sofern sie Rechtswirkung entfaltet oder seine Gesundheit, Sicherheit oder Grundrechte erheblich beeinträchtigt. Es bedeutet nicht, dass er die Modellgewichte, die Zusammensetzung der Trainingsdaten oder die algorithmische Methodik prüfen kann. Er erfährt, warum eine Entscheidung gegen ihn ausfiel, und bekommt keine Möglichkeit, das System zu prüfen, das sie getroffen hat.
Der strukturelle Rückstand ist ein eigenes Problem. Der Hochrisikorahmen der KI-Verordnung wurde um KI-Systeme herum gebaut, wie sie ungefähr zwischen 2020 und 2022 existierten. Bis die Hochrisikopflichten greifen, haben die regulierten Systeme mehrere Generationswechsel hinter sich. Vorschriften entstehen über Jahre; algorithmische Systeme entwickeln sich in Monaten weiter. Das Missverhältnis liegt im Tempo der Gesetzgebung gemessen am Tempo der Technik; bessere Formulierungen hätten es nicht beseitigt.
Die Erfahrung mit der DSGVO sollte die Erwartungen dämpfen. Ihr Artikel 22, anwendbar seit 2018, gab Menschen in der EU das Recht, keiner ausschließlich automatisierten Entscheidung mit erheblichen Auswirkungen unterworfen zu werden, es sei denn, die Entscheidung ist für einen Vertrag erforderlich, gesetzlich zugelassen oder ausdrücklich gebilligt; flankierende Artikel fügten Rechte auf aussagekräftige Informationen über die involvierte Logik hinzu. Auf dem Papier ist das stark. Nach EU-Leitlinien kann sich ein Unternehmen der Vorschrift nicht entziehen, indem es „menschliche Beteiligung vortäuscht“, und das höchste Gericht der EU hat sie ausgeweitet: 2023 entschied es, dass ein Kreditscore selbst als automatisierte Entscheidung gelten kann, und 2025, dass jemand, dem ein Kredit verweigert wurde, eine Erläuterung des Verfahrens und der Grundsätze verlangen kann, die tatsächlich auf ihn angewandt wurden, wobei Einwände wegen Geschäftsgeheimnissen von einem Gericht oder einer Aufsichtsbehörde abgewogen und nicht auf das bloße Wort des Unternehmens hin akzeptiert werden. In der Praxis brauchte es sieben Jahre und wiederholte Prozesse, um dorthin zu gelangen. Die Erläuterungsrechte der KI-Verordnung verdienen dieselbe Vorsicht.
Artikel 22 DSGVO und erlernte Skepsis
Artikel 22 DSGVO, der seit 2018 gilt, gibt Menschen in der EU das Recht, keinen rein automatisierten folgenreichen Entscheidungen unterworfen zu werden, mit Ausnahmen für Verträge, gesetzliche Zulassung und ausdrückliche Einwilligung; die Transparenzartikel der Verordnung fügen Rechte auf aussagekräftige Informationen über die Logik hinzu. In der Praxis blieb ihre Wirkung begrenzt. Die Schwelle „ausschließlich automatisiert“ lud zu einem Umweg ein, einer dünnen Schicht menschlicher Abzeichnung, obwohl EU-Leitlinien besagen, dass eine bloß symbolische Beteiligung nicht zählt. Die Erläuterungsrechte waren jahrelang umstritten, bis der Europäische Gerichtshof 2025 entschied, dass Menschen eine Erläuterung des Verfahrens und der Grundsätze zusteht, die in ihrem eigenen Fall tatsächlich angewandt wurden, nicht bloß eine allgemeine Beschreibung oder der rohe Algorithmus. Das Recht auf Erläuterung in Artikel 86 der KI-Verordnung wurde mit Blick auf die Schwächen von Artikel 22 formuliert. Wenn Artikel 22 ein Maßstab ist, werden Durchsetzung und Gerichte entscheiden, ob die neue Vorschrift mehr erreicht als die alte.Das Paradox der Rechenschaft
Die rechtlichen Mechanismen, mit denen wir Regierungshandeln anfechten, wurden für einzelne Akte identifizierbarer Entscheider gebaut, die nach erklärten Regeln handeln. Ein Gesetz wird von einer Person in einem Verfahren angefochten. Eine Behördenvorschrift wird im Notice-and-Comment-Verfahren oder in einem Prozess nach dem APA bestritten. Gegen eine Verwaltungsentscheidung legt man bei einer Überprüfungsinstanz Rechtsmittel ein. Ein diskriminierender Amtsträger kann unter Eid befragt werden. Diese Mechanismen setzen eine bestimmte Struktur voraus: eine einzelne Entscheidung, eine erklärte Regel, einen Kläger, der den Schaden benennen kann, einen Entscheider, den man befragen kann.
Algorithmische Regulierungsmacht bricht mit jeder dieser Annahmen zugleich. Um eine algorithmische Entscheidung vor Gericht anzufechten, braucht man typischerweise eine Kombination aus drei Dingen: die Regel, die sie erzeugt hat, die proprietär ist und meist nur über ein Discovery-Verfahren unter einer Schutzanordnung zu bekommen ist; ein kontrafaktisches Szenario, das zeigt, was ein anderes Ergebnis erfordert hätte, schwer zu erstellen ohne Zugang zum Modell oder eine vollständige Erklärung des Unternehmens; und bei einer Diskriminierungsklage den Nachweis eines Musters, der Daten auf Bevölkerungsebene voraussetzt, die der Betroffene mit ziemlicher Sicherheit nicht hat.
Die Antwort des Obersten Gerichtshofs von Wisconsin bestand darin, schriftliche Warnhinweise vorzuschreiben. Ein Warnhinweis im Strafzumessungsbericht benennt das Problem, und der Angeklagte kann den Score weiterhin mit anderen Beweisen anfechten, aber nichts darin erlaubt ihm, die Berechnung zu prüfen.
Demokratische Ermächtigung fehlt an jedem Punkt, an dem sie hätte hergestellt werden können. Metas Oversight Board hat keinen Zugang zu dem Algorithmus, den es dem Namen nach beaufsichtigt. Das CFPB kann in einer Untersuchung das Modell eines Kreditgebers anfordern, doch dem Kreditnehmer, den es bewertet hat, steht nur eine Liste von Gründen zu. Der Oberste Gerichtshof von Wisconsin lehnte es ab, die Offenlegung von COMPAS anzuordnen. In jedem Moment, in dem Rechenschaft hätte durchgesetzt werden können, galt das proprietäre Interesse als Schranke, die staatliche Ordnung nicht überschreiten würde. Kein Gesetz verlangte diese Rücksicht, und keine dieser Stellen erzwang die Frage.
Was algorithmische Systeme für den massenhaften Einsatz attraktiv macht, ist ihre Einheitlichkeit über Millionen Fälle hinweg, ihre Geschwindigkeit und der Wegfall menschlichen Ermessens, das seine eigenen diskriminierenden Fehlleistungen hervorbringt. Genau diese Eigenschaften machen sie für die Mechanismen der Rechenschaft unlesbar, die das Recht entwickelt hat. Ein voreingenommener Kreditsachbearbeiter oder ein voreingenommener Strafrichter ist auf eine Weise zur Rechenschaft zu ziehen, wie es ein voreingenommener Algorithmus nicht ist, und das Rechtssystem hat noch nicht herausgefunden, wie es den Algorithmus in gleichem Maß zur Verantwortung ziehen kann.
Die Regelwerke, die jetzt entstehen, von der KI-Verordnung der EU bis zu den Gesetzen in New York City, Colorado und Illinois, prüfen das System und erklären die Entscheidung. Das Modell öffnen sie dem Menschen, den es bewertet, nicht.
Algorithmische Systeme können jahrelang systematisch diskriminierende Ergebnisse liefern, bevor überhaupt eine Anfechtung möglich ist, weil die Anfechtung einen Zugang voraussetzt, den der Anfechtende nicht erhält. iTutorGroup diskriminierte Hunderte Bewerber, so lange, wie das System im Einsatz war, bevor die EEOC Klage erhob. HireVue bewertete Bewerber jahrelang teilweise nach ihrer Mimik, bevor es die Funktion fallen ließ, weil sie ihren geringen Zusatznutzen nicht wert war. COMPAS wird seit mehr als einem Jahrzehnt in mehreren Bundesstaaten bei der Strafzumessung eingesetzt. Wenn eine Anfechtung kommt, dann nach dem Schaden, und wer in der Zwischenzeit geschädigt wurde, wird durch eine spätere Klärung nicht entschädigt.
Zurück nach Wisconsin
Man lese die Warnungen, die der Oberste Gerichtshof von Wisconsin in jedem COMPAS-Strafzumessungsbericht verlangte, in den eigenen Worten des Gerichts: „Der proprietäre Charakter von COMPAS wurde geltend gemacht, um die Offenlegung von Informationen darüber zu verhindern, wie Faktoren gewichtet oder wie Risikoscores ermittelt werden.“ „Weil die Risikoscores von COMPAS auf Gruppendaten beruhen, können sie Gruppen von Hochrisikotätern identifizieren – nicht eine bestimmte Hochrisikoperson.“ „Einige Studien zu den Risikoscores von COMPAS haben die Frage aufgeworfen, ob sie Straftäter aus Minderheiten unverhältnismäßig häufig als rückfallgefährdeter einstufen.“ „Eine COMPAS-Risikobewertung vergleicht Angeklagte mit einer landesweiten Stichprobe, doch eine Kreuzvalidierungsstudie für eine Population aus Wisconsin ist bislang nicht abgeschlossen. Instrumente zur Risikobewertung müssen wegen sich verändernder Populationen und Teilpopulationen ständig überwacht und für ihre Genauigkeit neu normiert werden.“ Und: „COMPAS wurde nicht für die Verwendung bei der Strafzumessung entwickelt, sondern war für die Verwendung durch die Strafvollzugsbehörde bei Entscheidungen über Behandlung, Aufsicht und Bewährung gedacht.“
Das sind die eigenen Feststellungen des Gerichts darüber, was nicht geprüft wurde und was falsch sein könnte. Nachdem es sie aufgelistet hatte, ließ es den Score bei der Strafzumessung dennoch zu, innerhalb der Grenzen, die es selbst gezogen hatte. Der Warnhinweis sagt dem Strafrichter, dass dieses Werkzeug diskriminieren könnte, für den Bundesstaat nicht validiert ist, nicht für die Strafzumessung gebaut wurde und nach Regeln arbeitet, die niemand im Gerichtssaal einsehen kann.
Der Richter darf den Score geringer gewichten, und der Angeklagte darf ihn mit anderen Beweismitteln bestreiten. Doch niemand, weder der Richter noch der Angeklagte noch das Berufungsgericht, bekommt eine Möglichkeit, die Berechnung selbst zu öffnen.
Hinweis zu generativer KI
Einige Inhalte dieser Seite wurden mithilfe einer generativen KI erstellt und/oder bearbeitet.
Bildnachweise
Wichtige Quellen und Literaturhinweise
Criminal justice and COMPAS
Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, „Machine Bias,“ ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
ProPublica, „How We Analyzed the COMPAS Recidivism Algorithm,“ May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
„ProPublica Responds to Company’s Critique of Machine Bias Story,“ ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story
equivant, „Who is equivant?“ FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/
State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01
Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm
Alexandra Chouldechova, „Fair prediction with disparate impact: A study of bias in recidivism prediction instruments,“ Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524
Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, „Inherent trade-offs in the fair determination of risk scores,“ Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf
Law, regulation and accountability
Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.
Frank Pasquale, The Black Box Society. Harvard University Press, 2015.
Frank Pasquale, „From Territorial to Functional Sovereignty: The Case of Amazon,“ LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/
Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553
„State action,“ Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action
Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23
Credit and hiring
myFICO, „What’s in my FICO Scores?“ https://www.myfico.com/credit-education/whats-in-your-credit-score
CFPB, DOJ Civil Rights Division, EEOC and FTC, „Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems,“ April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf
Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 („Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal,“ 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal
Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b
National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/
Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371
„HireVue drops facial monitoring amid A.I. algorithm audit,“ Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/
EPIC, „In re HireVue,“ FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue
EEOC, „iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit,“ September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit
Platforms and speech
Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm
United Nations, „Population“ (Global Issues). https://www.un.org/en/global-issues/population
YouTube Official Blog, Press. https://blog.youtube/press/
TikTok Newsroom, „Thanks a billion!“ September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en
„Musk Says X Has 600 Million Monthly Active Users,“ Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users
Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/
European Commission, „Digital Services Act: Questions and answers“ and „Out-of-court dispute settlement bodies under the Digital Services Act.“ https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement
Grievance Appellate Committee, Government of India (appeals against intermediaries‘ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/
Faiza Patel and Julian Melendi, „Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job,“ Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job
Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf
Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230
New rules: EU and US
Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/
Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, „Digital AI Omnibus Delays Key Deadlines, Introduces New Rules,“ August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/
Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053
Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf
Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf
NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page
Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, „Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence,“ 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence
Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, „Colorado Act Legislation: The AI Strikes Back,“ May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/
