To jest artykuł przetłumaczony maszynowo. Oryginalna wersja jest dostępna w języku angielskim.
W 2013 roku Eric Loomis stanął przed sędzią w Wisconsin, po tym jak przyznał się do dwóch lżejszych zarzutów: próby ucieczki przed policjantem drogówki i jazdy cudzym samochodem bez zgody właściciela. Prokuratura łączyła sprawę ze strzelaniną z jadącego auta, w której, jak twierdził, nie brał udziału. W raporcie przedwyrokowym znalazła się ocena ryzyka COMPAS: wynik w skali od 1 do 10, który zastrzeżony algorytm wyliczył, by oszacować prawdopodobieństwo, że Loomis znów popełni przestępstwo. Wynik był wysoki. Obrońcy poprosili o wgląd w metodologię. Usłyszeli, że jest zastrzeżona – należy do prywatnej firmy Northpointe i nie im ją badać.
Sąd Najwyższy Wisconsin orzekł w 2016 roku, że prawo Loomisa do rzetelnego procesu nie zostało naruszone, mimo że ani on, ani jego obrońcy nie mogli sprawdzić, jak obliczono jego wynik. Mógł przejrzeć dane wejściowe i końcową liczbę, choć już nie logikę, która je łączyła, a wynik nie przesądził o wymiarze kary. Sąd nakazał, by każdy przyszły raport przedwyrokowy korzystający z COMPAS zawierał pisemne ostrzeżenie wymieniające znane wady algorytmu. Ostrzeżenie było szczegółowe i uczciwe, a mimo to sąd podtrzymał stosowanie algorytmu. Gdyby przed obroną utajniono samą ustawę określającą wymiar kary, kryzys rzetelnego procesu byłby oczywisty; ponieważ utajnioną regułą był algorytm, sąd potraktował ją jak narzędzie.
Czym właściwie różni się tajne prawo od zastrzeżonej reguły, która działa jak prawo?
Co czyni coś regulacją
Użyteczna robocza definicja regulacji ma trzy składniki: wiążący skutek, obowiązek przestrzegania i konsekwencje za jego niedopełnienie. W tym rozumieniu regulacją jest ustawa zakazująca dyskryminacji przy udzielaniu kredytów. Ale funkcjonalnie jest nią także algorytm, który automatycznie odrzuca wnioski kredytowe osób z określonych kodów pocztowych, a jego skutek nie jest ani trochę mniej realny przez to, że nie stoi za nim żadna podpisana ustawa.
Lawrence Lessig dowodził, że „kod jest prawem”: architektura oprogramowania kształtuje zachowania równie skutecznie jak przepisy. Frank Pasquale twierdzi, że nieprzejrzyste systemy algorytmiczne rządzą dziś kredytem, zatrudnieniem i reputacją, przed nikim nie odpowiadając. Jeśli algorytm już działa jak regulacja, wiążąca, obowiązkowa i brzemienna w skutki, to jaka odpowiedzialność powinna wiązać się z tą władzą i dlaczego nie wiąże się z nią żadna?
Test funkcjonalny bez trudu daje się zastosować we wszystkich dziedzinach, w których władza algorytmów ma dziś największe konsekwencje. Od oceny ryzyka przy decyzji o zwolnieniu za kaucją nie ma ucieczki: oskarżony nie może odmówić oceny, nie może podstawić innej miary, nie może wypisać się z liczby, która mocno waży na tym, czy w oczekiwaniu na proces będzie spał w celi, czy w domu. Za algorytmiczną decyzją kredytową nie stoi żaden konkretny decydent, którego można by przesłuchać, ani żaden akt uznania, który można by podważyć. Algorytm generuje regułę; reguła wytwarza wynik; wynik jest ostateczny, chyba że wnioskodawca przebrnie przez procedurę reklamacyjną, która nigdy nie pokazuje samej logiki punktowania. Usunięcie treści przez system moderacji następuje natychmiast: wpisu już nie ma. Odwołanie, jeśli przeciętny użytkownik w ogóle je ma, rozpatruje się według standardu tak ogólnego jak „nękanie” czy „przemoc”, co nie daje realnych podstaw do zakwestionowania decyzji.
Formalna regulacja spełnia cztery kryteria rozliczalności, których tym systemom brakuje. Przejrzystość: w Stanach Zjednoczonych ustawa o postępowaniu administracyjnym (Administrative Procedure Act) wymaga dla większości wiążących przepisów agencji procedury ogłoszenia i konsultacji (notice-and-comment): przepis musi zostać opublikowany do konsultacji, zanim kogokolwiek zwiąże. Rzetelny proces: prawo do skonfrontowania się ze stosowanym wobec ciebie standardem prawnym i do jego zakwestionowania jest fundamentem rządów prawa. Legitymacja demokratyczna: w demokracji konstytucyjnej uprawnienie do stanowienia wiążących reguł wywodzi się z procedur upoważnienia, które prowadzą z powrotem do organów pochodzących z wyboru. Odpowiedzialność prawna: istnieją mechanizmy przypisania odpowiedzialności, gdy sprawowanie władzy wyrządza szkodę.
Systemy algorytmiczne w obecnym kształcie nie spełniają w pełni żadnego z tych kryteriów; w najlepszym razie mają ich fragmenty, zależnie od kraju i sektora. Zwykle pada zarzut, że Piąta i Czternasta Poprawka, a w ogóle konstytucyjna rozliczalność, wiążą państwo, a nie prywatne firmy. Z punktu widzenia prawa konstytucyjnego to prawda, ale to odpowiedź na inne pytanie. Chodzi o to, czy systemy sprawujące władzę regulacyjną w sensie funkcjonalnym, w skali całych populacji, powinny podlegać rozliczalności proporcjonalnej do tej władzy, a do tego pytania lepiej pasuje optyka prawa administracyjnego niż konstytucyjnego. Nikt nie musi podporządkowywać Mety Karcie Praw, żeby zapytać, dlaczego systemy o większym zasięgu władczym niż większość rządów miałyby działać przy mniejszej rozliczalności, niż wolno jakiemukolwiek rządowi.
Działanie państwa i jego granice
Doktryna state action głosi, że konstytucyjne gwarancje Karty Praw ograniczają podmioty państwowe, a nie prywatne firmy. Prywatny pracodawca może ograniczać wypowiedzi pracowników, nie naruszając Pierwszej Poprawki. Prywatna platforma może usuwać wpisy, nie uruchamiając wymogów rzetelnego procesu. Frank Pasquale twierdzi, że dominujące platformy sprawują dziś „suwerenność funkcjonalną”, regulując rynki i zachowania w sposób niegdyś zarezerwowany dla państw, a władza tego rodzaju wymaga rozliczalności na wzór prawa publicznego. Unijny akt w sprawie sztucznej inteligencji pośrednio omija problem state action, przyjmując ramy funkcjonalne: reguluje systemy AI według tego, co robią i wobec kogo, a nie według tego, czy wdrożył je rząd. Ocenianie systemu po jego funkcji, a nie po tym, kto go obsługuje, to właściwa optyka dla władzy algorytmów.Wolność zależna od wyniku: COMPAS i maszyna do wyrokowania
COMPAS, czyli Correctional Offender Management Profiling for Alternative Sanctions, to zastrzeżone narzędzie oceny ryzyka opracowane przez firmę Northpointe, dziś Equivant. Wylicza wynik w skali od 1 do 10, szacujący prawdopodobieństwo, że oskarżony ponownie popełni przestępstwo. Wynik ten wykorzystywano w wielu stanach USA przy decyzjach o areszcie tymczasowym, przy wymierzaniu kar i przy rozstrzyganiu o zwolnieniu warunkowym.
W 2016 roku dziennikarze ProPubliki, korzystając z florydzkiej ustawy o dostępie do dokumentów publicznych, zdobyli wyniki COMPAS ponad 7000 oskarżonych z hrabstwa Broward, zatrzymanych w latach 2013 i 2014, i sprawdzili, kogo w ciągu kolejnych dwóch lat zatrzymano ponownie. Wśród oskarżonych, których nie zatrzymano powtórnie, czarnoskórzy niemal dwukrotnie częściej niż biali zostali wcześniej zaklasyfikowani jako osoby średniego lub wysokiego ryzyka.
Northpointe odpowiedziało, że wyniki COMPAS są skalibrowane: wynik 7 oznacza mniej więcej to samo prawdopodobieństwo recydywy bez względu na rasę oskarżonego. Dane potwierdzały oba twierdzenia, bo mierzą one co innego. Twierdzenie o kalibracji dotyczy trafności prognoz w różnych grupach. Dysproporcja w wynikach fałszywie dodatnich dotyczy tego, co spotyka ludzi, którzy przestępstwa już nie popełniają, a wśród nich błędnie oznaczeni są nieproporcjonalnie często czarnoskórzy. Algorytm może przejść test kalibracji i mimo to dawać wyniki, które najmocniej uderzają w jedną grupę demograficzną. Wybór kryterium sprawiedliwości to kwestia polityki publicznej, a jednak w przypadku COMPAS żaden organ publiczny nigdy go nie dokonał.
Ten konflikt jest wpisany w matematykę i został dowiedziony: gdy częstość recydywy różni się między grupami, oznaczenie wysokiego ryzyka równie trafne prognostycznie dla każdej grupy nie może zarazem zapewnić obu grupom równych odsetków wyników fałszywie dodatnich i fałszywie ujemnych, chyba że prognozy są doskonałe. Nie da się mieć tego wszystkiego naraz. Żadna lepsza metodologia nie rozstrzygnęłaby sporu między ProPublicą a Northpointe, i właśnie dlatego argument o rozliczalności staje się pilniejszy. Skoro nie ma czysto technicznej odpowiedzi na pytanie, jak wyważyć kryteria sprawiedliwości, ktoś musi dokonać wyboru, a ten, kto go dokona, powinien za niego odpowiadać.
Eric Loomis nie został skazany za żadne przestępstwo z użyciem przemocy: przyznał się do ucieczki przed policjantem i jazdy samochodem bez zgody właściciela, a zarzuty związane ze strzelaniną, którym zaprzeczał, umorzono, choć przy wymierzaniu kary je „uwzględniono”. Jego wynik COMPAS okazał się wysoki. Zakwestionował wykorzystanie go przy wyrokowaniu, powołując się na prawo do rzetelnego procesu: zastrzeżony charakter algorytmu, jak argumentował, uniemożliwiał mu podważenie naukowej wiarygodności tego, czego sąd używał, by ograniczyć jego wolność.
Sąd Najwyższy Wisconsin odpowiedział w sprawie State v. Loomis, że wymogi rzetelnego procesu zostały spełnione, bo oskarżony mógł zweryfikować poprawność danych wejściowych – swojej kartoteki karnej i odpowiedzi w kwestionariuszu przedwyrokowym. Nie miał prawa wiedzieć, jaką wagę nadano tym danym względem siebie ani jak logika punktowania zamieniła je w liczbę.
Miał prawo sprawdzić, czy wprowadzone o nim dane są prawidłowe, i spierać się z wynikiem, jaki z nich wyszedł. W ten sposób dało się wyłapać błędny wpis w kartotece, ale nie wadę w sposobie, w jaki kartotekę zamieniono w ocenę ryzyka.
Sąd zrobił jednak coś godnego uwagi. Zażądał, by każdy raport przedwyrokowy opierający się na COMPAS zawierał pisemne pouczenie określające granice jego użycia oraz listę zastrzeżeń: że sposób działania narzędzia jest utrzymywany w tajemnicy, że wskazuje ono grupy wysokiego ryzyka, a nie osoby wysokiego ryzyka, że badania podały w wątpliwość, czy nie klasyfikuje sprawców z mniejszości jako bardziej ryzykownych, że nie przeszło walidacji na populacji Wisconsin i że COMPAS w ogóle nie powstał z myślą o wymierzaniu kar, lecz o decyzjach służby więziennej dotyczących resocjalizacji, nadzoru i zwolnień warunkowych.
Spisawszy, co może być z algorytmem nie tak, sąd mimo wszystko podtrzymał jego stosowanie, tyle że je ogrodził: ocena ryzyka nie może służyć do rozstrzygania, czy ktoś trafi do więzienia i na jak długo, i nigdy nie może być czynnikiem rozstrzygającym. Nic w tym orzeczeniu nie pozwoliło oskarżonemu zobaczyć, jak obliczono jego wynik.
W 2017 roku Sąd Najwyższy USA odmówił rozpoznania sprawy. Najwyższy sąd kraju wciąż nie odpowiedział na pytanie, czy zastrzeżone narzędzia algorytmiczne mogą służyć do ograniczania wolności bez jakiejkolwiek możliwości zbadania ich metodologii.
Matematyczna niemożliwość sprawiedliwości
Jeśli częstość badanego zdarzenia (tutaj: recydywy) różni się między grupami demograficznymi, dwa matematyczne dowody pokazują, że kryteria sprawiedliwości są ze sobą sprzeczne. Wynik nie może być skalibrowany (dany wynik oznacza to samo realne ryzyko w każdej grupie) i zarazem dawać osobom, które ponownie popełniają przestępstwo, oraz osobom, które tego nie robią, takiego samego średniego wyniku w każdej grupie. Gdy wyniki dzieli się na oznaczenia wysokiego i niskiego ryzyka, oznaczenia te nie mogą być równie trafne prognostycznie dla każdej grupy (taki sam odsetek oznaczonych osób ponownie popełnia przestępstwo) i zarazem zapewniać równych odsetków wyników fałszywie dodatnich i fałszywie ujemnych. Żadnej z tych par warunków nie da się spełnić jednocześnie, chyba że prognozy są doskonałe, a w praktyce nigdy nie są, i żadne ulepszenie konstrukcji ani danych tego nie obejdzie: to matematyczna własność samej sytuacji. Argumenty Northpointe w obronie COMPAS wytrzymały próbę w kwestii kalibracji, ale pytania o rozliczalność nawet nie dotknęły: kto zdecydował, które kryterium sprawiedliwości ma obowiązywać, na jakiej podstawie i z jaką legitymacją? Twierdzenie o niemożliwości nie kończy sporu o sprawiedliwość. Pokazuje, że wybór jest polityczny, i dlatego tajemnica przedsiębiorstwa to niewłaściwe miejsce, by go dokonywać.Niewidzialna reguła: kredyt, zatrudnienie i życie gospodarcze
Prawo nie zmierzyło się należycie z pewnym prostym porównaniem. Dyskryminująca urzędniczka kredytowa przynajmniej w zasadzie ponosi odpowiedzialność. Można ją przesłuchać, wezwać do wydania jej e-maili, przejrzeć jej notatki o wnioskodawcach. Uzasadnienie jej decyzji można zbadać w procesie, skonfrontować z Fair Housing Act albo z Equal Credit Opportunity Act i doprowadzić sprawę do wyroku. Nic z tego nie dotyczy dyskryminującego algorytmu, który daje te same rasowo nierówne wyniki kredytowe. Kredytodawcę nadal można zobowiązać do przedstawienia świadków i dokumentacji dotyczącej tego, jak model zbudowano i przetestowano, ale nie ma konkretnego decydenta, którego można by przesłuchać o to, dlaczego odrzucono tego wnioskodawcę. Reguła, która wygenerowała wynik, jest zastrzeżona, a powód zwykle może do niej dotrzeć tylko pod sądowym nakazem zachowania poufności, gdy wygra spór o ujawnienie dowodów, i to dopiero po tym, jak przekona sąd, że w ogóle ma ona znaczenie dla sprawy.
Wyniki FICO, dominująca miara zdolności kredytowej w amerykańskich kredytach konsumenckich, oblicza się według zastrzeżonej formuły. FICO publikuje pięć ogólnych kategorii i ich przybliżone wagi (historia spłat 35 procent, wysokość zadłużenia 30, długość historii kredytowej 15, nowe kredyty 10, struktura kredytów 10), ale nie sam model. Konsumenci mają pewne prawa do kwestionowania poprawności danych źródłowych, takich jak opóźniona spłata czy windykacja, ale nie mają prawa podważyć tego, jak te dane zważono względem siebie. To właśnie ważenie stanowi zastrzeżoną część i w kategoriach funkcjonalnych jest regułą.
W 2023 roku Biuro Ochrony Finansowej Konsumentów (CFPB) wraz z Departamentem Sprawiedliwości, Komisją ds. Równych Szans Zatrudnienia (EEOC) i Federalną Komisją Handlu (FTC) ostrzegło, że systemy zautomatyzowane trenowane na danych historycznych mogą utrwalać niezgodne z prawem uprzedzenia i automatyzować dyskryminację. W dzielnicach wciąż widać kontury map redliningu. Algorytm trenowany na danych historycznych, który używa kodu pocztowego jako cechy, nie musi być zaprojektowany do dyskryminowania. Może wchłonąć dyskryminację biernie, jako odziedziczony sygnał. Od tamtej pory prawo zrobiło krok wstecz. W 2025 roku CFPB wycofało wytyczne potwierdzające, że kredytodawcy korzystający ze złożonych, nieprzejrzystych modeli wciąż muszą podawać wnioskodawcom konkretne powody odmowy; obowiązek ustawowy pozostał, ale wytycznych już nie ma. Następnie przepis CFPB, który wszedł w życie w 2026 roku i jest obecnie zaskarżony w sądzie, przesądził, że Equal Credit Opportunity Act w ogóle nie przewiduje roszczeń z tytułu nieproporcjonalnego skutku (disparate impact). Poza mieszkalnictwem, gdzie Fair Housing Act nadal na nie pozwala, odebrało to główne federalne narzędzie stworzone dokładnie z myślą o tym problemie: możliwość wykazania, że reguła z pozoru neutralna daje dyskryminujące wyniki, choć istniała sprawiedliwsza alternatywa.
HireVue pokazuje, jak wygląda to w zatrudnieniu. Firma sprzedawała przedrekrutacyjne testy wideo: AI oceniała w nich kandydatów na podstawie nagranych rozmów. Organizacja zajmująca się ochroną prywatności złożyła skargę do Federalnej Komisji Handlu, zarzucając HireVue między innymi, że wbrew prawdzie zaprzeczało używaniu technologii rozpoznawania twarzy. W 2020 roku HireVue przestało analizować mimikę kandydatów, a później wyjaśniło dlaczego: według samej firmy sygnały niewerbalne, w tym mimika, zwiększały trafność prognoz w przypadku większości stanowisk zaledwie o mniej więcej ćwierć procenta, co wobec obaw o uprzedzenia nie było tego warte. Przez lata kandydatów oceniano po części na podstawie wyrazu twarzy i ruchów, a nikt spoza firmy nie mógł sprawdzić, czy było to sprawiedliwe.
Sprawa iTutorGroup to przykład najbardziej dosadny. EEOC pozwała firmę oferującą korepetycje online za to, że zaprogramowała swoje oprogramowanie rekrutacyjne tak, by automatycznie odrzucało kobiety w wieku 55 lat lub starsze i mężczyzn w wieku 60 lat lub starszych. Ponad 200 wykwalifikowanych kandydatów z USA odrzucono wyłącznie z powodu wieku. iTutorGroup zgodziła się zapłacić w ramach ugody 365 000 dolarów, do podziału między kandydatów odsianych przez oprogramowanie: średnio mniej niż 1825 dolarów na osobę za utraconą szansę zatrudnienia. Ugoda sądowa nakładała też obowiązek szkoleń antydyskryminacyjnych i wprowadzenia nowych zasad oraz co najmniej pięcioletni nadzór EEOC.
Problem strukturalny trudniej zaskarżyć niż jakąkolwiek pojedynczą sprawę. Te systemy popełniają błędy systematyczne, powtarzalne i widoczne w danych zbiorczych, których poszczególne osoby rzadko zdołają podważyć, bo reguła generująca błąd nie zostaje im ujawniona. Gdyby były to reguły ustawowe, każdą z nich dałoby się zaskarżyć wprost: znałbyś regułę, wiedziałbyś, jak ją do ciebie zastosowano, miałbyś podstawę do wniesienia powództwa. W przypadku algorytmów szkoda jest realna i udokumentowana w skali zbiorczej, a reguła, która ją wywołuje, pozostaje niewidoczna dla tych, którym szkodzi.
ECOA, Fair Housing Act i luka w ujawnianiu
Doktryna nieproporcjonalnego skutku pozwala powodowi zakwestionować praktykę, która daje dyskryminujące wyniki, bez żadnego dowodu na zamiar, o ile dostępna była mniej dyskryminująca alternatywa. Sąd Najwyższy potwierdził, że takie roszczenia przysługują na gruncie Fair Housing Act. W kredytach objętych Equal Credit Opportunity Act te drzwi się zwęziły: przepis CFPB, który wszedł w życie w 2026 roku, stanowi, że ECOA nie przewiduje odpowiedzialności z tytułu nieproporcjonalnego skutku, a w 2025 roku Biuro wycofało swoje wytyczne dotyczące zawiadomień o odmowie wydawanych przez algorytmy. Tam, gdzie takie roszczenia przetrwały, analiza mniej dyskryminujących alternatyw wymaga zrozumienia modelu: jakich cech używa, jak są ważone, co by się zmieniło, gdyby niektóre wyłączyć lub inaczej zważyć. Gdy model jest zastrzeżony, a jego twórca powołuje się na ochronę tajemnicy przedsiębiorstwa, ramy teoretycznie dostępne dla powodów mogą stać się w praktyce bardzo trudne do wykorzystania.Prawo feedu
Meta podaje, że z jej rodziny aplikacji (Facebook, Instagram, Messenger, WhatsApp) korzystało w czerwcu 2026 roku średnio około 3,6 miliarda osób dziennie. Cała planeta liczy nieco ponad 8 miliardów mieszkańców. Dzienna publiczność Mety jest większa niż ludność któregokolwiek państwa na Ziemi.
YouTube nie podaje łącznej liczby; twierdzi, że same Shorts przyciągają „miliardy” zalogowanych użytkowników miesięcznie. TikTok ogłosił w 2021 roku miliard użytkowników miesięcznie. X, dawniej Twitter, przestał podawać liczbę użytkowników w publicznych sprawozdaniach, gdy zszedł z giełdy, a około 600 milionów użytkowników miesięcznie, o których mówił Elon Musk, nigdy nie zostało niezależnie zweryfikowane.
Tych liczb nie należy sumować. Grupy użytkowników w ogromnej mierze się pokrywają; większość osób korzystających z TikToka używa też Instagrama. Już sama liczba Mety mówi coś konkretnego. Prywatna firma miliardy razy dziennie podejmuje wiążące decyzje o tym, co te 3,6 miliarda ludzi może powiedzieć, co może zobaczyć, czyje treści do nich docierają, a czyje nie. Te decyzje w przytłaczającej większości podejmują systemy algorytmiczne. Spisane zasady są jawne; maszyneria rankingu i egzekwowania, która je stosuje, już nie. Wielkim wyjątkiem jest Unia Europejska: od 2024 roku akt o usługach cyfrowych gwarantuje użytkownikom uzasadnioną decyzję, bezpłatne odwołanie i dostęp do niezależnych organów rozstrzygania sporów. Indie prowadzą rządowy Komitet Odwoławczy ds. Skarg (Grievance Appellate Committee), którego rozstrzygnięć platformy muszą przestrzegać. W większości pozostałych krajów zwykły użytkownik nie ma żadnej prawnie wykonalnej drogi odwoławczej.
Zwyczajowa obrona tego układu głosi, że moderacja treści przypomina decyzje redakcyjne: redaktor gazety wybierający, co opublikować, korzysta z tego samego rodzaju swobody co systemy treści Mety. Ta analogia nie wytrzymuje zderzenia ze skalą. Nawet największe gazety liczą czytelników w milionach, nie w miliardach, i żadna nie uważa się za infrastrukturę publiczną. Gdy wybory, protesty, kryzysy zdrowotne i publiczna dokumentacja miliardów ludzi toczą się na jednej platformie, a jej algorytmy decydują, które głosy zostaną w takich chwilach wzmocnione, a które wyciszone, to jest władza regulacyjna, o wiążącym skutku i realnych konsekwencjach. W praktyce jest też obowiązkowa: nie da się uczestniczyć w tych sferach publicznych w porównywalnej skali za pośrednictwem żadnej konkurencyjnej platformy o innych zasadach, bo żadna alternatywa nie zbliża się do takiego zasięgu.
Żadnego krajowego prawa dotyczącego wypowiedzi nigdy nie egzekwowano w takim zasięgu. Rządy mają do tego uprawnienia, ale żaden rząd nigdy nie musiał budować infrastruktury egzekwowania zasad wypowiedzi dla 3,6 miliarda użytkowników dziennie w dziesiątkach języków. Te systemy ją zbudowały, choć nierówno. Ich zasady są publikowane, ale reguły operacyjne, które rozstrzygają każdą sprawę, czyli progi, klasyfikatory i sygnały rankingowe, już nie.
Rada Nadzorcza Mety (Oversight Board) powstała po to, by niezależnie kontrolować decyzje moderacyjne. Brennan Center for Justice dowodzi, że Rada nie może wykonywać swojej pracy bez dostępu do algorytmicznych systemów Mety, czyli tych, które podejmują przytłaczającą większość decyzji o tym, co zostaje wzmocnione, co zepchnięte niżej, a co usunięte. Rada rozpatruje po fakcie niewielki, wybrany ułamek decyzji. Ani Rada, ani opinia publiczna nie widzą maszynerii, która stosuje zasady.
W latach 2016 i 2017 Facebook posłużył w Mjanmie do szerzenia mowy nienawiści wymierzonej w Rohingjów. Śledczy ONZ nazwali platformę „użytecznym narzędziem dla tych, którzy chcą szerzyć nienawiść”, a reakcję firmy opisali jako powolną i nieskuteczną; Facebook miał zbyt mało moderatorów rozumiejących język birmański. Platforma wzmacniała treści, których nie była w stanie przeczytać. Nie istniał żaden mechanizm rozliczalności, który pozwoliłby powstrzymać ten proceder, zakwestionować go albo choćby udokumentować go na bieżąco. Firma przyznała, że działała zbyt wolno.
Zabijało wojsko. W ciągu roku od rozpoczęcia przez nie kampanii w sierpniu 2017 roku do Bangladeszu uciekło niemal 725 000 Rohingjów, a śledczy ONZ uznali szacunek mówiący o nawet 10 000 ofiar śmiertelnych za ostrożny. Facebook nie wywołał tej kampanii, ale niósł nienawiść, która ją poprzedziła, a gdy platforma nie potrafi przeczytać wpisów, które wzmacnia, niezdolność do moderowania zaczyna działać tak samo jak decyzja, by nie moderować.
Sekcja 230 i luka immunitetowa
Sekcja 230 Communications Decency Act zapewnia platformom szeroki immunitet od odpowiedzialności za treści zamieszczane przez osoby trzecie oraz za podejmowane w dobrej wierze decyzje moderacyjne. W efekcie powstała konstrukcja prawna, w której platformy ponoszą niewielką odpowiedzialność za to, co publikują ich użytkownicy, i żadnej publicznej rozliczalności za reguły, które do tych treści stosują. Ten immunitet zaprojektowano dla internetu, który już nie istnieje, internetu małych serwisów udostępniających treści użytkowników, a nie podmiotów, które codziennie podejmują wiążące decyzje władcze wobec miliardów ludzi. Obecne próby zreformowania lub uchylenia Sekcji 230 wyrastają z tego samego problemu strukturalnego, który opisuje ten artykuł: rozbieżności między władzą sprawowaną przez te systemy a mechanizmami rozliczalności, które obecnie się z tą władzą wiążą. To, czy reforma Sekcji 230 jest właściwą dźwignią i jakie niezamierzone skutki by wywołała, to osobny spór.Cztery wymogi formalnej regulacji
Przyłóżmy cztery kryteria prawowitej regulacji do oceny ryzyka przy kaucji, oceny kredytowej, filtra rekrutacyjnego i feedu.
Zacznijmy od przejrzystości. Wymóg ogłoszenia i konsultacji z APA istnieje dlatego, że tajne regulacje nie dają się pogodzić z rządzeniem, które wymaga zgody rządzonych. Nie można w sensowny sposób zgodzić się na regułę, której nigdy się nie widziało, ani jej zakwestionować. Algorytm kaucyjny daje oskarżonemu 8 punktów. Ten wynik waży na tym, czy w oczekiwaniu na proces będzie spał w domu, czy w celi. Reguła, która wygenerowała tę ósemkę, nie zostaje ujawniona. Można ją wywnioskować, niepełnie i niedoskonale, jeśli ma się dostęp do dużych zbiorów danych i narzędzia statystyczne pozwalające ją odtworzyć metodą inżynierii wstecznej, co jest bardzo dalekie od opublikowanej reguły, jakiej wymaga procedura ogłoszenia i konsultacji. Gdy algorytm moderacji usuwa wpis, a użytkownik dostaje powiadomienie powołujące się na „przemoc” albo „nękanie”, powiadomienie nie mówi, jaki standard zastosowano, jak ustalono jego próg ani przy jakim poziomie pewności algorytm zadziałał. Regułę można wywnioskować tylko z nagromadzonego wzorca rozstrzygnięć, usunięcie po usunięciu.
Przejrzystość jest warunkiem wszystkiego innego, bo nikt nie może skonfrontować się ze standardem prawnym, którego nie widzi, ani go zakwestionować. To właśnie prawo do konfrontacji i sprzeciwu sprawia, że oskarżeni mają prawo poznać stawiane im zarzuty, a podmioty regulowane – uczestniczyć w stanowieniu przepisów. Obrońcy Erica Loomisa poprosili o metodologię, której użyto, by ograniczyć wolność ich klienta. Sąd odmówił. Kandydaci automatycznie odrzuceni przez iTutorGroup nigdy się nie dowiedzieli, że zastosowano wobec nich jakąś regułę, nie mówiąc już o tym, jaką. Użytkownicy Facebooka, którzy dostają powiadomienie o usunięciu treści, dowiadują się, który Standard Społeczności naruszyli, i niczego o tym, gdzie przebiega jego granica. Rzetelny proces wymaga możliwości odniesienia się do czegoś konkretnego.
Dalej legitymacja demokratyczna. Ciała ustawodawcze pochodzą z wyborów. Agencje otrzymują od nich uprawnienia, nadzorują je wybieralni urzędnicy, a ich działanie podlega wymogom proceduralnym APA. Ich decyzje można zaskarżyć do sądu federalnego. Prywatne firmy wdrażające algorytmy, które rządzą dostępem do kredytu, zatrudnienia, wolności i swobody wypowiedzi setek milionów albo miliardów ludzi, nie mają żadnej odpowiadającej temu struktury rozliczalności. Odpowiadają przed akcjonariuszami, a nie przed populacjami, którymi rządzą. Gdy decyzje produktowe firmy stają się decyzjami władczymi, struktura rozliczalności zbudowana dla produktów przestaje wystarczać.
Jest wreszcie odpowiedzialność prawna, dzięki której trzy pozostałe kryteria dają się wyegzekwować. Prawo deliktowe, odpowiedzialność za produkt, odpowiedzialność administracyjna: wszystko to istnieje po to, by przypisać odpowiedzialność, gdy sprawowanie władzy wyrządza szkodę. W przypadku szkód algorytmicznych w skali całych populacji żaden z tych mechanizmów nie działa należycie. Dopuszczenie powództwa zbiorowego na gruncie federalnej procedury cywilnej wymaga wykazania kwestii prawnych lub faktycznych wspólnych dla całej grupy. Gdy reguła jest zastrzeżona, a szkoda rozproszona na miliony drobnych indywidualnych krzywd, od odrzuconych kredytów, przez fałszywie dodatnie oceny ryzyka przy kaucji, po wyciszone wpisy, wymóg wspólnych kwestii jest strukturalnie trudny do spełnienia bez dostępu do samego modelu. Łączna szkoda jest ogromna. Pojedyncze przypadki pozostają niewidoczne dla mechanizmów prawnych zaprojektowanych do rozstrzygania spraw indywidualnych.
Wróćmy do ugody z iTutorGroup: średnio mniej niż 1825 dolarów na osobę za utraconą szansę zatrudnienia. Ta kwota nawet nie zbliża się do rzeczywistej szkody. Szkolenia i monitoring z ugody wiążą jedną firmę; dla każdego innego, kto szacuje ryzyko, cena zapisana w aktach to gotówka. Przeskalujmy to: jeśli algorytm odrzuci 20 000 kandydatów z dyskryminujących powodów, a każda sprawa zakończy się ugodą według tej samej stawki, potencjalna odpowiedzialność wyniesie mniej niż 36,5 miliona dolarów. Dla firmy, której przychody liczy się w setkach milionów, to koszt prowadzenia działalności.
Te cztery kryteria zależą od siebie nawzajem: bez przejrzystości rzetelny proces nie ma czego konkretnego zakwestionować, a bez jednego i drugiego trudno ustalić odpowiedzialność. Algorytmiczna władza regulacyjna nie spełnia dziś w pełni żadnego z czterech.
Odpowiedź i jej granice
Unijny akt w sprawie sztucznej inteligencji wszedł w życie w sierpniu 2024 roku. To najbardziej kompleksowe jak dotąd ramy regulacyjne zbudowane po to, by zmierzyć się z władzą algorytmów.
To, co robi, jest niemałe. Akt dzieli systemy AI według poziomów ryzyka. Jego lista systemów wysokiego ryzyka, na które spada pełen ciężar obowiązków, wprost wymienia ocenę zdolności kredytowej, rekrutację i ocenę wyników pracy oraz wymiar sprawiedliwości w sprawach karnych: narzędzia szacujące ryzyko, że ktoś popełni przestępstwo lub popełni je ponownie, i AI pomagającą sędziom w stosowaniu prawa. Dla tych systemów akt wymaga ocen zgodności przed wdrożeniem, nadzoru człowieka i przejrzystości wobec osób, których dotyczą; organy publiczne i podmioty oceniające zdolność kredytową muszą ponadto przeprowadzić ocenę skutków dla praw podstawowych. Osoby, wobec których decyzje podejmuje większość wymienionych systemów, zyskują prawo do wyjaśnienia, jeśli decyzja wywołuje skutki prawne albo w istotny sposób niekorzystnie wpływa na ich zdrowie, bezpieczeństwo lub prawa podstawowe. Naruszenie przepisów o systemach wysokiego ryzyka może kosztować do 15 milionów euro albo 3 procent światowego rocznego obrotu. Obowiązki te miały pierwotnie zacząć obowiązywać w sierpniu 2026 roku; późniejsza nowelizacja, która już weszła w życie, przesunęła wymogi dotyczące systemów wysokiego ryzyka na grudzień 2027 roku. Prawo do wyjaśnienia zachowało na papierze termin z sierpnia 2026 roku, ale dotyczy systemów wysokiego ryzyka, których zasady klasyfikacji odroczono wraz z resztą.
To nie są wymogi symboliczne. COMPAS, gdyby wdrożono go w Europie jako jeden z wymienionych systemów wysokiego ryzyka, musiałby przed użyciem przejść obowiązkową ocenę zgodności i ocenę skutków dla praw podstawowych. System wideoocen HireVue, gdyby posłużył do decyzji rekrutacyjnych dotyczących pracowników w UE, wymagałby nadzoru człowieka i zapewnienia prawa do wyjaśnienia.
W Stanach Zjednoczonych postęp jest bardziej fragmentaryczny. Od 2023 roku miasto Nowy Jork wymaga corocznych niezależnych audytów stronniczości, z publikacją wyników, dla zautomatyzowanych narzędzi decyzyjnych używanych przy rekrutacji lub awansach na stanowiska w Nowym Jorku. Od stycznia 2026 roku Illinois zakazuje wykorzystywania AI w decyzjach kadrowych w sposób prowadzący do bezprawnej dyskryminacji, zabrania używania kodów pocztowych jako zamienników cech chronionych i nakłada na pracodawców obowiązek informowania, gdy AI służy do decyzji rekrutacyjnych lub kadrowych. Kolorado zastąpiło swoją nigdy niewdrożoną ustawę o AI węższą, dotyczącą zautomatyzowanego podejmowania decyzji w sprawach o istotnych skutkach, która wchodzi w życie w styczniu 2027 roku: powiadomienie przed użyciem, wyjaśnienie prostym językiem po niekorzystnej decyzji, poprawienie błędnych danych i prawo do żądania rzeczywistego ponownego rozpatrzenia sprawy przez człowieka.
To realne postępy w sprawie, której jeszcze pięć lat temu nikt poważnie nie regulował, ale łączy je strukturalne ograniczenie. Poza kilkoma całkowitymi zakazami, takimi jak zawarty w akcie w sprawie AI zakaz przewidywania ryzyka popełnienia przestępstwa przez daną osobę wyłącznie na podstawie profilowania lub cech osobowości oraz wprowadzony w Illinois zakaz dyskryminującego wykorzystania, działają głównie poprzez standardy projektowania, dokumentację, audyt i ujawnianie informacji. Wymagają, by ktoś, czy to audytor, regulator, czy dział compliance, ocenił, czy system jest sprawiedliwy. Osobie, którą system rządzi, dają w najlepszym razie wyjaśnienie, poprawienie złych danych albo drugie spojrzenie człowieka. Żadne z nich nie pozwala tej osobie zbadać samej reguły. Prawo do wyjaśnienia z aktu w sprawie AI obejmuje większość wymienionych systemów wysokiego ryzyka i oznacza, że osoba, wobec której taki system podjął decyzję wywołującą skutki prawne albo w istotny sposób niekorzystnie wpływającą na jej zdrowie, bezpieczeństwo lub prawa podstawowe, musi otrzymać jej wyjaśnienie. Nie oznacza, że może zbadać wagi modelu, skład danych treningowych czy metodologię algorytmu. Dowiaduje się, dlaczego jedna decyzja wypadła na jej niekorzyść, ale nie dostaje żadnego sposobu, by skontrolować system, który ją podjął.
Osobnym problemem jest strukturalne opóźnienie. Ramy aktu w sprawie AI dla systemów wysokiego ryzyka zbudowano wokół systemów AI w postaci, jaką miały mniej więcej w latach 2020–2022. Zanim zacznie obowiązywać wymóg zgodności dla systemów wysokiego ryzyka, regulowane systemy przejdą kilka zmian pokoleniowych. Regulacje pisze się latami; systemy algorytmiczne zmieniają się w ciągu miesięcy. Rozbieżność leży w tempie stanowienia prawa zestawionym z tempem technologii; lepsza legislacja by jej nie zniwelowała.
Doświadczenia z RODO powinny studzić oczekiwania. Jego art. 22, stosowany od 2018 roku, dał ludziom w UE prawo do tego, by nie podlegać decyzjom opartym wyłącznie na zautomatyzowanym przetwarzaniu i wywołującym istotne skutki, chyba że decyzja jest niezbędna do wykonania umowy, dozwolona prawem albo oparta na wyraźnej zgodzie; towarzyszące mu artykuły dodały prawo do istotnych informacji o zasadach podejmowania takich decyzji. Na papierze to mocna ochrona. Unijne wytyczne stanowią, że firma nie może jej obejść, „fabrykując udział człowieka”, a najwyższy sąd UE ją rozszerzył: w 2023 roku orzekł, że sama ocena kredytowa może być decyzją zautomatyzowaną, a w 2025 roku – że osobie, której odmówiono kredytu, należy się wyjaśnienie procedury i zasad faktycznie wobec niej zastosowanych, przy czym zarzut tajemnicy przedsiębiorstwa ma rozważyć sąd lub organ nadzorczy, zamiast przyjmować go na słowo firmy. W praktyce dojście do tego punktu zajęło siedem lat i wymagało wielokrotnych batalii sądowych. Prawa do wyjaśnienia z aktu w sprawie AI zasługują na tę samą ostrożność.
Art. 22 RODO i wyuczony sceptycyzm
Art. 22 RODO, stosowany od 2018 roku, daje ludziom w UE prawo do tego, by nie podlegać decyzjom o istotnych skutkach opartym wyłącznie na zautomatyzowanym przetwarzaniu, z wyjątkami dotyczącymi umów, upoważnienia ustawowego i wyraźnej zgody; artykuły rozporządzenia dotyczące przejrzystości dodają prawo do istotnych informacji o zasadach takich decyzji. W praktyce jego wpływ był ograniczony. Próg „wyłącznie zautomatyzowanego” przetwarzania zachęcał do obejścia w postaci cienkiej warstwy zatwierdzenia przez człowieka, choć unijne wytyczne stanowią, że pozorny udział człowieka się nie liczy. O prawo do wyjaśnienia spierano się latami, aż w 2025 roku Trybunał Sprawiedliwości UE orzekł, że ludziom należy się wyjaśnienie procedury i zasad faktycznie zastosowanych w ich własnej sprawie, a nie jedynie ogólny opis czy surowy algorytm. Prawo do wyjaśnienia z art. 86 aktu w sprawie AI napisano z myślą o porażkach art. 22. Jeśli art. 22 jest jakąś wskazówką, to o tym, czy nowy przepis osiągnie więcej niż stary, rozstrzygną egzekwowanie i sądy.Paradoks rozliczalności
Mechanizmy prawne, którymi dysponujemy, by kwestionować sprawowanie władzy, zbudowano z myślą o pojedynczych aktach identyfikowalnych decydentów działających według jawnych reguł. Ustawę zaskarża jedna osoba w jednej sprawie. Regulację agencji kwestionuje się w procedurze ogłoszenia i konsultacji albo w sporze sądowym na gruncie APA. Od decyzji administracyjnej odwołuje się do organu odwoławczego. Dyskryminującego urzędnika można przesłuchać. Te mechanizmy zakładają określoną strukturę: pojedynczą decyzję, jawną regułę, skarżącego, który potrafi wskazać szkodę, decydenta, którego można przepytać.
Algorytmiczna władza regulacyjna łamie wszystkie te założenia naraz. Aby zakwestionować algorytmiczną decyzję w sądzie, potrzeba zwykle jakiegoś połączenia trzech rzeczy: reguły, która ją wygenerowała, zastrzeżonej i zwykle osiągalnej tylko w postępowaniu o ujawnienie dowodów, pod sądowym nakazem zachowania poufności; scenariusza alternatywnego pokazującego, czego wymagałby inny wynik, trudnego do opracowania bez dostępu do modelu lub pełnego wyjaśnienia ze strony firmy; oraz, w przypadku zarzutu dyskryminacji, dowodów na istnienie wzorca, co wymaga danych na poziomie populacji, których poszkodowana osoba niemal na pewno nie ma.
Odpowiedzią Sądu Najwyższego Wisconsin było nakazanie pisemnych ostrzeżeń. Ostrzeżenie w raporcie przedwyrokowym nazywa problem, a oskarżony nadal może podważać wynik innymi dowodami, ale nic w nim nie pozwala mu zbadać obliczenia.
Demokratycznego upoważnienia brakuje w każdym punkcie, w którym można było je ustanowić. Rada Nadzorcza Mety nie ma dostępu do algorytmu, który formalnie nadzoruje. CFPB może w toku postępowania zażądać od kredytodawcy jego modelu, ale kredytobiorcy, któremu ten model wystawił ocenę, należy się tylko lista powodów. Sąd Najwyższy Wisconsin odmówił nakazania otwarcia COMPAS. W każdym momencie, w którym dało się narzucić rozliczalność, interes właściciela technologii traktowano jak barierę, której władza publiczna nie przekroczy. Żadne prawo nie wymagało takiej uległości i żaden z tych podmiotów nie postawił sprawy na ostrzu noża.
Systemy algorytmiczne warto wdrażać na dużą skalę ze względu na spójność w milionach spraw, szybkości i wyeliminowaniu ludzkiej uznaniowości, która sama prowadzi do dyskryminujących porażek. Dokładnie te cechy czynią je nieczytelnymi dla mechanizmów rozliczalności, które wypracowało prawo. Stronniczy urzędnik kredytowy czy stronniczy sędzia odpowiadają w sposób, w jaki stronniczy algorytm nie odpowiada, a system prawny wciąż nie wymyślił, jak rozliczyć algorytm w tej samej mierze.
Budowane dziś ramy, od unijnego aktu w sprawie AI po przepisy Nowego Jorku, Kolorado i Illinois, audytują system i wyjaśniają decyzję. Nie otwierają modelu przed osobą, którą ocenia.
Systemy algorytmiczne mogą latami dawać systematycznie dyskryminujące wyniki, zanim jakiekolwiek ich zakwestionowanie stanie się możliwe, bo wymaga ono dostępu, którego skarżący nie dostaje. iTutorGroup dyskryminowała setki kandydatów przez cały czas działania systemu, zanim EEOC wniosła pozew. HireVue latami oceniało kandydatów po części na podstawie mimiki, zanim porzuciło tę funkcję jako niewartą jej marginalnej wartości. COMPAS służy przy wymierzaniu kar w wielu stanach od ponad dekady. Jeśli do zakwestionowania w ogóle dochodzi, to dopiero po szkodzie, a ludziom poszkodowanym w międzyczasie ostateczne rozstrzygnięcie niczego nie wynagradza.
Powrót do Wisconsin
Przeczytajmy zastrzeżenia, których Sąd Najwyższy Wisconsin zażądał w każdym raporcie przedwyrokowym opartym na COMPAS, słowami samego sądu: „Na zastrzeżony charakter COMPAS powoływano się, by nie ujawniać informacji o tym, jak ważone są czynniki ani jak ustalane są wyniki oceny ryzyka”. „Ponieważ wyniki oceny ryzyka COMPAS opierają się na danych grupowych, pozwalają wskazać grupy sprawców wysokiego ryzyka – a nie konkretną osobę wysokiego ryzyka”. „Niektóre badania wyników oceny ryzyka COMPAS podniosły pytania, czy nie klasyfikują one nieproporcjonalnie często sprawców z mniejszości jako obarczonych wyższym ryzykiem recydywy”. „Ocena ryzyka COMPAS porównuje oskarżonych z próbą ogólnokrajową, ale nie ukończono jeszcze żadnego badania walidacji krzyżowej dla populacji Wisconsin. Narzędzia oceny ryzyka muszą być stale monitorowane i ponownie normalizowane pod kątem trafności ze względu na zmieniające się populacje i subpopulacje”. I wreszcie: „COMPAS nie został opracowany do użytku przy wymierzaniu kar, lecz miał służyć Departamentowi Więziennictwa przy podejmowaniu decyzji dotyczących resocjalizacji, nadzoru i zwolnień warunkowych”.
To własne ustalenia sądu o tym, czego nie sprawdzono i co może być nie tak. Wymieniwszy je, sąd i tak dopuścił wynik przy wymierzaniu kary, w wyznaczonych przez siebie granicach. Ostrzeżenie mówi sędziemu wymierzającemu karę, że to narzędzie może dyskryminować, nie przeszło walidacji dla tego stanu, nie powstało z myślą o wyrokowaniu i działa według reguł, których nikt na sali sądowej nie może zbadać.
Sędzia może przypisać wynikowi mniejszą wagę, a oskarżony może podważać go innymi dowodami. Ale nikt, ani sędzia, ani oskarżony, ani sąd apelacyjny, nie dostaje sposobu, by otworzyć samo obliczenie.
Zastrzeżenie dotyczące generatywnej AI
Niektóre treści na tej stronie zostały wygenerowane i/lub zredagowane z pomocą generatywnej sztucznej inteligencji.
Media
Najważniejsze źródła i bibliografia
Criminal justice and COMPAS
Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, „Machine Bias,” ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
ProPublica, „How We Analyzed the COMPAS Recidivism Algorithm,” May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
„ProPublica Responds to Company’s Critique of Machine Bias Story,” ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story
equivant, „Who is equivant?” FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/
State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01
Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm
Alexandra Chouldechova, „Fair prediction with disparate impact: A study of bias in recidivism prediction instruments,” Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524
Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, „Inherent trade-offs in the fair determination of risk scores,” Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf
Law, regulation and accountability
Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.
Frank Pasquale, The Black Box Society. Harvard University Press, 2015.
Frank Pasquale, „From Territorial to Functional Sovereignty: The Case of Amazon,” LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/
Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553
„State action,” Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action
Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23
Credit and hiring
myFICO, „What’s in my FICO Scores?” https://www.myfico.com/credit-education/whats-in-your-credit-score
CFPB, DOJ Civil Rights Division, EEOC and FTC, „Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems,” April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf
Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 („Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal,” 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal
Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b
National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/
Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371
„HireVue drops facial monitoring amid A.I. algorithm audit,” Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/
EPIC, „In re HireVue,” FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue
EEOC, „iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit,” September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit
Platforms and speech
Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm
United Nations, „Population” (Global Issues). https://www.un.org/en/global-issues/population
YouTube Official Blog, Press. https://blog.youtube/press/
TikTok Newsroom, „Thanks a billion!” September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en
„Musk Says X Has 600 Million Monthly Active Users,” Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users
Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/
European Commission, „Digital Services Act: Questions and answers” and „Out-of-court dispute settlement bodies under the Digital Services Act.” https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement
Grievance Appellate Committee, Government of India (appeals against intermediaries’ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/
Faiza Patel and Julian Melendi, „Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job,” Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job
Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf
Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230
New rules: EU and US
Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/
Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, „Digital AI Omnibus Delays Key Deadlines, Introduces New Rules,” August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/
Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053
Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf
Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf
NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page
Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, „Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence,” 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence
Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, „Colorado Act Legislation: The AI Strikes Back,” May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/
