これは機械翻訳された記事です。原文は英語です。
最終更新日: · 読了時間29分
要点
2013年、ウィスコンシン州での量刑の前に、ある独占的なアルゴリズムがエリック・ルーミスに高いリスクスコアをつけた。彼の弁護士たちはその仕組みを見ることができなかったが、州最高裁判所はその使用を支持した。アルゴリズムはいまや保釈、信用、採用を左右し、メタの1日36億人の利用者が何を目にするかを決めている。それは法のように人を縛る。それなのに、法が備える四つの安全装置のどれ一つとして、完全には満たしていない。公表された規則、異議を申し立てる手段、民主的な権威、そして責任である。新しいルールはシステムを監査し、決定を説明させる。だが、スコアをつけられた本人が規則そのものを確かめられるようにするものは一つもない。
目次
2013年、エリック・ルーミスはウィスコンシン州の裁判官の前に立っていた。彼はすでに、比較的軽い二つの罪について有罪を認めていた。交通警察官から逃走しようとした罪と、所有者の同意なく自動車を運転した罪である。州はこの事件を、彼が関与を否定していた走行中の車からの銃撃事件と結びつけていた。判決前調査報告書には、COMPASのリスク評価が含まれていた。独自開発のアルゴリズムが再犯の可能性を見積もって算出した、1から10までのスコアである。その数字は高かった。弁護人たちはその算出方法を検証させてほしいと求めた。返ってきた答えは、それは企業秘密だというものだった。ノースポイントという民間企業の所有物であり、弁護側が調べてよいものではない、と。
ウィスコンシン州最高裁判所は2016年、ルーミス本人も弁護人もスコアの算出方法を検証できなかったにもかかわらず、彼は適正手続(デュー・プロセス)を受けていたと判断した。両者をつなぐ論理までは確認できなかったにせよ、入力データと最終的な数字は確認できたし、スコアは量刑の決め手にもなっていなかった、というのである。同裁判所は、今後COMPASを用いるすべての判決前調査報告書に、このアルゴリズムの既知の問題点を列挙した書面の警告を付すよう命じた。警告は詳細で誠実なものだった。それでも裁判所は、アルゴリズムの使用を認めた。もし量刑を定める法律そのものが弁護側に対して封印されていたなら、適正手続の危機は誰の目にも明らかだったはずである。封印されたルールがアルゴリズムだったからこそ、裁判所はそれを道具として扱ったのである。
秘密の法律と、法として機能する企業秘密のルールとは、いったい何が違うのだろうか。
何が「規制」を規制たらしめるのか
規制の実用的な定義として役に立つのは、三つの要素からなるものである。拘束力、遵守の義務、そして違反に対する帰結だ。この定義に従えば、融資における差別を禁じる法律は規制である。だが機能の面から見れば、特定の郵便番号の地域に住む申込者からのローン申請を自動的に却下するアルゴリズムもまた規制である。署名された法律がないからといって、その効果が少しでも現実味を失うわけではない。
ローレンス・レッシグは「コードは法である」と論じた。ソフトウェアの設計は、法的ルールと同じくらい確実に人の行動を形づくる、というのである。フランク・パスクァーレは、不透明なアルゴリズムのシステムがいまや説明責任を負わないまま、信用、雇用、評判を統治していると論じてきた。アルゴリズムがすでに拘束力を持ち、遵守を義務づけ、帰結をもたらす規制として機能しているのなら、その権力にはどのような説明責任が伴うべきなのか。そして、なぜ何も伴っていないのか。
この機能面からの基準は、アルゴリズムの権威が最も大きな帰結をもたらすようになった分野に、そのまま当てはまる。保釈のリスクスコアからは逃れられない。被告人はスコアをつけられることを拒めず、別の指標に差し替えることもできず、公判を待つあいだ独房で眠るか自宅で眠るかに重くのしかかる数字から抜け出すこともできない。アルゴリズムによる与信判断には、問いただせる個人の意思決定者も、異議を差し挟める裁量判断も存在しない。アルゴリズムがルールを生み、ルールが結果を生み、結果は確定する。覆す道は、スコアリングの論理そのものを決して示さない異議申し立ての手続きを申込者がくぐり抜けた場合に限られる。コンテンツモデレーションによる削除は即座に行われる。投稿は消える。一般のユーザーにどんな不服申し立ての道があるにせよ、その判断は「ハラスメント」や「暴力」といった漠然としたコンテンツ基準に照らして下され、実質的に異議を唱える足がかりにはならない。
正式な規制には、これらのシステムに欠けている四つの説明責任の基準が備わっている。第一に透明性。米国では行政手続法(APA)が、行政機関の拘束力あるルールの大半について告知・意見募集の手続きを義務づけている。ルールは誰かを拘束する前に、意見を募るため公表されなければならない。第二に適正手続。自分に適用される法的基準と向き合い、それを争う権利は、法の下の統治の土台である。第三に民主的正統性。立憲民主主義において、拘束力あるルールを定める権限は、選挙で選ばれた機関にまでさかのぼる授権の過程から生じる。第四に法的責任。統治が損害をもたらしたとき、その責任を割り当てる仕組みが存在する。
現在運用されているアルゴリズムのシステムは、このどれ一つとして完全には満たしていない。せいぜい、国や分野によってそれぞれの断片を備えているにすぎない。よくある反論は、合衆国憲法修正第5条と第14条、そして憲法上の説明責任全般が拘束するのは国家であって、民間企業ではないというものだ。憲法論としてはそのとおりである。しかしそれは別の問いへの答えである。問われているのは、人口規模で機能的な意味の規制権力を行使するシステムが、その権力に見合った説明責任を負うべきかどうかであり、この問いには憲法の枠組みよりも行政法の枠組みのほうがよく合う。たいていの政府よりも広く統治の手を伸ばすシステムが、なぜどの政府にも許されないほど小さな説明責任のもとで動いているのか。それを問うのに、メタが権利章典に服する必要はない。
ステート・アクションとその限界
ステート・アクションの法理によれば、権利章典が定める憲法上の保護が制約するのは政府の主体であって、民間企業ではない。民間の雇用主は、修正第1条に触れることなく言論を制限できる。民間のプラットフォームは、適正手続の要件を発動させることなく投稿を削除できる。フランク・パスクァーレは、支配的なプラットフォームがいまや「機能的主権」を行使し、かつては政府にしか許されなかったやり方で市場と行動を規制していると論じ、その種の権力には公法型の説明責任が求められると主張する。EU AI法は機能的な枠組みを採用することで、ステート・アクションの問題を暗黙のうちに回避している。AIシステムを、政府が導入したかどうかではなく、それが何を、誰に対して行うかに基づいて規制するのである。システムを、誰が運用しているかではなく機能によって判断することこそ、アルゴリズムの権威を捉えるための正しい枠組みである。
スコアに懸かる自由――COMPASと量刑マシン
COMPAS(Correctional Offender Management Profiling for Alternative Sanctions)は、ノースポイント社(現エクイバント社)が開発した独自のリスク評価ツールである。被告人が再犯に及ぶ可能性を見積もった、1から10までのスコアを算出する。このスコアは米国の複数の州で、公判前の勾留、量刑、仮釈放の判断に用いられてきた。
2016年、プロパブリカの記者たちはフロリダ州の情報公開法を使い、ブロワード郡で2013年と2014年に逮捕された7000人を超える被告人のCOMPASスコアを入手し、その後2年間に誰が再び逮捕されたかを追跡した。再逮捕されなかった被告人のうち、中リスクまたは高リスクと判定されていた割合は、黒人の被告人が白人の被告人のほぼ2倍だった。
ノースポイント社は、COMPASのスコアは較正されていると反論した。スコア7は、被告人の人種にかかわらず、ほぼ同じ再犯確率を予測するというのである。データは両方の主張を裏づけていた。それぞれが別のものを測っていたからだ。較正の主張は、集団をまたいだ予測の正確さに関するものである。偽陽性の格差は、再犯しない人々に何が起きるかに関するものであり、そうした人々のなかで誤って危険と判定される人は、不釣り合いに黒人が多い。アルゴリズムは較正の検査に合格しながら、ある人口集団に最も重くのしかかる結果を生み出しうる。どの公平性の基準を重視するかは政策上の問題である。だが、COMPASについてその選択を行った公的機関は一つもなかった。
この対立は数学に組み込まれており、すでに証明されている。集団間で再犯の基準率が異なる場合、どの集団に対しても等しく予測力を持つ高リスクのラベルは、予測が完璧でないかぎり、両集団の偽陽性率と偽陰性率を同時に等しくすることはできない。これらすべてを同時に手に入れることはできないのである。どれほど優れた手法でも、プロパブリカとノースポイント社の論争に決着をつけることはできなかった。そしてそのことが、説明責任をめぐる議論をいっそう切実なものにする。公平性の基準をどう釣り合わせるかに純粋に技術的な答えがないのなら、誰かがその選択をしなければならず、選択をする者はその選択について責任を負うべきである。
エリック・ルーミスは、暴力的な罪では何一つ有罪になっていなかった。彼が有罪を認めたのは警察官からの逃走と、所有者の同意のない自動車の運転であり、彼が否定していた銃撃関連の容疑は取り下げられたものの、量刑の際には「読み込まれ」、考慮されていた。彼のCOMPASスコアは高く出た。彼は適正手続を根拠に、量刑におけるその使用に異議を唱えた。アルゴリズムが企業秘密であるために、裁判所が自分の自由を制約するために用いているものの科学的妥当性を争うことができない、と主張したのである。
State v. Loomis事件におけるウィスコンシン州最高裁判所の答えは、被告人が入力データ――自身の犯罪歴や判決前質問票への回答――の正確さを確認できたのだから、適正手続は満たされている、というものだった。それらの入力が互いにどう重みづけされ、スコアリングの論理がそれらをどのように一つの数字に変えるのかを知る権利は、彼にはなかった。
彼にあったのは、自分について入力されたデータが正しいかを確かめる権利と、最後に出てきたスコアに異議を唱える権利だった。それで記録の誤入力は見つけられるかもしれない。だが、記録をリスクスコアに変える過程の欠陥は見つけられない。
とはいえ、裁判所は注目すべきこともした。COMPASに依拠するすべての判決前調査報告書に、その使用の限界と一連の注意事項を記した書面の勧告を添えるよう求めたのである。その仕組みが秘密にされていること。高リスクの個人ではなく高リスクの集団を識別するものであること。マイノリティの犯罪者をより高リスクに分類しているのではないかと疑問を呈する研究があること。ウィスコンシン州の住民で検証されていないこと。そしてCOMPASはそもそも量刑のために開発されたのではなく、処遇、監督、仮釈放に関する矯正上の判断のために開発されたものであること。
アルゴリズムのどこが誤っているかもしれないかを書き出したうえで、裁判所はそれでもその使用を認めた。ただし柵を設けた。リスクスコアを、人を刑務所に送るかどうか、あるいはその期間を決めるために使ってはならず、決定的な要素にしてもならない。判決のどこにも、被告人が自分のスコアの算出方法を見ることを認める内容はなかった。
合衆国最高裁判所は2017年、この事件の審理を拒んだ。その算出方法を検証する手段がまったくないまま、企業秘密のアルゴリズムのツールを使って人の自由を制約してよいのか。この国の最高裁は、その問いにいまだ答えていない。
公平性をめぐる数学的な不可能性
問題となる結果(ここでは再犯)の基準率が人口集団のあいだで異なる場合、二つの数学的証明が、公平性の基準が衝突することを示している。スコアは、較正されていること(あるスコアが、どの集団でも現実の同じリスクを意味すること)と、再犯する人々にも再犯しない人々にも、それぞれどの集団でも同じ平均スコアを与えることを、同時には満たせない。スコアを高リスクと低リスクのラベルに区分すると、そのラベルは、どの集団に対しても等しく予測力を持つこと(高リスクとされた人々のうち再犯する割合が同じであること)と、偽陽性率と偽陰性率が等しいことを、同時には満たせない。どちらの組み合わせも、予測が完璧でないかぎり同時に満たすことはできず、現実には予測が完璧になることは決してない。設計やデータをどれほど改善しても回避することはできない。それは状況そのものが持つ数学的な性質なのである。ノースポイント社によるCOMPASの弁護は、較正については持ちこたえたが、説明責任の問題には手をつけなかった。どの公平性の基準を優先すべきかを、誰が、何を根拠に、どのような正統性をもって決めたのか、という問題である。不可能性の結果は、公平性をめぐる議論を消し去るわけではない。それはこの選択が政治的なものであることを示している。だからこそ、企業秘密の保護のもとでその選択を行うのは誤りなのである。
見えないルール――信用、雇用、経済生活
法がまだ十分に向き合っていない、単純な比較がある。差別的な融資担当者は、少なくとも原理的には責任を問われうる。彼女は証言録取に呼ばれ、メールは召喚令状で提出を命じられ、申込者についてのメモは精査される。その判断の背後にある理由づけは訴訟のなかで検証され、公正住宅法や信用機会均等法に照らして争われ、判決まで争うことができる。同じように人種によって偏った融資結果を生み出す差別的なアルゴリズムには、そのどれもが当てはまらない。融資機関に、モデルの構築や検証の方法に関する証人の出廷や記録の提出を命じることは依然としてできるが、この申込者がなぜ拒否されたのかについて証言を録取すべき個人の意思決定者はいない。結果を生んだルールは企業秘密であり、原告がそこにたどり着けるのは通常、まずそれにそもそも関連性があることを裁判所に納得させ、保護命令のもとで証拠開示の争いに勝ったときだけである。
米国の消費者金融で信用力を測る支配的な尺度であるFICOスコアは、企業秘密の計算式によって算出されている。FICOは五つの大まかな項目とそのおおよその比重(支払い履歴35%、債務残高30、信用履歴の長さ15、新規の信用10、信用の種類の構成10)を公表しているが、モデルそのものは公表していない。消費者には、支払いの遅れや債権回収といった基礎データの正確さを争う権利がある程度は認められている。だが、それらの入力が互いにどう重みづけされるかを争う権利はない。その重みづけこそが企業秘密の部分であり、機能の面から言えば、それがルールなのである。
2023年、消費者金融保護局(CFPB)は司法省、雇用機会均等委員会(EEOC)、連邦取引委員会(FTC)とともに、過去のデータで訓練された自動化システムは違法な偏りを永続させ、差別を自動化しうると警告した。各地の住宅地には、いまもレッドライニング地図の輪郭が残っている。過去のデータで訓練され、郵便番号を特徴量として用いるアルゴリズムは、差別するように設計されている必要はない。受け継がれたシグナルとして、差別を受動的に吸収しうるのである。その後、法の対応は後退した。2025年、CFPBは、複雑で不透明なモデルを使う貸し手であっても融資を断る際には申込者に具体的な理由を示さなければならないことを確認したガイダンスを撤回した。法律上の義務は残っているが、ガイダンスは消えた。続いて2026年に施行され、現在裁判で争われているCFPBの規則が、信用機会均等法は差別的効果に基づく請求をそもそも認めていないと宣言した。公正住宅法がなおそうした請求を認めている住宅分野を除けば、これによって、まさにこの問題のために設計された連邦の主要な手段が失われた。より公正な代替策が存在したのに、表面上は中立なルールが差別的な結果を生んでいると証明するための手段である。
雇用の場でこれがどう現れるかを示すのがハイアービューである。同社は動画を用いた採用前評価を販売し、録画された面接からAIで求職者を評価していた。あるプライバシー保護団体が連邦取引委員会に申し立てを行い、とりわけハイアービューが顔認識技術の使用を偽って否定していたと主張した。ハイアービューは2020年に求職者の表情の分析をやめ、のちにその理由を説明した。同社自身の説明によれば、表情を含む非言語的なシグナルは、ほとんどの職種で予測力を約0.25%しか高めておらず、偏りへの懸念を考えれば割に合わなかったという。何年ものあいだ、求職者は部分的に表情や動きによって採点されていた。そしてそれが公平かどうかを、社外の誰も検証できなかった。
最もあからさまな例がiTutorGroupの事件である。EEOCはこのオンライン家庭教師会社を提訴した。55歳以上の女性応募者と60歳以上の男性応募者を自動的に不採用にするよう、応募受付ソフトウェアを設定していたためである。資格を備えた米国の応募者200人超が、年齢だけを理由に不採用とされた。iTutorGroupは和解金として36万5000ドルを支払うことに同意した。ソフトウェアにふるい落とされた応募者のあいだで分配される金額であり、失われた雇用機会の代償として、1人あたり平均1825ドルに満たない。同意判決はさらに、差別防止研修、新たな方針の策定、そして少なくとも5年間にわたるEEOCの監視を義務づけた。
構造的な問題は、個々の事件のどれよりも訴訟で争いにくい。これらのシステムは体系的な誤りを生む。その誤りはパターンを持ち、集計データでは目に見えるのに、個人がそれに異議を唱えられることはまれである。誤りを生むルールが本人に開示されないからだ。もしこれが法律で定められたルールなら、どれもその文面に即して争うことができる。ルールがわかり、それが自分にどう適用されたかがわかり、訴えの根拠がある。アルゴリズムの場合、損害は現実のものであり集計データのうえでは記録されているのに、それを生むルールは、損害を受ける当の人々には見えないままである。
信用機会均等法、公正住宅法、そして開示の空白
差別的効果の法理は、より差別的でない代替策が利用可能だった場合、差別的な結果を生む慣行を、意図の証明なしに争うことを原告に認めるものである。合衆国最高裁判所は、公正住宅法のもとでこうした請求が可能であることを確認している。信用機会均等法(ECOA)のもとでの融資については、その扉は狭まった。2026年に施行されたCFPBの規則は、ECOAが差別的効果に基づく責任を認めていないと定めており、同局は2025年、アルゴリズムによる不利益決定の通知に関するガイダンスを撤回した。差別的効果の請求が生き残っている分野でも、より差別的でない代替策の分析にはモデルの理解が欠かせない。どの特徴量を使い、それらがどう重みづけされ、一部を除外したり重みを変えたりすれば何が変わるのか。モデルが企業秘密で、開発者が営業秘密としての保護を主張すれば、理論上は原告が使える枠組みも、実際には利用が非常に難しくなりうる。
フィードという法
メタによれば、同社のアプリ群(フェイスブック、インスタグラム、メッセンジャー、ワッツアップ)の1日あたりのアクティブな利用者数は、2026年6月に平均約36億人に達した。地球全体の人口は80億人をわずかに上回る程度である。メタの1日の利用者は、地球上のどの国の人口よりも多い。
ユーチューブは全体の数字を明かしていない。同社によれば、ショート動画だけでも月間ログインユーザーは「数十億人」にのぼるという。ティックトックは2021年に月間利用者10億人を発表した。旧ツイッターのXは、非公開化に伴って公的な提出書類で利用者数を報告しなくなった。イーロン・マスクが主張する月間約6億人という数字は、一度も独立に検証されていない。
これらを足し合わせてはいけない。重複はきわめて大きく、ティックトックを使う人の大半はインスタグラムも使っている。メタの数字だけでも、具体的なことがわかる。ある民間企業が1日に何十億回も、その36億人が何を言えるか、何を見られるか、誰のコンテンツが届き、誰のコンテンツが届かないかについて、拘束力のある決定を下しているのである。そうした決定の圧倒的多数は、アルゴリズムのシステムによって下されている。文書化された方針は公開されている。それを適用するランキングと執行の仕組みは公開されていない。大きな例外は欧州連合(EU)である。2024年以降、デジタルサービス法が利用者に、理由を付した決定、無料の不服申し立て、独立した紛争解決機関の利用を保障している。インドでは政府の苦情上訴委員会が運営され、プラットフォームはその裁定に従わなければならない。それ以外の大半の国では、一般の利用者には法的に執行可能な不服申し立ての手段がまったくない。
この体制を擁護するおなじみの論法は、コンテンツモデレーションは編集上の判断に似ている、というものだ。何を掲載するかを決める新聞の編集者は、メタのコンテンツシステムと同じ種類の裁量を行使している、と。この類推は、規模の現実に触れたとたんに崩れる。最大級の新聞でさえ、読者は数十億人ではなく数百万人単位で数えられ、公共インフラを名乗る新聞は一つもない。何十億もの人々の選挙、抗議、健康上の緊急事態、公的な記録が一つのプラットフォームの上に存在し、そうした局面でどの声を増幅し、どの声を抑え込むかをそのプラットフォームのアルゴリズムが決めるのなら、それは規制権力であり、拘束力と現実の帰結を伴う。実際上は義務的でもある。これらの公共圏に同等の規模で参加しようとしても、異なるルールを持つ競合プラットフォームを通じてそれを果たすことはできない。この到達範囲に近づける代替手段は存在しないからだ。
これほどの範囲で執行された国の言論法は、これまで一つもない。政府には権限がある。だが、数十の言語にまたがる1日36億人の利用者の言論を対象に、執行のインフラを築く必要に迫られた政府は一つもなかった。これらのシステムはそれを、ばらつきを抱えながらも築いてきた。方針は公表されている。だが、個々の事案を決める運用上のルール、つまり閾値や分類器やランキングのシグナルは公表されていない。
メタの監督委員会は、コンテンツモデレーションの決定を独立した立場からチェックするために設立された。ブレナン司法センターは、委員会がメタのアルゴリズムのシステムにアクセスできなければ役目を果たせないと論じてきた。何が増幅され、何が格下げされ、何が削除されるかについて、圧倒的多数の決定を下しているのはそのシステムだからである。委員会は、選ばれたごく一部の決定を事後に審査するにすぎない。ルールを適用する仕組みは、委員会にも一般の人々にも見えない。
2016年から2017年にかけて、フェイスブックはミャンマーでロヒンギャに対するヘイトスピーチを広めるために使われた。国連の調査団はこのプラットフォームを「憎悪を広めようとする者にとって有用な道具」と呼び、同社の対応を遅く効果に乏しいものだったと評した。フェイスブックには、ミャンマー語を理解するコンテンツモデレーターがあまりに少なかった。このプラットフォームは、読み解く態勢のないコンテンツを増幅していたのである。そのパターンを止め、異議を唱え、あるいはリアルタイムで記録することさえできる説明責任の仕組みは存在しなかった。同社は、対応が遅すぎたことを認めた。
殺戮を行ったのは軍である。2017年8月に軍が始めた作戦から1年もたたないうちに、72万5000人近いロヒンギャがバングラデシュに逃れ、国連の調査団は最大1万人という死者の推計を控えめなものだと述べた。フェイスブックがその作戦を引き起こしたわけではない。だが、作戦に先立つ憎悪を運んだのはフェイスブックだった。そしてプラットフォームが自ら増幅する投稿を読めないとき、モデレーションができないことは、モデレーションをしないという決定と同じ効果を持ちはじめる。
通信品位法230条と免責の空白
通信品位法230条は、第三者が投稿したコンテンツについての責任と、善意で行ったコンテンツモデレーションの決定についての責任から、プラットフォームを広く免責している。その結果生まれたのは、プラットフォームが利用者の投稿内容にほとんど責任を負わず、それに適用するルールについて公的な説明責任をまったく負わない法的構造である。この免責は、もはや存在しないインターネットのために設計された。毎日何十億もの人々に対して拘束力ある統治上の決定を下す主体ではなく、利用者のコンテンツを置いておく小さなサービスの集まりとしてのインターネットである。230条を改正あるいは廃止しようとする現在の取り組みを突き動かしているのは、本稿が指摘するのと同じ構造的な問題、すなわちこれらのシステムが行使する権力と、現在その権力に伴っている説明責任の仕組みとのずれである。230条の改正が適切な手段なのか、それがどのような意図せざる結果を生むのかは、また別の議論である。
正式な規制が求める四つのこと
正統な規制の四つの基準を、保釈スコア、信用スコア、採用フィルター、そしてフィードに当てはめてみよう。
まずは透明性である。APAの告知・意見募集の要件が存在するのは、秘密の規制が、同意を必要とする種類の統治とは相いれないからだ。見たこともないルールに、意味のある形で同意したり異議を唱えたりすることはできない。保釈のアルゴリズムが被告人に8というスコアをつける。そのスコアは、公判を待つあいだその人が自宅で眠るか独房で眠るかに重くのしかかる。8を生んだルールは開示されない。大規模なデータセットと、それを逆算する統計的な道具を手にした誰かなら、不完全かつ不正確ながら推測することはできる。だがそれは、告知・意見募集の手続きが求める公表されたルールとはほど遠い。コンテンツモデレーションのアルゴリズムが投稿を削除し、利用者が「暴力」や「ハラスメント」を理由に挙げた通知を受け取っても、その通知には、どの基準が適用されたのか、その閾値がどう設定されたのか、アルゴリズムがどの程度の確信度で作動したのかは書かれていない。ルールは、削除を一つずつ積み重ねた執行結果のパターンから推測するしかない。
透明性は、ほかのすべての前提条件である。見えない法的基準と向き合い、それを争うことは誰にもできないからだ。その向き合い、争う権利こそが、被告人が自分に対する起訴事実を知る権利を持ち、規制を受ける当事者がルール制定に参加する権利を持つ理由である。エリック・ルーミスの弁護人たちは、依頼人の自由を制約するために使われた算出方法の開示を求めた。裁判所は拒んだ。自動的に不採用とされたiTutorGroupの応募者たちは、自分にルールが適用されたことさえ知らなかった。ルールの中身については言うまでもない。削除の通知を受け取ったフェイスブックの利用者は、自分がどのコミュニティ規定に違反したかを知らされるが、その線がどこに引かれていたのかは何一つ知らされない。適正手続には、具体的な何かに応答する機会が欠かせない。
次に民主的正統性である。議会は選挙で選ばれる。行政機関は議会から権限を委任され、選挙で選ばれた公職者の監督を受け、APAの手続き上の要件に服する。その決定は連邦裁判所で争うことができる。数億から数十億の人々について、信用、雇用、自由、表現へのアクセスを左右するアルゴリズムを運用する民間企業には、それに相当する説明責任の構造がない。企業が責任を負う相手は株主であって、自らが統治する人々ではない。企業の製品上の決定が統治上の決定になったとき、製品のために作られた説明責任の構造ではもはや足りない。
そして法的責任がある。これがほかの三つを執行可能にする。不法行為法、製造物責任、行政上の説明責任。これらは統治が損害をもたらしたときに責任を割り当てるために存在する。人口規模で生じるアルゴリズムの損害に対しては、そのどれもが十分に機能しない。連邦民事訴訟規則のもとでクラスの認証を得るには、クラス全体に共通する法律上または事実上の問題を示す必要がある。ルールが企業秘密で、損害が却下されたローン、偽陽性の保釈スコア、抑え込まれた投稿といった何百万もの小さな個人的被害に分散しているとき、モデルそのものにアクセスできなければ、この共通問題の要件を満たすことは構造的に難しい。集計すれば損害は莫大である。個々の事例は、個別の裁定のために設計された法的な仕組みからは見えないままである。
iTutorGroupの和解に戻ろう。失われた雇用機会の代償として、1人あたり平均1825ドルに満たない。この数字は、実際の損害の近似値にすらなっていない。同意判決の研修と監視が拘束するのは一つの企業だけであり、リスクを見積もるほかの誰にとっても、記録に残る値段は現金の額である。規模を大きくしてみよう。あるアルゴリズムが差別的な理由で2万人の応募者を不採用にし、一人ひとりが同じ水準で和解したとすれば、潜在的な賠償責任は3650万ドルに満たない。売上高が数億ドル規模の企業にとって、それは事業を営むうえでのコストにすぎない。
四つは互いに依存し合っている。透明性がなければ適正手続には争うべき具体的な対象がなく、そのどちらもなければ法的責任を立証するのは難しい。アルゴリズムの規制権力は現在、四つのどれ一つとして完全には備えていない。
対応とその限界
EU AI法は2024年8月に発効した。アルゴリズムの権威に対処するために作られた規制の枠組みとしては、これまでで最も包括的なものである。
その中身は充実している。同法はAIシステムをリスクの段階ごとに分類する。遵守の負担をすべて負う高リスクのリストには、信用スコアリング、採用と業績評価、そして刑事司法が明示されている。刑事司法とは、人が罪を犯したり再犯したりするリスクを評価するツールや、裁判官の法適用を補助するAIのことである。これらのシステムについて、同法は導入前の適合性評価、人間による監督、影響を受ける人々への透明性を義務づけている。公的機関と信用スコアリングを行う事業者は、さらに基本権影響評価も実施しなければならない。リストに挙がったシステムの大半について、その決定の対象となった人は、決定が法的効果を生む場合、あるいは健康、安全、基本権に重大な悪影響を及ぼす場合に、説明を受ける権利を得る。高リスクに関する規則に違反すれば、最大1500万ユーロまたは全世界の年間売上高の3%の制裁金が科されうる。これらの義務は当初2026年8月から適用される予定だったが、すでに施行されている後の改正によって、高リスクに関する要件は2027年12月に延期された。説明を受ける権利は、書面上は2026年8月という日付を維持したが、その対象となるのは、分類規則が他の規定とともに延期された高リスクシステムである。
これらは形だけの要件ではない。COMPASがリストに挙がった高リスクシステムの一つとして欧州で導入されれば、使用前に適合性評価と基本権影響評価が義務づけられる。ハイアービューの動画評価システムがEU域内の労働者に影響する採用判断に使われれば、人間による監督と説明を受ける権利が求められる。
米国での進展は、より断片的である。ニューヨーク市は2023年以降、市内の職の採用や昇進に用いられる自動化雇用決定ツールについて、結果の公表を伴う独立した偏りの監査を毎年義務づけている。イリノイ州は2026年1月以降、違法な差別をもたらす形で雇用の判断にAIを用いることを禁じ、保護される属性の代理指標として郵便番号を使うことを禁止し、採用や雇用の判断にAIを用いる際には雇用主に通知を義務づけている。コロラド州は、一度も施行されなかったAI法を、重大な決定における自動化された意思決定を対象とするより狭い法律に置き換えた。2027年1月に施行されるこの法律は、使用前の通知、不利な決定の後の平易な言葉による説明、不正確なデータの訂正、そして人間による意味のある再検討を求める権利を定めている。
5年前には真剣に規制されていなかった問題に対する、これらは現実の前進である。だが、構造的な限界も共有している。プロファイリングや性格特性だけを根拠に人が犯罪を犯すリスクを予測することを禁じるAI法の規定や、差別的な利用を禁じるイリノイ州の規定といった、いくつかの全面的な禁止を除けば、いずれも主に設計基準、文書化、監査、開示を通じて機能するものだ。監査人であれ規制当局であれコンプライアンス部門であれ、誰かがシステムの公平性を評価することを求める。システムに統治される個人に与えられるのは、せいぜい説明か、誤ったデータの訂正か、人間によるもう一度の確認である。そのどれも、当人がルールそのものを点検することを許さない。AI法の説明を受ける権利が意味するのは、リストに挙がった高リスクシステムの大半による決定の対象となった人が、その決定が法的効果を生む場合、あるいは健康、安全、基本権に重大な悪影響を及ぼす場合に、その決定について説明を受けなければならない、ということである。モデルの重み、訓練データの構成、アルゴリズムの手法を当人が調べられるという意味ではない。人は一つの決定がなぜ自分に不利に働いたのかを知るが、それを下したシステムを監査する手段は得られない。
構造的な時間差は、また別の問題である。EU AI法の高リスクの枠組みは、おおむね2020年から2022年ごろに存在したAIシステムを念頭に作られた。高リスクの遵守が求められるころには、規制対象のシステムは何世代もの変化を経ている。規制は何年もかけて書かれ、アルゴリズムのシステムは数か月単位で改良を重ねる。ずれの原因は、立法の速度と技術の速度の差にある。条文をうまく書いていれば埋められた、というものではなかった。
GDPRの経験は、期待をほどほどに抑えるべきことを教えている。2018年から適用されているその第22条は、EU域内の人々に、重大な影響を伴う完全に自動化された決定に服さない権利を与えた。ただし、その決定が契約に必要な場合、法律で認められている場合、本人が明示的に同意した場合は除かれる。関連する条文は、関係する論理についての意味のある情報を得る権利を加えた。紙の上では強力である。EUのガイダンスは、企業が「人間の関与を捏造する」ことでこれを逃れることはできないとしており、EU司法裁判所はその範囲を広げてきた。2023年には信用スコアそのものが自動化された決定にあたりうると判断し、2025年には、融資を断られた人は自分に実際に適用された手続きと原則について説明を受ける権利があり、営業秘密を理由とする異議は企業の言い分をそのまま受け入れるのではなく、裁判所や規制当局が比較衡量すべきだと判断した。実際には、そこにたどり着くまでに7年と度重なる訴訟を要した。AI法独自の説明を受ける権利にも、同じ慎重さで臨むべきである。
GDPR第22条と経験から学んだ懐疑
2018年から適用されているGDPR第22条は、EU域内の人々に、重大な結果を伴う純粋に自動化された決定に服さない権利を与えている。ただし、契約、法律上の授権、明示的な同意については例外がある。同規則の透明性に関する条文は、その論理についての意味のある情報を得る権利を加えている。実際には、その影響は限られてきた。「完全に自動化された」という基準は、人間による薄い承認の層をかぶせるという抜け道を招いた。EUのガイダンスは、形ばかりの関与は関与に数えないとしているにもかかわらずである。説明を受ける権利は何年も争われ、2025年にEU司法裁判所が、人々は一般的な説明や生のアルゴリズムではなく、自分の事案に実際に適用された手続きと原則について説明を受ける権利があると判断して、ようやく決着した。EU AI法第86条の説明を受ける権利の規定は、第22条の失敗を念頭に起草された。第22条が手がかりになるなら、新たな規定が旧来の規定以上の成果を上げるかどうかを決めるのは、執行と裁判所である。
説明責任のパラドックス
統治に異議を唱えるために私たちが持っている法的な仕組みは、明示されたルールのもとで動く、特定可能な意思決定者による個別の行為を扱うために作られた。法律は、一つの事件で一人の人間によって争われる。行政機関の規則は、告知・意見募集の手続きかAPAに基づく訴訟を通じて争われる。行政上の決定は、審査を行う審判機関に不服が申し立てられる。差別的な公務員は、証言録取に呼ぶことができる。これらの仕組みは、特定の構造を前提としている。単一の決定、明示されたルール、損害を特定できる異議申立人、問いただすことのできる意思決定者である。
アルゴリズムの規制権力は、その前提のすべてを一度に崩す。アルゴリズムによる決定を法廷で争うには、たいてい三つのものを組み合わせて揃える必要がある。第一に、その決定を生んだルール。これは企業秘密であり、通常は保護命令のもとでの証拠開示を通じてしか入手できない。第二に、別の結果を得るには何が必要だったかを示す反実仮想。これはモデルへのアクセスか企業からの完全な説明がなければ構築が難しい。第三に、差別の請求であれば、パターンの証拠。これには人口レベルのデータが必要だが、影響を受けた個人がそれを持っていないことはほぼ確実である。
ウィスコンシン州最高裁判所の答えは、書面の警告を義務づけることだった。判決前調査報告書の警告は問題に名前を与え、被告人は他の証拠を使ってスコアを争うことも依然としてできるが、その警告には計算を調べることを認めるものは何もない。
民主的な授権は、それが確立されえたはずのあらゆる地点で欠けている。メタの監督委員会は、名目上監督しているはずのアルゴリズムにアクセスできない。CFPBは調査の際に貸し手のモデルの提出を求めることができるが、そのモデルにスコアをつけられた借り手に示されるのは理由の一覧だけである。ウィスコンシン州最高裁判所は、COMPASの開示を命じることを見送った。説明責任を課すことができたはずのどの瞬間にも、企業秘密という利益は、統治が越えようとしない障壁として扱われた。その遠慮を求める法律はなかったし、これらの機関のどれ一つとして、この問いを突きつけることはなかった。
アルゴリズムのシステムを大規模に導入する価値は、何百万もの事案にわたる一貫性、速さ、そしてそれ自体が差別的な失敗を生む人間の裁量の排除にある。まさにそれらの特徴が、法が発展させてきた説明責任の仕組みにとって、このシステムを読み解けないものにしている。偏った融資担当者や偏った量刑判断を下す裁判官は、偏ったアルゴリズムにはない形で責任を問われる。そして法制度は、アルゴリズムに同じ責任を負わせる方法をまだ見いだしていない。
EU AI法からニューヨーク市、コロラド州、イリノイ州の法律まで、いま築かれつつある枠組みは、システムを監査し、決定を説明する。スコアをつけられる当人に、モデルを開いて見せることはしない。
アルゴリズムのシステムは、異議申し立てが可能になるまでに何年も、体系的に差別的な結果を生み出しうる。異議を唱えるには、異議申立人に与えられていないアクセスが必要だからだ。iTutorGroupは、EEOCが提訴するまでシステムが運用されていた期間中ずっと、何百人もの応募者を差別していた。ハイアービューは、わずかな上積みに見合わないとしてその機能を廃止するまで、何年ものあいだ部分的に表情によって求職者を採点していた。COMPASは10年以上にわたり、複数の州で量刑に使われてきた。異議申し立てが行われるとしても、それは損害の後にやってくる。そしてそれまでのあいだに損害を受けた人々は、最終的な解決によっても元どおりにはならない。
ふたたびウィスコンシンへ
ウィスコンシン州最高裁判所がCOMPASを用いるすべての判決前調査報告書に求めた注意事項を、裁判所自身の言葉で読んでみよう。「COMPASの企業秘密としての性質を理由に、各要素がどのように重みづけされているか、あるいはリスクスコアがどのように決定されているかに関する情報の開示が拒まれてきた」「COMPASのリスク評価スコアは集団データに基づいているため、高リスクの犯罪者の集団を識別することはできるが、特定の高リスクの個人を識別することはできない」「COMPASのリスク評価スコアに関するいくつかの研究は、それがマイノリティの犯罪者を再犯リスクがより高いと不釣り合いに分類しているのではないかという疑問を提起している」「COMPASのリスク評価は被告人を全国的な標本と比較するが、ウィスコンシン州の住民を対象とした交差検証研究はまだ完了していない。リスク評価ツールは、母集団や部分母集団の変化に応じて、正確さを保つため絶えず監視し、基準を再設定しなければならない」。そして、「COMPASは量刑での使用を目的に開発されたものではなく、処遇、監督、仮釈放に関する判断を行う矯正局による使用を意図したものであった」。
これらは、何が検証されておらず、何が誤っているかもしれないかについての、裁判所自身の認定である。それを列挙したうえで、裁判所はなお、自ら定めた範囲内で量刑におけるスコアの使用を認めた。警告は量刑を下す裁判官に、このツールが差別するかもしれず、この州では検証されておらず、量刑のために作られたものでもなく、法廷の誰も点検できないルールによって動いていることを告げている。
裁判官はスコアを割り引いて考えることができ、被告人はほかの証拠によってそれを争うことができる。だが裁判官も、被告人も、上訴裁判所も、誰一人として、計算そのものを開いて見る手段を与えられてはいない。
関連記事
- 鍵は4だった――あなたのソフトウェアが信頼するウェブサイトを決めるのは誰か
- 道徳的な心:あなたの倫理的直観はなぜ思っているほど当てにならないのか、そしてどうすればよいのか
- なぜ車にはボタンやダイヤルではなくタッチスクリーンがあるのか?
参考図書
Amazonのアソシエイトとして、Eikleafは適格販売により収入を得ています。以下の書籍リンクはアフィリエイトリンクです。リンク経由でご購入いただくと、追加費用なしで当サイトに少額の手数料が支払われる場合があります。
The Twenty-Six Words That Created the Internet通信品位法230条の歴史と、プラットフォームが発行者としての責任を負わずにコンテンツを管理できる理由。おすすめ動画
11:20Algorithmic Bias and Fairness: Crash Course AI #18アルゴリズムがどのように偏りを持つようになるのか、公平性とは何を意味しうるのかを解説するCrash Courseの動画。
18:29The danger of predictive algorithms in criminal justice | Hany Farid | TEDxAmoskeagMillyardCOMPASを検証したHany Faridが、刑事司法におけるリスクスコアの危険性を語る。
13:19The era of blind faith in big data must end | Cathy O’NeilCathy O’Neilが、隠れたルールのように振る舞う説明責任のないアルゴリズムについて語る。この記事の引用
Lena Martin. “アルゴリズムはいかにして規制者になったか――民間のコードが、法の説明責任を負わないまま法として機能するとき.” Eikleaf, 2026年6月3日, 更新 2026年10月25日. https://www.eikleaf.com/ja/how-algorithms-became-regulators-when-private-code-functions-as-law-without-the-accountability-of-law/
生成AIに関する免責事項
このページの内容の一部は、生成AIの支援を受けて作成および/または編集されています。
メディア
主な出典と参考文献
Criminal justice and COMPAS
Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, “Machine Bias,” ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
ProPublica, “How We Analyzed the COMPAS Recidivism Algorithm,” May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
“ProPublica Responds to Company’s Critique of Machine Bias Story,” ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story
equivant, “Who is equivant?” FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/
State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01
Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm
Alexandra Chouldechova, “Fair prediction with disparate impact: A study of bias in recidivism prediction instruments,” Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524
Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, “Inherent trade-offs in the fair determination of risk scores,” Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf
Law, regulation and accountability
Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.
Frank Pasquale, The Black Box Society. Harvard University Press, 2015.
Frank Pasquale, “From Territorial to Functional Sovereignty: The Case of Amazon,” LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/
Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553
“State action,” Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action
Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23
Credit and hiring
myFICO, “What’s in my FICO Scores?” https://www.myfico.com/credit-education/whats-in-your-credit-score
CFPB, DOJ Civil Rights Division, EEOC and FTC, “Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems,” April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf
Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 (“Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal,” 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal
Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b
National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/
Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371
“HireVue drops facial monitoring amid A.I. algorithm audit,” Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/
EPIC, “In re HireVue,” FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue
EEOC, “iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit,” September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit
Platforms and speech
Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm
United Nations, “Population” (Global Issues). https://www.un.org/en/global-issues/population
YouTube Official Blog, Press. https://blog.youtube/press/
TikTok Newsroom, “Thanks a billion!” September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en
“Musk Says X Has 600 Million Monthly Active Users,” Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users
Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/
European Commission, “Digital Services Act: Questions and answers” and “Out-of-court dispute settlement bodies under the Digital Services Act.” https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement
Grievance Appellate Committee, Government of India (appeals against intermediaries’ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/
Faiza Patel and Julian Melendi, “Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job,” Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job
Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf
Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230
New rules: EU and US
Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/
Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, “Digital AI Omnibus Delays Key Deadlines, Introduces New Rules,” August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/
Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053
Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf
Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf
NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page
Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, “Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence,” 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence
Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, “Colorado Act Legislation: The AI Strikes Back,” May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/












