本文由英文原文機器翻譯而成。
最後更新： · 閱讀時間約24分鐘
重點摘要
2013年，Eric Loomis在威斯康辛州接受量刑前，一套專有演算法給了他很高的風險分數。他的律師無法檢視這套演算法如何運作，州最高法院卻仍維持了它的使用。如今，演算法左右著保釋、信貸與招聘，也決定Meta每天36億名使用者能看到什麼。它們像法律一樣具有約束力，卻沒有完整具備法律的四項保障中的任何一項：公開的規則、提出爭執的管道、民主授權，以及法律責任。新的規範會稽核系統、解釋決定，卻沒有一項讓被評分的人檢視規則本身。
目錄
2013年，Eric Loomis站在威斯康辛州一名法官面前。他已就兩項較輕的罪名認罪：企圖逃避交通警察，以及未經車主同意駕駛車輛。州檢方把這起案件和一起駕車槍擊案連在一起，而他否認參與那起槍擊。判決前調查報告裡附有一份COMPAS風險評估：一個由專有演算法產生、介於1到10之間的分數，用來估計他再犯的可能性。分數很高。他的律師要求檢視計算方法，得到的答覆是：那是專有的——屬於一家名叫Northpointe的私人公司，不是他們可以檢查的東西。
威斯康辛州最高法院在2016年裁定，儘管Loomis和他的律師都無法檢視他的分數是怎麼算出來的，他仍然獲得了正當程序。他可以檢視輸入的資料和最後的分數，只是看不到連結兩者的邏輯；而且這個分數並不是他量刑的決定性因素。法院要求，日後所有使用COMPAS的量刑報告都必須附上書面警語，列出這套演算法已知的問題。警語寫得詳盡而坦白，法院卻照樣維持了演算法的使用。假如對辯方保密的是量刑法條本身，正當程序的危機將顯而易見；正因為被封存的規則是一套演算法，法院便把它當成一件工具。
一部秘密法律，和一條像法律一樣運作的專有規則，究竟有什麼差別？
怎樣才算是監管
監管有一個好用的工作定義，包含三項要素：具約束力、必須遵守、不遵守就有後果。按照這個定義，禁止放款歧視的法律是一種監管。但從功能上看，一套自動拒絕特定郵遞區號申請人貸款的演算法也是；少了一部簽署生效的法條，這種效果並不因此就比較不真實。
勞倫斯·雷席格（Lawrence Lessig）主張「程式碼即法律」：軟體的架構塑造人的行為，就和法律規則一樣確實。Frank Pasquale則主張，不透明的演算法系統如今掌管著信貸、就業與名聲，卻不必承擔任何問責。如果一套演算法已經在發揮監管的作用——具約束力、強制、後果重大——那麼這份權力應該伴隨什麼樣的問責？又為什麼至今毫無問責可言？
在演算法權威影響最深遠的幾個領域，這項功能測試都能乾淨俐落地套用。保釋風險分數無從迴避：被告不能選擇不被評分，不能換用另一套指標，也無法拒絕這個數字，而它在很大程度上左右了被告候審期間是睡在牢房還是家裡。演算法做出的信貸決定，背後沒有可供檢視的個別決策者，也沒有可以質疑的裁量判斷。演算法產生規則，規則產生結果；除非申請人能走完一套爭議處理程序，結果就是定案，而那套程序從不揭露評分邏輯本身。內容審核的刪除立即生效：貼文就這樣不見了。一般使用者即使有申訴管道，對照的也是「騷擾」或「暴力」這類籠統的內容標準，根本沒有真正可以據以挑戰的基礎。
正式監管具備四項問責標準，正是這些系統所欠缺的。透明：在美國，《行政程序法》（Administrative Procedure Act）要求行政機關大多數具約束力的規則都要經過公告與評論程序，也就是規則必須先公布、徵求意見，才能約束任何人。正當程序：能當面質疑、爭執適用在自己身上的法律標準，是依法治理的根基。民主正當性：在憲政民主國家，制定約束性規則的權力，來自可以追溯到民選機構的授權程序。法律責任：治理造成傷害時，要有機制追究責任。
以目前的部署方式而言，演算法系統沒有一項完全符合；充其量，視國家與領域而定，每一項都只具備片段。常見的反駁是：第五與第十四修正案，以及整體而言的憲法問責，約束的是國家，而不是私人公司。就憲法而言這沒錯，但它回答的是另一個問題。真正要問的是：在功能意義上、以整個人口的規模行使監管權力的系統，是否應該承擔與這份權力相稱的問責？回答這個問題，行政法的框架比憲法框架更合適。用不著讓Meta受《權利法案》約束，也可以質問：這些系統的治理觸角比大多數政府都廣，為什麼運作時受到的問責，卻比任何政府被容許的還少？
國家行為原則及其界限
國家行為原則（state-action doctrine）認為，《權利法案》中的憲法保障約束的是政府行為者，而不是私人公司。私人雇主可以限制言論，不會牽涉第一修正案。私人平台可以刪除貼文，不會觸發正當程序的要求。Frank Pasquale主張，主導市場的平台如今行使著「功能性主權」，以過去專屬於政府的方式規範市場與行為，而這樣的權力需要公法式的問責。歐盟《人工智慧法》採取功能性框架，等於繞開了國家行為的難題：它依據AI系統做什麼、對誰做來規範，而不看部署者是不是政府。依功能而不是依經營者來判斷一套系統，才是看待演算法權威的正確框架。繫於一個分數的自由：COMPAS與量刑機器
COMPAS是Correctional Offender Management Profiling for Alternative Sanctions（替代性制裁之矯正罪犯管理剖析）的縮寫，是由Northpointe（現名Equivant）開發的專有風險評估工具。它產生一個1到10的分數，估計被告再犯的可能性。美國多個州都在審前羈押決定、量刑與假釋裁定中使用這個分數。
2016年，ProPublica的記者依據佛羅里達州的公共紀錄法，取得布勞沃德郡（Broward County）7,000多名被告的COMPAS分數。這些人在2013和2014年遭到逮捕，記者追蹤了其中哪些人在接下來2年內再度被捕。在沒有再度被捕的被告當中，黑人被告被標為中度或高度風險的可能性，幾乎是白人被告的2倍。
Northpointe的回應是，COMPAS的分數經過校準：不論被告屬於哪個種族，7分所預測的再犯機率都大致相同。資料同時支持雙方的說法，因為兩者衡量的是不同的東西。校準的說法關乎各群體之間的預測準確度。偽陽性的落差，則關乎那些沒有再犯的人遭遇了什麼；在這群人當中，黑人遭到錯誤標記的比例偏高。一套演算法可以通過校準測試，卻仍然讓結果最沉重地落在某一個人口群體身上。選擇哪一項公平標準才重要，是一個政策問題，然而從來沒有任何公共機構替COMPAS做過這個選擇。
這種衝突內建在數學裡，而且已經獲得證明：當不同群體的再犯基本率不同時，一個對每個群體預測力都相同的高風險標籤，不可能同時讓兩個群體的偽陽性率和偽陰性率都相等，除非預測完美無缺。這幾項無法同時兼得。再好的方法，也無法平息ProPublica與Northpointe之間的爭議，而這讓問責的論點更加迫切。如果公平標準該如何權衡沒有純粹技術性的答案，那就必須有人做出選擇，而做選擇的人，應該為這個選擇負責。
Eric Loomis並沒有因任何暴力犯罪被定罪：他認罪的是逃避警察，以及未經車主同意駕駛車輛；他否認的槍擊相關指控雖然被撤銷，卻在量刑時「併入考量」（read in）。他的COMPAS分數出來是高分。他以正當程序為由，質疑量刑時使用這個分數：他主張，演算法的專有性質，讓他無法挑戰法院用來限制他人身自由的工具在科學上是否站得住腳。
威斯康辛州最高法院在State v. Loomis一案中的答覆是：被告可以核實輸入資料的正確性——他的犯罪紀錄、他對判決前問卷的回答——所以正當程序已經滿足。他無權知道這些輸入彼此之間如何加權，也無權知道評分邏輯如何把它們轉換成一個數字。
他有權檢查關於他的資料是否輸入正確，也有權對另一頭產出的分數提出爭辯。這能抓出他紀錄裡的一筆錯誤，卻抓不出紀錄被轉換成風險分數的過程中有什麼瑕疵。
不過，法院做了一件值得注意的事。它要求每一份依賴COMPAS的判決前調查報告，都必須附上一份書面告知，說明使用上的限制，並列出一系列警示：它的運作方式保密；它辨識的是高風險群體，而非高風險個人；有研究質疑它是否把少數族裔犯罪者歸為較高風險；它沒有以威斯康辛州的人口驗證過；而且COMPAS根本不是為量刑開發的，而是供矯正機關在處遇、監督與假釋方面做決定之用。
法院寫下了這套演算法可能出錯的地方，卻照樣維持它的使用，只是在周圍圍上一道籬笆：風險分數不得用來決定一個人是否入獄或刑期長短，也絕不能成為決定性因素。判決中沒有任何一處讓被告看得到他的分數是怎麼算出來的。
美國聯邦最高法院在2017年拒絕受理此案。專有的演算法工具能不能在完全無法檢視其方法的情況下用來限制人身自由，至今仍是這個國家的最高法院沒有回答的問題。
數學上的公平不可能定理
如果相關結果（在此即再犯）的基本率在不同人口群體之間有差異，兩項數學證明顯示，各種公平標準會互相衝突。一個分數不可能既經過校準（同一個分數在每個群體中代表相同的實際風險），又讓會再犯的人在各群體中的平均分數相同、不會再犯的人在各群體中的平均分數也相同。一旦分數被切分成高風險與低風險標籤，這些標籤就不可能既對每個群體預測力相同（被標記的人當中後來再犯的比例相同），又具有相等的偽陽性率與偽陰性率。除非預測完美無缺——實務上從來不會——兩組條件都無法同時成立，設計或資料再怎麼改進也繞不過去：這是情境本身的數學性質。Northpointe為COMPAS所做的辯護在校準上站得住腳，卻完全沒有碰到問責的問題：是誰決定該由哪一項公平標準主導？依據什麼？又有什麼正當性？不可能定理並沒有消解公平之爭。它顯示這個選擇是政治選擇，也正因如此，不該躲在專有權保護之下做出。看不見的規則：信貸、招聘與經濟生活
有一個簡單的比較，法律至今沒有好好面對。一名帶有歧視的放款專員，至少在原則上是可以問責的。她可以被傳去接受取證詢問，她的電子郵件可以用傳票調閱，她對申請人做的筆記可以被審查。她做決定的理由可以在訴訟中檢視，依《公平住房法》（Fair Housing Act）或《平等信用機會法》（Equal Credit Opportunity Act）提出挑戰，一路打到判決。一套帶有歧視、造成同樣種族差異放款結果的演算法，這些條件一項也不符合。放款機構仍然可以被要求提出證人和紀錄，說明模型如何建構與測試，但沒有任何個別決策者可以傳來詢問，說明為什麼這位申請人遭到拒絕。產生這個結果的規則是專有的；原告通常得先說服法院它確實與案件相關，再在保護令之下打贏一場證據開示之爭，才碰得到它。
FICO分數是美國消費信貸中衡量信用的主流指標，以一套專有公式計算。FICO公布了五大類別及其大致權重（還款紀錄35%、欠款金額30%、信用歷史長度15%、新申請信用10%、信用組合10%），但不公布模型本身。消費者有一定的權利，可以就底層資料的正確性提出爭議，例如一筆遲繳或一筆催收紀錄，卻無權質疑這些輸入彼此之間如何加權。加權正是專有的部分，而從功能上說，它就是規則。
2023年，美國消費者金融保護局（CFPB）與司法部、平等就業機會委員會（EEOC）和聯邦貿易委員會（FTC）共同警告：以歷史資料訓練的自動化系統，可能延續非法的偏見，讓歧視自動化。今天的街區仍看得出紅線地圖的輪廓。一套以歷史資料訓練、把郵遞區號當成特徵的演算法，不需要被設計成歧視。它可以被動地吸收歧視，把它當成承襲而來的訊號。此後，法律的回應卻開了倒車。2025年，CFPB撤回一份指引，那份指引確認，使用複雜、不透明模型的放款機構，仍然必須向申請人說明拒絕的具體理由；法定義務還在，指引卻沒了。接著，CFPB一項2026年生效、目前正在法院遭到挑戰的規則宣布，《平等信用機會法》根本不允許差別影響（disparate impact）訴訟。《公平住房法》在住房領域仍允許這類訴訟；在住房以外，這項規則等於拿走了專為這個問題設計的主要聯邦工具：證明一條表面中立的規則，在明明有更公平替代方案的情況下，造成了歧視性的結果。
HireVue說明了這種情形在就業領域如何上演。這家公司銷售以影片為基礎的聘用前評估，用AI從錄製的面試中評估應徵者。一個隱私團體向聯邦貿易委員會提出申訴，指控內容之一，是HireVue不實否認使用臉部辨識技術。HireVue在2020年停止分析應徵者的臉部表情，後來也說明了原因：據該公司自己的說法，包括臉部表情在內的非語言訊號，對大多數職位的預測力只增加了約0.25%，考量到外界對偏見的疑慮，並不值得。多年來，應徵者的分數有一部分取決於表情和動作，而公司以外沒有人能檢驗這樣是否公平。
iTutorGroup案是最露骨的例子。EEOC控告這家線上家教公司，指其把應徵軟體設定成自動拒絕55歲以上的女性應徵者和60歲以上的男性應徵者。超過200名符合資格的美國應徵者，單純因為年齡就被拒絕。iTutorGroup同意支付36.5萬美元和解，由被軟體篩掉的應徵者分配：平均每人不到1,825美元，換一次失去的就業機會。同意判決還要求公司進行反歧視訓練、制定新政策，並接受EEOC至少5年的監督。
結構性的問題，比任何個案都更難打官司。這些系統會產生系統性的錯誤，在彙總資料中有規律、看得見，個人卻很少能成功挑戰，因為產生錯誤的規則不會向他們揭露。如果這些是法定規則，每一條都可以就其文字直接挑戰：你會知道規則是什麼，知道它如何適用在你身上，也會有訴因。換成演算法，傷害真實存在，在彙總層面也有紀錄可查，產生傷害的規則卻始終隱形，受害的人看不見。
ECOA、《公平住房法》與揭露缺口
差別影響法理讓原告不必證明任何意圖，就能挑戰一項造成歧視性結果的做法，前提是當時有歧視性較低的替代方案可用。美國聯邦最高法院已經確認，《公平住房法》之下可以提出這類訴訟。至於《平等信用機會法》下的放款，這扇門已經變窄：CFPB一項2026年生效的規則表示，ECOA不允許追究差別影響責任，而且該局已在2025年撤回關於演算法不利處分通知的指引。在差別影響訴訟仍然可行的地方，歧視性較低替代方案的分析需要了解模型：它使用哪些特徵、如何加權、如果排除某些特徵或重新加權，結果會有什麼改變。當模型是專有的，開發者又主張營業秘密保護，一個理論上原告可以使用的框架，在實務上可能變得極難運用。動態消息裡的法律
Meta表示，旗下的應用程式家族（臉書、Instagram、Messenger、WhatsApp）在2026年6月平均每日活躍人數約為36億。整個地球的人口略多於80億。Meta每天的使用者，比地球上任何一個國家的人口都多。
YouTube沒有公布整體數字，只說光是Shorts每月就有「數十億」登入使用者。TikTok在2021年宣布每月使用者達到10億。X（前身為Twitter）私有化之後，就不再於公開申報文件中揭露使用者人數，而馬斯克（Elon Musk）宣稱的每月約6億名使用者，從來沒有經過獨立查證。
別把這些數字加起來。重疊的部分非常大；大多數使用TikTok的人也用Instagram。光是Meta的數字，就說明了一件具體的事。一家私人公司每天做出數十億次具約束力的決定，決定這36億人能說什麼、能看到什麼、誰的內容能送到他們面前、誰的不能。這些決定絕大多數由演算法系統做出。書面政策是公開的；套用這些政策的排序與執法機制則不公開。歐盟是最大的例外：自2024年起，《數位服務法》（Digital Services Act）保障使用者獲得附理由的決定、免費申訴，以及訴諸獨立爭議處理機構的管道。印度政府設有申訴上訴委員會（Grievance Appellate Committee），平台必須遵守它的裁決。在其他大多數國家，一般使用者根本沒有任何法律上可強制執行的申訴途徑。
替這種安排辯護的慣常說法是：內容審核類似編輯判斷，報紙編輯決定刊登什麼，和Meta的內容系統行使的是同一種裁量。這個類比一碰上規模就站不住。即使是最大的報紙，讀者也是以百萬計，而不是以十億計，而且沒有一家自稱是公共基礎設施。當數十億人的選舉、抗議、緊急衛生事件與公共紀錄都存在於一個平台上，而這個平台的演算法在那些時刻決定哪些聲音被放大、哪些被壓抑，那就是監管權力，具有約束效果與真實的後果。它在實務上也是強制的：你無法透過任何規則不同的競爭平台，以相當的規模參與這些公共領域，因為沒有任何替代選擇接近這樣的觸及範圍。
從來沒有哪一部國家言論法，曾在這樣的範圍內執行過。各國政府有這個權力，但沒有哪個政府曾經需要為36億名每日使用者、以數十種語言建立言論執法的基礎設施。這些系統卻建起了這樣的基礎設施，只是建得參差不齊。它們的政策是公開的，但決定每個個案的實際操作規則——門檻、分類器與排序訊號——並不公開。
Meta的監督委員會（Oversight Board）成立的目的，是對內容審核決定提供獨立的制衡。布倫南司法中心（Brennan Center for Justice）主張，監督委員會如果無法接觸Meta的演算法系統，就無法發揮功能；什麼被放大、什麼被降低觸及、什麼被刪除，絕大多數正是由這些系統決定。監督委員會只在事後審查一小部分經過挑選的決定。不論是委員會還是大眾，都看不到套用規則的那套機制。
2016和2017年，臉書被用來在緬甸散播針對洛興雅人的仇恨言論。聯合國調查人員稱這個平台是「意圖散播仇恨者的有用工具」，並形容該公司的回應緩慢而無效；臉書懂緬甸語的內容審核員太少。這個平台放大了它沒有能力讀懂的內容。當時沒有任何問責機制能即時制止、挑戰，甚至記錄這種模式。該公司承認自己行動太慢。
殺戮是軍方所為。軍方在2017年8月發動攻勢，一年之內，近72.5萬名洛興雅人逃往孟加拉，而聯合國調查人員認為，最多1萬人死亡的估計仍屬保守。臉書並沒有引發那場攻勢，但它承載了攻勢之前的仇恨；當一個平台讀不懂自己所放大的貼文，無力審核就開始產生和決定不審核相同的效果。
第230條與豁免缺口
《通訊端正法》（Communications Decency Act）第230條賦予平台廣泛的豁免，使其不必為第三方張貼的內容，以及出於善意的內容審核決定承擔責任。結果形成這樣一種法律結構：平台幾乎不必為使用者張貼的內容負責，對於自己施加在這些內容上的規則，也不必承擔任何公共問責。這項豁免是為一個已經不存在的網路設計的：那時是小型服務代管使用者內容，而不是有實體每天替數十億人做出具約束力的治理決定。目前改革或廢除第230條的種種努力，背後的動力正是本文指出的同一個結構性問題：這些系統所行使的權力，與目前伴隨這份權力的問責機制並不相稱。第230條改革是不是正確的槓桿、又會帶來哪些意料之外的後果，則是另一個議題。正式監管必備的四件事
把正當監管的四項標準，逐一對照保釋分數、信用分數、招聘篩選器和動態消息。
先從透明說起。《行政程序法》之所以要求公告與評論，是因為秘密法規和需要人民同意的治理方式互不相容。一條你從沒見過的規則，你無法真正同意，也無法真正爭執。一套保釋演算法給被告打了8分。這個分數左右著當事人候審期間是睡在家裡還是牢房裡。產生這個8分的規則不會揭露。擁有大型資料集和統計工具的人可以用逆向工程推斷它，但推斷出來的版本並不完整，也不精確，和公告與評論程序所要求的公開規則相去甚遠。當內容審核演算法刪除一則貼文，使用者收到一則引用「暴力」或「騷擾」的通知，通知裡不會說明套用了哪一條標準、門檻如何設定，或演算法在多高的信心水準下觸發。規則只能從日積月累的執法結果中推斷，一次刪除接著一次刪除。
透明是其他一切的前提，因為沒有人能當面質疑、爭執一條自己看不見的法律標準。正是這份當面質疑與爭執的權利，讓被告有權看到對自己的指控，也讓受規範的一方有權參與規則制定。Eric Loomis的律師要求取得用來限制當事人自由的方法。法院拒絕了。被自動拒絕的iTutorGroup應徵者，從來不知道有一條規則套用在自己身上，更別說那條規則是什麼。收到刪除通知的臉書使用者，會得知自己違反了哪一條社群守則，至於那條守則的界線畫在哪裡，則一無所知。正當程序要求有機會針對具體的東西做出回應。
接下來是民主正當性。立法機關由選舉產生。行政機關的權力由立法機關授予，受民選官員監督，並受《行政程序法》的程序要求約束。它們的決定可以在聯邦法院受到挑戰。私人公司部署演算法，掌管數億乃至數十億人能否取得信貸、就業、人身自由與表達的機會，卻沒有相應的問責結構。它們對股東負責，而不是對它們所治理的人群負責。當一家公司的產品決策變成了治理決策，為產品打造的問責結構就不再足夠。
再來是法律責任，它讓前三項得以落實。侵權法、產品責任、行政問責：這些制度的存在，是為了在治理造成傷害時追究責任。面對人口規模的演算法傷害，它們沒有一項運作得當。依聯邦民事訴訟規則，集體訴訟要獲得認證，必須證明存在全體成員共通的法律或事實問題。當規則是專有的，傷害又分散成數百萬件微小的個人損害——從被拒的貸款、偽陽性的保釋分數到被壓下的貼文——不接觸模型本身，共通問題的要求在結構上就很難滿足。彙總起來的傷害極其巨大。個別的案例，卻始終落在為個別裁判而設計的法律機制視野之外。
回到iTutorGroup的和解：平均每人不到1,825美元，換一次失去的就業機會。這個數字和實際損害相去甚遠。同意判決中的訓練與監督要求只約束一家公司；對其他任何正在評估風險的人來說，紀錄上的價碼就是那筆現金。把它放大來看：如果一套演算法以歧視性理由拒絕了2萬名應徵者，每人都以同樣的金額和解，潛在責任不到3,650萬美元。對一家營收以數億美元計的公司而言，這只是做生意的成本。
這四項彼此依存：沒有透明，正當程序就沒有具體可以爭執的對象；兩者都沒有，法律責任就很難確立。演算法的監管權力，目前沒有一項是完整具備的。
因應之道及其侷限
歐盟《人工智慧法》於2024年8月生效。它是迄今為處理演算法權威而建立的最全面的監管框架。
它做的事相當實在。這部法律依風險等級為AI系統分類。列入高風險清單的系統須承擔完整的合規負擔，而這份清單明文列出信用評分、招聘與績效評估，以及刑事司法：評估一個人犯罪或再犯風險的工具，以及協助法官適用法律的AI。對這些系統，該法要求部署前進行符合性評鑑、要有人為監督，並對受影響的人保持透明；公部門與信用評分機構還必須進行基本權利影響評估。受到清單上大多數系統決定所影響的人，如果該決定產生法律效果，或對其健康、安全或基本權利造成重大不利影響，便享有獲得解釋的權利。違反高風險規定，最高可處1,500萬歐元或全球年營業額3%的罰款。這些義務原定2026年8月開始適用；後來一項已經生效的修正，把高風險要求延後到2027年12月。解釋權在紙面上保留了2026年8月的日期，但它附著於高風險系統，而高風險系統的分類規則已經和其他規定一起延後。
這些都不是象徵性的要求。COMPAS若作為清單所列的高風險系統之一在歐洲部署，使用前就必須接受強制的符合性評鑑與基本權利影響評估。HireVue的影片評估系統，若用於影響歐盟境內勞工的招聘決定，就必須有人為監督，並保障解釋權。
在美國，進展比較零碎。自2023年起，紐約市要求，凡用於紐約市職缺招聘或升遷的自動化僱用決策工具，每年都須接受獨立的偏見稽核，並公布結果。自2026年1月起，伊利諾州禁止以導致非法歧視的方式在僱用決策中使用AI，禁止把郵遞區號當作受保護特徵的替代指標，並要求雇主在招聘或僱用決策中使用AI時發出通知。科羅拉多州以一部範圍較窄、針對重大決定中自動化決策的法律，取代了從未實施的AI法，新法於2027年1月生效，內容包括使用前告知、做出不利決定後提供淺白的解釋、更正不正確的資料，以及要求由真人進行有意義重新審視的權利。
在一個五年前還沒有受到認真監管的問題上，這些都是實質的進展，但它們有一個共同的結構性限制。除了少數明文禁令——例如《人工智慧法》禁止僅憑剖析或人格特質預測一個人的犯罪風險，以及伊利諾州對歧視性使用的禁令——它們主要透過設計標準、文件紀錄、稽核與揭露來運作。它們要求由某個人評估系統是否公平，不論是稽核員、監管機關還是合規團隊。充其量，它們讓受系統管轄的個人得到一個解釋、一次錯誤資料的更正，或由真人再看一次。它們沒有一項讓當事人檢視規則本身。《人工智慧法》的解釋權，意思是受清單上大多數高風險系統決定所影響的人，在該決定產生法律效果、或對其健康、安全或基本權利造成重大不利影響時，必須獲得解釋。這並不表示當事人可以檢視模型權重、訓練資料的組成或演算法方法。當事人知道了一個決定為什麼對自己不利，卻沒有任何辦法稽核做出這個決定的系統。
結構性的落後則是另一個問題。歐盟《人工智慧法》的高風險框架，是圍繞著大約2020到2022年間那個時期的AI系統建立的。等到必須遵守高風險規定時，受規範的系統早已經歷了好幾次世代更替。法規的撰寫以年計；演算法系統的迭代以月計。這個落差出在立法的步調與技術的步調之間；條文寫得再好也無法彌補。
GDPR的經驗應該讓人調降期待。《一般資料保護規則》（GDPR）第22條自2018年起適用，賦予歐盟境內的人不受純自動化、具重大影響之決定約束的權利，除非該決定是履行契約所必需、經法律授權，或當事人明確同意；配套條文還增加了獲得所涉邏輯之有意義資訊的權利。紙面上它很有力。歐盟的指引指出，企業不能靠「捏造人為參與」來規避它，而歐盟法院也擴大了它的適用範圍：2023年，法院認定信用分數本身就可以算是自動化決定；2025年又認定，被拒絕授信的人有權獲得解釋，了解實際適用在自己身上的程序與原則，而營業秘密的抗辯應由法院或監管機關權衡，不能只憑公司一面之詞就接受。實際上，走到這一步花了7年，打了一場又一場官司。《人工智慧法》本身的解釋權，也值得同樣審慎看待。
GDPR第22條與經驗換來的懷疑
GDPR第22條自2018年起適用，賦予歐盟境內的人不受純自動化重大決定約束的權利，但有契約、法律授權與明確同意等例外；該規則的透明條文還增加了獲得相關邏輯之有意義資訊的權利。實務上，它的影響有限。「純自動化」的門檻引來了變通手法：加上一層薄薄的人工簽核，儘管歐盟指引表示，象徵性的參與並不算數。解釋權爭議多年，直到歐盟法院在2025年裁定，人們有權獲得解釋，了解實際適用於自身個案的程序與原則，而不只是一般性的描述或原始演算法。歐盟《人工智慧法》第86條的解釋權條款，起草時就把第22條的失敗放在心上。如果第22條可以作為借鏡，新條款能否比舊條款有更多成果，將由執法與法院來決定。問責的悖論
我們用來挑戰治理的法律機制，是為了處理可辨識的決策者依明定規則做出的個別行為而建立的。一部法律，由一個人在一個案件中挑戰。一項行政機關的法規，透過公告與評論程序或《行政程序法》訴訟來爭執。一項行政決定，向複審機關上訴。一名帶有歧視的官員，可以被傳去接受取證詢問。這些機制預設了一種特定的結構：單一的決定、明定的規則、能指出傷害的挑戰者、可以被質問的決策者。
演算法的監管權力，一舉打破了所有這些預設。要在法院挑戰一項演算法決定，你通常需要以下三樣東西的某種組合：產生該決定的規則，它是專有的，通常只能在保護令之下透過證據開示取得；一個反事實，說明要得到不同的結果需要什麼條件，而沒有接觸模型的管道、或公司沒有提供完整解釋，這很難建立；以及，若是歧視訴訟，還需要存在某種模式的證據，這得靠人口層級的資料，而受影響的個人幾乎可以肯定沒有。
威斯康辛州最高法院的答案，是要求書面警語。判決前調查報告裡的警語點出了問題，被告也仍然可以用其他證據爭執分數，但警語中沒有任何內容讓他得以檢視計算過程。
在每一個原本可能建立民主授權的環節，民主授權都付之闕如。Meta的監督委員會無法接觸它名義上監督的演算法。CFPB可以在調查中要求放款機構交出模型，但被這個模型評分的借款人，只能得到一份理由清單。威斯康辛州最高法院拒絕下令公開COMPAS。在每一個原本可以施加問責的時刻，專有利益都被當成治理不會跨越的屏障。沒有任何法律要求這樣退讓，而這些機構沒有一個去逼問這個問題。
演算法系統之所以值得大規模部署，在於它能在數百萬個案件中保持一致、速度快，而且排除了本身就會造成歧視性失誤的人為裁量。恰恰是這些特性，讓法律發展出來的問責機制看不懂它們。一名有偏見的放款專員或量刑法官所要承擔的問責，是有偏見的演算法不必承擔的，而法律體系還沒想出如何讓演算法負起同樣的責任。
現在正在建立的框架，從歐盟《人工智慧法》到紐約市、科羅拉多州和伊利諾州的法律，都是稽核系統、解釋決定。它們不會向被模型評分的人公開模型。
演算法系統可能多年持續產生系統性的歧視結果，卻沒有任何挑戰的可能，因為挑戰所需的接觸權限，挑戰者拿不到。在EEOC提告之前，iTutorGroup的系統部署了多久，就歧視了數百名應徵者多久。HireVue多年來部分依據臉部表情為應徵者評分，最後才以額外效益不值得為由放棄這項功能。COMPAS在多個州用於量刑，已經超過十年。挑戰即使到來，也是在傷害發生之後，而在這期間受到傷害的人，並不會因為事情最終獲得解決就得到完整的彌補。
重回威斯康辛
讀一讀威斯康辛州最高法院要求每一份COMPAS判決前調查報告都必須附上的警示，用的是法院自己的話：「COMPAS的專有性質，已被援引來阻止揭露有關各項因素如何加權、風險分數如何決定的資訊。」「由於COMPAS風險評估分數是以群體資料為基礎，它們能辨識高風險犯罪者的群體——而非特定的高風險個人。」「部分針對COMPAS風險評估分數的研究，已對其是否不成比例地將少數族裔犯罪者歸類為具較高再犯風險提出疑問。」「COMPAS風險評估是將被告與全國樣本相比較，但針對威斯康辛州人口的交叉驗證研究尚未完成。由於人口及次群體不斷變化，風險評估工具必須持續受到監測，並重新建立常模，以確保準確。」以及：「COMPAS並非為量刑而開發，而是原本供矯正局在做出有關處遇、監督與假釋的決定時使用。」
這些是法院自己對於哪些環節未經測試、哪些地方可能出錯的認定。列出這些之後，法院仍然允許在量刑時使用分數，只是限定在它所設下的範圍內。這份警語告訴量刑法官：這項工具可能帶有歧視，沒有針對本州驗證過，不是為量刑打造的，而且依據的規則是法庭上沒有人能檢視的。
法官可以降低分數的分量，被告可以用其他證據爭執它。但沒有任何人——不論是法官、被告還是上訴法院——有辦法打開計算過程本身。
相關文章
延伸閱讀
Eikleaf參與亞馬遜聯盟計畫（Amazon Associates），可透過符合計畫條件的購買獲得佣金。下方標示Amazon的書籍連結為聯盟行銷連結；若您透過這些連結購買商品，我們可能獲得少量佣金，您無須額外付費。標示博客來的連結則非聯盟行銷連結。
The Algorithm: How AI Decides Who Gets Hired, Monitored, Promoted, and Fired and Why We Need to Fight Back Now透過吹哨者與親身測試調查招募、監控及解僱演算法，呈現勞工挑戰自動決策的困難。
懲罰貧窮：大數據橫行的自動化時代，隱藏在演算法之下的不平等歧視追查福利、住宅與兒童保護的自動化系統如何將政策化為影響深遠、當事人難以挑戰的規則。
扁平時代：演算法如何限縮我們的品味與文化剖析推薦系統如何決定誰被看見、改變創作者行為，延伸文章對動態消息約束力的討論。推薦影片
11:20Algorithmic Bias and Fairness: Crash Course AI #18Crash Course談演算法如何產生偏見，公平又可以是什麼意思。
18:29The danger of predictive algorithms in criminal justice | Hany Farid | TEDxAmoskeagMillyard曾檢驗COMPAS的Hany Farid談刑事司法風險評分的危險。
13:19The era of blind faith in big data must end | Cathy O’NeilCathy O’Neil談不受問責、形同隱形規則的演算法。引用本文
Lena Martin，〈當演算法成了監管者：像法律一樣運作，卻不必像法律一樣負責〉，Eikleaf，2026年6月3日，更新於2026年11月2日。https://www.eikleaf.com/zh-tw/how-algorithms-became-regulators-when-private-code-functions-as-law-without-the-accountability-of-law/
生成式AI使用聲明
本頁部分內容使用生成式AI協助撰寫或編輯。
圖片與媒體來源
主要資料來源與參考文獻
Criminal justice and COMPAS
Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, “Machine Bias,” ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
ProPublica, “How We Analyzed the COMPAS Recidivism Algorithm,” May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
“ProPublica Responds to Company’s Critique of Machine Bias Story,” ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story
equivant, “Who is equivant?” FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/
State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01
Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm
Alexandra Chouldechova, “Fair prediction with disparate impact: A study of bias in recidivism prediction instruments,” Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524
Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, “Inherent trade-offs in the fair determination of risk scores,” Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf
Law, regulation and accountability
Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.
Frank Pasquale, The Black Box Society. Harvard University Press, 2015.
Frank Pasquale, “From Territorial to Functional Sovereignty: The Case of Amazon,” LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/
Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553
“State action,” Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action
Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23
Credit and hiring
myFICO, “What’s in my FICO Scores?” https://www.myfico.com/credit-education/whats-in-your-credit-score
CFPB, DOJ Civil Rights Division, EEOC and FTC, “Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems,” April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf
Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 (“Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal,” 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal
Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b
National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/
Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371
“HireVue drops facial monitoring amid A.I. algorithm audit,” Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/
EPIC, “In re HireVue,” FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue
EEOC, “iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit,” September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit
Platforms and speech
Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm
United Nations, “Population” (Global Issues). https://www.un.org/en/global-issues/population
YouTube Official Blog, Press. https://blog.youtube/press/
TikTok Newsroom, “Thanks a billion!” September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en
“Musk Says X Has 600 Million Monthly Active Users,” Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users
Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/
European Commission, “Digital Services Act: Questions and answers” and “Out-of-court dispute settlement bodies under the Digital Services Act.” https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement
Grievance Appellate Committee, Government of India (appeals against intermediaries’ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/
Faiza Patel and Julian Melendi, “Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job,” Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job
Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf
Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230
New rules: EU and US
Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/
Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, “Digital AI Omnibus Delays Key Deadlines, Introduces New Rules,” August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/
Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053
Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf
Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf
NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page
Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, “Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence,” 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence
Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, “Colorado Act Legislation: The AI Strikes Back,” May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/
