Artikel ini telah diterjemahkan secara otomatis. Versi aslinya tersedia dalam bahasa Inggris.
Eric Loomis berdiri di hadapan seorang hakim Wisconsin pada 2013 setelah mengaku bersalah atas dua dakwaan yang lebih ringan: mencoba melarikan diri dari polisi lalu lintas dan mengemudikan mobil tanpa izin pemiliknya. Negara bagian mengaitkan perkara itu dengan sebuah penembakan dari kendaraan yang melintas; ia menyangkal terlibat di dalamnya. Laporan prapemidanaan memuat penilaian risiko COMPAS, skor 1 sampai 10 yang dihasilkan sebuah algoritma berpemilik untuk memperkirakan kemungkinan ia mengulangi kejahatan. Angkanya tinggi. Para pengacaranya meminta untuk memeriksa metodologinya. Mereka diberi tahu bahwa metodologi itu berpemilik — milik sebuah perusahaan swasta bernama Northpointe, bukan hak mereka untuk diperiksa.
Mahkamah Agung Wisconsin, dalam putusan tahun 2016, menyatakan bahwa Loomis telah memperoleh proses hukum yang adil meskipun baik ia maupun para pengacaranya tidak dapat memeriksa bagaimana skornya dihitung. Ia bisa meninjau data masukan dan angka akhirnya, walau tidak logika yang menghubungkan keduanya, dan skor itu bukan faktor penentu dalam hukumannya. Mahkamah mewajibkan agar setiap laporan pemidanaan di masa depan yang menggunakan COMPAS menyertakan peringatan tertulis yang mendaftar masalah-masalah algoritma itu yang sudah diketahui. Peringatan itu rinci dan jujur, dan mahkamah tetap mengesahkan penggunaan algoritma tersebut. Seandainya undang-undang pemidanaan itu sendiri yang disegel dari pihak pembela, krisis proses hukum yang adil akan tampak jelas; karena aturan yang disegel itu berupa algoritma, mahkamah memperlakukannya sebagai alat.
Lantas, apa sebenarnya perbedaan antara hukum rahasia dan aturan berpemilik yang berfungsi sebagai hukum?
Apa yang menjadikan sesuatu regulasi
Definisi kerja regulasi yang berguna memiliki tiga unsur: daya ikat, kepatuhan yang wajib, dan konsekuensi bagi ketidakpatuhan. Menurut definisi itu, undang-undang yang melarang diskriminasi dalam pemberian pinjaman adalah regulasi. Namun, secara fungsional, begitu pula algoritma yang secara otomatis menolak permohonan pinjaman dari pemohon di kode pos tertentu, sebuah dampak yang tidak kalah nyata meski tak ada undang-undang yang ditandatangani.
Lawrence Lessig berpendapat bahwa “kode adalah hukum”: arsitektur perangkat lunak membentuk perilaku sepasti aturan hukum. Frank Pasquale berpendapat bahwa sistem algoritmis yang buram kini mengatur kredit, pekerjaan, dan reputasi tanpa akuntabilitas. Jika sebuah algoritma sudah berfungsi sebagai regulasi, mengikat, wajib, dan berkonsekuensi, akuntabilitas apa yang semestinya melekat pada kekuasaan itu, dan mengapa tidak ada yang melekat sama sekali?
Uji fungsional ini berlaku dengan rapi di berbagai kategori tempat otoritas algoritmis paling besar dampaknya. Skor risiko jaminan tidak dapat dihindari: terdakwa tidak bisa memilih untuk tidak diberi skor, tidak bisa menggantinya dengan ukuran lain, tidak bisa menolak angka yang sangat menentukan apakah ia tidur di sel atau di rumah sambil menunggu persidangan. Keputusan kredit algoritmis tidak memiliki pengambil keputusan perorangan yang bisa diperiksa, tidak ada pertimbangan diskresioner yang bisa dipersoalkan. Algoritma menghasilkan aturan; aturan menghasilkan keluaran; keluaran itu final kecuali pemohon mampu menempuh proses sengketa yang tidak pernah memperlihatkan logika penilaiannya. Penghapusan oleh moderasi konten terjadi seketika: unggahan itu lenyap. Banding apa pun yang tersedia bagi pengguna biasa diputuskan berdasarkan standar konten seumum “pelecehan” atau “kekerasan”, yang tidak memberi dasar nyata untuk menggugat.
Regulasi formal membawa empat kriteria akuntabilitas yang tidak dimiliki sistem-sistem ini. Transparansi: di Amerika Serikat, Administrative Procedure Act mewajibkan prosedur pemberitahuan dan komentar publik untuk sebagian besar aturan lembaga yang mengikat: aturan harus diumumkan untuk dikomentari sebelum dapat mengikat siapa pun. Proses hukum yang adil: hak untuk menghadapi dan menggugat standar hukum yang diterapkan kepada Anda adalah fondasi pemerintahan berdasarkan hukum. Legitimasi demokratis: dalam demokrasi konstitusional, wewenang membuat aturan yang mengikat berasal dari proses pemberian wewenang yang dapat ditelusuri kembali ke lembaga-lembaga hasil pemilihan. Tanggung gugat: ada mekanisme untuk menetapkan tanggung jawab ketika tata kelola menimbulkan kerugian.
Sistem algoritmis sebagaimana diterapkan saat ini tidak memenuhi satu pun kriteria itu secara penuh; paling banter, sistem-sistem itu membawa serpihan dari masing-masing, tergantung negara dan sektornya. Keberatan yang lazim adalah bahwa Amandemen Kelima dan Keempat Belas, dan akuntabilitas konstitusional pada umumnya, mengikat negara, bukan perusahaan swasta. Itu benar menurut hukum konstitusi, tetapi menjawab pertanyaan yang berbeda: apakah sistem yang menjalankan kekuasaan regulasi dalam arti fungsional, pada skala populasi, semestinya memikul akuntabilitas yang sepadan dengan kekuasaan itu, dan kerangka hukum administrasi lebih cocok untuk pertanyaan itu ketimbang kerangka konstitusional. Kita tidak perlu menuntut Meta tunduk pada Bill of Rights untuk mempertanyakan mengapa sistem dengan jangkauan tata kelola yang lebih luas daripada kebanyakan pemerintah boleh beroperasi dengan akuntabilitas yang lebih kecil daripada yang diizinkan bagi pemerintah mana pun.
Tindakan negara dan batas-batasnya
Doktrin tindakan negara menyatakan bahwa perlindungan konstitusional dalam Bill of Rights membatasi aktor pemerintah, bukan perusahaan swasta. Pemberi kerja swasta dapat membatasi kebebasan berbicara tanpa melanggar Amandemen Pertama. Platform swasta dapat menghapus unggahan tanpa memicu kewajiban proses hukum yang adil. Frank Pasquale berpendapat bahwa platform-platform dominan kini menjalankan “kedaulatan fungsional”, mengatur pasar dan perilaku dengan cara-cara yang dulu hanya menjadi wewenang pemerintah, dan bahwa kekuasaan semacam itu menuntut akuntabilitas bergaya hukum publik. Undang-Undang AI Uni Eropa secara tersirat menghindari masalah tindakan negara dengan mengadopsi kerangka fungsional: undang-undang itu mengatur sistem AI berdasarkan apa yang dilakukannya dan kepada siapa, bukan berdasarkan apakah pemerintah yang menerapkannya. Menilai sebuah sistem dari fungsinya, bukan dari siapa yang menjalankannya, adalah kerangka yang tepat untuk otoritas algoritmis.Kebebasan yang ditentukan skor: COMPAS dan mesin pemidanaan
COMPAS, singkatan dari Correctional Offender Management Profiling for Alternative Sanctions, adalah alat penilaian risiko berpemilik yang dikembangkan oleh Northpointe, kini Equivant. Alat ini menghasilkan skor 1 sampai 10 yang memperkirakan kemungkinan seorang terdakwa mengulangi kejahatan. Skor itu telah digunakan dalam keputusan penahanan praperadilan, penjatuhan hukuman, dan penetapan pembebasan bersyarat di banyak negara bagian AS.
Pada 2016, wartawan ProPublica memanfaatkan undang-undang keterbukaan arsip publik Florida untuk memperoleh skor COMPAS lebih dari 7.000 terdakwa di Broward County, yang ditangkap pada 2013 dan 2014, lalu melacak siapa yang ditangkap lagi dalam dua tahun berikutnya. Di antara terdakwa yang tidak ditangkap lagi, terdakwa kulit hitam hampir dua kali lebih mungkin daripada terdakwa kulit putih untuk dilabeli berisiko sedang atau tinggi.
Northpointe menjawab bahwa skor COMPAS terkalibrasi: skor 7 memprediksi probabilitas mengulangi kejahatan yang kurang lebih sama, apa pun ras terdakwanya. Data mendukung kedua klaim itu, karena keduanya mengukur hal yang berbeda. Klaim kalibrasi menyangkut akurasi prediksi di berbagai kelompok. Kesenjangan positif palsu menyangkut apa yang terjadi pada orang-orang yang tidak mengulangi kejahatan, dan di antara mereka, yang keliru ditandai berisiko secara tidak proporsional adalah orang kulit hitam. Sebuah algoritma bisa lulus uji kalibrasi dan tetap menghasilkan keluaran yang paling berat menimpa satu kelompok demografis. Memilih kriteria keadilan mana yang penting adalah persoalan kebijakan, tetapi tidak ada lembaga publik yang pernah menentukan pilihan itu untuk COMPAS.
Konflik ini tertanam dalam matematikanya, dan sudah dibuktikan: ketika tingkat dasar residivisme berbeda antarkelompok, label risiko tinggi yang sama prediktifnya untuk setiap kelompok tidak mungkin sekaligus memberi kedua kelompok tingkat positif palsu dan negatif palsu yang setara, kecuali prediksinya sempurna. Semua itu tidak bisa didapat sekaligus. Tidak ada metodologi yang lebih baik yang dapat menyelesaikan sengketa antara ProPublica dan Northpointe, dan justru itulah yang membuat argumen akuntabilitas makin mendesak. Jika tidak ada jawaban yang murni teknis tentang bagaimana kriteria keadilan harus diseimbangkan, seseorang harus menentukan pilihan, dan siapa pun yang menentukannya harus dimintai pertanggungjawaban.
Eric Loomis tidak pernah dihukum atas kejahatan kekerasan apa pun: ia mengaku bersalah karena melarikan diri dari polisi dan mengemudikan mobil tanpa izin pemiliknya, sementara dakwaan terkait penembakan yang ia sangkal dibatalkan tetapi tetap “dimasukkan dalam pertimbangan” saat penjatuhan hukuman. Skor COMPAS-nya keluar tinggi. Ia menggugat penggunaannya dalam penjatuhan hukuman dengan dasar proses hukum yang adil: sifat algoritma yang berpemilik, menurutnya, menghalanginya untuk menggugat validitas ilmiah dari apa yang dipakai mahkamah untuk membatasi kebebasannya.
Jawaban Mahkamah Agung Wisconsin, dalam State v. Loomis, adalah bahwa proses hukum yang adil telah terpenuhi karena terdakwa dapat memverifikasi akurasi data masukannya — riwayat kriminalnya, jawabannya atas kuesioner prapemidanaan. Ia tidak berhak mengetahui bagaimana masukan-masukan itu ditimbang satu sama lain, atau bagaimana logika penilaian mengubahnya menjadi angka.
Ia berhak memeriksa apakah data yang dimasukkan tentang dirinya benar, dan membantah skor yang keluar di ujung lain. Itu bisa menangkap entri yang salah dalam catatannya, tetapi bukan cacat dalam cara catatan itu diubah menjadi skor risiko.
Namun, mahkamah melakukan sesuatu yang patut dicatat. Mahkamah mewajibkan setiap laporan prapemidanaan yang mengandalkan COMPAS memuat pemberitahuan tertulis yang menguraikan batas-batas penggunaannya dan daftar peringatan: bahwa cara kerjanya dirahasiakan, bahwa alat itu mengidentifikasi kelompok berisiko tinggi, bukan individu berisiko tinggi, bahwa sejumlah studi mempertanyakan apakah alat itu menggolongkan pelaku dari kelompok minoritas sebagai lebih berisiko, bahwa alat itu belum divalidasi pada populasi Wisconsin, dan bahwa COMPAS sama sekali tidak dikembangkan untuk penjatuhan hukuman, melainkan untuk keputusan lembaga pemasyarakatan tentang pembinaan, pengawasan, dan pembebasan bersyarat.
Setelah menuliskan apa saja yang mungkin keliru pada algoritma itu, mahkamah tetap mengesahkan penggunaannya, dengan pagar di sekelilingnya: skor risiko tidak boleh dipakai untuk memutuskan apakah seseorang masuk penjara atau berapa lama, dan tidak boleh menjadi faktor penentu. Tidak ada satu pun bagian putusan itu yang memungkinkan terdakwa melihat bagaimana skornya dihitung.
Mahkamah Agung AS menolak memeriksa perkara itu pada 2017. Apakah alat algoritmis berpemilik boleh dipakai untuk membatasi kebebasan tanpa cara apa pun untuk memeriksa metodologinya tetap menjadi pertanyaan yang belum dijawab oleh pengadilan tertinggi negara itu.
Kemustahilan matematis keadilan
Jika tingkat dasar dari hasil yang relevan (di sini, residivisme) berbeda antarkelompok demografis, dua pembuktian matematis menunjukkan bahwa kriteria keadilan saling berbenturan. Skor tidak bisa terkalibrasi (skor tertentu berarti risiko nyata yang sama di setiap kelompok) sekaligus memberikan skor rata-rata yang sama di setiap kelompok kepada orang yang mengulangi kejahatan, dan kepada orang yang tidak mengulanginya. Setelah skor dibagi menjadi label risiko tinggi dan rendah, label-label itu tidak bisa sama prediktifnya untuk setiap kelompok (proporsi orang yang ditandai yang kemudian mengulangi kejahatan sama) sekaligus memiliki tingkat positif palsu dan negatif palsu yang setara. Kedua pasang kriteria itu masing-masing tidak bisa dipenuhi sekaligus, kecuali prediksinya sempurna, yang dalam praktik tidak pernah terjadi, dan tidak ada perbaikan desain atau data yang bisa mengakalinya: ini adalah sifat matematis dari situasinya. Pembelaan Northpointe atas COMPAS bertahan dalam hal kalibrasi dan tidak menyentuh pertanyaan akuntabilitas: siapa yang memutuskan kriteria keadilan mana yang harus berlaku, atas dasar apa, dan dengan legitimasi apa? Hasil kemustahilan ini tidak mengakhiri perdebatan tentang keadilan. Hasil itu menunjukkan bahwa pilihannya bersifat politis, dan karena itulah perlindungan hak milik adalah tempat yang keliru untuk menentukannya.Aturan yang tak terlihat: kredit, rekrutmen, dan kehidupan ekonomi
Hukum belum secara memadai menghadapi sebuah perbandingan sederhana. Petugas kredit yang diskriminatif, setidaknya secara prinsip, dapat dimintai pertanggungjawaban. Ia bisa dimintai keterangan di bawah sumpah, surel-surelnya dipanggil sebagai bukti, catatannya tentang para pemohon ditinjau. Alasan di balik keputusannya dapat diperiksa dalam litigasi, diuji terhadap Fair Housing Act atau Equal Credit Opportunity Act, dan diperkarakan hingga putusan. Algoritma diskriminatif yang menghasilkan ketimpangan rasial yang sama dalam pemberian pinjaman tidak bisa diperlakukan dengan satu pun cara itu. Pemberi pinjaman tetap dapat diwajibkan menghadirkan saksi dan catatan tentang bagaimana model itu dibangun dan diuji, tetapi tidak ada pengambil keputusan perorangan untuk dimintai keterangan tentang mengapa pemohon ini ditolak. Aturan yang menghasilkan keluaran itu berpemilik, dan penggugat biasanya hanya dapat menjangkaunya dengan memenangkan pertarungan dalam tahap pengungkapan bukti, di bawah perintah perlindungan, setelah meyakinkan pengadilan bahwa aturan itu relevan sama sekali.
Skor FICO, ukuran kelayakan kredit yang dominan dalam pinjaman konsumen di AS, dihitung dengan rumus berpemilik. FICO memublikasikan lima kategori besar beserta bobot kasarnya (riwayat pembayaran 35 persen, jumlah utang 30, lama riwayat kredit 15, kredit baru 10, ragam kredit 10), tetapi tidak modelnya. Konsumen memiliki sejumlah hak untuk menyengketakan akurasi data dasarnya, seperti pembayaran yang terlewat atau penagihan, tetapi tidak berhak menggugat bagaimana masukan-masukan itu ditimbang satu sama lain. Pembobotan itulah bagian yang berpemilik, dan secara fungsional, itulah aturannya.
Pada 2023, Consumer Financial Protection Bureau, bersama Departemen Kehakiman, EEOC, dan FTC, memperingatkan bahwa sistem otomatis yang dilatih dengan data historis dapat melanggengkan bias yang melanggar hukum dan mengotomatiskan diskriminasi. Lingkungan permukiman masih memperlihatkan garis-garis peta redlining. Algoritma yang dilatih dengan data historis dan memakai kode pos sebagai fitur tidak perlu dirancang untuk mendiskriminasi. Ia bisa menyerap diskriminasi secara pasif, sebagai sinyal warisan. Sejak itu, respons hukum justru bergerak mundur. Pada 2025, CFPB mencabut panduannya yang menegaskan bahwa pemberi pinjaman yang memakai model rumit dan buram tetap harus memberi pemohon alasan spesifik atas penolakan; kewajiban undang-undangnya masih ada, tetapi panduannya sudah hilang. Lalu sebuah aturan CFPB yang mulai berlaku pada 2026, dan kini sedang digugat di pengadilan, menyatakan bahwa Equal Credit Opportunity Act sama sekali tidak memberi dasar bagi gugatan dampak disparitas. Di luar perumahan, tempat Fair Housing Act masih memungkinkannya, hal itu mencabut alat federal utama yang dirancang justru untuk masalah ini: membuktikan bahwa aturan yang tampak netral menghasilkan keluaran diskriminatif padahal ada alternatif yang lebih adil.
HireVue menunjukkan bagaimana hal ini berlangsung di dunia kerja. Perusahaan itu menjual asesmen prakerja berbasis video, memakai AI untuk menilai calon pekerja dari wawancara yang direkam. Sebuah kelompok pegiat privasi mengajukan pengaduan ke Federal Trade Commission yang menuduh, antara lain, bahwa HireVue secara tidak benar menyangkal penggunaan teknologi pengenalan wajah. HireVue berhenti menganalisis ekspresi wajah kandidat pada 2020, dan belakangan menjelaskan alasannya: menurut keterangan perusahaan sendiri, sinyal nonverbal, termasuk ekspresi wajah, hanya menambah sekitar seperempat persen daya prediksi untuk sebagian besar posisi, tidak sepadan mengingat kekhawatiran soal bias. Selama bertahun-tahun, kandidat dinilai sebagian berdasarkan ekspresi dan gerak tubuh, dan tak seorang pun di luar perusahaan dapat menguji apakah hal itu adil.
Kasus iTutorGroup adalah contoh yang paling gamblang. EEOC menggugat perusahaan bimbingan belajar daring itu karena memprogram perangkat lunak lamarannya untuk otomatis menolak pelamar perempuan berusia 55 tahun ke atas dan pelamar laki-laki berusia 60 tahun ke atas. Lebih dari 200 pelamar yang memenuhi syarat di AS ditolak semata karena usia. iTutorGroup setuju membayar $365.000 sebagai penyelesaian, untuk dibagi di antara para pelamar yang telah disaring keluar oleh perangkat lunak itu: rata-rata kurang dari $1.825 per orang untuk kesempatan kerja yang hilang. Putusan persetujuan itu juga mewajibkan pelatihan antidiskriminasi, kebijakan baru, dan pemantauan EEOC selama setidaknya lima tahun.
Persoalan strukturalnya lebih sulit diperkarakan daripada kasus perorangan mana pun. Sistem-sistem ini menghasilkan kesalahan sistematis, berpola dan terlihat dalam data agregat, yang jarang berhasil digugat oleh individu, karena aturan yang menghasilkan kesalahan itu tidak diungkapkan kepada mereka. Seandainya ini aturan undang-undang, masing-masing dapat digugat berdasarkan bunyinya: Anda akan tahu aturannya, Anda akan tahu bagaimana aturan itu diterapkan kepada Anda, Anda akan punya dasar gugatan. Dengan algoritma, kerugiannya nyata dan terdokumentasi secara agregat, sementara aturan yang menghasilkannya tetap tak terlihat oleh orang-orang yang dirugikannya.
ECOA, Fair Housing Act, dan celah keterbukaan
Hukum dampak disparitas memungkinkan penggugat menggugat praktik yang menghasilkan keluaran diskriminatif tanpa perlu membuktikan niat, jika ada alternatif yang kurang diskriminatif. Mahkamah Agung telah menegaskan bahwa gugatan semacam itu dapat diajukan berdasarkan Fair Housing Act. Untuk pemberian pinjaman berdasarkan Equal Credit Opportunity Act, pintunya makin sempit: aturan CFPB yang mulai berlaku pada 2026 menyatakan bahwa ECOA tidak memberi dasar bagi tanggung gugat dampak disparitas, dan lembaga itu mencabut panduannya tentang pemberitahuan penolakan algoritmis pada 2025. Di tempat gugatan dampak disparitas masih bertahan, analisis alternatif yang kurang diskriminatif menuntut pemahaman atas modelnya: fitur apa yang dipakainya, bagaimana fitur-fitur itu dibobot, apa yang akan berubah jika sebagian dikeluarkan atau dibobot ulang. Ketika model itu berpemilik dan pengembangnya mengklaim perlindungan rahasia dagang, kerangka yang secara teori tersedia bagi penggugat bisa menjadi sangat sulit digunakan dalam praktik.Hukum linimasa
Meta menyatakan bahwa keluarga aplikasinya (Facebook, Instagram, Messenger, WhatsApp) rata-rata digunakan sekitar 3,6 miliar orang aktif setiap hari pada Juni 2026. Seluruh planet ini dihuni sedikit di atas 8 miliar orang. Khalayak harian Meta lebih besar daripada penduduk negara mana pun di bumi.
YouTube tidak memberikan angka keseluruhan; perusahaan itu menyatakan bahwa Shorts saja menarik “miliaran” pengguna bulanan yang masuk ke akunnya. TikTok mengumumkan 1 miliar pengguna bulanan pada 2021. X, dulu Twitter, berhenti melaporkan jumlah pengguna dalam dokumen publik ketika perusahaannya menjadi tertutup, dan sekitar 600 juta pengguna bulanan yang diklaim Elon Musk tidak pernah diverifikasi secara independen.
Jangan jumlahkan angka-angka itu. Tumpang-tindihnya sangat besar; kebanyakan orang yang memakai TikTok juga memakai Instagram. Angka Meta saja sudah mengatakan sesuatu yang spesifik. Sebuah perusahaan swasta membuat keputusan yang mengikat miliaran kali sehari tentang apa yang boleh dikatakan 3,6 miliar orang itu, apa yang bisa mereka lihat, konten siapa yang sampai kepada mereka, dan konten siapa yang tidak. Keputusan-keputusan itu sebagian besar dibuat oleh sistem algoritmis. Kebijakan tertulisnya terbuka untuk publik; mesin pemeringkatan dan penegakan yang menerapkannya tidak. Uni Eropa adalah pengecualian besar: sejak 2024, Digital Services Act menjamin pengguna mendapat keputusan yang disertai alasan, banding gratis, dan akses ke badan penyelesaian sengketa independen. India menjalankan Grievance Appellate Committee milik pemerintah yang putusannya wajib dipatuhi platform. Di sebagian besar negara lain, pengguna biasa sama sekali tidak memiliki banding yang dapat ditegakkan secara hukum.
Pembelaan yang lazim atas susunan ini adalah bahwa moderasi konten menyerupai pertimbangan redaksional, bahwa redaktur surat kabar yang memutuskan apa yang diterbitkan menjalankan diskresi yang sama dengan sistem konten Meta. Analogi itu runtuh begitu berhadapan dengan skala. Surat kabar terbesar sekalipun menghitung pembacanya dalam jutaan, bukan miliaran, dan tak satu pun mengaku sebagai infrastruktur publik. Ketika pemilu, unjuk rasa, keadaan darurat kesehatan, dan catatan publik miliaran orang berlangsung di sebuah platform, dan algoritma platform itu memutuskan suara mana yang diperkuat dan mana yang diredam pada saat-saat itu, itulah kekuasaan regulasi, dengan daya ikat dan konsekuensi nyata. Dalam praktiknya, kekuasaan itu juga wajib: Anda tidak bisa ikut serta dalam ruang publik ini pada skala yang sebanding melalui platform pesaing dengan aturan berbeda, karena tidak ada alternatif yang mendekati jangkauan ini.
Belum pernah ada undang-undang nasional tentang kebebasan berbicara yang ditegakkan dengan jangkauan seperti ini. Pemerintah memiliki wewenangnya, tetapi tidak ada pemerintah yang pernah perlu membangun infrastruktur penegakan untuk ujaran bagi 3,6 miliar pengguna harian dalam puluhan bahasa. Sistem-sistem ini sudah membangunnya, secara tidak merata. Kebijakannya dipublikasikan, tetapi aturan operasional yang memutus setiap kasus, yakni ambang batas, pengklasifikasi, dan sinyal pemeringkatan, tidak.
Dewan Pengawas (Oversight Board) Meta dibentuk untuk menjadi pengawas independen atas keputusan moderasi konten. Brennan Center for Justice berpendapat bahwa Dewan itu tidak dapat menjalankan tugasnya tanpa akses ke sistem algoritmis Meta, sistem yang membuat sebagian besar keputusan tentang apa yang diperkuat, apa yang diturunkan peringkatnya, dan apa yang dihapus. Dewan meninjau sebagian kecil keputusan pilihan setelah keputusan itu diambil. Baik Dewan maupun publik tidak dapat melihat mesin yang menerapkan aturan-aturan itu.
Pada 2016 dan 2017, Facebook dipakai untuk menyebarkan ujaran kebencian terhadap Rohingya di Myanmar. Para penyelidik PBB menyebut platform itu “instrumen yang berguna bagi mereka yang ingin menyebarkan kebencian” dan menggambarkan respons perusahaan sebagai lamban dan tidak efektif; Facebook memiliki terlalu sedikit moderator konten yang memahami bahasa Myanmar. Platform itu memperkuat konten yang tidak sanggup dibacanya. Tidak ada mekanisme akuntabilitas untuk menghentikan, menggugat, atau bahkan mendokumentasikan pola itu secara langsung saat terjadi. Perusahaan itu mengakui bahwa mereka terlalu lamban bertindak.
Pembunuhan itu dilakukan oleh militer. Dalam setahun sejak kampanye yang dilancarkannya pada Agustus 2017, hampir 725.000 orang Rohingya telah mengungsi ke Bangladesh, dan para penyelidik PBB menyebut perkiraan hingga 10.000 kematian sebagai angka yang konservatif. Facebook tidak menyebabkan kampanye itu, tetapi platform itu menjadi saluran bagi kebencian yang mendahuluinya, dan ketika sebuah platform tidak mampu membaca unggahan yang diperkuatnya, ketidakmampuan untuk memoderasi mulai berdampak sama dengan keputusan untuk tidak memoderasi.
Pasal 230 dan celah kekebalan
Pasal 230 Communications Decency Act memberi platform kekebalan luas dari tanggung gugat atas konten yang diunggah pihak ketiga dan atas keputusan moderasi konten yang dibuat dengan iktikad baik. Hasilnya adalah struktur hukum tempat platform hanya menanggung sedikit tanggung gugat atas apa yang diunggah penggunanya dan tidak memikul akuntabilitas publik apa pun atas aturan yang mereka terapkan pada unggahan itu. Kekebalan itu dirancang untuk internet yang sudah tidak ada lagi, internet berisi layanan-layanan kecil yang menampung konten pengguna, bukan entitas yang setiap hari membuat keputusan tata kelola yang mengikat bagi miliaran orang. Upaya-upaya saat ini untuk mereformasi atau mencabut Pasal 230 digerakkan oleh masalah struktural yang sama dengan yang diidentifikasi artikel ini: ketidaksepadanan antara kekuasaan yang dijalankan sistem-sistem ini dan mekanisme akuntabilitas yang saat ini melekat pada kekuasaan itu. Apakah reformasi Pasal 230 adalah tuas yang tepat, dan konsekuensi tak terduga apa yang akan ditimbulkannya, adalah perdebatan tersendiri.Empat hal yang dituntut regulasi formal
Sandingkan empat kriteria regulasi yang sah dengan skor jaminan, skor kredit, penyaring rekrutmen, dan linimasa.
Mulailah dengan transparansi. Kewajiban pemberitahuan dan komentar publik dalam APA ada karena regulasi rahasia tidak sejalan dengan jenis tata kelola yang membutuhkan persetujuan. Anda tidak bisa secara bermakna menyetujui atau menggugat aturan yang belum pernah Anda lihat. Sebuah algoritma jaminan memberi seorang terdakwa skor 8. Skor itu ikut menentukan apakah orang tersebut tidur di rumah atau di sel sambil menunggu persidangan. Aturan yang menghasilkan angka 8 itu tidak diungkapkan. Aturan itu bisa disimpulkan, secara tidak lengkap dan tidak sempurna, oleh seseorang yang punya akses ke kumpulan data besar dan perangkat statistik untuk merekayasa baliknya, dan itu masih jauh dari aturan terbuka yang dituntut prosedur pemberitahuan dan komentar publik. Ketika algoritma moderasi konten menghapus sebuah unggahan dan pengguna menerima notifikasi yang menyebut “kekerasan” atau “pelecehan”, notifikasi itu tidak menjelaskan standar mana yang diterapkan, bagaimana ambang batasnya ditetapkan, atau pada tingkat keyakinan berapa algoritma itu terpicu. Aturannya hanya bisa disimpulkan dari pola hasil penegakan yang menumpuk, penghapusan demi penghapusan.
Transparansi adalah prasyarat bagi semua kriteria lainnya, karena tak seorang pun dapat menghadapi dan menggugat standar hukum yang tidak bisa dilihatnya. Hak untuk menghadapi dan menggugat itulah alasan terdakwa berhak melihat dakwaan terhadap dirinya, dan alasan pihak yang diatur berhak ikut serta dalam pembuatan aturan. Para pengacara Eric Loomis meminta metodologi yang dipakai untuk membatasi kebebasan klien mereka. Mahkamah menolak. Para pelamar iTutorGroup yang ditolak otomatis tidak pernah tahu bahwa ada aturan yang diterapkan kepada mereka, apalagi apa aturannya. Pengguna Facebook yang menerima notifikasi penghapusan mengetahui Standar Komunitas mana yang mereka langgar, tetapi tidak tahu apa pun tentang di mana garisnya ditarik. Proses hukum yang adil menuntut kesempatan untuk menanggapi sesuatu yang spesifik.
Berikutnya, legitimasi demokratis. Badan legislatif dipilih. Lembaga pemerintah menerima wewenang dari badan legislatif, diawasi pejabat hasil pemilihan, dan tunduk pada persyaratan prosedural APA. Keputusan mereka dapat digugat di pengadilan federal. Perusahaan swasta yang menerapkan algoritma yang mengatur akses ke kredit, pekerjaan, kebebasan, dan ekspresi bagi ratusan juta atau miliaran orang tidak memiliki struktur akuntabilitas yang sepadan. Mereka bertanggung jawab kepada pemegang saham, bukan kepada populasi yang mereka atur. Ketika keputusan produk sebuah perusahaan menjadi keputusan tata kelola, struktur akuntabilitas yang dibangun untuk produk tidak lagi memadai.
Lalu ada tanggung gugat, yang membuat ketiga kriteria lainnya dapat ditegakkan. Hukum perbuatan melawan hukum, tanggung jawab produk, akuntabilitas administratif: semuanya ada untuk menetapkan tanggung jawab ketika tata kelola menimbulkan kerugian. Untuk kerugian algoritmis pada skala populasi, tak satu pun bekerja secara memadai. Sertifikasi gugatan kelompok dalam hukum acara perdata federal mensyaratkan adanya persoalan hukum atau fakta yang sama bagi seluruh kelompok. Ketika aturannya berpemilik dan kerugiannya tersebar dalam jutaan kerugian perorangan yang kecil, dari pinjaman yang ditolak, skor jaminan positif palsu, hingga unggahan yang diredam, syarat persoalan bersama itu secara struktural sulit dipenuhi tanpa akses ke model itu sendiri. Secara agregat, kerugiannya sangat besar. Kasus-kasus perorangannya tetap tak terlihat oleh mekanisme hukum yang dirancang untuk mengadili perkara perorangan.
Kembali ke penyelesaian iTutorGroup: rata-rata kurang dari $1.825 per orang untuk kesempatan kerja yang hilang. Angka itu tidak mendekati kerugian yang sebenarnya. Pelatihan dan pemantauan dalam putusan itu hanya mengikat satu perusahaan; bagi siapa pun yang menimbang risikonya, harga yang tercatat adalah uang tunainya. Perbesar skalanya: jika sebuah algoritma menolak 20.000 pelamar atas dasar diskriminatif dan masing-masing diselesaikan dengan tarif yang sama, potensi tanggung gugatnya di bawah $36,5 juta. Bagi perusahaan yang pendapatannya mencapai ratusan juta, itu hanyalah biaya menjalankan bisnis.
Keempatnya saling bergantung: tanpa transparansi, proses hukum yang adil tidak punya sesuatu yang spesifik untuk digugat, dan tanpa keduanya, tanggung gugat sulit ditetapkan. Kekuasaan regulasi algoritmis saat ini tidak memiliki satu pun dari keempatnya secara penuh.
Respons dan batas-batasnya
Undang-Undang AI Uni Eropa mulai berlaku pada Agustus 2024. Sejauh ini, undang-undang itu adalah kerangka regulasi paling komprehensif yang dibangun untuk menangani otoritas algoritmis.
Isinya substansial. Undang-undang itu memilah sistem AI menurut tingkat risiko. Daftar sistem berisiko tingginya, yang memikul beban kepatuhan penuh, secara eksplisit menyebut penilaian kredit, rekrutmen dan evaluasi kinerja, serta peradilan pidana: alat yang menilai risiko seseorang melakukan atau mengulangi kejahatan, dan AI yang membantu hakim menerapkan hukum. Untuk sistem-sistem ini, undang-undang itu mewajibkan penilaian kesesuaian sebelum penerapan, pengawasan manusia, dan transparansi kepada orang-orang yang terdampak; badan publik dan penilai kredit juga harus melakukan penilaian dampak terhadap hak-hak fundamental. Orang yang dikenai keputusan oleh sebagian besar sistem dalam daftar ini memperoleh hak atas penjelasan apabila keputusan itu menimbulkan akibat hukum atau dampak merugikan yang signifikan terhadap kesehatan, keselamatan, atau hak-hak fundamental mereka. Pelanggaran aturan risiko tinggi dapat dikenai denda hingga €15 juta atau 3 persen dari omzet tahunan global. Kewajiban itu semula dijadwalkan berlaku pada Agustus 2026; amandemen belakangan, yang sudah berlaku, menunda persyaratan risiko tinggi ke Desember 2027. Hak atas penjelasan tetap bertanggal Agustus 2026 di atas kertas, tetapi hak itu melekat pada sistem berisiko tinggi yang aturan klasifikasinya ditunda bersama ketentuan lainnya.
Itu bukan persyaratan simbolis. COMPAS, jika diterapkan di Eropa sebagai salah satu sistem berisiko tinggi yang terdaftar, wajib menjalani penilaian kesesuaian dan penilaian dampak terhadap hak-hak fundamental sebelum dipakai. Sistem asesmen video HireVue, jika dipakai untuk keputusan rekrutmen yang memengaruhi pekerja yang berbasis di UE, akan memerlukan pengawasan manusia dan hak atas penjelasan.
Di Amerika Serikat, kemajuannya lebih sepotong-sepotong. Sejak 2023, Kota New York mewajibkan audit bias independen tahunan, dengan hasil yang dipublikasikan, untuk alat keputusan kerja otomatis yang dipakai dalam rekrutmen atau promosi untuk posisi yang berbasis di Kota New York. Sejak Januari 2026, Illinois melarang penggunaan AI dalam keputusan ketenagakerjaan dengan cara yang menimbulkan diskriminasi yang melanggar hukum, melarang kode pos dipakai sebagai proksi bagi karakteristik yang dilindungi, dan mewajibkan pemberi kerja memberi tahu ketika AI dipakai dalam keputusan rekrutmen atau ketenagakerjaan. Colorado mengganti undang-undang AI-nya yang tidak pernah dijalankan dengan undang-undang yang lebih sempit tentang pengambilan keputusan otomatis dalam keputusan yang berdampak besar, yang mulai berlaku pada Januari 2027: pemberitahuan sebelum penggunaan, penjelasan dalam bahasa sederhana setelah keputusan yang merugikan, koreksi data yang tidak akurat, dan hak untuk meminta peninjauan ulang yang bermakna oleh manusia.
Semua itu kemajuan nyata atas masalah yang lima tahun lalu belum diatur secara serius, tetapi semuanya memiliki keterbatasan struktural yang sama. Di luar beberapa larangan mutlak, seperti larangan Undang-Undang AI untuk memprediksi risiko seseorang melakukan kejahatan hanya berdasarkan pemrofilan atau ciri kepribadian, dan larangan Illinois atas penggunaan diskriminatif, semuanya bekerja terutama melalui standar desain, dokumentasi, audit, dan pengungkapan. Semuanya mensyaratkan seseorang, entah auditor, regulator, atau tim kepatuhan, untuk menilai apakah sistem itu adil. Paling banter, semuanya memberi individu yang diatur oleh sistem itu sebuah penjelasan, koreksi atas data yang salah, atau tinjauan kedua oleh manusia. Tak satu pun memungkinkan orang itu memeriksa aturannya sendiri. Hak atas penjelasan dalam Undang-Undang AI berarti bahwa orang yang dikenai keputusan oleh sebagian besar sistem berisiko tinggi dalam daftar, apabila keputusan itu menimbulkan akibat hukum atau dampak merugikan yang signifikan terhadap kesehatan, keselamatan, atau hak-hak fundamentalnya, harus menerima penjelasan atas keputusan itu. Hak itu tidak berarti orang tersebut dapat memeriksa bobot model, komposisi data pelatihan, atau metodologi algoritmisnya. Orang itu mengetahui mengapa satu keputusan merugikannya, tetapi tidak mendapat cara apa pun untuk mengaudit sistem yang membuatnya.
Ketertinggalan struktural adalah masalah tersendiri. Kerangka risiko tinggi dalam Undang-Undang AI Uni Eropa dibangun di sekitar sistem AI sebagaimana adanya kira-kira antara 2020 dan 2022. Pada saat kepatuhan risiko tinggi diwajibkan, sistem yang diatur telah melewati beberapa pergantian generasi. Regulasi ditulis selama bertahun-tahun; sistem algoritmis berganti versi dalam hitungan bulan. Ketidaksepadanan itu terletak pada laju pembuatan undang-undang dibandingkan dengan laju teknologinya; perumusan yang lebih baik tidak akan menutupnya.
Pengalaman GDPR semestinya meredam harapan. Pasal 22-nya, yang berlaku sejak 2018, memberi orang di UE hak untuk tidak dikenai keputusan yang sepenuhnya otomatis dengan dampak signifikan, kecuali jika keputusan itu diperlukan untuk suatu kontrak, diizinkan oleh hukum, atau disetujui secara eksplisit; pasal-pasal pendampingnya menambahkan hak atas informasi yang bermakna tentang logika yang digunakan. Di atas kertas, ketentuan itu kuat. Panduan UE menyatakan bahwa perusahaan tidak dapat menghindarinya dengan “mengada-adakan keterlibatan manusia”, dan pengadilan tertinggi UE telah memperluasnya: pada 2023, pengadilan itu memutuskan bahwa skor kredit dengan sendirinya dapat tergolong keputusan otomatis, dan pada 2025 bahwa orang yang ditolak kreditnya berhak atas penjelasan tentang prosedur dan prinsip yang benar-benar diterapkan kepadanya, dengan keberatan atas dasar rahasia dagang ditimbang oleh pengadilan atau regulator, bukan diterima begitu saja atas kata perusahaan. Dalam praktiknya, perlu tujuh tahun dan litigasi berulang kali untuk sampai ke sana. Hak atas penjelasan dalam Undang-Undang AI layak disikapi dengan kehati-hatian yang sama.
Pasal 22 GDPR dan skeptisisme yang lahir dari pengalaman
Pasal 22 GDPR, yang berlaku sejak 2018, memberi orang di UE hak untuk tidak dikenai keputusan berdampak besar yang murni otomatis, dengan pengecualian untuk kontrak, izin berdasarkan hukum, dan persetujuan eksplisit; pasal-pasal transparansi dalam regulasi itu menambahkan hak atas informasi yang bermakna tentang logikanya. Dalam praktiknya, dampaknya terbatas. Ambang “sepenuhnya otomatis” mengundang siasat, berupa lapisan tipis persetujuan manusia, meskipun panduan UE menyatakan bahwa keterlibatan yang sekadar formalitas tidak dianggap. Hak atas penjelasan diperdebatkan selama bertahun-tahun sampai Mahkamah Keadilan Uni Eropa memutuskan pada 2025 bahwa orang berhak atas penjelasan tentang prosedur dan prinsip yang benar-benar diterapkan dalam kasus mereka sendiri, bukan sekadar deskripsi umum atau algoritma mentahnya. Ketentuan hak atas penjelasan dalam Pasal 86 Undang-Undang AI Uni Eropa dirumuskan dengan mempertimbangkan kegagalan Pasal 22. Jika Pasal 22 bisa dijadikan pedoman, penegakan dan pengadilanlah yang akan menentukan apakah ketentuan baru itu mencapai lebih banyak daripada ketentuan lama.Paradoks akuntabilitas
Mekanisme hukum yang kita miliki untuk menggugat tata kelola dibangun untuk menangani tindakan perorangan oleh pengambil keputusan yang dapat diidentifikasi, yang bertindak berdasarkan aturan yang dinyatakan. Sebuah undang-undang digugat oleh satu orang dalam satu perkara. Regulasi lembaga pemerintah dipersoalkan melalui prosedur pemberitahuan dan komentar publik atau litigasi APA. Keputusan administratif diajukan banding ke tribunal peninjau. Pejabat yang diskriminatif dapat dimintai keterangan di bawah sumpah. Mekanisme-mekanisme ini mengandaikan struktur tertentu: satu keputusan tunggal, aturan yang dinyatakan, penggugat yang dapat mengidentifikasi kerugiannya, pengambil keputusan yang dapat ditanyai.
Kekuasaan regulasi algoritmis mematahkan setiap pengandaian itu sekaligus. Untuk menggugat keputusan algoritmis di pengadilan, Anda biasanya memerlukan perpaduan tiga hal: aturan yang menghasilkannya, yang berpemilik dan biasanya hanya bisa diperoleh melalui tahap pengungkapan bukti di bawah perintah perlindungan; skenario kontrafaktual yang menunjukkan apa yang diperlukan untuk hasil yang berbeda, yang sulit dibangun tanpa akses ke model atau penjelasan lengkap dari perusahaan; dan, untuk gugatan diskriminasi, bukti adanya pola, yang membutuhkan data tingkat populasi yang hampir pasti tidak dimiliki individu yang terdampak.
Jawaban Mahkamah Agung Wisconsin adalah mewajibkan peringatan tertulis. Peringatan dalam laporan prapemidanaan menyebut masalahnya, dan terdakwa masih dapat menggugat skor itu dengan bukti lain, tetapi tidak ada di dalam peringatan itu yang memungkinkannya memeriksa perhitungannya.
Pemberian wewenang secara demokratis absen di setiap titik tempat hal itu bisa saja ditegakkan. Dewan Pengawas Meta tidak dapat mengakses algoritma yang secara nominal diawasinya. CFPB dapat meminta model pemberi pinjaman dalam penyelidikan, tetapi peminjam yang dinilainya hanya berhak atas daftar alasan. Mahkamah Agung Wisconsin menolak memerintahkan agar COMPAS dibuka. Di setiap momen ketika akuntabilitas bisa saja diberlakukan, kepentingan hak milik diperlakukan sebagai penghalang yang tidak akan dilintasi tata kelola. Tidak ada hukum yang mewajibkan sikap mengalah itu, dan tak satu pun dari lembaga-lembaga itu mendesakkan persoalan tersebut.
Yang membuat sistem algoritmis layak diterapkan dalam skala besar adalah konsistensi di jutaan kasus, kecepatan, dan hilangnya diskresi manusia yang menghasilkan kegagalan diskriminatifnya sendiri. Justru fitur-fitur itulah yang membuat sistem-sistem ini tak terbaca oleh mekanisme akuntabilitas yang telah dikembangkan hukum. Petugas kredit yang bias atau hakim yang bias dalam menjatuhkan hukuman dapat dimintai pertanggungjawaban dengan cara-cara yang tidak berlaku bagi algoritma yang bias, dan sistem hukum belum menemukan cara untuk menuntut pertanggungjawaban yang sama dari algoritma itu.
Kerangka-kerangka yang kini sedang dibangun, dari Undang-Undang AI Uni Eropa hingga undang-undang di Kota New York, Colorado, dan Illinois, mengaudit sistem dan menjelaskan keputusan. Kerangka-kerangka itu tidak membuka model bagi orang yang dinilainya.
Sistem algoritmis dapat menghasilkan keluaran yang diskriminatif secara sistematis selama bertahun-tahun sebelum gugatan apa pun mungkin diajukan, karena gugatan itu memerlukan akses yang tidak diberikan kepada penggugat. iTutorGroup mendiskriminasi ratusan pelamar selama sistemnya dipakai, berapa pun lamanya, sebelum EEOC mengajukan gugatan. HireVue menilai calon pekerja sebagian berdasarkan ekspresi wajah selama bertahun-tahun sebelum membuang fitur itu karena nilai tambahnya tidak sepadan. COMPAS telah dipakai dalam penjatuhan hukuman di banyak negara bagian selama lebih dari satu dekade. Kalaupun gugatan datang, ia datang setelah kerugian terjadi, dan orang-orang yang dirugikan sementara itu tidak dipulihkan oleh penyelesaian yang akhirnya tiba.
Kembali ke Wisconsin
Bacalah peringatan-peringatan yang diwajibkan Mahkamah Agung Wisconsin dalam setiap laporan prapemidanaan yang memakai COMPAS, dalam kata-kata mahkamah itu sendiri: “Sifat COMPAS yang berpemilik telah dijadikan alasan untuk mencegah pengungkapan informasi yang berkaitan dengan bagaimana faktor-faktor ditimbang atau bagaimana skor risiko ditentukan.” “Karena skor penilaian risiko COMPAS didasarkan pada data kelompok, skor itu mampu mengidentifikasi kelompok pelaku berisiko tinggi — bukan individu tertentu yang berisiko tinggi.” “Sejumlah studi tentang skor penilaian risiko COMPAS telah memunculkan pertanyaan apakah skor itu secara tidak proporsional menggolongkan pelaku dari kelompok minoritas sebagai memiliki risiko residivisme yang lebih tinggi.” “Penilaian risiko COMPAS membandingkan terdakwa dengan sampel nasional, tetapi belum ada studi validasi silang untuk populasi Wisconsin yang diselesaikan. Alat penilaian risiko harus terus-menerus dipantau dan dinormakan ulang demi akurasi karena populasi dan subpopulasi yang berubah.” Dan: “COMPAS tidak dikembangkan untuk digunakan dalam penjatuhan hukuman, tetapi dimaksudkan untuk digunakan oleh Departemen Pemasyarakatan dalam membuat keputusan mengenai pembinaan, pengawasan, dan pembebasan bersyarat.”
Inilah temuan mahkamah sendiri tentang apa yang belum diuji dan apa yang mungkin keliru. Setelah mendaftarnya, mahkamah tetap mengizinkan skor itu dipakai dalam penjatuhan hukuman, dalam batas-batas yang telah ditetapkannya. Peringatan itu memberi tahu hakim yang menjatuhkan hukuman bahwa alat ini mungkin diskriminatif, belum divalidasi untuk negara bagian itu, tidak dibuat untuk penjatuhan hukuman, dan bekerja dengan aturan yang tidak dapat diperiksa siapa pun di ruang sidang.
Hakim boleh mengecilkan bobot skor itu, dan terdakwa boleh membantahnya dengan bukti lain. Namun, tak seorang pun, baik hakim, terdakwa, maupun pengadilan banding, mendapat cara untuk membuka perhitungannya sendiri.
Penafian AI Generatif
Sebagian konten halaman ini dihasilkan dan/atau disunting dengan bantuan AI Generatif.
Media
Sumber dan Referensi Utama
Criminal justice and COMPAS
Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, “Machine Bias,” ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
ProPublica, “How We Analyzed the COMPAS Recidivism Algorithm,” May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
“ProPublica Responds to Company’s Critique of Machine Bias Story,” ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story
equivant, “Who is equivant?” FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/
State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01
Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm
Alexandra Chouldechova, “Fair prediction with disparate impact: A study of bias in recidivism prediction instruments,” Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524
Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, “Inherent trade-offs in the fair determination of risk scores,” Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf
Law, regulation and accountability
Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.
Frank Pasquale, The Black Box Society. Harvard University Press, 2015.
Frank Pasquale, “From Territorial to Functional Sovereignty: The Case of Amazon,” LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/
Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553
“State action,” Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action
Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23
Credit and hiring
myFICO, “What’s in my FICO Scores?” https://www.myfico.com/credit-education/whats-in-your-credit-score
CFPB, DOJ Civil Rights Division, EEOC and FTC, “Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems,” April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf
Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 (“Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal,” 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal
Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b
National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/
Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371
“HireVue drops facial monitoring amid A.I. algorithm audit,” Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/
EPIC, “In re HireVue,” FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue
EEOC, “iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit,” September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit
Platforms and speech
Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm
United Nations, “Population” (Global Issues). https://www.un.org/en/global-issues/population
YouTube Official Blog, Press. https://blog.youtube/press/
TikTok Newsroom, “Thanks a billion!” September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en
“Musk Says X Has 600 Million Monthly Active Users,” Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users
Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/
European Commission, “Digital Services Act: Questions and answers” and “Out-of-court dispute settlement bodies under the Digital Services Act.” https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement
Grievance Appellate Committee, Government of India (appeals against intermediaries’ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/
Faiza Patel and Julian Melendi, “Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job,” Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job
Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf
Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230
New rules: EU and US
Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/
Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, “Digital AI Omnibus Delays Key Deadlines, Introduces New Rules,” August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/
Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053
Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf
Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf
NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page
Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, “Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence,” 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence
Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, “Colorado Act Legislation: The AI Strikes Back,” May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/
