알고리즘은 어떻게 규제자가 되었나: 민간의 코드가 법의 책임 없이 법처럼 작동할 때

이 글은 자동 번역되었습니다. 원문은 영어로 제공됩니다.

2013년, 에릭 루미스는 위스콘신주의 한 판사 앞에 섰다. 그는 교통경찰을 피해 달아나려 한 혐의와 소유자 동의 없이 차량을 운전한 혐의, 두 가지 경미한 혐의에 대해 유죄를 인정한 상태였다. 주 검찰은 이 사건을 차량 총격 사건과 연결했지만, 루미스는 그 총격에 가담하지 않았다고 부인했다. 판결 전 조사 보고서에는 COMPAS 위험 평가가 들어 있었다. 독점 알고리즘이 그의 재범 가능성을 추정해 1부터 10까지 매긴 점수였다. 점수는 높았다. 변호인단은 산출 방법을 검토하게 해 달라고 요청했다. 돌아온 답은 그것이 독점 기술이라는 것이었다. 노스포인트라는 민간 기업의 소유물이니 변호인단이 들여다볼 수 있는 것이 아니라는 얘기였다.

2016년 위스콘신주 대법원은 루미스도 변호인단도 점수가 어떻게 계산됐는지 검토할 수 없었는데도 적법절차는 지켜졌다고 판결했다. 그는 입력값과 최종 점수는 확인할 수 있었다. 둘을 잇는 논리는 볼 수 없었지만 말이다. 게다가 그 점수가 형량을 결정한 요인도 아니었다는 것이다. 법원은 앞으로 COMPAS를 활용하는 모든 양형 보고서에 이 알고리즘의 알려진 문제점을 열거한 서면 경고문을 넣도록 했다. 경고문은 상세하고 정직했다. 그런데도 법원은 알고리즘 사용을 인정했다. 양형 법률 자체가 피고인 측에 봉인돼 있었다면 적법절차의 위기는 누가 봐도 분명했을 것이다. 봉인된 규칙이 알고리즘이었기에 법원은 그것을 하나의 도구로 취급했다.

비밀 법률과, 법률처럼 작동하는 독점 규칙은 정확히 무엇이 다른가?

무엇이 규제를 규제로 만드는가

규제에 대한 쓸 만한 실무적 정의에는 세 가지 요소가 있다. 구속력, 의무적 준수, 그리고 준수하지 않았을 때의 결과다. 이 정의에 따르면 대출 차별을 금지하는 법률은 규제다. 그런데 기능적으로 보면, 특정 우편번호 지역에 사는 신청자의 대출 신청을 자동으로 거절하는 알고리즘도 규제다. 서명된 법령이 없다고 해서 그 효과가 덜 실재하는 것은 아니다.

로런스 레시그는 “코드가 곧 법”이라고 주장했다. 소프트웨어의 설계 구조는 법규만큼이나 확실하게 행동을 규정한다는 것이다. 프랭크 파스콸레는 불투명한 알고리즘 시스템이 이제 신용과 고용, 평판을 아무런 책임 없이 지배하고 있다고 주장해 왔다. 알고리즘이 이미 구속력 있고 의무적이며 결과를 낳는 규제로 작동하고 있다면, 그 권력에는 어떤 책임이 따라야 하는가. 그리고 왜 아무 책임도 따르지 않았는가?

이 기능적 기준은 알고리즘의 권한이 가장 큰 결과를 낳게 된 영역 전반에 깔끔하게 들어맞는다. 보석 위험 점수는 피할 수 없다. 피고인은 점수를 매기지 말라고 할 수 없고, 다른 지표로 바꿔 달라고 할 수도 없으며, 재판을 기다리는 동안 감방에서 잘지 집에서 잘지를 크게 좌우하는 숫자에서 빠져나갈 수도 없다. 알고리즘에 의한 신용 결정에는 따져 물을 수 있는 개별 결정권자도, 재검토할 수 있는 재량적 판단도 없다. 알고리즘이 규칙을 만들고, 규칙이 결과를 내고, 그 결과는 최종적이다. 신청자가 이의 제기 절차를 끝까지 밟아 내지 못한다면 말이다. 그 절차에서도 점수 산정 논리 자체는 끝내 드러나지 않는다. 콘텐츠 검열에 따른 삭제는 즉각적이다. 게시물은 사라진다. 일반 사용자에게 어떤 이의 제기 절차가 있든, 그것은 “괴롭힘”이나 “폭력”처럼 포괄적인 콘텐츠 기준에 비추어 판정되므로 실질적으로 반박할 근거가 되지 못한다.

공식 규제에는 이런 시스템에 없는 네 가지 책임성 기준이 따른다. 첫째는 투명성이다. 미국에서는 행정절차법에 따라 구속력 있는 행정 규칙 대부분이 고지 및 의견수렴 절차를 거쳐야 한다. 규칙은 누군가를 구속하기 전에 공개되어 의견을 받아야 한다. 둘째는 적법절차다. 자신에게 적용되는 법적 기준에 맞서 이의를 제기할 권리는 법에 의한 통치의 토대다. 셋째는 민주적 정당성이다. 입헌 민주주의에서 구속력 있는 규칙을 만들 권한은 선출된 기관으로 거슬러 올라가는 수권 절차에서 나온다. 넷째는 법적 책임이다. 통치가 해를 끼쳤을 때 책임을 지우는 장치가 존재한다.

지금 배치된 알고리즘 시스템은 이 가운데 어느 것도 온전히 충족하지 못한다. 기껏해야 나라와 분야에 따라 각 기준의 일부만 지니고 있을 뿐이다. 흔히 나오는 반론은 수정헌법 제5조와 제14조, 그리고 헌법상의 책임 전반이 구속하는 대상은 국가이지 민간 기업이 아니라는 것이다. 헌법상으로는 맞는 말이다. 하지만 그것은 다른 질문에 대한 답이다. 여기서 묻는 것은 기능적 의미에서 규제 권력을 인구 규모로 행사하는 시스템이 그 권력에 비례하는 책임을 져야 하는가이고, 이 질문에는 헌법보다 행정법의 틀이 더 잘 맞는다. 메타가 권리장전의 적용을 받아야 한다고 주장하지 않아도 물을 수 있다. 대부분의 정부보다 더 넓은 통치력을 지닌 시스템이 왜 어떤 정부에도 허용되지 않을 만큼 적은 책임만 지고 운영되어야 하는가?

국가 행위와 그 한계

국가 행위 원칙에 따르면 권리장전의 헌법적 보호는 정부 행위자를 제약할 뿐 민간 기업을 제약하지 않는다. 민간 고용주는 수정헌법 제1조와 무관하게 발언을 제한할 수 있다. 민간 플랫폼은 적법절차 요건에 걸리지 않고 게시물을 삭제할 수 있다. 프랭크 파스콸레는 지배적 플랫폼들이 이제 “기능적 주권”을 행사하며, 한때 정부의 몫이던 방식으로 시장과 행동을 규제하고 있으므로 그런 종류의 권력에는 공법에 준하는 책임이 요구된다고 주장한다. EU AI법은 기능적 틀을 채택함으로써 국가 행위 문제를 암묵적으로 비켜 간다. 정부가 배치했는지가 아니라 그 시스템이 무엇을 하고 누구에게 영향을 미치는지를 기준으로 AI 시스템을 규제하는 것이다. 시스템을 누가 운영하느냐가 아니라 어떤 기능을 하느냐로 판단하는 것, 이것이 알고리즘의 권한을 바라보는 올바른 틀이다.

점수에 달린 자유: COMPAS와 양형 기계

COMPAS는 ‘대체 제재를 위한 교정 대상자 관리 프로파일링(Correctional Offender Management Profiling for Alternative Sanctions)’의 약자로, 노스포인트(현 이퀴번트)가 개발한 독점 위험 평가 도구다. 피고인이 재범할 가능성을 1부터 10까지의 점수로 추정한다. 이 점수는 미국 여러 주에서 재판 전 구금 결정, 양형, 가석방 판단에 쓰여 왔다.

2016년 프로퍼블리카 기자들은 플로리다주 공공기록법을 이용해 2013~2014년 브로워드 카운티에서 체포된 피고인 7,000여 명의 COMPAS 점수를 입수하고, 이후 2년 동안 누가 다시 체포됐는지 추적했다. 다시 체포되지 않은 피고인들 가운데 흑인 피고인이 중위험이나 고위험으로 분류됐을 가능성은 백인 피고인의 거의 두 배였다.

노스포인트는 COMPAS 점수가 보정되어 있다고 반박했다. 피고인의 인종과 관계없이 7점이라는 점수는 대략 같은 재범 확률을 예측한다는 것이다. 데이터는 두 주장을 모두 뒷받침했다. 둘은 서로 다른 것을 측정하기 때문이다. 보정에 관한 주장은 집단 간 예측 정확도에 관한 것이다. 위양성 격차는 재범하지 않는 사람들에게 무슨 일이 일어나는지에 관한 것이고, 그들 가운데 잘못 고위험으로 지목된 사람 중에는 흑인의 비율이 지나치게 높다. 알고리즘은 보정 검사를 통과하면서도 특정 인구 집단에 가장 무겁게 떨어지는 결과를 낼 수 있다. 어떤 공정성 기준이 중요한지를 고르는 것은 정책의 문제다. 그런데 COMPAS를 두고 그 선택을 내린 공공기관은 한 곳도 없었다.

이 충돌은 수학 안에 내장되어 있고, 이미 증명되었다. 집단 간 재범 기저율이 다를 때, 각 집단에 똑같이 잘 맞는 고위험 분류는 예측이 완벽하지 않은 한 두 집단에 같은 위양성률과 위음성률을 동시에 줄 수 없다. 이 모든 것을 한꺼번에 가질 수는 없다. 아무리 나은 방법론이 있었더라도 프로퍼블리카와 노스포인트 사이의 논쟁을 끝낼 수는 없었다. 그래서 책임성의 문제는 더 시급해진다. 공정성 기준들 사이의 균형을 어떻게 잡을지에 순수하게 기술적인 답이 없다면, 누군가는 그 선택을 해야 하고, 그 선택을 하는 사람은 그에 대해 책임을 져야 한다.

에릭 루미스는 어떤 폭력 범죄로도 유죄 판결을 받지 않았다. 그가 유죄를 인정한 것은 경찰관을 피해 달아난 혐의와 소유자 동의 없이 차량을 운전한 혐의였고, 그가 부인한 총격 관련 혐의들은 기각되었지만 양형에서 참작(read in)되었다. 그의 COMPAS 점수는 높게 나왔다. 그는 양형에 이 점수를 쓴 것이 적법절차에 어긋난다며 다퉜다. 알고리즘이 독점 기술이라서, 법원이 자신의 자유를 제약하는 데 쓰는 근거의 과학적 타당성을 다툴 길이 막혔다는 주장이었다.

State v. Loomis(위스콘신주 대 루미스) 사건에서 위스콘신주 대법원이 내놓은 답은, 피고인이 입력값, 즉 자신의 범죄 경력과 판결 전 설문에 대한 자신의 답변이 정확한지 확인할 수 있었으므로 적법절차는 충족되었다는 것이었다. 그 입력값들이 서로 어떤 가중치로 저울질되는지, 점수 산정 논리가 그것을 어떻게 숫자로 바꾸는지를 알 권리는 그에게 없었다.

그에게는 자신에 관해 입력된 데이터가 맞는지 확인할 권리와, 그렇게 해서 나온 점수를 놓고 다툴 권리가 있었다. 그것으로 기록의 잘못된 항목은 잡아낼 수 있었겠지만, 기록이 위험 점수로 바뀌는 방식의 결함은 잡아낼 수 없었다.

그래도 법원은 눈여겨볼 일을 하나 했다. COMPAS에 의존하는 모든 판결 전 조사 보고서에 사용상의 한계와 일련의 주의 사항을 적은 서면 권고문을 붙이도록 한 것이다. 그 작동 방식이 비밀에 부쳐져 있다는 것, 고위험 개인이 아니라 고위험 집단을 식별한다는 것, 소수인종 범죄자를 더 높은 위험으로 분류하는 것은 아닌지 의문을 제기한 연구들이 있다는 것, 위스콘신주 인구를 대상으로 검증된 적이 없다는 것, 그리고 COMPAS는 애초에 양형용으로 개발된 것이 아니라 처우, 감독, 가석방에 관한 교정 당국의 결정을 위해 개발되었다는 것이었다.

알고리즘에 무엇이 잘못되었을 수 있는지를 글로 적어 놓고도, 법원은 울타리를 하나 친 채 그 사용을 그대로 인정했다. 위험 점수는 누군가를 교도소에 보낼지, 얼마나 오래 보낼지를 정하는 데 쓰일 수 없고, 결정적 요인이 되어서도 안 된다는 것이었다. 판결의 어디에도 피고인이 자기 점수가 어떻게 계산됐는지 볼 수 있게 한 대목은 없었다.

2017년 미국 연방대법원은 이 사건의 심리를 거부했다. 산출 방법을 검토할 길이 전혀 없는 독점 알고리즘 도구를 자유를 제약하는 데 써도 되는가. 이 질문에 미국 최고 법원은 아직 답하지 않았다.

공정성의 수학적 불가능성

관련 결과(여기서는 재범)의 기저율이 인구 집단마다 다르면, 두 개의 수학적 증명은 공정성 기준들이 충돌한다는 것을 보여 준다. 점수는 보정(같은 점수가 모든 집단에서 같은 실제 위험을 뜻함)을 충족하면서 동시에 재범하는 사람들과 재범하지 않는 사람들에게 각각 모든 집단에서 같은 평균 점수를 줄 수는 없다. 점수를 고위험과 저위험 분류로 나누면, 그 분류는 각 집단에서 똑같은 예측력을 가지면서(위험하다고 표시된 사람들 가운데 같은 비율이 재범함) 동시에 같은 위양성률과 위음성률을 가질 수는 없다. 어느 쪽 기준 쌍도 동시에 충족할 수는 없다. 예측이 완벽하다면 예외지만, 실제로 예측이 완벽한 경우는 없고, 설계나 데이터를 아무리 개선해도 이를 피해 갈 수 없다. 이것은 상황 자체의 수학적 속성이다. COMPAS에 대한 노스포인트의 방어는 보정에 관해서는 유효했지만 책임성의 질문은 건드리지도 못했다. 어떤 공정성 기준이 적용되어야 하는지를 누가, 무엇을 근거로, 어떤 정당성을 갖고 결정했는가? 불가능성 정리가 공정성 논쟁을 해소하지는 않는다. 그것은 이 선택이 정치적 선택임을 보여 준다. 그렇기에 독점 기술 보호의 울타리 안은 그 선택을 내릴 자리가 아니다.

보이지 않는 규칙: 신용, 채용, 그리고 경제생활

법은 단순한 비교 하나를 제대로 마주한 적이 없다. 차별하는 대출 담당자는 적어도 원칙적으로는 책임을 진다. 담당자를 증언대에 세울 수 있고, 이메일을 소환할 수 있으며, 신청자에 관해 남긴 메모를 검토할 수 있다. 그 결정의 근거는 소송에서 검토되고, 공정주택법이나 신용기회평등법에 비추어 다퉈지며, 판결까지 갈 수 있다. 똑같이 인종 간 격차가 나는 대출 결과를 내는 차별적 알고리즘에는 이 가운데 어느 것도 해당하지 않는다. 대출 기관에 모델을 어떻게 만들고 시험했는지에 관한 증인과 기록을 제시하도록 요구할 수는 여전히 있지만, 이 신청자가 왜 거절되었는지에 대해 증언대에 세울 개별 결정권자는 없다. 그 결과를 낳은 규칙은 독점 기술이고, 원고가 거기에 닿으려면 대개 우선 그것이 사건과 관련이 있다고 법원을 설득한 뒤, 보호명령 아래에서 벌어지는 증거개시 다툼에서 이겨야 한다.

미국 소비자 대출에서 신용도를 재는 지배적 척도인 FICO 점수는 독점 공식으로 계산된다. FICO는 다섯 가지 큰 범주와 대략적인 비중(상환 이력 35%, 부채 규모 30%, 신용 이력 기간 15%, 신규 신용 10%, 신용 구성 10%)은 공개하지만 모델 자체는 공개하지 않는다. 소비자에게는 연체나 추심 같은 기초 데이터의 정확성에 이의를 제기할 권리가 어느 정도 있지만, 그 입력값들이 서로 어떤 가중치로 저울질되는지를 다툴 권리는 없다. 바로 그 가중치가 독점 기술에 해당하는 부분이고, 기능적으로 보면 그것이 곧 규칙이다.

2023년 소비자금융보호국(CFPB)은 법무부, 고용기회균등위원회(EEOC), 연방거래위원회(FTC)와 함께, 과거 데이터로 훈련된 자동화 시스템이 불법적 편향을 영속시키고 차별을 자동화할 수 있다고 경고했다. 동네마다 아직도 레드라이닝 지도의 윤곽이 남아 있다. 과거 데이터로 훈련되고 우편번호를 변수로 쓰는 알고리즘은 차별하도록 설계될 필요가 없다. 물려받은 신호로서 차별을 수동적으로 흡수할 수 있기 때문이다. 그 뒤 법의 대응은 오히려 뒷걸음질 쳤다. 2025년 CFPB는 복잡하고 불투명한 모델을 쓰는 대출기관도 신청자에게 거절의 구체적 사유를 밝혀야 한다는 점을 확인한 지침을 철회했다. 법률상 의무는 남아 있지만 지침은 사라졌다. 이어 2026년 시행된 CFPB 규칙은 신용기회평등법이 차별적 효과(disparate impact)에 근거한 청구를 아예 허용하지 않는다고 선언했다. 이 규칙은 현재 법정에서 다퉈지고 있다. 공정주택법이 여전히 그런 청구를 허용하는 주택 분야를 제외하면, 이로써 바로 이 문제를 위해 설계된 연방 차원의 주된 도구가 사라졌다. 더 공정한 대안이 있었는데도 겉보기에 중립적인 규칙이 차별적 결과를 낳는다는 사실을 입증하는 도구 말이다.

하이어뷰는 이것이 고용에서 어떻게 펼쳐지는지를 보여 준다. 이 회사는 녹화된 면접 영상을 AI로 분석해 구직자를 평가하는 영상 기반 채용 전 평가를 판매했다. 한 프라이버시 단체는 연방거래위원회에 진정을 내, 여러 주장과 함께 하이어뷰가 안면 인식 기술 사용 사실을 거짓으로 부인했다고 주장했다. 하이어뷰는 2020년 지원자의 표정 분석을 중단했고, 나중에 그 이유를 설명했다. 회사 자신의 설명에 따르면, 표정을 포함한 비언어적 신호가 대부분의 직무에서 예측력을 높인 정도는 약 0.25%에 불과해, 편향에 대한 우려를 감안하면 그럴 가치가 없었다는 것이다. 여러 해 동안 지원자들은 일부나마 표정과 움직임으로 점수를 받았고, 회사 바깥의 누구도 그것이 공정한지 검증할 수 없었다.

아이튜터그룹 사건은 가장 노골적인 사례다. EEOC는 55세 이상 여성 지원자와 60세 이상 남성 지원자를 자동으로 탈락시키도록 지원 소프트웨어를 프로그래밍했다며 이 온라인 교육 업체를 상대로 소송을 제기했다. 자격을 갖춘 미국인 지원자 200명 이상이 오로지 나이 때문에 탈락했다. 아이튜터그룹은 36만 5,000달러를 지급하고 합의하기로 했다. 이 돈은 소프트웨어가 걸러 낸 지원자들에게 나뉘어 지급된다. 잃어버린 취업 기회의 대가가 평균 1인당 1,825달러에도 못 미치는 셈이다. 동의 판결은 차별 금지 교육, 새로운 정책, 그리고 최소 5년간의 EEOC 감시도 함께 요구했다.

구조적 문제는 어떤 개별 사건보다 소송으로 다투기가 어렵다. 이런 시스템은 체계적인 오류를 낳는다. 그 오류는 일정한 패턴을 띠고 집계 데이터에서는 드러나지만, 개인이 이를 다투는 데 성공하는 일은 드물다. 오류를 만들어 내는 규칙이 그들에게 공개되지 않기 때문이다. 이것이 법령상의 규칙이었다면 하나하나를 문면 그대로 다툴 수 있었을 것이다. 규칙이 무엇인지 알고, 그것이 자신에게 어떻게 적용됐는지 알고, 소송을 제기할 근거가 있었을 것이다. 알고리즘의 경우 피해는 실재하고 집계 수준에서 기록되어 있지만, 그것을 만들어 내는 규칙은 피해자들에게 보이지 않는다.

신용기회평등법, 공정주택법, 그리고 공개의 공백

차별적 효과 법리에 따르면 원고는 덜 차별적인 대안이 있었는데도 차별적 결과를 낳은 관행을, 의도를 전혀 입증하지 않고도 다툴 수 있다. 연방대법원은 공정주택법상 이런 청구가 가능하다고 확인했다. 신용기회평등법(ECOA)상의 대출에 관해서는 문이 좁아졌다. 2026년 시행된 CFPB 규칙은 ECOA가 차별적 효과에 따른 책임을 인정하지 않는다고 명시했고, CFPB는 2025년 알고리즘에 의한 불리한 조치 통지에 관한 지침을 철회했다. 차별적 효과 청구가 살아남는 영역에서도, 덜 차별적인 대안을 분석하려면 모델을 이해해야 한다. 모델이 어떤 변수를 쓰는지, 그것들에 어떤 가중치를 두는지, 일부를 빼거나 가중치를 바꾸면 무엇이 달라지는지를 알아야 한다. 모델이 독점 기술이고 개발사가 영업비밀 보호를 주장하면, 이론상 원고에게 열려 있는 법리가 실제로 활용하기가 매우 어려워질 수 있다.

피드의 법

메타는 자사 앱 제품군(페이스북, 인스타그램, 메신저, 왓츠앱)의 일일 활성 이용자가 2026년 6월 평균 약 36억 명이었다고 밝힌다. 지구 전체 인구는 80억 명을 조금 넘는다. 메타의 하루 이용자 수는 지구상 어느 나라의 인구보다도 많다.

유튜브는 전체 이용자 수를 밝히지 않는다. 쇼츠 하나만으로도 월간 로그인 이용자가 “수십억 명”이라고 말할 뿐이다. 틱톡은 2021년 월간 이용자 10억 명을 발표했다. 옛 트위터인 X는 비상장 회사가 되면서 공시 서류에 이용자 수를 보고하지 않게 되었고, 일론 머스크가 주장해 온 월간 이용자 약 6억 명은 한 번도 독립적으로 검증된 적이 없다.

이 숫자들을 더하지는 말아야 한다. 겹치는 부분이 엄청나다. 틱톡을 쓰는 사람 대부분은 인스타그램도 쓴다. 메타의 숫자 하나만으로도 구체적인 사실을 알 수 있다. 한 민간 기업이 그 36억 명이 무엇을 말할 수 있는지, 무엇을 볼 수 있는지, 누구의 콘텐츠가 그들에게 닿고 누구의 콘텐츠는 닿지 않는지에 관해 하루에도 수십억 번 구속력 있는 결정을 내리고 있다. 그 결정은 압도적으로 알고리즘 시스템이 내린다. 성문화된 정책은 공개되어 있지만, 그것을 적용하는 순위 결정과 집행의 장치는 공개되어 있지 않다. 유럽연합은 큰 예외다. 2024년부터 디지털서비스법은 이용자에게 이유를 밝힌 결정, 무료 이의 제기, 독립적인 분쟁 해결 기구에 대한 접근을 보장해 왔다. 인도는 플랫폼이 그 결정을 따라야 하는 정부 기구인 고충처리항소위원회를 운영한다. 그 밖의 대부분 나라에서 일반 이용자에게는 법적으로 강제할 수 있는 이의 제기 수단이 전혀 없다.

이런 체제를 옹호하는 통상의 논리는 콘텐츠 검열이 편집 판단과 비슷하다는 것이다. 무엇을 실을지 정하는 신문 편집자가 메타의 콘텐츠 시스템과 같은 종류의 재량을 행사한다는 얘기다. 이 비유는 규모 앞에서 버티지 못한다. 가장 큰 신문사도 독자를 수십억이 아니라 수백만 단위로 세며, 어느 신문도 자신이 공공 기반 시설이라고 주장하지 않는다. 수십억 명의 선거와 시위, 보건 비상사태와 공적 기록이 한 플랫폼 위에서 펼쳐지고, 그런 순간에 어떤 목소리를 키우고 어떤 목소리를 누를지를 그 플랫폼의 알고리즘이 정한다면, 그것은 구속력과 실질적 결과를 지닌 규제 권력이다. 사실상 의무적이기도 하다. 규칙이 다른 경쟁 플랫폼을 통해 비슷한 규모로 이런 공론장에 참여할 길은 없다. 이만한 도달 범위에 근접하는 대안이 없기 때문이다.

어느 나라의 언론 관련 법도 이만한 범위에서 집행된 적은 없다. 정부에는 권한이 있지만, 수십 개 언어로 하루 36억 명의 이용자를 상대하는 발언 집행 기반 시설을 구축해야 했던 정부는 지금껏 하나도 없었다. 이 시스템들은 고르지는 않을지언정 그것을 구축했다. 정책은 공개되어 있지만, 개별 사안을 판가름하는 운영 규칙, 즉 임곗값과 분류기와 순위 신호는 공개되어 있지 않다.

메타의 감독위원회는 콘텐츠 검열 결정을 독립적으로 견제하기 위해 설립되었다. 브레넌 정의센터는 감독위원회가 메타의 알고리즘 시스템, 즉 무엇을 증폭하고 무엇을 강등하고 무엇을 삭제할지에 관한 결정의 압도적 다수를 내리는 시스템에 접근하지 못하면 제 역할을 할 수 없다고 주장해 왔다. 감독위원회는 선별된 극히 일부 결정을 사후에 검토한다. 위원회도 대중도 규칙을 적용하는 장치를 볼 수 없다.

2016년과 2017년, 페이스북은 미얀마에서 로힝야족에 대한 혐오 발언을 퍼뜨리는 데 이용되었다. 유엔 조사관들은 이 플랫폼을 “혐오를 퍼뜨리려는 이들에게 유용한 도구”라고 불렀고, 회사의 대응이 느리고 효과가 없었다고 평가했다. 페이스북에는 미얀마어를 이해하는 콘텐츠 검열 인력이 너무 적었다. 플랫폼은 읽을 능력도 없는 콘텐츠를 증폭했다. 그 패턴을 실시간으로 멈추거나 문제 삼거나 하다못해 기록할 책임 장치조차 없었다. 회사는 대응이 너무 늦었다고 인정했다.

살해를 저지른 것은 군이었다. 군이 2017년 8월에 시작한 작전 이후 1년 안에 로힝야족 약 72만 5,000명이 방글라데시로 피신했고, 유엔 조사관들은 최대 1만 명이라는 사망자 추정치를 보수적이라고 했다. 페이스북이 그 작전을 일으킨 것은 아니다. 하지만 페이스북은 작전에 앞선 혐오를 실어 날랐다. 그리고 플랫폼이 자신이 증폭하는 게시물을 읽지 못할 때, 검열할 능력이 없다는 것은 검열하지 않기로 결정한 것과 같은 효과를 내기 시작한다.

230조와 면책의 공백

통신품위법 230조는 제3자가 올린 콘텐츠와 선의의 콘텐츠 검열 결정에 대해 플랫폼에 폭넓은 면책을 부여한다. 그 결과 플랫폼은 이용자가 올린 것에 대해서는 법적 책임을 거의 지지 않고, 거기에 적용하는 규칙에 대해서는 공적 책임을 전혀 지지 않는 법적 구조가 만들어졌다. 이 면책은 이제는 존재하지 않는 인터넷, 즉 매일 수십억 명을 대상으로 구속력 있는 통치 결정을 내리는 주체가 아니라 이용자 콘텐츠를 올려 두는 작은 서비스들의 인터넷을 위해 설계되었다. 230조를 개정하거나 폐지하려는 현재의 시도들은 이 글이 짚는 것과 같은 구조적 문제에서 출발한다. 이 시스템들이 행사하는 권력과, 현재 그 권력에 따라붙는 책임 장치 사이의 불일치다. 230조 개정이 올바른 지렛대인지, 그것이 어떤 의도치 않은 결과를 낳을지는 별개의 논쟁이다.

공식 규제가 요구하는 네 가지

정당한 규제의 네 가지 기준을 보석 점수, 신용 점수, 채용 필터, 그리고 피드 옆에 나란히 놓아 보자.

투명성부터 보자. 행정절차법의 고지 및 의견수렴 요건이 존재하는 것은 비밀 규제가 동의를 필요로 하는 통치와 양립할 수 없기 때문이다. 본 적도 없는 규칙에 의미 있게 동의하거나 이의를 제기할 수는 없다. 보석 알고리즘이 한 피고인에게 8점을 매긴다. 그 점수는 그 사람이 재판을 기다리는 동안 집에서 잘지 감방에서 잘지를 좌우한다. 8점을 만들어 낸 규칙은 공개되지 않는다. 대규모 데이터셋과 그것을 역설계할 통계 도구를 가진 사람이라면 불완전하고 부정확하게나마 규칙을 추론할 수는 있다. 그러나 그것은 고지 및 의견수렴 절차가 요구하는 공표된 규칙과는 거리가 한참 멀다. 콘텐츠 검열 알고리즘이 게시물을 삭제하고 이용자가 “폭력”이나 “괴롭힘”을 근거로 든 알림을 받을 때, 그 알림은 어떤 기준이 적용되었는지, 그 임곗값이 어떻게 정해졌는지, 알고리즘이 어느 정도의 확신 수준에서 작동했는지를 설명하지 않는다. 규칙은 집행 결과가 쌓인 패턴에서, 삭제 한 건 한 건을 통해서만 추론할 수 있다.

투명성은 다른 모든 것의 전제 조건이다. 볼 수 없는 법적 기준에 맞서 이의를 제기할 수는 없기 때문이다. 맞서고 이의를 제기할 그 권리가 있기에 피고인은 자신에 대한 공소 사실을 볼 권리를 갖고, 규제 대상자는 규칙 제정에 참여할 권리를 갖는다. 에릭 루미스의 변호인단은 의뢰인의 자유를 제약하는 데 쓰인 산출 방법을 요구했다. 법원은 거부했다. 자동으로 탈락한 아이튜터그룹 지원자들은 규칙이 무엇이었는지는 고사하고 자신에게 어떤 규칙이 적용되었다는 사실조차 몰랐다. 삭제 알림을 받은 페이스북 이용자는 자신이 어떤 커뮤니티 규정을 어겼는지는 알게 되지만, 그 선이 어디에 그어져 있었는지는 전혀 알 수 없다. 적법절차란 구체적인 무언가에 대응할 기회를 요구한다.

그다음은 민주적 정당성이다. 입법부는 선출된다. 행정기관은 입법부로부터 권한을 위임받고, 선출된 공직자의 감독을 받으며, 행정절차법의 절차적 요건을 따른다. 그 결정은 연방 법원에서 다툴 수 있다. 수억 또는 수십억 명의 신용과 고용, 자유와 표현에 대한 접근을 좌우하는 알고리즘을 배치하는 민간 기업에는 그에 상응하는 책임 구조가 없다. 그들은 주주에게 책임을 질 뿐, 자신이 다스리는 사람들에게 책임을 지지 않는다. 한 기업의 제품 결정이 통치 결정이 될 때, 제품을 위해 만들어진 책임 구조로는 더 이상 충분하지 않다.

마지막으로 법적 책임이 있다. 나머지 셋을 강제할 수 있게 만드는 기준이다. 불법행위법, 제조물 책임, 행정적 책임은 모두 통치가 해를 끼쳤을 때 책임을 지우기 위해 존재한다. 인구 규모의 알고리즘 피해에 대해서는 그 어느 것도 제대로 작동하지 않는다. 연방 민사소송 절차상 집단소송 인가를 받으려면 집단 전체에 공통된 법률 문제나 사실 문제가 있음을 보여야 한다. 규칙이 독점 기술이고, 피해가 거절된 대출과 위양성 보석 점수와 억눌린 게시물에 이르기까지 수백만 건의 작은 개별 피해로 흩어져 있을 때, 모델 자체에 접근하지 못하면 공통 문제 요건은 구조적으로 충족하기 어렵다. 집계된 피해는 엄청나다. 개별 사례는 개별 판단을 위해 설계된 법적 장치의 눈에 보이지 않은 채 남는다.

아이튜터그룹 합의로 돌아가 보자. 잃어버린 취업 기회의 대가로 1인당 평균 1,825달러에도 못 미치는 돈이다. 이 숫자는 실제 피해에 근접하지도 않는다. 동의 판결의 교육과 감시 조항은 한 회사만 구속한다. 위험을 저울질하는 다른 모든 이에게 기록에 남은 가격은 현금 액수다. 규모를 키워 보자. 어떤 알고리즘이 차별적 이유로 지원자 2만 명을 탈락시키고 각각이 같은 수준에서 합의한다면, 잠재적 배상 책임은 3,650만 달러에 못 미친다. 매출이 수억 달러 단위인 회사에 그것은 사업 비용일 뿐이다.

네 가지는 서로에게 기대고 있다. 투명성이 없으면 적법절차는 다툴 구체적 대상이 없고, 둘 다 없으면 법적 책임을 입증하기 어렵다. 알고리즘의 규제 권력은 현재 넷 중 어느 것도 온전히 갖추지 못했다.

대응과 그 한계

EU AI법은 2024년 8월 발효되었다. 알고리즘의 권한을 다루기 위해 지금까지 만들어진 규제 틀 가운데 가장 포괄적이다.

이 법이 하는 일은 상당하다. AI 시스템을 위험 등급별로 분류한다. 준수 부담을 전부 지는 고위험 목록에는 신용 평가, 채용과 성과 평가, 그리고 형사 사법이 명시되어 있다. 한 사람의 범죄나 재범 위험을 평가하는 도구, 판사가 법을 적용하는 일을 돕는 AI가 여기에 해당한다. 이런 시스템에 대해 이 법은 배치 전 적합성 평가, 인간의 감독, 영향을 받는 사람들에 대한 투명성을 의무화한다. 공공기관과 신용 평가 기관은 기본권 영향 평가도 해야 한다. 목록에 오른 시스템 대부분의 결정을 받는 사람들은, 그 결정이 법적 효과를 낳거나 건강, 안전, 기본권에 상당한 불이익을 미칠 경우 설명을 요구할 권리를 얻는다. 고위험 규정을 어기면 최대 1,500만 유로 또는 전 세계 연간 매출액의 3%를 물 수 있다. 이 의무들은 원래 2026년 8월부터 적용될 예정이었지만, 이미 발효된 후속 개정으로 고위험 요건은 2027년 12월로 미뤄졌다. 설명 요구권은 문서상으로는 2026년 8월이라는 날짜를 유지했지만, 그 권리는 분류 규칙이 나머지 규정과 함께 연기된 고위험 시스템에 적용된다.

이것들은 상징적인 요건이 아니다. COMPAS가 목록에 오른 고위험 시스템으로서 유럽에 배치된다면, 사용 전에 의무적인 적합성 평가와 기본권 영향 평가를 받아야 할 것이다. 하이어뷰의 영상 평가 시스템이 EU에 근거지를 둔 노동자에게 영향을 미치는 채용 결정에 쓰인다면, 인간의 감독과 설명을 요구할 권리가 보장되어야 할 것이다.

미국에서는 진전이 더 단편적이다. 뉴욕시는 2023년부터 뉴욕시 소재 일자리의 채용이나 승진에 쓰이는 자동화된 고용 결정 도구에 대해, 결과를 공개하는 연례 독립 편향 감사를 의무화해 왔다. 일리노이주는 2026년 1월부터 불법적 차별을 낳는 방식으로 고용 결정에 AI를 쓰는 것을 금지하고, 보호되는 특성의 대리 변수로 우편번호를 쓰는 것을 막았으며, 채용이나 고용 결정에 AI를 쓸 때 고용주가 이를 고지하도록 했다. 콜로라도주는 한 번도 시행되지 않은 AI법을, 중대한 결정에서의 자동화된 의사결정을 다루는 더 좁은 법으로 대체했다. 2027년 1월 시행되는 이 법은 사용 전 고지, 불리한 결정 이후 쉬운 말로 된 설명, 부정확한 데이터의 정정, 그리고 인간에게 의미 있는 재검토를 요청할 권리를 담고 있다.

이는 5년 전만 해도 제대로 규제되지 않던 문제에 대한 실질적 진전이다. 하지만 이들에게는 공통된 구조적 한계가 있다. 프로파일링이나 성격 특성만으로 개인의 범죄 위험을 예측하지 못하게 하는 AI법의 금지 규정과 차별적 사용을 금지하는 일리노이주의 규정 같은 몇몇 전면적 금지 조항을 제외하면, 이 법들은 주로 설계 기준, 문서화, 감사, 공개를 통해 작동한다. 감사인이든 규제 당국이든 준법 부서든 누군가가 시스템이 공정한지 평가하도록 요구한다. 시스템의 지배를 받는 개인에게 이 법들이 줄 수 있는 것은 기껏해야 설명, 잘못된 데이터의 정정, 또는 사람에 의한 재검토다. 어느 것도 그 사람이 규칙 자체를 들여다보게 하지는 않는다. AI법의 설명 요구권이란, 목록에 오른 고위험 시스템 대부분의 결정을 받는 사람이 그 결정이 법적 효과를 낳거나 건강, 안전, 기본권에 상당한 불이익을 미칠 경우 그에 대한 설명을 받아야 한다는 뜻이다. 그 사람이 모델 가중치나 훈련 데이터의 구성, 알고리즘 방법론을 검토할 수 있다는 뜻은 아니다. 그 사람은 한 결정이 왜 자신에게 불리하게 내려졌는지는 알게 되지만, 그 결정을 내린 시스템을 감사할 방법은 얻지 못한다.

구조적 시차는 또 다른 문제다. EU AI법의 고위험 틀은 대략 2020년에서 2022년 사이에 존재하던 AI 시스템을 중심으로 짜였다. 고위험 규정 준수가 요구되는 시점이 되면, 규제 대상 시스템은 이미 여러 세대의 변화를 거친 뒤다. 규제는 몇 년에 걸쳐 쓰이고, 알고리즘 시스템은 몇 달 단위로 갱신된다. 이 불일치는 입법의 속도와 기술의 속도 사이에 있다. 조문을 더 잘 썼다고 해서 메워졌을 간극이 아니다.

GDPR의 경험은 기대를 누그러뜨린다. 2018년부터 적용된 GDPR 제22조는 EU 내 사람들에게, 계약에 필요하거나 법률로 허용되거나 명시적으로 동의한 경우가 아니라면, 중대한 효과를 낳는 완전히 자동화된 결정의 대상이 되지 않을 권리를 주었다. 함께 묶인 조항들은 관련 논리에 대한 의미 있는 정보를 받을 권리를 더했다. 서류상으로는 강력하다. EU 지침은 기업이 “인간의 관여를 꾸며 내는” 방식으로 이를 피해 갈 수 없다고 밝히고, EU 최고 법원은 그 범위를 넓혀 왔다. 2023년에는 신용 점수 자체가 자동화된 결정에 해당할 수 있다고 판시했고, 2025년에는 신용을 거절당한 사람이 자신에게 실제로 적용된 절차와 원칙을 설명받을 권리가 있으며, 영업비밀을 내세운 반론은 회사의 말만 믿고 받아들일 것이 아니라 법원이나 규제 당국이 저울질해야 한다고 판시했다. 실제로 여기까지 오는 데는 7년과 거듭된 소송이 필요했다. AI법의 설명 요구권에도 같은 신중함이 필요하다.

GDPR 제22조와 경험에서 배운 회의론

2018년부터 적용된 GDPR 제22조는 EU 내 사람들에게 순전히 자동화된 중대한 결정의 대상이 되지 않을 권리를 주며, 계약, 법적 허용, 명시적 동의의 경우를 예외로 둔다. 이 규정의 투명성 조항들은 관련 논리에 대한 의미 있는 정보를 받을 권리를 더한다. 실제 효과는 제한적이었다. “완전히 자동화된”이라는 문턱은 우회로를 불러들였다. 사람이 형식적으로 승인하는 얇은 층을 덧대는 것이다. EU 지침은 형식적 관여는 인정되지 않는다고 밝히는데도 말이다. 설명 요구권은 여러 해 동안 다툼의 대상이었다. 그러다 2025년 EU 사법재판소가, 사람들은 일반적 설명이나 날것의 알고리즘이 아니라 자기 사건에 실제로 적용된 절차와 원칙에 대한 설명을 받을 권리가 있다고 판결했다. EU AI법 제86조의 설명 요구권 조항은 제22조의 실패를 염두에 두고 작성되었다. 제22조가 길잡이라면, 새 조항이 옛 조항보다 더 많은 것을 이뤄 낼지는 집행과 법원이 결정할 것이다.

책임성의 역설

통치에 맞서기 위해 우리가 가진 법적 장치는, 명시된 규칙에 따라 움직이는 식별 가능한 결정권자의 개별 행위를 다루도록 만들어졌다. 법률은 한 사건에서 한 사람이 다툰다. 행정 규칙은 고지 및 의견수렴 절차나 행정절차법 소송을 통해 다퉈진다. 행정 결정에는 심사 기관에 불복을 청구한다. 차별하는 공무원은 증언대에 세울 수 있다. 이 장치들은 특정한 구조를 전제한다. 단일한 결정, 명시된 규칙, 피해를 특정할 수 있는 이의 제기자, 따져 물을 수 있는 결정권자다.

알고리즘의 규제 권력은 이 전제들을 한꺼번에 모두 무너뜨린다. 알고리즘에 의한 결정을 법정에서 다투려면 대개 세 가지가 어느 정도씩 필요하다. 첫째는 그 결정을 만들어 낸 규칙인데, 이는 독점 기술이라 대개 보호명령 아래 증거개시를 통해서만 얻을 수 있다. 둘째는 다른 결과가 나오려면 무엇이 필요했는지를 보여 주는 반사실적 입증인데, 모델 접근이나 회사의 완전한 설명 없이는 구성하기 어렵다. 셋째는 차별 청구의 경우 패턴에 대한 증거인데, 여기에는 영향을 받은 개인이 거의 확실히 갖고 있지 않은 인구 수준의 데이터가 필요하다.

위스콘신주 대법원의 답은 서면 경고를 요구하는 것이었다. 판결 전 조사 보고서의 경고문은 문제를 지목하고, 피고인은 여전히 다른 증거로 점수를 다툴 수 있지만, 경고문 어디에도 그 계산을 검토할 수 있게 하는 내용은 없다.

민주적 수권은 그것이 확립될 수 있었던 모든 지점에서 빠져 있다. 메타의 감독위원회는 명목상 감독하는 알고리즘에 접근할 수 없다. CFPB는 조사 과정에서 대출기관의 모델을 요구할 수 있지만, 그 모델이 점수를 매긴 대출자가 받을 수 있는 것은 사유 목록뿐이다. 위스콘신주 대법원은 COMPAS를 열어 보라고 명령하기를 거부했다. 책임을 지울 수 있었던 순간마다 독점적 이익은 통치가 넘지 않을 장벽으로 취급되었다. 어떤 법도 그런 존중을 요구하지 않았고, 이들 가운데 누구도 그 문제를 정면으로 밀어붙이지 않았다.

알고리즘 시스템을 대규모로 배치할 가치가 있게 만드는 것은 수백만 건에 걸친 일관성, 속도, 그리고 그 자체로 차별적 실패를 낳는 인간의 재량을 없앤다는 점이다. 바로 그 특징들이 이 시스템을 법이 발전시켜 온 책임 장치가 읽어 낼 수 없는 것으로 만든다. 편향된 대출 담당자나 편향된 양형 판사는 편향된 알고리즘이 지지 않는 방식으로 책임을 진다. 그리고 법체계는 아직 알고리즘에 같은 책임을 묻는 방법을 찾아내지 못했다.

EU AI법에서 뉴욕시, 콜로라도주, 일리노이주의 법에 이르기까지, 지금 만들어지고 있는 틀들은 시스템을 감사하고 결정을 설명한다. 그것들은 모델이 점수를 매기는 그 사람에게 모델을 열어 보이지 않는다.

알고리즘 시스템은 어떤 이의 제기가 가능해지기 전에 여러 해 동안 체계적으로 차별적인 결과를 낼 수 있다. 이의를 제기하려면 접근권이 필요한데, 이의를 제기하려는 사람에게는 그것이 주어지지 않기 때문이다. 아이튜터그룹은 EEOC가 소송을 제기하기 전까지 시스템이 배치되어 있던 기간 내내 수백 명의 지원자를 차별했다. 하이어뷰는 여러 해 동안 일부나마 표정으로 구직자에게 점수를 매기다가, 보태는 가치가 미미해 쓸 만하지 않다며 그 기능을 뺐다. COMPAS는 10년 넘게 여러 주에서 양형에 쓰여 왔다. 이의 제기가 이루어진다 해도 그것은 피해 이후에 오고, 그사이 피해를 본 사람들은 뒤늦은 해결로 원상회복되지 않는다.

다시 위스콘신으로

위스콘신주 대법원이 모든 COMPAS 판결 전 조사 보고서에 넣도록 요구한 주의 사항을 법원 자신의 말로 읽어 보자. “COMPAS의 독점적 성격을 이유로, 요인들이 어떻게 가중되는지 또는 위험 점수가 어떻게 결정되는지에 관한 정보의 공개가 거부되어 왔다.” “COMPAS 위험 평가 점수는 집단 데이터에 기반하므로, 고위험 범죄자 집단을 식별할 수는 있으나 특정한 고위험 개인을 식별하지는 못한다.” “COMPAS 위험 평가 점수에 관한 일부 연구는 그것이 소수인종 범죄자를 재범 위험이 더 높은 것으로 불균형하게 분류하는지에 대해 의문을 제기했다.” “COMPAS 위험 평가는 피고인을 전국 표본과 비교하지만, 위스콘신주 인구에 대한 교차 검증 연구는 아직 완료되지 않았다. 위험 평가 도구는 변화하는 인구 및 하위 인구 집단에 맞추어 정확성을 위해 지속적으로 모니터링되고 재규준화되어야 한다.” 그리고 “COMPAS는 양형에 사용하기 위해 개발된 것이 아니라, 교정국이 처우, 감독, 가석방에 관한 결정을 내리는 데 사용하도록 의도된 것이다.”

이것들은 무엇이 검증되지 않았고 무엇이 잘못되었을 수 있는지에 관한 법원 자신의 판단이다. 이를 열거해 놓고도 법원은 스스로 정한 한계 안에서 양형에 점수를 쓰는 것을 여전히 허용했다. 경고문은 양형 판사에게 이렇게 말한다. 이 도구는 차별할 수 있고, 이 주에서 검증되지 않았고, 양형을 위해 만들어지지 않았으며, 법정의 누구도 들여다볼 수 없는 규칙에 따라 작동한다고.

판사는 점수의 비중을 낮출 수 있고, 피고인은 다른 증거로 그것을 다툴 수 있다. 하지만 판사도, 피고인도, 항소 법원도, 그 누구도 계산 자체를 열어 볼 방법을 얻지 못한다.

생성형 AI 고지

이 페이지의 일부 내용은 생성형 AI의 도움을 받아 생성 및/또는 편집되었습니다.

미디어

베르누이 수 계산을 위한 해석기관용 알고리즘 도표. 에이다 러브레이스가 주석을 단 루이지 메나브레아의 『찰스 배비지가 발명한 해석기관 개요(Sketch of The Analytical Engine Invented by Charles Babbage)』 수록 – Wikipedia

주요 출처 및 참고문헌

Criminal justice and COMPAS

Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, “Machine Bias,” ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

ProPublica, “How We Analyzed the COMPAS Recidivism Algorithm,” May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

“ProPublica Responds to Company’s Critique of Machine Bias Story,” ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story

equivant, “Who is equivant?” FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/

State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01

Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm

Alexandra Chouldechova, “Fair prediction with disparate impact: A study of bias in recidivism prediction instruments,” Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524

Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, “Inherent trade-offs in the fair determination of risk scores,” Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf

Law, regulation and accountability

Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.

Frank Pasquale, The Black Box Society. Harvard University Press, 2015.

Frank Pasquale, “From Territorial to Functional Sovereignty: The Case of Amazon,” LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/

Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553

“State action,” Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action

Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23

Credit and hiring

myFICO, “What’s in my FICO Scores?” https://www.myfico.com/credit-education/whats-in-your-credit-score

CFPB, DOJ Civil Rights Division, EEOC and FTC, “Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems,” April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf

Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 (“Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal,” 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal

Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b

National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/

Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371

“HireVue drops facial monitoring amid A.I. algorithm audit,” Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/

EPIC, “In re HireVue,” FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue

EEOC, “iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit,” September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit

Platforms and speech

Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm

United Nations, “Population” (Global Issues). https://www.un.org/en/global-issues/population

YouTube Official Blog, Press. https://blog.youtube/press/

TikTok Newsroom, “Thanks a billion!” September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en

“Musk Says X Has 600 Million Monthly Active Users,” Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users

Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/

European Commission, “Digital Services Act: Questions and answers” and “Out-of-court dispute settlement bodies under the Digital Services Act.” https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement

Grievance Appellate Committee, Government of India (appeals against intermediaries’ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/

Faiza Patel and Julian Melendi, “Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job,” Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job

Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf

Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230

New rules: EU and US

Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/

Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, “Digital AI Omnibus Delays Key Deadlines, Introduces New Rules,” August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/

Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng

Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053

Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf

Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf

NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page

Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, “Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence,” 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence

Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, “Colorado Act Legislation: The AI Strikes Back,” May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/