Questo articolo è stato tradotto automaticamente. La versione originale è disponibile in inglese.
Nel 2013 Eric Loomis comparve davanti a un giudice del Wisconsin dopo essersi dichiarato colpevole di due reati minori: aver tentato di sfuggire a un agente della polizia stradale e aver guidato un’auto senza il consenso del proprietario. Lo Stato collegava il caso a una sparatoria da un’auto in corsa, alla quale lui negava di aver preso parte. La relazione pre-sentenza conteneva una valutazione del rischio COMPAS, un punteggio da 1 a 10 generato da un algoritmo proprietario per stimare la probabilità che tornasse a delinquere. Il numero era alto. I suoi avvocati chiesero di esaminarne la metodologia. Si sentirono rispondere che era proprietaria — apparteneva a un’azienda privata chiamata Northpointe e non spettava a loro ispezionarla.
La Corte suprema del Wisconsin, con una sentenza del 2016, stabilì che Loomis aveva goduto del giusto processo anche se né lui né i suoi avvocati avevano potuto esaminare come era stato calcolato il suo punteggio. Poteva verificare i dati in ingresso e il numero finale, se non la logica che li collegava, e il punteggio non era stato il fattore decisivo della sua condanna. La corte impose che in futuro ogni relazione pre-sentenza basata su COMPAS includesse un’avvertenza scritta con l’elenco dei problemi noti dell’algoritmo. L’avvertenza era dettagliata e onesta, e la corte confermò comunque l’uso dell’algoritmo. Se a essere secretata alla difesa fosse stata la norma penale stessa, la crisi del giusto processo sarebbe stata evidente; poiché la regola secretata era un algoritmo, la corte la trattò come uno strumento.
Che differenza c’è, esattamente, tra una legge segreta e una regola proprietaria che funziona come una legge?
Che cosa fa di qualcosa una regolamentazione
Una definizione operativa utile di regolamentazione ha tre ingredienti: effetto vincolante, obbligo di conformarsi e conseguenze per chi non si conforma. Secondo questa definizione, una legge che vieta la discriminazione nella concessione di prestiti è una regolamentazione. Ma lo è anche, sul piano funzionale, un algoritmo che respinge automaticamente le richieste di prestito di chi risiede in certe zone di codice postale, un effetto non meno reale per l’assenza di una legge firmata.
Lawrence Lessig ha sostenuto che «il codice è legge»: l’architettura del software plasma i comportamenti non meno delle norme giuridiche. Frank Pasquale ha sostenuto che sistemi algoritmici opachi governano ormai il credito, il lavoro e la reputazione senza dover rendere conto a nessuno. Se un algoritmo funziona già come regolamentazione, vincolante, obbligatoria e carica di conseguenze, quale responsabilità dovrebbe accompagnare quel potere, e perché non lo accompagna nessuna?
Il criterio funzionale si applica senza forzature alle categorie in cui l’autorità algoritmica ha assunto più peso. Un punteggio di rischio per la cauzione è ineludibile: l’imputato non può scegliere di non essere valutato, non può sostituirlo con un altro parametro, non può sottrarsi a un numero che pesa molto sul fatto che dorma in cella o a casa in attesa del processo. Una decisione algoritmica sul credito non ha dietro di sé un decisore in carne e ossa da interrogare, né un giudizio discrezionale da rimettere in discussione. L’algoritmo genera una regola; la regola produce un esito; l’esito è definitivo, a meno che il richiedente non riesca a portare a termine una procedura di contestazione che non mostra mai la logica di calcolo. La rimozione di un contenuto da parte della moderazione è immediata: il post sparisce. Qualunque ricorso esista per l’utente medio si risolve confrontandosi con uno standard generico come «molestie» o «violenza», che non offre alcuna base reale per contestare.
La regolamentazione formale ha quattro criteri di responsabilità che a questi sistemi mancano. Trasparenza: negli Stati Uniti, l’Administrative Procedure Act impone per la maggior parte delle norme vincolanti delle agenzie la procedura di notice-and-comment: la norma deve essere pubblicata e sottoposta a osservazioni prima di poter vincolare chiunque. Giusto processo: il diritto di conoscere e contestare il criterio giuridico che ti viene applicato è un fondamento del governo secondo la legge. Legittimità democratica: in una democrazia costituzionale, il potere di emanare norme vincolanti deriva da processi di autorizzazione che risalgono a organi elettivi. Responsabilità civile: esistono meccanismi per attribuire la responsabilità quando l’esercizio del governo causa un danno.
I sistemi algoritmici, così come sono impiegati oggi, non soddisfano pienamente nessuno di questi criteri; nel migliore dei casi ne conservano frammenti, a seconda del paese e del settore. L’obiezione abituale è che il Quinto e il Quattordicesimo emendamento, e in generale la responsabilità costituzionale, vincolano lo Stato, non le aziende private. Dal punto di vista del diritto costituzionale è corretto, ma risponde a un’altra domanda: se sistemi che esercitano un potere regolatorio in senso funzionale, su scala di intere popolazioni, debbano rispondere in proporzione a quel potere; e a questa domanda si adatta meglio la cornice del diritto amministrativo che quella costituzionale. Nessuno ha bisogno di sottoporre Meta al Bill of Rights per chiedersi perché sistemi con una portata di governo superiore a quella della maggior parte dei governi debbano operare con meno responsabilità di quanta ne sia consentita a qualsiasi governo.
L'azione statale e i suoi limiti
La dottrina della state action stabilisce che le tutele costituzionali del Bill of Rights vincolano i soggetti pubblici, non le aziende private. Un datore di lavoro privato può limitare la libertà di parola senza chiamare in causa il Primo emendamento. Una piattaforma privata può rimuovere post senza far scattare gli obblighi del giusto processo. Frank Pasquale sostiene che le piattaforme dominanti esercitino ormai una «sovranità funzionale», regolando mercati e comportamenti in modi un tempo riservati ai governi, e che un potere di questo tipo richieda una responsabilità sul modello del diritto pubblico. L'AI Act dell'UE aggira implicitamente il problema della state action adottando un approccio funzionale: regola i sistemi di IA in base a ciò che fanno e a chi lo fanno, non in base al fatto che a impiegarli sia stato un governo. Giudicare un sistema per la sua funzione anziché per chi lo gestisce è la cornice giusta per l'autorità algoritmica.La libertà appesa a un punteggio: COMPAS e la macchina delle condanne
COMPAS, acronimo di Correctional Offender Management Profiling for Alternative Sanctions, è uno strumento proprietario di valutazione del rischio sviluppato da Northpointe, oggi Equivant. Produce un punteggio da 1 a 10 che stima la probabilità che un imputato torni a delinquere. Quel punteggio è stato usato in diversi stati americani nelle decisioni sulla custodia cautelare, nelle sentenze e nelle decisioni sulla libertà condizionale.
Nel 2016 i giornalisti di ProPublica sfruttarono la legge della Florida sull’accesso agli atti pubblici per ottenere i punteggi COMPAS di oltre 7.000 imputati della contea di Broward, arrestati nel 2013 e nel 2014, e verificarono chi venne arrestato di nuovo nei due anni successivi. Tra gli imputati che non furono arrestati di nuovo, i neri avevano quasi il doppio delle probabilità dei bianchi di essere stati classificati a rischio medio o alto.
Northpointe replicò che i punteggi COMPAS sono calibrati: un punteggio di 7 prevede all’incirca la stessa probabilità di recidiva qualunque sia la razza dell’imputato. I dati davano ragione a entrambe le tesi, perché misurano cose diverse. La tesi della calibrazione riguarda l’accuratezza predittiva tra i gruppi. La disparità nei falsi positivi riguarda ciò che accade a chi non torna a delinquere, e tra queste persone quelle segnalate a torto sono in misura sproporzionata nere. Un algoritmo può superare un test di calibrazione e produrre comunque esiti che colpiscono più duramente un gruppo demografico. Scegliere quale criterio di equità conti è una questione politica, eppure per COMPAS nessun organo pubblico ha mai compiuto quella scelta.
Il conflitto è insito nella matematica, ed è stato dimostrato: quando i tassi di base della recidiva differiscono tra i gruppi, una classificazione ad alto rischio ugualmente predittiva per ciascun gruppo non può anche garantire a entrambi gli stessi tassi di falsi positivi e di falsi negativi, a meno che le previsioni non siano perfette. Non si può avere tutto insieme. Nessuna metodologia migliore avrebbe potuto risolvere la disputa tra ProPublica e Northpointe, e questo rende ancora più urgente la questione della responsabilità. Se non esiste una risposta puramente tecnica su come bilanciare i criteri di equità, allora qualcuno deve compiere la scelta, e chi la compie dovrebbe risponderne.
Eric Loomis non era stato condannato per alcun reato violento: si era dichiarato colpevole di essere fuggito a un agente e di aver guidato un’auto senza il consenso del proprietario, mentre le accuse legate alla sparatoria, che lui negava, erano state archiviate ma comunque «read in», cioè tenute in considerazione al momento della sentenza. Il suo punteggio COMPAS risultò alto. Loomis ne contestò l’uso in sede di condanna invocando il giusto processo: la natura proprietaria dell’algoritmo, sosteneva, gli impediva di contestare la validità scientifica di ciò che il tribunale usava per limitare la sua libertà.
La risposta della Corte suprema del Wisconsin, in State v. Loomis, fu che il giusto processo era rispettato perché l’imputato poteva verificare l’esattezza dei dati in ingresso — i suoi precedenti penali, le sue risposte al questionario pre-sentenza. Non aveva diritto a sapere come quei dati venissero pesati l’uno rispetto all’altro, né come la logica di calcolo li trasformasse in un numero.
Aveva il diritto di controllare se i dati inseriti su di lui fossero corretti, e di discutere il punteggio che usciva dall’altra parte. Così si poteva scoprire un errore nel suo fascicolo, ma non un difetto nel modo in cui il fascicolo veniva trasformato in un punteggio di rischio.
La corte fece però qualcosa di notevole. Impose che ogni relazione pre-sentenza basata su COMPAS riportasse un’avvertenza scritta che fissava i limiti del suo impiego e un elenco di cautele: che il suo funzionamento è tenuto segreto, che individua gruppi ad alto rischio e non individui ad alto rischio, che alcuni studi si sono chiesti se classifichi i condannati appartenenti a minoranze come più a rischio, che non era stato validato su una popolazione del Wisconsin, e che COMPAS non era stato affatto sviluppato per essere usato nelle sentenze, ma per le decisioni dell’amministrazione penitenziaria su trattamento, sorveglianza e libertà condizionale.
Dopo aver messo per iscritto che cosa potesse esserci di sbagliato nell’algoritmo, la corte ne confermò comunque l’uso, recintandolo: un punteggio di rischio non può servire a decidere se qualcuno vada in carcere o per quanto tempo, e non può mai essere il fattore determinante. Nulla nella sentenza consentiva all’imputato di vedere come fosse stato calcolato il suo punteggio.
Nel 2017 la Corte suprema degli Stati Uniti rifiutò di esaminare il caso. Se strumenti algoritmici proprietari possano essere usati per limitare la libertà senza alcun modo di esaminarne la metodologia resta una domanda a cui il massimo tribunale del paese non ha risposto.
L'impossibilità matematica dell'equità
Se il tasso di base dell'esito considerato (qui, la recidiva) differisce tra gruppi demografici, due dimostrazioni matematiche mostrano che i criteri di equità entrano in conflitto. Un punteggio non può essere calibrato (un dato punteggio indica lo stesso rischio reale in ogni gruppo) e anche assegnare alle persone che recidivano, e a quelle che non lo fanno, lo stesso punteggio medio in ogni gruppo. Una volta suddivisi i punteggi in classificazioni ad alto e basso rischio, queste classificazioni non possono essere ugualmente predittive per ciascun gruppo (la stessa quota delle persone segnalate torna a delinquere) e anche avere gli stessi tassi di falsi positivi e di falsi negativi. Nessuna delle due coppie di condizioni può essere soddisfatta insieme, a meno che le previsioni non siano perfette, cosa che in pratica non sono mai, e nessun miglioramento nella progettazione o nei dati aggira questo limite: è una proprietà matematica della situazione. La difesa di COMPAS da parte di Northpointe ha retto sulla calibrazione e ha lasciato intatta la questione della responsabilità: chi ha deciso quale criterio di equità dovesse prevalere, su quale base e con quale legittimità? Il risultato di impossibilità non chiude il dibattito sull'equità. Mostra che la scelta è politica, ed è per questo che la tutela proprietaria è il posto sbagliato in cui compierla.La regola invisibile: credito, assunzioni e vita economica
C’è un confronto semplice con cui il diritto non ha fatto adeguatamente i conti. Una funzionaria di banca che discrimina nella concessione dei prestiti è, almeno in linea di principio, chiamata a rispondere. Può essere sentita sotto giuramento, le sue email possono essere acquisite con un ordine del giudice, i suoi appunti sui richiedenti esaminati. Il ragionamento dietro le sue decisioni può essere vagliato in giudizio, contestato alla luce del Fair Housing Act o dell’Equal Credit Opportunity Act, e portato fino a un verdetto. Un algoritmo discriminatorio che produce le stesse disparità razziali nei prestiti non è niente di tutto questo. Si può ancora obbligare il prestatore a produrre testimoni e documenti su come il modello è stato costruito e testato, ma non c’è un decisore in carne e ossa da interrogare sul perché quel richiedente sia stato respinto. La regola che ha generato l’esito è proprietaria, e chi fa causa può di solito arrivarci solo vincendo una battaglia sulla discovery, sotto un ordine di riservatezza, dopo aver convinto un tribunale che sia anche solo pertinente.
I punteggi FICO, la misura dominante dell’affidabilità creditizia nel credito al consumo statunitense, sono calcolati con una formula proprietaria. FICO pubblica cinque grandi categorie e il loro peso approssimativo (storico dei pagamenti 35 per cento, importi dovuti 30, durata dello storico 15, nuovo credito 10, combinazione dei tipi di credito 10), ma non il modello. I consumatori hanno qualche diritto di contestare l’esattezza dei dati di partenza, come un pagamento saltato o una pratica di recupero crediti, ma nessun diritto di contestare come quei dati vengano pesati l’uno rispetto all’altro. Quella ponderazione è la parte proprietaria e, in termini funzionali, è la regola.
Nel 2023 il Consumer Financial Protection Bureau, insieme al Dipartimento di Giustizia, all’EEOC e alla FTC, avvertì che i sistemi automatizzati addestrati su dati storici possono perpetuare pregiudizi illeciti e automatizzare la discriminazione. I quartieri mostrano ancora i contorni delle mappe del redlining. Un algoritmo addestrato su dati storici che usa il codice postale come variabile non ha bisogno di essere progettato per discriminare. Può assorbire la discriminazione passivamente, come un segnale ereditato. Da allora la risposta del diritto ha fatto marcia indietro. Nel 2025 il CFPB ha ritirato le indicazioni con cui confermava che i finanziatori che usano modelli complessi e opachi devono comunque fornire ai richiedenti le ragioni specifiche di un rifiuto; l’obbligo di legge resta, le indicazioni non ci sono più. Poi una norma del CFPB entrata in vigore nel 2026, e ora contestata in tribunale, ha dichiarato che l’Equal Credit Opportunity Act non autorizza affatto le azioni per disparate impact, cioè per impatto discriminatorio. Al di fuori del settore abitativo, dove il Fair Housing Act le consente ancora, questo ha tolto di mezzo il principale strumento federale pensato proprio per questo problema: dimostrare che una regola in apparenza neutra produce esiti discriminatori quando esisteva un’alternativa più equa.
HireVue mostra come la cosa si traduce nel mondo del lavoro. L’azienda vendeva valutazioni preassuntive basate su video, che usavano l’IA per giudicare i candidati a partire da colloqui registrati. Un’organizzazione per la tutela della privacy presentò un esposto alla Federal Trade Commission sostenendo, tra l’altro, che HireVue negava falsamente di usare il riconoscimento facciale. HireVue smise di analizzare le espressioni facciali dei candidati nel 2020, e in seguito ne spiegò il motivo: per stessa ammissione dell’azienda, i segnali non verbali, tra cui le espressioni del viso, aggiungevano al potere predittivo appena un quarto dell’uno per cento circa per la maggior parte dei ruoli, troppo poco per valerne la pena viste le preoccupazioni sui pregiudizi. Per anni i candidati erano stati valutati anche in base alle espressioni e ai movimenti, e nessuno al di fuori dell’azienda poteva verificare se fosse equo.
Il caso iTutorGroup è l’esempio più brutale. L’EEOC fece causa all’azienda di tutoraggio online per aver programmato il suo software di selezione in modo da respingere automaticamente le candidate dai 55 anni in su e i candidati dai 60 anni in su. Più di 200 candidati statunitensi qualificati vennero scartati per la sola età. iTutorGroup accettò di pagare 365.000 dollari per chiudere la causa, da dividere tra i candidati che il software aveva escluso: meno di 1.825 dollari a testa, in media, per un’occasione di lavoro perduta. Il decreto consensuale impose anche una formazione contro la discriminazione, una nuova politica aziendale e almeno cinque anni di monitoraggio da parte dell’EEOC.
Il punto strutturale è più difficile da portare in tribunale di qualsiasi singolo caso. Questi sistemi producono errori sistematici, ricorrenti e visibili nei dati aggregati, che i singoli riescono raramente a contestare, perché la regola che genera l’errore non viene loro rivelata. Se fossero norme di legge, ognuna sarebbe contestabile in quanto tale: conosceresti la regola, sapresti come ti è stata applicata, avresti un fondamento per agire in giudizio. Con gli algoritmi, il danno è reale e documentato nell’aggregato, mentre la regola che lo genera resta invisibile alle persone che danneggia.
ECOA, Fair Housing Act e il vuoto di trasparenza
La dottrina del disparate impact consente a chi fa causa di contestare una pratica che produce esiti discriminatori senza dover provare alcuna intenzione, se era disponibile un'alternativa meno discriminatoria. La Corte suprema ha confermato che azioni di questo tipo sono ammesse in base al Fair Housing Act. Per i prestiti regolati dall'Equal Credit Opportunity Act la porta si è ristretta: una norma del CFPB entrata in vigore nel 2026 afferma che l'ECOA non prevede la responsabilità per disparate impact, e nel 2025 il Bureau ha ritirato le sue indicazioni sulle comunicazioni di esito negativo prodotte da algoritmi. Dove le azioni per disparate impact sopravvivono, l'analisi delle alternative meno discriminatorie richiede di capire il modello: quali variabili usa, come sono pesate, che cosa cambierebbe se alcune venissero escluse o ripesate. Quando il modello è proprietario e il suo sviluppatore invoca la tutela del segreto commerciale, uno strumento in teoria a disposizione di chi fa causa può diventare molto difficile da usare in pratica.La legge del feed
Meta afferma che la sua famiglia di app (Facebook, Instagram, Messenger, WhatsApp) ha avuto in media circa 3,6 miliardi di persone attive ogni giorno nel giugno 2026. L’intero pianeta ne conta poco più di 8 miliardi. Il pubblico quotidiano di Meta è più numeroso della popolazione di qualsiasi nazione della Terra.
YouTube non fornisce un dato complessivo; dice che i soli Shorts attirano ogni mese «miliardi» di utenti connessi al proprio account. TikTok ha annunciato 1 miliardo di utenti mensili nel 2021. X, l’ex Twitter, ha smesso di riportare il numero di utenti nei documenti pubblici quando è uscita dalla borsa, e i circa 600 milioni di utenti mensili rivendicati da Elon Musk non sono mai stati verificati in modo indipendente.
Non sommateli. Le sovrapposizioni sono enormi; la maggior parte di chi usa TikTok usa anche Instagram. Il solo dato di Meta dice qualcosa di preciso. Un’azienda privata prende miliardi di volte al giorno decisioni vincolanti su ciò che quei 3,6 miliardi di persone possono dire, ciò che possono vedere, quali contenuti arrivano loro e quali no. Quelle decisioni sono prese in misura schiacciante da sistemi algoritmici. Le regole scritte sono pubbliche; i meccanismi di ranking e di applicazione che le traducono in pratica no. La grande eccezione è l’Unione europea: dal 2024 il Digital Services Act garantisce agli utenti una decisione motivata, un ricorso gratuito e l’accesso a organismi indipendenti di risoluzione delle controversie. L’India ha un Grievance Appellate Committee governativo, le cui decisioni le piattaforme sono tenute a rispettare. Nella maggior parte degli altri paesi, un utente comune non ha alcun ricorso giuridicamente azionabile.
La difesa consueta di questo assetto è che la moderazione dei contenuti somiglia al giudizio editoriale, che il direttore di un giornale che decide che cosa pubblicare esercita lo stesso tipo di discrezionalità dei sistemi di Meta. L’analogia non regge al confronto con la scala. Anche i giornali più grandi contano i lettori in milioni, non in miliardi, e nessuno pretende di essere un’infrastruttura pubblica. Quando le elezioni, le proteste, le emergenze sanitarie e gli atti pubblici di miliardi di persone vivono su una piattaforma, e gli algoritmi di quella piattaforma decidono quali voci vengono amplificate e quali soffocate in quei momenti, quello è potere regolatorio, con effetti vincolanti e conseguenze reali. Ed è anche obbligatorio, nei fatti: non si può partecipare a queste sfere pubbliche su una scala paragonabile attraverso una piattaforma concorrente con regole diverse, perché nessuna alternativa si avvicina a questa portata.
Nessuna legge nazionale sulla libertà di espressione è mai stata applicata con questa portata. I governi ne hanno l’autorità, ma nessun governo ha mai avuto bisogno di costruire un apparato per far rispettare le regole sull’espressione a 3,6 miliardi di utenti quotidiani in decine di lingue. Questi sistemi lo hanno fatto, in modo disomogeneo. Le loro norme sono pubblicate, ma le regole operative che decidono ogni singolo caso, le soglie, i classificatori e i segnali di ranking, non lo sono.
L’Oversight Board di Meta è stato istituito per offrire un controllo indipendente sulle decisioni di moderazione dei contenuti. Il Brennan Center for Justice ha sostenuto che il Board non può fare il proprio lavoro senza accedere ai sistemi algoritmici di Meta, i sistemi che prendono la stragrande maggioranza delle decisioni su che cosa viene amplificato, che cosa viene declassato e che cosa viene rimosso. Il Board esamina a posteriori una piccola frazione selezionata di decisioni. Né il Board né il pubblico possono vedere i meccanismi che applicano le regole.
Nel 2016 e nel 2017 Facebook fu usato per diffondere in Myanmar discorsi d’odio contro i rohingya. Gli investigatori dell’ONU definirono la piattaforma «uno strumento utile per chi cerca di diffondere odio» e giudicarono la risposta dell’azienda lenta e inefficace; Facebook aveva troppo pochi moderatori in grado di capire il birmano. La piattaforma amplificava contenuti che non era attrezzata a leggere. Non esisteva alcun meccanismo di responsabilità capace di fermare, contestare o anche solo documentare il fenomeno in tempo reale. L’azienda ha riconosciuto di essere stata troppo lenta a intervenire.
A uccidere fu l’esercito. Entro un anno dalla campagna che lanciò nell’agosto 2017, quasi 725.000 rohingya erano fuggiti in Bangladesh, e gli investigatori dell’ONU definirono prudente una stima fino a 10.000 morti. Facebook non causò quella campagna, ma veicolò l’odio che la precedette, e quando una piattaforma non è in grado di leggere i post che amplifica, l’incapacità di moderare comincia ad avere lo stesso effetto di una decisione di non farlo.
La Section 230 e il vuoto dell'immunità
La Section 230 del Communications Decency Act concede alle piattaforme un'ampia immunità dalla responsabilità per i contenuti pubblicati da terzi e per le decisioni di moderazione prese in buona fede. Ne risulta una struttura giuridica in cui le piattaforme rispondono poco di ciò che pubblicano i loro utenti e non devono rendere alcun conto pubblico delle regole che vi applicano. Quell'immunità è stata pensata per un internet che non esiste più, fatto di piccoli servizi che ospitavano contenuti degli utenti e non di soggetti che prendono ogni giorno decisioni di governo vincolanti per miliardi di persone. Gli attuali tentativi di riformare o abrogare la Section 230 nascono dallo stesso problema strutturale che questo articolo individua: lo scarto tra il potere che questi sistemi esercitano e i meccanismi di responsabilità che oggi accompagnano quel potere. Se la riforma della Section 230 sia la leva giusta, e quali conseguenze indesiderate produrrebbe, è un'altra discussione.Quattro cose che la regolamentazione formale richiede
Mettiamo i quattro criteri della regolamentazione legittima a confronto con il punteggio per la cauzione, il punteggio di credito, il filtro delle assunzioni e il feed.
Cominciamo dalla trasparenza. L’obbligo di notice-and-comment previsto dall’APA esiste perché le norme segrete sono incompatibili con il tipo di governo che richiede consenso. Non si può acconsentire davvero a una regola, né contestarla, se non la si è mai vista. Un algoritmo per la cauzione assegna a un imputato un 8. Quel punteggio pesa sul fatto che la persona dorma a casa o in cella in attesa del processo. La regola che genera l’8 non viene resa nota. Può essere ricostruita, in modo incompleto e imperfetto, da qualcuno che abbia accesso a grandi insiemi di dati e agli strumenti statistici per risalire al meccanismo, il che è molto lontano dalla norma pubblicata che il notice-and-comment esige. Quando un algoritmo di moderazione rimuove un post e l’utente riceve una notifica che cita «violenza» o «molestie», la notifica non dice quale standard sia stato applicato, come ne sia stata fissata la soglia, né con quale livello di confidenza l’algoritmo sia scattato. La regola si può solo dedurre dall’accumularsi degli esiti delle sanzioni, una rimozione alla volta.
La trasparenza è il presupposto di tutto il resto, perché nessuno può confrontarsi con un criterio giuridico che non vede, né contestarlo. Quel diritto di confrontarsi e contestare è il motivo per cui gli imputati hanno il diritto di conoscere le accuse a loro carico, e per cui i soggetti regolati hanno il diritto di partecipare all’elaborazione delle norme. Gli avvocati di Eric Loomis chiesero la metodologia usata per limitare la libertà del loro cliente. La corte disse di no. I candidati di iTutorGroup scartati in automatico non seppero mai che era stata applicata loro una regola, figurarsi quale fosse. Gli utenti di Facebook che ricevono una notifica di rimozione scoprono quale Standard della community hanno violato e nulla su dove ne passi il confine. Il giusto processo richiede la possibilità di rispondere a qualcosa di specifico.
Poi viene la legittimità democratica. I parlamenti sono eletti. Le agenzie ricevono i loro poteri per delega dei parlamenti, sono sorvegliate da funzionari eletti e sottoposte ai requisiti procedurali dell’APA. Le loro decisioni possono essere impugnate davanti a un tribunale federale. Le aziende private che impiegano algoritmi capaci di governare l’accesso al credito, al lavoro, alla libertà e all’espressione di centinaia di milioni o miliardi di persone non hanno alcuna struttura di responsabilità corrispondente. Rispondono agli azionisti, non alle popolazioni che governano. Quando le decisioni di prodotto di un’azienda diventano decisioni di governo, una struttura di responsabilità costruita per i prodotti non basta più.
Infine c’è la responsabilità civile, che rende applicabili le altre tre. Illecito civile, responsabilità per danno da prodotto, responsabilità amministrativa: esistono per attribuire la responsabilità quando l’esercizio del governo causa un danno. Per i danni algoritmici su scala di intere popolazioni, nessuno di questi strumenti funziona in modo adeguato. Per ottenere la certificazione di una class action secondo la procedura civile federale bisogna dimostrare l’esistenza di questioni di diritto o di fatto comuni all’intera classe. Quando la regola è proprietaria e il danno è distribuito su milioni di piccoli torti individuali, dai prestiti negati ai punteggi per la cauzione falsamente positivi ai post soppressi, il requisito della questione comune è strutturalmente difficile da soddisfare senza accesso al modello stesso. Nell’aggregato il danno è enorme. I singoli casi restano invisibili a meccanismi giuridici pensati per giudicare caso per caso.
Torniamo all’accordo con iTutorGroup: meno di 1.825 dollari a persona, in media, per un’occasione di lavoro perduta. Quella cifra non rispecchia il danno reale. La formazione e il monitoraggio previsti dal decreto vincolano un’unica azienda; per chiunque altro stia valutando il rischio, il prezzo messo agli atti è il denaro. Allarghiamo la scala: se un algoritmo respinge 20.000 candidati per motivi discriminatori e ciascuno ottiene la stessa cifra, la responsabilità potenziale resta sotto i 36,5 milioni di dollari. Per un’azienda con ricavi nell’ordine delle centinaia di milioni, è un costo d’esercizio.
I quattro criteri dipendono l’uno dall’altro: senza trasparenza, il giusto processo non ha nulla di specifico da contestare, e senza nessuno dei due la responsabilità è difficile da stabilire. Il potere regolatorio algoritmico oggi non ne soddisfa pienamente nessuno.
La risposta e i suoi limiti
L’AI Act dell’UE è entrato in vigore nell’agosto 2024. È finora il quadro normativo più completo costruito per affrontare l’autorità algoritmica.
Quello che fa è consistente. Il regolamento classifica i sistemi di IA per livelli di rischio. Il suo elenco dei sistemi ad alto rischio, che comporta l’intero carico degli obblighi di conformità, nomina esplicitamente la valutazione del merito creditizio, le assunzioni e la valutazione delle prestazioni, e la giustizia penale: strumenti che valutano il rischio che una persona commetta un reato o torni a commetterlo, e sistemi di IA che assistono i giudici nell’applicazione della legge. Per questi sistemi l’AI Act impone valutazioni della conformità prima della messa in servizio, sorveglianza umana e trasparenza verso le persone interessate; gli enti pubblici e chi valuta il merito creditizio devono inoltre effettuare una valutazione d’impatto sui diritti fondamentali. Le persone sottoposte a decisioni prese dalla maggior parte di questi sistemi elencati acquisiscono un diritto alla spiegazione quando una decisione produce effetti giuridici o ha un impatto negativo significativo sulla loro salute, sicurezza o sui loro diritti fondamentali. Violare le regole sui sistemi ad alto rischio può costare fino a 15 milioni di euro o il 3 per cento del fatturato annuo mondiale. Quegli obblighi dovevano inizialmente applicarsi dall’agosto 2026; una modifica successiva, già in vigore, ha rinviato i requisiti per i sistemi ad alto rischio a dicembre 2027. Il diritto alla spiegazione ha mantenuto sulla carta la sua data dell’agosto 2026, ma si applica a sistemi ad alto rischio le cui regole di classificazione sono state rinviate insieme al resto.
Non sono requisiti simbolici. COMPAS, se fosse impiegato in Europa come uno dei sistemi ad alto rischio elencati, dovrebbe superare una valutazione della conformità obbligatoria e una valutazione d’impatto sui diritti fondamentali prima dell’uso. Il sistema di valutazione video di HireVue, se usato per decisioni di assunzione che riguardano lavoratori con sede nell’UE, richiederebbe sorveglianza umana e diritti alla spiegazione.
Negli Stati Uniti i progressi sono più frammentari. Dal 2023 New York City impone audit indipendenti annuali sui pregiudizi, con risultati pubblicati, per gli strumenti automatizzati di decisione usati nelle assunzioni o nelle promozioni per posizioni con sede a New York City. Da gennaio 2026 l’Illinois vieta l’uso dell’IA nelle decisioni sul lavoro in modi che producano discriminazioni illecite, proibisce di usare i codici postali come indicatori indiretti di caratteristiche protette e obbliga i datori di lavoro a informare quando l’IA viene usata nelle assunzioni o nelle decisioni sul lavoro. Il Colorado ha sostituito la sua legge sull’IA, mai attuata, con una più circoscritta sulle decisioni automatizzate in ambiti rilevanti, che entra in vigore a gennaio 2027: preavviso prima dell’uso, una spiegazione in linguaggio semplice dopo una decisione sfavorevole, la correzione dei dati inesatti e il diritto di chiedere un riesame umano effettivo.
Sono progressi reali su un problema che cinque anni fa non era regolato seriamente, ma condividono un limite strutturale. A parte alcuni divieti assoluti, come quello dell’AI Act di prevedere il rischio che una persona commetta un reato basandosi esclusivamente sulla profilazione o sui tratti della personalità, e quello dell’Illinois sull’uso discriminatorio, operano principalmente attraverso standard di progettazione, documentazione, audit e obblighi di informazione. Chiedono che qualcuno, che sia un revisore, un’autorità di regolamentazione o un ufficio di compliance, valuti se il sistema è equo. Nel migliore dei casi offrono alla persona governata dal sistema una spiegazione, la correzione di dati sbagliati o un secondo esame da parte di un essere umano. Nessuno di essi consente a quella persona di ispezionare la regola stessa. Il diritto alla spiegazione dell’AI Act significa che una persona sottoposta a una decisione presa dalla maggior parte dei sistemi ad alto rischio elencati, quando quella decisione ha effetti giuridici o un impatto negativo significativo sulla sua salute, sicurezza o sui suoi diritti fondamentali, deve riceverne una spiegazione. Non significa che la persona possa esaminare i pesi del modello, la composizione dei dati di addestramento o la metodologia algoritmica. La persona scopre perché una decisione le è andata contro e non ottiene alcun modo di sottoporre a verifica il sistema che l’ha presa.
Il ritardo strutturale è un problema a parte. Il quadro dell’AI Act per i sistemi ad alto rischio è stato costruito attorno ai sistemi di IA così come esistevano più o meno tra il 2020 e il 2022. Quando la conformità per l’alto rischio diventerà obbligatoria, i sistemi regolati saranno passati attraverso più cambi di generazione. Le norme si scrivono in anni; i sistemi algoritmici si aggiornano in mesi. Lo scarto sta nel ritmo della legislazione messo a confronto con quello della tecnologia; una scrittura migliore delle norme non l’avrebbe colmato.
L’esperienza del GDPR dovrebbe ridimensionare le aspettative. Il suo articolo 22, applicabile dal 2018, ha dato alle persone nell’UE il diritto di non essere sottoposte a decisioni basate unicamente su un trattamento automatizzato che abbiano effetti significativi, a meno che la decisione non sia necessaria per un contratto, autorizzata dalla legge o oggetto di consenso esplicito; altri articoli collegati hanno aggiunto il diritto a informazioni significative sulla logica utilizzata. Sulla carta è una norma forte. Le linee guida europee dicono che un’azienda non può sottrarvisi «fabbricando un coinvolgimento umano», e la massima corte dell’UE ne ha allargato la portata: nel 2023 ha stabilito che un punteggio di credito può di per sé costituire una decisione automatizzata, e nel 2025 che chi si vede negare un credito ha diritto a una spiegazione della procedura e dei principi effettivamente applicati nei suoi confronti, con le obiezioni legate al segreto commerciale soppesate da un giudice o da un’autorità di controllo anziché accettate sulla parola dell’azienda. In pratica ci sono voluti sette anni e ripetuti contenziosi per arrivarci. I diritti alla spiegazione dell’AI Act meritano la stessa cautela.
L'articolo 22 del GDPR e uno scetticismo appreso
L'articolo 22 del GDPR, che si applica dal 2018, dà alle persone nell'UE il diritto di non essere sottoposte a decisioni rilevanti basate unicamente su un trattamento automatizzato, con eccezioni per i contratti, l'autorizzazione di legge e il consenso esplicito; gli articoli del regolamento sulla trasparenza aggiungono il diritto a informazioni significative sulla logica. In pratica il suo impatto è stato limitato. La soglia del trattamento «unicamente automatizzato» si prestava a un espediente, un sottile strato di approvazione umana, anche se le linee guida europee affermano che un coinvolgimento solo di facciata non conta. I diritti alla spiegazione sono stati contestati per anni, finché nel 2025 la Corte di giustizia dell'UE ha stabilito che alle persone è dovuta una spiegazione della procedura e dei principi effettivamente applicati nel loro caso, non soltanto una descrizione generica o l'algoritmo grezzo. La disposizione sul diritto alla spiegazione dell'articolo 86 dell'AI Act è stata scritta tenendo presenti i fallimenti dell'articolo 22. Se l'articolo 22 fa da guida, saranno l'applicazione e i tribunali a decidere se la nuova disposizione otterrà più della vecchia.Il paradosso della responsabilità
Gli strumenti giuridici di cui disponiamo per contestare l’esercizio del governo sono stati costruiti per gestire singoli atti compiuti da decisori identificabili che operano secondo regole dichiarate. Una legge viene contestata da una persona in un caso. Un regolamento di un’agenzia si contesta con il notice-and-comment o con un ricorso basato sull’APA. Una decisione amministrativa si impugna davanti a un organo di riesame. Un funzionario che discrimina può essere sentito sotto giuramento. Questi meccanismi presuppongono una struttura precisa: una decisione singola, una regola dichiarata, qualcuno che contesta e sa individuare il danno, un decisore che può essere interrogato.
Il potere regolatorio algoritmico infrange tutti questi presupposti in un colpo solo. Per contestare in tribunale una decisione algoritmica servono di solito tre cose, in qualche combinazione: la regola che l’ha generata, che è proprietaria e si può ottenere di solito solo con una discovery sotto ordine di riservatezza; un controfattuale che mostri che cosa sarebbe servito per un esito diverso, difficile da costruire senza accesso al modello o una spiegazione completa da parte dell’azienda; e, per un’azione per discriminazione, la prova di uno schema ricorrente, che richiede dati a livello di popolazione che la persona colpita quasi certamente non possiede.
La risposta della Corte suprema del Wisconsin fu imporre avvertenze scritte. Un’avvertenza nella relazione pre-sentenza dà un nome al problema, e l’imputato può ancora contestare il punteggio con altre prove, ma nulla in essa gli consente di esaminare il calcolo.
L’autorizzazione democratica manca in ogni punto in cui avrebbe potuto essere stabilita. L’Oversight Board di Meta non può accedere all’algoritmo che nominalmente sorveglia. Il CFPB può pretendere il modello di un finanziatore nel corso di un’indagine, ma al debitore che quel modello ha valutato spetta solo un elenco di motivazioni. La Corte suprema del Wisconsin si rifiutò di ordinare che COMPAS venisse aperto. In ogni momento in cui si sarebbe potuta imporre la responsabilità, l’interesse proprietario è stato trattato come una barriera che il potere pubblico non avrebbe varcato. Nessuna legge imponeva quella deferenza, e nessuna di queste istituzioni ha forzato la questione.
Ciò che rende i sistemi algoritmici degni di essere impiegati su larga scala è la coerenza su milioni di casi, la velocità e l’eliminazione di una discrezionalità umana che produce i propri fallimenti discriminatori. Sono proprio le caratteristiche che li rendono illeggibili ai meccanismi di responsabilità sviluppati dal diritto. Un funzionario di banca o un giudice prevenuti rispondono delle proprie azioni in modi in cui un algoritmo prevenuto non risponde, e il sistema giuridico non ha ancora capito come chiamare l’algoritmo a rispondere allo stesso modo.
I quadri normativi in costruzione oggi, dall’AI Act dell’UE alle leggi di New York City, del Colorado e dell’Illinois, sottopongono a verifica il sistema e spiegano la decisione. Non aprono il modello alla persona che valuta.
I sistemi algoritmici possono produrre per anni esiti sistematicamente discriminatori prima che sia possibile qualsiasi contestazione, perché la contestazione richiede un accesso che a chi contesta non viene concesso. iTutorGroup ha discriminato centinaia di candidati per tutto il tempo in cui il sistema è rimasto in uso, prima che l’EEOC facesse causa. HireVue ha valutato i candidati anche in base alle espressioni facciali per anni, prima di abbandonare la funzione perché non valeva il suo contributo marginale. COMPAS è usato nelle sentenze in diversi stati da più di un decennio. Quando una contestazione arriva, arriva dopo il danno, e le persone danneggiate nel frattempo non vengono risarcite dall’esito che alla fine arriva.
Ritorno in Wisconsin
Leggiamo le cautele che la Corte suprema del Wisconsin ha imposto in ogni relazione pre-sentenza basata su COMPAS, con le parole della corte stessa: «La natura proprietaria di COMPAS è stata invocata per impedire la divulgazione di informazioni relative al modo in cui i fattori vengono pesati o i punteggi di rischio vengono determinati». «Poiché i punteggi di rischio di COMPAS si basano su dati di gruppo, sono in grado di individuare gruppi di autori di reato ad alto rischio — non un particolare individuo ad alto rischio». «Alcuni studi sui punteggi di rischio di COMPAS hanno sollevato interrogativi sul fatto che classifichino in modo sproporzionato gli autori di reato appartenenti a minoranze come soggetti a un rischio più elevato di recidiva». «Una valutazione del rischio COMPAS confronta gli imputati con un campione nazionale, ma nessuno studio di convalida incrociata su una popolazione del Wisconsin è stato ancora completato. Gli strumenti di valutazione del rischio devono essere costantemente monitorati e ritarati per garantirne l’accuratezza, dato il mutare delle popolazioni e delle sottopopolazioni». E ancora: «COMPAS non è stato sviluppato per essere usato in sede di sentenza, ma era destinato all’uso da parte del Dipartimento dell’amministrazione penitenziaria per le decisioni in materia di trattamento, sorveglianza e libertà condizionale».
Sono le constatazioni della corte stessa su ciò che non è stato verificato e su ciò che potrebbe essere sbagliato. Dopo averle elencate, la corte ha comunque ammesso il punteggio in sede di sentenza, entro i limiti che aveva fissato. L’avvertenza dice al giudice che emette la sentenza che questo strumento potrebbe discriminare, non è stato validato per lo stato, non è stato costruito per le sentenze e funziona secondo regole che nessuno in aula può ispezionare.
Il giudice può dare meno peso al punteggio, e l’imputato può contestarlo con altre prove. Ma nessuno, né il giudice, né l’imputato, né la corte d’appello, ottiene un modo per aprire il calcolo in sé.
Avvertenza sull’IA generativa
Alcuni contenuti di questa pagina sono stati generati e/o modificati con l’ausilio di un’IA generativa.
Media
Fonti principali e riferimenti
Criminal justice and COMPAS
Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, “Machine Bias,” ProPublica, May 23, 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
ProPublica, “How We Analyzed the COMPAS Recidivism Algorithm,” May 23, 2016. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
“ProPublica Responds to Company’s Critique of Machine Bias Story,” ProPublica, July 29, 2016. https://www.propublica.org/article/propublica-responds-to-companys-critique-of-machine-bias-story
equivant, “Who is equivant?” FAQ (Northpointe, CourtView and Constellation united as equivant on January 9, 2017), archived copy. https://web.archive.org/web/20221201174316/https://www.equivant.com/faq/
State v. Loomis, 2016 WI 68, 371 Wis. 2d 235, 881 N.W.2d 749 (Wis. July 13, 2016), Caselaw Access Project (Harvard Law School Library). https://case.law/caselaw/?reporter=wis-2d&volume=371&case=0235-01
Loomis v. Wisconsin, No. 16-6387, 137 S. Ct. 2290 (cert. denied June 26, 2017), Supreme Court docket. https://www.supremecourt.gov/search.aspx?filename=/docketfiles/16-6387.htm
Alexandra Chouldechova, “Fair prediction with disparate impact: A study of bias in recidivism prediction instruments,” Big Data, vol. 5, no. 2, pp. 153–163, 2017. DOI: 10.1089/big.2016.0047 (preprint on arXiv). https://arxiv.org/abs/1610.07524
Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, “Inherent trade-offs in the fair determination of risk scores,” Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS 2017), LIPIcs vol. 67, pp. 43:1–43:23. https://drops.dagstuhl.de/storage/00lipics/lipics-vol067-itcs2017/LIPIcs.ITCS.2017.43/LIPIcs.ITCS.2017.43.pdf
Law, regulation and accountability
Lawrence Lessig, Code and Other Laws of Cyberspace. Basic Books, 1999.
Frank Pasquale, The Black Box Society. Harvard University Press, 2015.
Frank Pasquale, “From Territorial to Functional Sovereignty: The Case of Amazon,” LPE Project, December 6, 2017. https://lpeproject.org/blog/from-territorial-to-functional-sovereignty-the-case-of-amazon/
Administrative Procedure Act, 5 U.S.C. § 551 (definitions) and § 553 (rulemaking), Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/5/551 · https://www.law.cornell.edu/uscode/text/5/553
“State action,” Wex legal encyclopedia, Cornell Legal Information Institute. https://www.law.cornell.edu/wex/state_action
Federal Rules of Civil Procedure, Rule 23 (class actions), Cornell Legal Information Institute. https://www.law.cornell.edu/rules/frcp/rule_23
Credit and hiring
myFICO, “What’s in my FICO Scores?” https://www.myfico.com/credit-education/whats-in-your-credit-score
CFPB, DOJ Civil Rights Division, EEOC and FTC, “Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems,” April 2023. https://www.ftc.gov/system/files/ftc_gov/pdf/EEOC-CRT-FTC-CFPB-AI-Joint-Statement%28final%29.pdf
Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03 (May 26, 2022) — withdrawn May 12, 2025 (“Interpretive Rules, Policy Statements, and Advisory Opinions; Withdrawal,” 90 FR 20084). https://www.federalregister.gov/documents/2025/05/12/2025-08286/interpretive-rules-policy-statements-and-advisory-opinions-withdrawal
Consumer Financial Protection Bureau, Equal Credit Opportunity Act (Regulation B), final rule, 91 FR 21620 (April 22, 2026; effective July 21, 2026). https://www.federalregister.gov/documents/2026/04/22/2026-07804/equal-credit-opportunity-act-regulation-b
National Fair Housing Alliance et al. v. Consumer Financial Protection Bureau et al. (D.D.C., filed May 27, 2026), challenge to the Regulation B final rule; summarized in Ballard Spahr, Consumer Finance Monitor, June 2, 2026. https://www.consumerfinancemonitor.com/2026/06/02/advocacy-groups-and-private-companies-file-lawsuit-against-revised-ecoa-rule/
Texas Department of Housing and Community Affairs v. Inclusive Communities Project, Inc., 576 U.S. 519 (2015). https://www.law.cornell.edu/supremecourt/text/13-1371
“HireVue drops facial monitoring amid A.I. algorithm audit,” Fortune, January 19, 2021. https://fortune.com/2021/01/19/hirevue-drops-facial-monitoring-amid-a-i-algorithm-audit/
EPIC, “In re HireVue,” FTC complaint, November 6, 2019. https://archive.epic.org/privacy/ftc/hirevue
EEOC, “iTutorGroup to Pay $365,000 to Settle EEOC Discriminatory Hiring Suit,” September 11, 2023. https://www.eeoc.gov/newsroom/itutorgroup-pay-365000-settle-eeoc-discriminatory-hiring-suit
Platforms and speech
Meta Platforms, Inc., Second Quarter 2026 Results, Exhibit 99.1 to Form 8-K, filed July 29, 2026. https://www.sec.gov/Archives/edgar/data/1326801/000162828026050596/meta-06302026xexhibit991.htm
United Nations, “Population” (Global Issues). https://www.un.org/en/global-issues/population
YouTube Official Blog, Press. https://blog.youtube/press/
TikTok Newsroom, “Thanks a billion!” September 27, 2021. https://newsroom.tiktok.com/1-billion-people-on-tiktok?lang=en
“Musk Says X Has 600 Million Monthly Active Users,” Bloomberg Law, 2024. https://news.bloomberglaw.com/tech-and-telecom-law/musk-says-x-has-600-million-monthly-active-users
Meta Transparency Center, Community Standards. https://transparency.meta.com/policies/community-standards/
European Commission, “Digital Services Act: Questions and answers” and “Out-of-court dispute settlement bodies under the Digital Services Act.” https://digital-strategy.ec.europa.eu/en/faqs/digital-services-act-questions-and-answers · https://digital-strategy.ec.europa.eu/en/policies/dsa-out-court-dispute-settlement
Grievance Appellate Committee, Government of India (appeals against intermediaries’ grievance-officer decisions under Rule 3A of the Information Technology (Intermediary Guidelines and Digital Media Ethics Code) Rules, 2021). https://gac.gov.in/
Faiza Patel and Julian Melendi, “Meta’s Oversight Board Needs Access to Facebook’s Algorithms to Do Its Job,” Brennan Center for Justice, June 17, 2024. https://www.brennancenter.org/our-work/analysis-opinion/metas-oversight-board-needs-access-facebooks-algorithms-do-its-job
Report of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/64, September 12, 2018; and Report of the Detailed Findings of the Independent International Fact-Finding Mission on Myanmar, UN Doc. A/HRC/39/CRP.2, September 17, 2018. https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_64.pdf · https://www.ohchr.org/sites/default/files/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf
Communications Decency Act, Section 230, 47 U.S.C. § 230, Cornell Legal Information Institute. https://www.law.cornell.edu/uscode/text/47/230
New rules: EU and US
Regulation (EU) 2024/1689 of the European Parliament and of the Council (EU AI Act), entered into force August 1, 2024; Annex III and Articles 5, 27, 86 and 99 via the AI Act Explorer. https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng · https://artificialintelligenceact.eu/annex/3/ · https://artificialintelligenceact.eu/article/5/ · https://artificialintelligenceact.eu/article/27/ · https://artificialintelligenceact.eu/article/86/ · https://artificialintelligenceact.eu/article/99/
Regulation (EU) 2026/1744 (Digital Omnibus on AI), published in the Official Journal July 24, 2026; summarized in Cooley, “Digital AI Omnibus Delays Key Deadlines, Introduces New Rules,” August 3, 2026. https://cdp.cooley.com/digital-ai-omnibus-delays-key-deadlines-introduces-new-rules/
Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 13–15 and 22, EUR-Lex. https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
Article 29 Data Protection Working Party, Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679 (WP251rev.01), endorsed by the EDPB. https://ec.europa.eu/newsroom/article29/items/612053
Court of Justice of the EU, C-634/21 SCHUFA Holding (Scoring), December 7, 2023, press release 186/23. https://curia.europa.eu/jcms/upload/docs/application/pdf/2023-12/cp230186en.pdf
Court of Justice of the EU, C-203/22 Dun & Bradstreet Austria, February 27, 2025, press release 22/25. https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-02/cp250022en.pdf
NYC Local Law 144 of 2021 (automated employment decision tools), effective January 1, 2023 (§ 2); enforced by the NYC Department of Consumer and Worker Protection from July 5, 2023. https://legistar.council.nyc.gov/LegislationDetail.aspx?GUID=B051915D-A9AC-451E-81F8-6596032FA3F9&ID=4344524 · https://www.nyc.gov/site/dca/about/automated-employment-decision-tools.page
Illinois Public Act 103-0804, amending the Illinois Human Rights Act to address the use of artificial intelligence in employment decisions, signed August 9, 2024, effective January 1, 2026; summarized in Hunton Andrews Kurth, “Illinois Enacts New Law Regulating Employer Use of Artificial Intelligence,” 2024. https://www.hunton.com/hunton-employment-labor-perspectives/illinois-enacts-new-law-regulating-employer-use-of-artificial-intelligence
Colorado SB 26-189, Automated Decision-Making Technology, signed May 14, 2026, effective January 1, 2027; summarized in Taft, “Colorado Act Legislation: The AI Strikes Back,” May 27, 2026. https://leg.colorado.gov/bills/sb26-189 · https://www.taftlaw.com/news-events/law-bulletins/colorado-act-legislation-the-ai-strikes-back/
