Ansvar för algoritmisk bias: vem är ansvarig enligt nederländsk och EU-rätt?

En organisation som använder ett automatiserat system är ansvarig för de diskriminerande resultat det producerar, oavsett om den har byggt modellen eller inte och om någon avsett resultatet eller inte. I Nederländerna vilar detta ansvar på skadeståndsrätt (artikel 6:162 i den nederländska civillagen), likabehandlingslagstiftningen och GDPR; högriskreglerna i EU:s AI-lag för rekryterings-, kredit- och försäkringssystem gäller först från och med den 2 december 2027.

I nederländsk diskrimineringslagstiftning räknas effekten av ett beslut, inte motivet. Ett rekryteringsfilter, en kreditmodell eller en bedrägeripjäs som missgynnar en skyddad grupp kan därför leda till ett civilrättsligt mål, ett klagomål till Nederländska institutet för mänskliga rättigheter och en utredning av den nederländska dataskyddsmyndigheten, allt baserat på samma fakta.

Vad är algoritmisk bias och var kommer den ifrån?

Algoritmisk bias uppstår när ett system behandlar jämförbara personer olika på en skyddad grund, eller på ett kriterium som fungerar som en ersättning för en sådan. Eftersom en modell tillämpar samma mönster på varje fil fungerar en partisk modell som en policy snarare än en incident.

• Träningsdata: en modell som tränas på tidigare beslut reproducerar mönstren i dem.
• Variabler: en neutralt utseende funktion, såsom postnummer, kan ersätta etnicitet och orsaka indirekt diskriminering.
• Användning av resultatet: en poäng som är godtagbar som rådgivning kan vara olaglig som enda grund för att avslå en ansökan.
• Brist på övervakning: en modell som var balanserad vid lanseringen varierar i takt med att data förändras.

Direkt diskriminering använder öppet en skyddad grund. Indirekt diskriminering, där ett neutralt kriterium missgynnar en skyddad grupp, kan endast motiveras om syftet är legitimt och medlen är lämpliga och nödvändiga, och organisationen måste kunna bevisa detta.

När är en organisation ansvarig enligt nederländsk lag?

Två nederländska lagar gör det mesta av arbetet. Skadeståndsrätten frågar om organisationen agerade vårdslöst och orsakade förlust, medan likabehandlingsrätten frågar om resultatet var en förbjuden åtskillnad.

Skadeståndsrätt: oaktsam användning

Enligt artikel 6:162 BW är en part ansvarig för en olaglig handling (onrechtmatige daad) som kan tillskrivas den parten och som orsakar skada. Att använda ett system som inte har testats, validerats eller övervakats kan i sig vara vårdslöst beteende. Käranden måste bevisa den olagliga handlingen, tillskrivningen, skadan och orsakssambandet.

Att köpa systemet från en leverantör befriar inte den driftsättande organisationen från denna skyldighet. Organisationen kan ha ett separat anspråk mot leverantören för bristande prestation (artikel 6:74 BW), men det påverkar inte den avslagna sökandens anspråk.

Likabehandlingslagstiftning och bevisbörda

Den allmänna likabehandlingslagen (AWGB), lagen om åldersdiskriminering (WGBL) och lagen om funktionsnedsättning och kronisk sjukdom (WGBH/CZ) förbjuder direkt och indirekt åtskillnad på skyddade grunder; i anställningsfrågor lägger artikel 7:646 BW till regler om kön. När den sökande anför fakta som tyder på diskriminering måste organisationen bevisa att den inte diskriminerade.

En organisation som inte kan visa vad dess modell vägde, på vilka data och med vilka tester, kan inte uppfylla den bördan. Ett klagomål kan också skickas till Nederländska institutet för mänskliga rättigheter (College voor de Rechten van de Mens), vars yttranden inte är bindande men ofta används som bevis i senare rättsfall.

Vad kräver GDPR av automatiserade beslut?

Artikel 22 i GDPR ger en person rätt att inte bli föremål för ett beslut som enbart grundar sig på automatiserad behandling och som har rättsliga eller liknande betydande verkningar. Beslut om rekrytering, kreditering och förmåner kvalificerar sig vanligtvis.

Mänsklig inblandning fattar endast ett beslut utanför artikel 22 om det är meningsfullt: en person med befogenhet och information att besluta annorlunda, inte någon som bekräftar vad skärmen visar. Rättviseprincipen i artikel 5(1)(a) gäller i alla fall, och artikel 35 kräver en konsekvensbedömning avseende dataskydd före högriskbehandling såsom systematisk profilering. Enligt artikel 83(5) i GDPR kan böter uppgå till 20 miljoner euro eller 4 % av den globala årsomsättningen, beroende på vilket som är högst. Se vår översikt över dataskydd, GDPR, AI och big data.

Vad kräver AI-lagen nu, och vad börjar senare?

AI-lagen, förordning (EU) 2024/1689, trädde i kraft den 1 augusti 2024 och tillämpas i etapper. De förbjudna metoderna i artikel 5 gäller sedan den 2 februari 2025; högriskkraven för rekrytering, kredit- och försäkringssystem gäller från och med den 2 december 2027.

Skyldigheterna för generella AI-modeller och straffbestämmelserna gäller sedan den 2 augusti 2025. Den digitala omnibusen om AI, förordning (EU) 2026/1744 som har varit i kraft sedan den 27 juli 2026, sköt upp högriskregimen: system som förtecknas i bilaga III, såsom de som används för rekrytering, befordran och uppsägning, kreditvärdighet och försäkringsriskbedömning, följer den 2 december 2027, och högrisksystem i reglerade produkter (bilaga I) den 2 augusti 2028. Omnibusen mildrade också skyldigheten att behärska AI-kunskap i artikel 4 till en skyldighet att stödja AI-kunskap bland personal.

När högriskregimen väl tillämpas krävs representativa och kontrollerade utbildningsdata, teknisk dokumentation, loggning, transparens, mänsklig tillsyn och en överensstämmelsesbedömning. Distributörer har egna skyldigheter, såsom att föra loggar och tilldela tillsyn till kompetent personal. Böter uppgår till 35 miljoner euro eller 7 % av den globala omsättningen för förbjudna metoder och 15 miljoner euro eller 3 % för brott mot högriskskyldigheterna. Det föreslagna direktivet om AI-ansvar har dragits tillbaka, så ett skadeståndsanspråk i Nederländerna är fortfarande ett anspråk enligt nederländsk lag. Mer om detta i vår guide till den juridiska sidan av artificiell intelligens och EU:s AI-lag.

Vad har nederländska domstolar och tillsynsmyndigheter beslutat?

Den 5 februari 2020 beslutade tingsrätten i Haag att lagstiftningen bakom SyRI, regeringens system för bedrägeririsker, bröt mot artikel 8 i Europeiska konventionen om mänskliga rättigheter eftersom den inte var tillräckligt transparent och verifierbar (ECLI:NL:RBDHA:2020:865). Varken riskmodellen eller indikatorerna offentliggjordes, så ingen kunde kontrollera diskriminerande effekter.

I skandalen kring barnomsorgsbidrag (toeslagenaffaire) använde skatteförvaltningen riskurval där dubbelt medborgarskap räknades som en bedrägeriindikator. Den nederländska dataskyddsmyndigheten fann denna behandling olaglig och diskriminerande och bötfällde skatteförvaltningen. Lärdomen för privata organisationer: ett system som ingen kan förklara kan inte försvaras, och valet att driva det är den handling som bedöms.

Vem är ansvarig: leverantören eller användaren?

Den skadade personen kan göra anspråk mot den organisation som fattade beslutet, vilket nästan alltid är distributionsleverantören. Enligt AI-lagen har leverantören och distributionsleverantören var och en sina egna skyldigheter.

Ett avtal med leverantören kan fördela de ekonomiska konsekvenserna och säkra den information du behöver för att försvara dig mot ett krav, men det kan inte undanröja en böter eller en lagstadgad skyldighet. Vår artikel om vem som är ansvarig för fel som görs av artificiell intelligens diskuterar den fördelningen.

Vad bör ni kontrollera som organisation som använder AI?

• Har ni testat resultatfrekvensen över skyddade grupper före implementering och kontrollerat variabler för proxyvärden?
• Fortsätter ni att testa efter att systemet har lanserats, och har ni en namngiven person som har befogenhet att pausa det?
• Är mänsklig granskning meningsfull där artikel 22 i GDPR gäller, och gjordes konsekvensbedömningen innan driftsättning?
• Har företagsrådet rätt till samtycke enligt artikel 27 i företagsrådslagen (WOR), till exempel för system som övervakar personal?
• Ger leverantörsavtalet dig tillgång till dokumentation, testresultat och loggar, samt en revisionsrätt?
• Kan du förklara varje beslut för den berörda personen på ett enkelt språk?

Vad bör du kontrollera som sökande eller anställd som påverkas av ett beslut?

• Fattades beslutet utan meningsfull mänsklig inblandning? Du kan då åberopa artikel 22 i GDPR.
• Har du begärt tillgång till dina uppgifter och en förklaring av logiken bakom detta (artikel 15 i GDPR)?
• Finns det fakta som tyder på att en skyddad grund eller ett ombud spelade en roll? Bevisbördan skiftar då.
• Räcker det med ett yttrande (oordeel) från Nederländska institutet för mänskliga rättigheter, eller behöver man en skadeståndsansökan i domstol?

Vad kan vi göra för dig gällande ansvar för algoritmisk bias?

Våra IT-jurister ger företag råd om den juridiska sidan av automatiserat beslutsfattande.

• Vi bedömer din exponering enligt nederländsk skadeståndsrätt, likabehandlingslagstiftning och GDPR för ett specifikt system.
• Vi granskar er konsekvensbedömning och process för mänsklig tillsyn enligt artikel 22 i GDPR.
• Vi förbereder er efterlevnad av AI-lagen för högriskrekrytering, kredit- och försäkringssystem.
• Vi förhandlar leverantörsavtal gällande dokumentation, revisionsrättigheter och ansvar.
• Vi hanterar klagomål, institutets förfaranden, reklamationer och myndighetsutredningar.

Sammanfattning

• Den driftsättande organisationen är ansvarig för diskriminerande resultat, även med ett köpt system.
• När fakta tyder på diskriminering måste organisationen bevisa att den inte diskriminerade.
• Artikel 22 i GDPR begränsar endast automatiserade beslut; mänsklig granskning måste vara verklig.
• Högriskuppgifter enligt AI-lagen för rekrytering, kredit och försäkring gäller från och med den 2 december 2027.
• Dokumentation av testning och övervakning är kärnan i allt försvar.

Vanliga frågor och svar