AI förordningen och GDPR – Hur ska man tänka?

Artificiell intelligens (AI) är ett ämne som diskuteras allt oftare idag, men hur ska man tänka nu när de första bestämmelserna i den nya AI-förordningen, börjar gälla och hur går AI-förordningen ihop med GDPR?

Hur påverkar AI förordningen de som utvecklar och användare av AI?

Lärdomar från verkligheten: Toeslagenaffären i Nederländerna

Om vi börjar med ett exempel som inträffade 2019 i Nederländerna, nämligen det såkallade ”Toeslagenaffären” så kan man lätt konstatera att kombinationen av bristande mänsklig kontroll och avsaknaden av regelefterlevnad ledde till Nederländernas största skandal som slutade med att regeringen fick avgå och tusentals familjer drabbades både ekonomiskt och på ett oåterkalleligt sätt.

Vad hände?

Mellan 2013 och 2019 anklagade nederländska skattemyndigheten Belastingdienst tusentals föräldrar för att ha begått bedrägeri med barnbidrag och föräldrarna tvingades återbetala stora summor pengar.

Skattemyndigheterna hade då låtit en algoritm ha tillgång till stora mängder data för att leta fram felaktigheter och fusk. Algoritmen hade stora brister och var fördomsfull gentemot familjer från vissa länder, familjer med flera barn eller från vissa socioekonomiska bakgrund.

Hur fungerade algoritmen?

Algoritmen som användes då var designad att identifiera misstänkta fall av bedrägerier och sökte efter mönster som kunde indikera att en individ hade lämnat falska uppgifter.

Systemet kunde alltså automatiskt jämföra olika data, såsom:

Inkomster
Familjesituation
Tidigare ansökningar

…för att identifiera avvikelser från vad som ansågs vara “normalt.

Ett stort problem med algoritmen var att den kunde ”flagga” ansökningar och i stället för att skicka den för granskning till en mänsklig handläggare så kunde beslut fattas utan att individerna fick rätt att förklara sin situation eller tydlig information om vad som var felaktigt.

Vad gav detta för konsekvenser?

Hela händelsen hade enorma konsekvenser för tusentals individer och arbetet med att kompensera familjerna ekonomiskt pågår fortfarande, den integritetskadan som gjordes är tyvärr omöjlig att kompensera.

Algoritmen bröt mot GDPR på flera olika sätt, bland annat:

Bristande information till registrerade
Brister i automatiserad beslutsfattande
Brister i registrerades rätt till rättelse och radering
Bristande transparens och korrekthet

I april 2021 lades fram första förslaget av en ny AI förordning av EU kommissionen, den godkändes av EU parlamentet och rådet i december 2023 och syftet med den är bland annat att säkerställa att AI-system är säkra, transparenta och respekterar mänskliga rättigheter. Här skulle man kunna säga att det nya AI förordningen var tänkt att motverka att en ny Toeslagenaffär inträffar.

Vad är AI förordningen?

AI-förordningen (AI Act) är en omfattande lagstiftning från EU som kommer att reglera användningen av artificiell intelligens och AI system. Den anger tydliga krav och skyldigheter för utvecklare och användare av AI system.

Kraven i AI förordningen följer ett riskbaserat förhållningssätt:

AI system med oacceptabel risk blir förbjudna
AI system med hög risk blir tillåtna om man följer ett flertal krav
AI system med begränsad risk behöver följa krav på öppenhet
AI system med minimal risk, ställs inga krav (GDPR behöver följas ändå)

Eftersom AI-tekniken utvecklas snabbt, ökar också riskerna. Därför behövs tydliga ramar för hur AI får användas. Samtidigt kan nya regler innebära utmaningar för företag och organisationer, som måste anpassa sig till förändringarna.

Förordningen trädde i kraft den 1 augusti 2024.
Den blir fullt tillämplig den 2 augusti 2026.
Redan den 2 februari 2025 förbjöds AI-system med oacceptabel risk enligt förordningen.

Finns det ett samband med GDPR?

GDPR syftar till att skydda personuppgifter och stärka individers rätt till privatliv inom EU och EES. GDPR har funnits sedan 2018 och med facit i hand kan man konstatera att många upplever den som krånglig och inte helt lätt att förstå.

AI system behöver tränas med stora mängder data för att kunna utvecklas och bli bättre och oftast är personuppgifter en del av den datamängden t.ex:

AI system som använder sig av ansiktsigenkänning behöver tillgång till en databas med identifierbara individer
AI system inom hälso- och sjukvården som bedömer om en viss individ kan genomgå en viss behandling eller inte behöver tillgång till känsliga uppgifter
AI system som hjälper arbetsgivare med rekrytering eller anställning behöver tillgång till uppgifter om de anställda.

GDPR kommer att gälla parallellt med AI förordningen

Den 27 september 2024 höll IMY i en informationsstund där man var tydlig med att den nya AI förordningen kommer att gälla parallellt med GDPR och att man behöver följa båda.

Regeringen har tillsett en utredning för att se över behovet av nationella anpassningar till följd av den nya AI förordningen. Slutredovisning av utredningen ska presenteras senast 30 september 2025 och då ska man också presentera tillsynsmyndigheter för de olika tillsynsområden.

IMY var även tydlig med att kravet på att göra en konsekvensbedömning avseende grundläggande rättigheter när det gäller AI system med hög risk (artikel 27.1 i AI-förordningen) och en konsekvensbedömning enligt GDPR (artikel 35.1 i GDPR) kan i vissa fall överlappa varandra. Att navigera mellan dessa två förordningar och kunna förstå kraven kommer att vara tidskrävande och resurskrävande för många organisationer.

Egna reflektioner och tankar

Generellt sett är lagar, regler och förordningar nödvändiga för att styra vad som gäller och för att skydda människors rättigheter. Att personuppgifter inte används på felaktigt sätt eller för otillåtna ändamål är positivt och en viktig del av GDPR.

När det gäller AI-förordningen är det viktigt att speciellt AI-system med hög risk hanteras på rätt sätt. Utvecklingen av AI är snabb och erbjuder många möjligheter, men det finns också risker. AI förordningen listar ett antal krav för att efterleva förordningen. Vi på Seadot vill lyfta 3 av dessa som särskilt viktiga att prioritera:

Mänsklig kontroll – Säkerställ mänsklig övervakning vid både utveckling och användning av AI-system.
Riskhantering – Grundläggande i allt informationssäkerhetsarbete, se till att implementera tydliga riskhanteringssystem.
Övervakning av AI-system – AI-system måste kontinuerligt granskas även efter det att de släppts på marknaden.

AI kan vara ett mycket kraftfullt och användbart verktyg, men utan människans insyn och kontroll kan det leda till mycket allvarliga konsekvenser om den används fel.

Vi bestämde oss för att själva göra ett test och frågade ChatGPT vilka krav som ställs på AI-system med hög risk. Första svaret innehöll samtliga krav enligt förordningen. När vi därefter bad den prioritera kraven, hamnade mänsklig kontroll på fjärde plats…

Slutsatser – Vad kan vi förvänta oss?

Det är tydligt att användningen av AI system kommer att öka och ha stor påverkan på hur företag och organisationer effektiviserar och förbättrar sina tjänster och produkter.

Vi vill därför skicka med följande slutsatser:

Reglering av AI är nödvändig för att skydda individers rättigheter och säkerhet
Det är viktigt att företag och organisationer får riktlinjer och vägledningar för att på ett tydligt, enkelt och praktiskt sätt kunna följa båda regelverken
Innovation och regelefterlevnad måste balanseras för att inte hämma teknikutvecklingen

Författare: Veronica Ionescu