Högrisk-AI i skolan – transparens på pappret, komplexitet i verkligheten 

När EU AI-förordning nu börjar ta form i praktiken hamnar skolan mitt i ett intressant läge. Vissa användningar av AI klassas som högrisk, särskilt de som påverkar elevers prestationer, möjligheter och utbildningsvägar. Det innebär att kraven skärps: systemen ska vara transparenta, möjliga att granska, fria från bias och alltid användas med mänsklig kontroll.

Det låter både rimligt och nödvändigt, men vad betyder det egentligen i en skolkontext där lärares bedömningar dessutom är en form av myndighetsutövning? 

Att sätta betyg är inte bara en pedagogisk handling, utan ett myndighetsbeslut som får konsekvenser för individens framtid. Det ställer redan idag höga krav på rättssäkerhet, likvärdighet och dokumentation. När AI förs in i sådana processer förstärks dessa krav ytterligare. Det handlar inte bara om att tekniken ska fungera, utan om att den måste fungera på ett sätt som håller för granskning och som går att motivera inför elever, vårdnadshavare och i förlängningen samhället. 

Ta transparens som exempel. Ett AI-system som används för att stödja bedömning ska kunna förklaras, och det ska gå att förstå hur det kom fram till sitt resultat. Samtidigt är undervisning och bedömning komplexa processer där lärare väger in sammanhang, progression och elevens utveckling över tid, bedömning ska dessutom vara allsidig, likvärdig och kontinuerlig. När detta ska översättas till ett system uppstår en förenkling. För att kunna förklara behöver vi också avgränsa, och det som inte ryms i modellen riskerar att falla bort. Transparens blir därmed inte bara en fråga om att visa hur systemet fungerar, utan också om att förstå vad det inte fångar. 

Frågan om bias är minst lika komplex. AI-förordningen ställer krav på att data ska vara representativ och att systemen inte ska leda till diskriminering. Men skolans data är aldrig neutral. Den speglar historiska bedömningar, olika undervisningspraktiker och ibland ojämlika förutsättningar. Ett system som tränas på sådan data riskerar därför att reproducera mönster vi kanske vill förändra. Samtidigt är det inte självklart vad som är en rättvis bedömning. Ska alla bedömas lika, eller ska bedömningen ta hänsyn till olika förutsättningar? I en verksamhet där professionellt omdöme och myndighetsutövning möts blir dessa avvägningar särskilt tydliga. 

Även kravet på mänsklig kontroll rymmer en praktisk utmaning. Förordningen är tydlig med att människor alltid ska ha det yttersta ansvaret, men i en profession där ansvaret redan är starkt reglerat uppstår frågan vad kontroll faktiskt innebär. Är det att förstå varje steg i systemets analys, att kunna ifrågasätta resultatet eller att fatta ett eget beslut även när AI pekar i en annan riktning? Risken är att kontroll blir något formellt snarare än reellt, där AI fungerar som ett stöd men också som ett tyst normerande verktyg. 

Det är lätt att se dessa krav som hinder, som något som gör det svårare att använda AI i skolan. Men de kan också ses som en förstärkning av professionen. AI-förordningen synliggör frågor som redan finns i läraruppdraget: hur vi bedömer, vad vi värderar och hur vi säkerställer rättvisa i myndighetsutövning. Skillnaden är att AI gör det svårare att låta dessa frågor vara underförstådda. Den tvingar oss att formulera det vi annars gör intuitivt och att sätta ord på det som tidigare varit en del av erfarenheten. 

Kanske är det där den största utmaningen ligger. Inte i tekniken i sig, utan i att göra det komplexa begripligt utan att göra det för enkelt. Skolan har alltid hanterat frågor om likvärdighet, tolkning och bedömning. AI förändrar inte det, men den gör det svårare att blunda för hur vi faktiskt gör. Och just därför kan den också bli ett verktyg för att utveckla, inte bara hur vi använder teknik, utan hur vi utövar vårt professionella och samhälleliga uppdrag.