Op zoek naar het evenwicht tussen ethiek en innovatie in de wereld van AI

De TU/e staat aan de basis van de bouw van veel medische apparaten. Het is een gebied waar veel compliance bij komt kijken: er moet aan wetten en regelgeving worden voldaan. Het is aan Hommerson om dat binnen de universiteit te coördineren. Omdat veel medische apparaten die aan de universiteit ontwikkeld worden ook een AI-component hebben, kwam ze automatisch in aanraking met de AI-Act: een Europese wet om kunstmatige intelligentie te reguleren.

“In die wet zagen ik en mijn voormalige collega een duidelijk probleem. De bedoeling was dat de wet niet van toepassing zou zijn op onderzoek, waardoor bijvoorbeeld universiteiten niet aan de enorme administratieve last hoefden te voldoen, waar bedrijven dat wel moeten. In de wettekst stond echter iets in de strekking van ‘het is niet van toepassing, tenzij… ‘, waardoor de onderzoeksuitzondering eigenlijk ook weer géén uitzondering werd.”

Het probleem zat hem in de ‘tenzij’, valt Nuijten haar bij. “Die verwees namelijk naar de situatie waarbij AI-onderzoek terechtkomt in een product. Laten we nou precies dát soort onderzoek doen aan de TU/e.”

Of je nou van tevoren of achteraf de bedoeling hebt om AI toe te passen in producten, je draagt er uiteindelijk dezelfde verantwoordelijkheid voor, legt Hommerson uit.

“We erkennen als universiteit ook wel dat we die verantwoordelijkheid hebben, maar om onder hetzelfde regime te vallen als een bedrijf: dat zou veel te zwaar zijn voor ons.” Om die reden ging ze in februari 2023 naar het Europarlement om te pleiten voor een volledige onderzoeksuitzondering, die nu in de wet – die nog in ontwikkeling is – is opgenomen.

Onderzoek en ontwikkeling

Dat betekent niet dat onderzoekers aan de universiteit alles kunnen doen wat ze willen op het gebied van AI, benadrukt Hommerson. “Dat komt deels doordat de scheidslijn tussen onderzoek en ontwikkeling niet keihard is. Uiteindelijk is het zo dat degene die een AI-model in gebruik neemt of fabriceert wel moet voldoen aan de wet, zo wordt het toch een regel die doorschuift.” De industrie heeft in die zin ook garanties nodig van onderzoekers om er zeker van te zijn dat de modellen in een later stadium daadwerkelijk toe te passen zijn onder de AI-Act.

Ook wanneer onderzoekers in “real life conditions” gaan testen gelden zwaardere regels. “In de lagere Technical Readiness Levels (TRL) kun je wel experimenteren, maar op het moment dat je door wil ontwikkelen moeten we gaan kijken naar hoe we op een gepaste manier in onderdelen van de AI-Act kunnen voorzien. Maar dat is nog steeds niet zo zwaar als bij grote bedrijven zoals Philips. Er moet wel iets gepasts komen.”

Ik kan me voorstellen dat grote bedrijven boetes gewoon betalen, wat aanpassingen maken en weer doorgaan.

Iets “gepasts” is er op dit moment echter nog niet en hoe het toepassen van de AI-Act er in de praktijk uit gaat zien is ook nog niet duidelijk. Niets is nog definitief. Toch moeten onderzoekers in veel gevallen ook nu al aan ethische standaarden voldoen. Dit geldt voornamelijk voor Europese projecten, waarbij onderzoekers een ethics self assessment moeten doen. Onderdeel van die zelfevaluatie zijn nu zeven ethische principes.

Hommerson: “Denk daarbij aan principes als human in the loop, technische robuustheid en accuraatheid, sociale impact en bias in je model. Dat implementeer je door bijvoorbeeld bij bias te kijken naar of je wel een representatieve dataset hebt voor je doel. De bedoeling is dat deze keuzes worden gedocumenteerd, zodat in een later stadium iemand weet: die keuze is toen gemaakt en daar is over nagedacht.”

Handhaven

In de toekomst moeten de lidstaten van de Europese Unie zelf gaan handhaven dat bedrijven en organisaties zich ook daadwerkelijk aan de regels houden. Wie niet voldoet, kan hoge boetes verwachten. Bedrijven zijn zelf verantwoordelijk voor het systeem, de klasse waarin het zit, het op de markt brengen en de certificering. Ook op verkeerde classificering staan hoge boetes.

Nuijten vraagt zich af of dat genoeg is om grote bedrijven met enorme budgetten tegen te houden om door te gaan met de ontwikkeling met systemen die niet helemaal voldoen aan de AI-Act. Ook Hommerson is daar niet zeker van: “Ik kan me voorstellen dat grote bedrijven die boetes gewoon betalen, wat aanpassingen maken en weer doorgaan.”

Wat betreft het nut van zulke boetes moet Nuijten ook denken aan de toeslagenaffaire. “Kom je nu, jaren later, met een boete aanzetten. Wat maakt het die vrouw die haar kinderen kwijt is geraakt nou uit dat die boete er komt?” Wat hij ook zou willen weten is of de AI-Act de toeslagenaffaire had kunnen voorkomen.

Hommerson: “In de wettekst staat een passage die juist hier over gaat. Dat gaat over het toekennen of weigeren van sociale voorzieningen op basis van een AI-systeem. Daar moet je heel voorzichtig en transparant in zijn. Je kunt je niet zomaar achter algoritmes verschuilen. Wij moeten als mensen de systemen niet leidend laten zijn, de mens moet betrokken blijven. Dat staat ook in de AI-Act. Ik denk dat overheden nog wel het meeste moeite hebben om de regels van die wetgeving te implementeren.”

Hoog risico

De AI-Act definieert drie verschillende risicoklassen: hoog, midden en laag. In welke categorie systemen vallen, hangt voornamelijk af van de impact die ze hebben op mensen of de maatschappij. Vrijwel al het onderzoek dat aan de TU/e plaatsvindt, valt onder de hoogste-risicocategorie, omdat de systemen ingezet worden voor medische doeleinden, of gezien worden als high tech. Systemen met een hoog risico moeten aan de zwaarste regels van de AI-Act voldoen, iets dat voor universiteiten bijna niet te doen is, zegt Hommerson. Ze is daarom blij met de onderzoeksuitzondering.

Het is nooit genoeg als de wet alleen in Europa geldt. Hier moet je mondiaal afspraken over maken.

Het valt Nuijten op dat generatieve systemen zoals Chat-GPT niet onder de AI-Act vallen. “De Act beperkt zich tot systemen die ‘bedoeld zijn’ voor een risicovolle setting, en dat is bij Large Language Models niet het geval. Maar ze kúnnen er natuurlijk wel voor worden gebruikt. Ik vind daarom dat ze ‘bedoeld voor’ moeten veranderen in ‘kunnen worden gebruikt’.”

Ook het meer algemene risico waarbij een vorm van superintelligentie zou kunnen ontstaan, waar Nuijten zich zorgen over maakt, wordt niet specifiek genoemd in de wettekst, bevestigt Hommerson. De AI-Act beschermt volgens haar dan ook niet voldoende tegen dat soort gevaren. “Zoals de wettekst er nu staat kan het misschien genoeg zijn, maar misschien ook niet. Het is echter nooit genoeg als de wet alleen in Europa geldt. Hier moet je mondiaal afspraken over maken.”

Zes commissies

De wetgeving in Europa kán ook wel erg verwarrend zijn, weet Hommerson. “Europese wetten moet je nooit op zichzelf lezen. Het zijn allemaal losse stukjes die in elkaar passen, wetten die met elkaar verweven zijn. Het is soms bijna niet meer te volgen. Zo wordt er in de AI-Act bijvoorbeeld iets gezegd over privacy, waarbij wordt verwezen naar de AVG.

De wet is verder zo veelomvattend, dat ze bij het Europees parlement in eerste instantie niet eens wisten welke commissies er nou eigenlijk naar moesten kijken, vertelt Hommerson. “Het is een horizontale wet die geldt voor auto’s, de publieke sector, onderwijs … overal waar je AI-toepassingen hebt is de wet relevant. Uiteindelijk waren er iets van vijf of zes commissies die er allemaal wat van moesten vinden.”

Die commissies hebben volgens haar vóór de zomer hun standpunt afgerond. Als de wet wordt goedgekeurd, gaat hij op zijn vroegst in januari 2026 in.

Monsterklus

Het klinkt als een monsterklus om ten eerste de wet te begrijpen en vervolgens binnen de universiteit te implementeren. Alleen de wettekst zelf moet je al twee, drie of vier keer lezen om er iets van te snappen, zegt ook Nuijten. “Ik wil de beroepsgroep niet beledigen, maar het is niet te doen”, grapt hij.

Hommerson lijkt met de teksten niet zoveel problemen te hebben, maar geeft wel toe dat men zowel in Europa als aan de universiteit echt nog aan het uitzoeken is hoe alles vorm moet krijgen. “Nu doen we alles zelf, maar ik heb wel vertrouwen in projecten die standaarden aan het opzetten zijn. Ik denk dat er binnenkort meer duidelijke richtlijnen zullen komen.”

Bron: Cursor