Masterstudent weet keten voor reserveonderdelen van ASML 5 procent efficiënter te maken

Als een geavanceerde chipmachine bij ASML in Veldhoven van de band rolt en bij een klant is geïnstalleerd dan is het de bedoeling dat hij het blijft doen. Altijd. Stilstand betekent in de competitieve wereld van chipmakers al gauw een miljoenenverlies.

Daarom heeft ASML een wereldwijd netwerk bestaande uit ruim 60 distributiepunten met reserveonderdelen. Dit moet verzekeren dat een onderdeel altijd op tijd bij de klant is voor onderhoud. Een chipmachine heeft duizenden onderdelen, en in het distributienetwerk gaan tienduizenden verschillende reserveonderdelen rond. Al die componenten hebben een eigen gemiddelde levensduur en levertijd.

Eigen logistiek systeem

Om de aanvoer van componenten in goede banen te leiden gebruikt ASML het systeem NORA (Network Oriented Replenishment Automation). Dit produceert iedere dag een nieuw bevoorradingsplan. Het houdt minutieus bij hoeveel onderdelen er in voorraad zijn, schuift zo nodig tussen locaties en bestelt nieuwe componenten.

Masterstudent aan de TU/e Joost van der Haar liep tien maanden stage bij ASML en hij nam dit bevoorradingssysteem voor reserveonderdelen onder de loep. Hij zag dat het beter kan. Door een deep reinforcement learning-model (een vorm van kunstmatige intelligentie) te trainen met het gedrag van de toeleveringsketen maakte hij een nieuw algoritme dat volgens hem efficiënter is dan dat van ASML.

De onderneming zou ieder jaar zo’n 5 procent kunnen besparen op onder andere het transport voor de bevoorrading van de duizenden machines wereldwijd. Ook zouden machines niet langer stilstaan dan ze nu doen.

Kunstmatige intelligentie

Logistiek is een balanceeract. Natuurlijk wil je dat er op ieder moment genoeg reserveonderdelen voor machines zijn, aan de andere kant is het ook niet efficiënt om (onnodig) veel voorraad te hebben. ASML bepaalt voor tienduizenden onderdelen in haar servicenetwerk het optimum.

Volgens Van der Haar hangt de meest efficiënte voorraad van veel verschillende zaken af. Als een onderdeel doorgaans snel stuk gaat, dan is er meer voorraad nodig. Het hangt ook af van het type servicecontract dat is afgesloten tussen ASML en de klant. Daarnaast moeten onderdelen op de juiste locatie zijn.

“De meeste voorraadlocaties van ASML zitten logischerwijs dichtbij de klanten, zoals de belangrijke chipfabrikanten in Taiwan”, zegt Van der Haar.

Schaalgrootte vormt een uitdaging

Door de schaal van dit distributienetwerk is het wiskundig gezien eigenlijk onmogelijk om een perfect distributieplan te maken. De planningssoftware NORA doet wel een poging en vindt typisch een goede oplossing.

Van der Haar probeert het probleem te tackelen met kunstmatige intelligentie (AI), dat doorgaans erg geschikt is voor dit soort optimalisatieproblemen. Het zogenoemde DynaPlex-algoritme (zie kader) dat hij gebruikte werd door Willem van Jaarsveld ontwikkeld. Hij is universitair hoofddocent Stochastic Optimization and Machine Learning aan de TU/e.

Van der Haar voedde het AI-model met informatie over het toeleveringsnetwerk van ASML. De data kwam uit een simulatie van de hele keten van reserveonderdelen. “In tegenstelling tot het NORA-model van ASML vertel ik DynaPlex niet hoe het zich zou moeten gedragen. Het AI leert volledig zelfstandig op basis van  data uit de simulatie”, zegt Van der Haar.

Training

Na training kwam de kunstmatige intelligentie met een eigen bevoorradingsplan. Een aantal dingen bleek het daarbij anders én efficiënter te doen dan NORA. Zo zag de onderzoeker dat er regelmatig verplaatsingen van onderdelen werden voorgesteld tussen twee ‘lokale’ magazijnen, die bijvoorbeeld dichtbij de klant zitten.

“Het kan inderdaad efficiënter zijn onderdelen onderling uit lokale voorraden aan te vullen dan vanuit een centrale voorraad in Veldhoven”, zegt Van der Haar. “NORA doet dit soort voorstellen nog niet.”

Hij zag ook iets dat hij ‘ABC’tjes’ noemt, waarbij voorraad als een soort treintje wordt aangevuld. Een lege locatie C krijgt dan onderdelen van locatie B (die nabij is), die op zijn beurt weer voorraad krijgt uit de centrale distributieplek A.

“Qua risico op tekorten kan dat gunstiger zijn dan alle lokale plekken direct aanvullen vanuit plek A”, zegt Van der Haar.

Uitdagingen

Volgens de masterstudent zijn er uitdagingen bij het trainen van de kunstmatige intelligentie. Ten eerste is het lastig om er meerdere locaties in te stoppen. De complexiteit van het rekenprobleem groeit dan snel. Daarnaast is het notoir lastig om deep reinforcement learning toe te passen op gebeurtenissen die niet vaak voorkomen, zoals het bestellen van een onderdeel dat maar af en toe aan vervanging toe is.

“Zie het model als een hond die je een trucje wilt leren. Als je de hond niet vaak genoeg beloont, met bijvoorbeeld een snoepje, dan leert hij niet goed. Om dit te omzeilen heb ik het model tijdens de training op een andere manier beloond, namelijk op basis van de te verwachten toekomstige vraag”, zegt Van der Haar.

Miljoenen besparen op de reserveonderdelen, waarom zou ASML dit algoritme niet meteen invoeren? Van der Haar denkt dat het bedrijf zijn aanbevelingen voor in ieder geval de korte termijnplanning gaat gebruiken.

“Ze willen in eerste instantie kijken of ze hiermee de huidige bevoorradingsregels kunnen aanscherpen”, zegt hij. Als dit niet lukt dan gaat het bedrijf waarschijnlijk naar het DynaPlex-model kijken.

Papieren en echte werkelijkheid

Maar zelfs als kunstmatige intelligentie een beter distributieplan maakt, dan zullen er altijd complicerende factoren zijn. Zo is er een verschil tussen de papieren en echte werkelijkheid.

“Er zitten veel menselijke schakels in de keten. Planners zien bijvoorbeeld dat er in het magazijn wel onderdelen liggen maar dat deze beschadigd lijken. Dat kan een reden zijn om extra voorraad te hebben, voor de zekerheid”, zegt Van der Haar.

“Ook kunnen onderdelen simpelweg kwijtraken of op de verkeerde plek in het magazijn liggen.” De relevante informatie over de voorraad is verspreid over veel personen, locaties en systemen, er zijn in die zin veel uitzonderingen en ook vertaalslagen nodig.

ASML vs. Amazon

Ook ander bedrijven kijken inmiddels naar het plannen van hun voorraad met kunstmatige intelligentie, zoals internetgigant Amazon. Onderzoekers daar publiceerden recentelijk een model dat inkoopbeslissingen neemt voor de bevoorrading van tienduizenden producten.

Het aantal producten is in dit soort modellen heel makkelijk op te schalen, zegt Van der Haar. “De crux is nu net dat zo’n model niet naar één specifiek product kijkt, maar naar álle producten tegelijk. Het maakt in feite niet uit of er duizend of een miljoen producten zijn.”

Waar de modellen wel op aangepast moeten worden is het aantal distributielocaties. Amazon’s model beschouwde slechts één locatie. Andere algoritmes beschouwden tot 11 locaties per keer, maar voor één product.

Het onderzoek van Van der Haar is uniek omdat het uitgaat van veel verschillende onderdelen én 60 locaties. Zonder de wiskundige trucs die hij hiervoor toepaste was het rekenprobleem voor ASML’s toeleverketen niet binnen een haalbare tijd oplosbaar geweest.

Focus op efficiëntie

Begeleider Van Jaarsveld vindt dat Van der Haar fantastisch werk heeft geleverd. “Door zijn creativiteit en intelligentie heeft hij het onderste uit de kan gehaald bij het gebruik van DynaPlex”, zegt hij. Dat er nog ruimte was voor verbeteringen in het servicenetwerk van ASML verbaast hem niet - logistieke problemen van deze schaal zijn “gewoon echt heel moeilijk”.

Het is volgens hem belangrijk dat de logistiek nog efficiënter wordt. Het is een tak van het bedrijfsleven die veel resources gebruikt. AI kan helpen die efficiëntie te bereiken. “Bedrijven moeten wel eerst overtuigd raken van het nut, en dat kost tijd. Gezien de vooruitgang de afgelopen jaren verwacht ik de komende tijd meer toepassingen hiervan.”

Wat bij Van der Haar bij is gebleven van zijn tijd bij ASML is de focus van het bedrijf op efficiëntie. “Bijna iedereen is dagelijks bezig met het verbeteren van processen”, zegt hij. “Er zijn uitgebreide roadmaps die leiden naar het maken van meer en betere machines. Ieder bedrijf probeert het natuurlijk continu beter te doen, maar ik kreeg de indruk dat hier bij ASML echt de nadruk op ligt.”

Van der Haar is zelf net verhuisd naar Leuven om daar aan de universiteit te promoveren op het gebruik van kunstmatige intelligentie in de logistiek. Toch denkt hij dat hij uiteindelijk in het bedrijfsleven terecht komt. Juist de praktischere problemen die daar spelen trekken hem aan.

Joost van der Haar studeerde dit najaar af op zijn masterscriptie ‘Industrializing Deep Reinforcement Learning for ASML’s Service Network’, deze is hier te lezen. Hij werd onder andere begeleid door Rob Basten en Willem van Jaarsveld van de groep Operations Planning, Accounting & Control.