Feature (leestijd:15 min)

Go with the flow! Speuren naar het onbekende met een zwerm slimme knikkers

Een zwerm knikkers die door je darmen stroomt om verdikkingen op te sporen. Het klinkt als science fiction. Toch is het dichterbij dan je denkt. Ingenieur Peter Baltus van de Technische Universiteit Eindhoven ontwikkelt samen met universiteiten en het bedrijfsleven sensoren die moeilijk bereikbare of zelfs voor de mens ontoegankelijke omgevingen kunnen inspecteren. Hij focust eerst op grote leidingenstelsels als drinkwatersystemen, oliepijpleidingen of transportbuizen voor kerosine. Maar zijn droom is dat de balletjes ooit de binnenkant van vulkanen of zelfs het menselijke spijsverteringskanaal kunnen verkennen.

Voor ons op de tafel liggen drie plastic balletjes; formaat golfbal, maar dan flink lichter in gewicht. De ribbels van de 3D-printer zijn duidelijk zichtbaar aan de buitenkant. Eén van de balletjes is open geschroefd. Binnenin zien we een paar kleine printplaatjes aan elkaar bevestigd. Een micro-SD-kaart en twee korte draden zijn ook te onderscheiden. We zitten in het kantoor van Peter Baltus, hoogleraar micro-electronica aan de faculteit Electrical Engineering van de TU Eindhoven.

Zodra Baltus begint te vertellen, verschijnen er pretlichtjes in zijn ogen. Zijn passie is duidelijk zichtbaar in zijn energieke houding en zijn enthousiaste woordkeuze. De slimme knikkers zijn dan ook zijn ‘baby's’. Al zal hij zelf nooit in zijn eentje de credits willen accepteren. De afgelopen vier jaar werkte Baltus in de rol van projectleider dag en nacht aan een project genaamd Phoenix, in samenwerking met projectpartners KU Leuven, Aachen University, Ingenieurs- en adviesbureau Antea Group, Rijksuniversiteit Groningen, Vrije Universiteit Amsterdam en de Universiteit van Trento. Baltus: ‘Een multidisciplinaire groep, met zowel universiteiten als ontwikkelingspartners, was onontbeerlijk om deze slimme knikkers te ontwikkelen in zo’n korte tijd.’

Curriculum Vitae Peter Baltus

Peter Baltus (1960) werkte 22 jaar bij Philips en later bij NXP in Eindhoven, Nijmegen, Tokyo en Sunnyvale. In 2007 werd hij hoogleraar hoogfrequente elektronica aan de Technische Universiteit Eindhoven. Daar was hij van 2007 tot 2016 directeur van het Centrum voor Draadloze Technologie. Sinds 2017 is hij voorzitter van de micro-elektronica-groep aan de TU/e. Hij is (co-)auteur van meer dan 100 papers en bezit 16 Amerikaanse octrooien.

Gefinancierd met 3,6 miljoen euro vanuit Horizon 2020 ‘Future and Emerging Technologies (FET)’, dat als doel stelt om een science fiction-achtige technologie te ontwikkelen, bouwden ze een apparaat dat ontoegankelijke gebieden kan ontdekken. En dat is een echt kip/ei-probleem, want hoe kun je sensoren ontwikkelen voor een omgeving die je niet kent? ‘Om goede informatie te verzamelen, heb je goede sensoren nodig. Maar om goede sensoren te bouwen, moet je weten wat je wilt meten, en daarvoor heb je kennis nodig van de omgeving die je wilt ontdekken. Een onmogelijke opgave,’ zegt Baltus lachend.

De onderzoekers richtten zich vooral op maatschappelijke problemen, om de basisbehoeften van mensen aan te pakken. Zo zochten ze toepassingen op het gebied van veiligheid, gezondheid, energie en water/voedsel. Denk bijvoorbeeld aan het leidingnetwerk onder onze voeten; drinkwaterleidingen, riolering of transportbuizen voor brandstof. Maar ook het opsporen van ondergrondse opslagplaatsen voor CO2, chemische reactoren of zelfs bloedvaten of het spijsverteringskanaal van de mens. In de blauwe kaders in het verhaal staan enkele toepassingen beschreven waar Baltus en collega’s al druk mee bezig zijn.

De zwerm slimme knikkers. Eén balletje is opgewerkt, waardoor de printplaatjes zichtbaar zijn.

Het voordeel van de meerderheid

Na vele pogingen is het eindproduct een verzameling slimme knikkers. Het zijn balletjes gevuld met sensoren die door met vloeistof gevulde leidingen stromen om zo bijvoorbeeld opstoppingen en lekkages te detecteren of het netwerkstelsel in kaart te brengen. Ze worden handmatig aan het begin van het leidingstelsel in de vloeistof losgelaten. De knikkers drijven vervolgens passief op de stroming in het netwerk mee naar hun eindbestemming, waar ze weer opgepikt worden om de gegevens uit te lezen. De sensoren in de knikkers verzamelen tijdens hun reis een hoop informatie en bewaren die intern.

De knikkers moeten kunnen meten tijdens het productieproces van een bedrijf, zonder dat stil te hoeven leggen. Baltus: ‘Dat is nu vaak wel nodig, bijvoorbeeld bij de inspectie van de pijpleiding die kerosine transporteert tussen de haven van Rotterdam en de luchthaven van Düsseldorf. Op dit moment voert een robot deze inspectie uit, maar om dat te doen, moet de pijp worden leeggepompt. Een kostbare klus, want tijd is geld. Veel productieprocessen, bijvoorbeeld die in de chemische industrie, kúnnen niet eens worden stilgelegd.’ Het projectteam speelt daarop in door de knikkers bestendig te maken tegen allerlei vloeistoffen en wisselende temperaturen of druk. Zelfs de meest corrosieve vloeistof moet betrouwbare meetgegevens opleveren.

Grondig mengen

Het mengen van vloeistoffen op industriële schaal in de chemische industrie wordt vaak gedaan met luchtbellen. Deze bellen stijgen op in het reactorvat, en mengen op die manier de verschillende vloeistoffen in het vat goed door elkaar. Om de vermenging te kunnen monitoren hangen er nu soms vaste meetsonden in dat soort tanks, terwijl deze het proces flink verstoren.

De slimme knikkers blijken na tests veel minder verstoring te veroorzaken, voornamelijk omdat ze op de luchtbubbels mee naar boven drijven. Ze verzamelen bovendien interessantere informatie dan de meetsonden. Wel moeten de balletjes daarvoor kleiner zijn dan de luchtbellen zelf. Dit bleek uit experimenten van onderzoekers Kay Buist en Heinrich Wörtche van de faculteit Scheikundige Technologie van de TU/e.

Het bedrijf Jongia, gespecialiseerd in onder andere de productie van industriële roerwerken, heeft na dat experiment interesse getoond om de balletjes in hun enorme silo’s te testen. Deze proef start binnenkort bij het bedrijf.

De leidingen zijn vaak zo krap, dat er geen plaats is voor een supersensor die alles kan. De grootte van de bal is dus de beperkende factor. En dan vooral de grootte van de batterij. Alle sensoren hebben namelijk stroom nodig. Maar hoe intelligenter je de sensoren maakt, hoe meer stroom ze doorgaans gebruiken. En een grote batterij past nu eenmaal niet in het kleine balletje. Dan zijn bijvoorbeeld camera’s, verlichting, microfoons of aandrijving uitgesloten. Alleen eenvoudige sensoren die weinig stroom verbruiken, zoals een thermometer, drukmeter en snelheidsmeter, passen in het omhulsel.

Evoluerende sensoren door Kunstmatige Intelligentie

Juist daarom heeft Baltus met zijn projectpartners een zwerm knikkers ontwikkeld. ‘Ze kunnen individueel zeer weinig, maar verzamelen samen toch alle gewenste gegevens,’ legt Baltus uit. Maar hoe zorg je dan dat elke knikker optimaal aan zijn specifieke taak is aangepast? De plaatsen die Baltus wil onderzoeken, zijn zo onbereikbaar dat hij vooraf niet goed kan voorspellen hoe de binnenkant van zo’n leiding er uitziet. Baltus: ‘Als je de omgeving niet kent, weet je ook niet wat de eigenschappen moeten zijn van de sensoren, om die omgeving waar te nemen.’

PhD-onderzoeker Ahmed Hallawa van Aachen universiteit werkt aan (co-)evolutionaire algoritmes. Hier werkt hij aan een evolutiemethode voor de instincten van de knikkers.

De onderzoekers kwamen met een ingenieuze oplossing: via Kunstmatige Intelligentie laten ze de knikkers tijdens het ontwerpproces op de computer zelfstandig ‘evolueren’. Dat geeft nóg een voordeel: je kunt een generiek balletje ontwikkelen, dat vervolgens per toepassing kan evolueren naar de beste configuratie. ‘De keuze voor Kunstmatige Intelligentie is geboren uit wanhoop. Als we wisten hoe we de knikkers konden ontwerpen, dan hadden we het zelf wel gedaan,' licht Baltus toe.

Het precieze ontwerpproces van de balletjes werkt als volgt: generieke balletjes worden op basis van de schaarse informatie en wensen van de klant geprogrammeerd en stromen vervolgens één keer door het leidingensysteem van het bedrijf. De sensoren verzamelen onderweg allerlei gegevens en slaan die op in het interne geheugen. De onderzoekers verzamelen de gegevens uit de balletjes, en vormen een eerste model van hoe de onbekende omgeving eruit zou moeten zien.

Alle gegevens van de knikkers, inclusief het eerste model van de omgeving wordt vervolgens naar een virtuele omgeving gekopieerd. Een algoritme gaat daarmee aan de slag in een serie simulaties, waarin de meest succesvolle balletjes met elkaar kruisen. In ongeveer 500 simulatieronden zoekt het algoritme naar een optimale configuratie voor de specifieke toepassing en de wensen van de klant. Zodra de nieuwe configuratie niet meer zoveel verandert ten opzichte van de vorige paar configuraties, weten de onderzoekers dat ze dicht bij de oplossing zijn. De met Kunstmatige Intelligentie ontwikkelde software wordt vervolgens toegevoegd aan de balletjes, waarna ze opnieuw in hetzelfde leidingenstelsel worden losgelaten. Dat proces herhaalt zich drie tot vijf keer. Pas dan zijn de balletjes klaar en kunnen ze door het bedrijf worden gekocht om de inspecties uit te voeren. 

Evolutie aangetoond

Op de valreep voor het einde van het Phoenix-project wisten de onderzoekers evolutie van de knikkers aan te tonen – een doorbraak na vier jaar intensief onderzoek. Hoe deden ze dat? De knikkers moesten een simpele opstelling in kaart brengen van buizen en een pomp op de campus van de TU/e. Na de eerste ronde door het systeem, waarbij alleen de diameter van de buizen en de kracht van de pomp ingevoerd waren, wisten de knikkers een kaart te produceren die voor 78 % overeen kwam met de werkelijkheid. Daarna begon het spannende onderdeel van de test: de knikkers moesten zelfstandig kunnen evolueren in de gebouwde virtuele omgeving. 500 simulatie-ronden verder waren de knikkers klaar met hun optimalisatieproces.

Maar de onderzoekers wisten nog niet of de balletjes er daadwerkelijk beter op waren geworden. Dat moest pas blijken in de volgende ronde door het systeem. En jawel, de knikkers wisten na de tweede ronde een nauwkeurigheid te behalen van 92 %. Ze gebruikten daarnaast 20 % minder stroom dan de eerste keer. Precies zoals de onderzoekers gehoopt hadden. Het proces was zelfs reproduceerbaar. Missie geslaagd! Baltus: ‘De verbetering van 78 % naar 92 % klinkt misschien niet zo groot, maar je moet je indenken dat 1 % afwijking bij een ondergronds buizenstelsel al betekent dat bedrijven een paar meters verkeerd gaan graven. We verwachten dat we in een langer systeem, met ingewikkelde bochten en veel vertakkingen een véél grotere verbetering kunnen genereren.’

Baltus: ‘Ik trek de parallel met evolutie, omdat het proces zo onvoorspelbaar is. We hebben zelf geen oplossing, dus moet een algoritme het maar doen. Dat algoritme kruist vervolgens de meest succesvolle balletjes met elkaar om zo naar een optimum te werken. We weten vooraf dus ook niet wat er uit dat simulatieproces gaat komen. Wellicht bedenkt het algoritme dat elke knikker zijn eigen taak krijgt, zo ontstaan wellicht locatie-knikkers en lekkage-detector knikkers. We hebben dit nog niet uitgebreid kunnen onderzoeken, dus dat is echt afwachten. Dat onze eerste evolutie-proef laat zien dat het principe werkt is eigenlijk al onvoorstelbaar, en ze evolueren nog de goede kant op ook!’

Gönenç Berkol, PhD-onderzoeker aan de TU/e, meet aan printplaten met daarop de geïntegreerde schakelingen die hij heeft ontworpen en waarmee heel energiezuinig en flexibel signalen voor een ultrasoon transducer kunnen worden gegenereerd en weer ontvangen en geanalyseerd.

Navigeren met beperkte stroom

Heb je dan een werkend systeem met slimme knikkers die zelf evolueren naar een bepaalde toepassing, dan blijft er nog één probleem over: bij alle gegevens die de sensoren verzamelen, wil de klant graag weten waar de knikker op dat moment was. Heb je een leidingbreuk opgespoord, dan moet je natuurlijk wel de locatie opslaan. De locatiesensor is dus extreem belangrijk, maar GPS werkt ondergronds niet. Gelukkig zijn er alternatieven.

Geluidsgolven zijn namelijk wél mogelijk onder de grond. Denk bijvoorbeeld aan een ultrasoon systeem, vergelijkbaar met de echo die vleermuizen gebruiken. Hoewel deze oplossing veelbelovend klinkt, zitten er toch nog wat haken en ogen aan. Baltus: 'Zo verbruikte dit systeem tijdens eerste berekeningen liefst 5.000 keer meer energie dan alle andere sensoren en systemen (inclusief bijvoorbeeld geheugen en de microprocessor) in het balletje bij elkaar.'

Daarnaast is de geluidssnelheid afhankelijk van de omgeving; in water moet je de snelheid anders kalibreren dan in modder of olie. Dat is lastig als je in een onbekende omgeving zit. Bovendien zendt het balletje met ultrasoon zijn gegevens maar één richting uit. De zender en ontvanger moeten dan ‘naar elkaar kijken’ om het signaal te kunnen versturen. Een zogenoemde omnidirectionele zender – die het signaal alle richtingen op stuurt - bestaat wel, maar die is dan weer zo zwaar dat het balletje naar de bodem zinkt. Bij een groot aantal toepassingen zal ultrasound na uitgebreide tests en doorontwikkeling misschien mogelijk zijn. Maar wil je de balletjes écht klein maken, dan heb je een ander systeem nodig.

Leidingen opsporen

De slimme knikkers worden binnenkort getest bij drinkwaterbedrijf Oasen in Zuid-Holland. De knikkers moeten de precieze locatie van de ondergrondse drinkwaterbuizen gaan bepalen, aangezien het registratiesysteem de ligging hiervan niet altijd correct aangeeft. Bij onderhoudswerk aan de leidingen wil het drinkwaterbedrijf voorkomen om enkele meters de verkeerde kant op te graven. Bovendien mogen de graafmachines geen schade veroorzaken aan leidingen en buizen. Monteurs maken nu vaak handmatig kleine proefsleuven om precies te kunnen bepalen waar de hoofleidingen liggen. De slimme knikkers bieden een snel en efficiënt alternatief, zonder dat graafwerk nodig is. 

Voor de test zijn de knikkers uitgerust met een ultrasound locatiesensor. Met die informatie tekent het systeem een duidelijke kaart van het ondergrondse netwerk. Naast locatiebepaling, kunnen de sensoren ook gegevens verzamelen over bijvoorbeeld lekkages of dichtslibbende leidingen. Bij een lekkage verandert namelijk de snelheid en richting van de waterstroming, wat een bewegingssensor of kompas duidelijk kan aantonen. Daarnaast kan een gyroscoop de turbulentie rondom een lek meten, en pikt een microfoon de typische sisgeluiden op die daarbij optreden. Om het in gebruik nemen van de knikkers voor klanten als Oasen zo eenvoudig mogelijk te maken, bouwden de onderzoekers een user interface. Op de foto is PhD onderzoeker Anil Yaman van de TU/e bezig met het programmeren van dit systeem.

 

De aantrekkingskracht van magnetisme

Voor de kleinere knikkers kwamen de onderzoekers daarom met een onverwacht alternatief: magnetisme. Baltus: ‘Via de vloeistof in het leidingennetwerk kun je op die manier signalen transporteren. Bijvoorbeeld ompolende magneetvelden met lage frequenties. Het balletje kan zo zijn eigen serienummer versturen.’ Bijkomend voordeel: het signaal gaat alle kanten op, wat het opvangen enorm versimpelt. ‘Ook een combinatie van magnetisme en ultrasound zou wellicht mogelijk zijn. Dan kalibreren de systemen elkaar, en kun je zo de geluidssnelheid terugrekenen. Op die manier verzamel je weer een nieuw gegeven, namelijk het medium waar de balletjes in zweven’, legt Baltus uit.

PhD-onderzoeker Haoming Xin van de TU/e werkt aan een printplaat met daarop een door hem ontworpen geïntegreerd circuit met extreem laag energieverbruik (tientallen tot honderden nanoWatt).

Het magnetisch systeem werkt echter alleen maar op korte afstanden. Gelukkig is dat geen probleem: door de grote zwerm knikkers is er altijd wel een ontvanger in de buurt. De locatie wordt dus bepaald aan de hand van hun positie ten opzichte van elkaar én vanaf het punt waar ze in het leidingenstelsel zijn ingebracht. Als alle balletjes zijn uitgelezen, hebben de onderzoekers op die manier een zeer gedetailleerde kaart van het buizenstelsel.

Knikker in nood

De locatiebepaling is zelfs nóg belangrijker als je denkt aan de voortbeweging van de knikkers. Om het stroomverbruik te verminderen, drijven de balletjes passief mee op de natuurlijke stroom van het leidingsysteem. Helaas heb je daardoor geen controle op het af te leggen pad. Een balletje kan bijvoorbeeld blijven steken en die kans is groter op plekken waar de leiding is dichtgeslibd. Juist die informatie kan heel belangrijk zijn voor de klant.

Baltus bouwde daarom een noodsysteem in: ‘Zit een knikker vast, dan stuurt hij met zijn laatste kracht een noodsignaal naar alle andere balletjes in de buurt. Daarbij stuurt hij ook direct alle informatie die de knikker heeft verzameld mee zodat er geen belangrijke informatie verloren gaat.’ De klant kan de knikker dan eventueel weer redden als de buis door medewerkers schoongemaakt wordt.

Olievelden in Canada inspecteren

Eén van de inspiraties voor het Phoenix project was een hulpvraag van een oliemaatschappij uit Saskatchewan in Canada. Zij proberen olie uit de honderden meters diepe teerzandvelden te pompen. Daarvoor zijn twee boortorens nodig; de ene pompt water onder grote druk naar beneden, waardoor de olie uit een volgende boortoren honderden meters verderop naar boven stroomt. Maar tot frustratie van de oliemaatschappijen, blijft maar liefst 92 % van de beschikbare olie in het veld onder de grond zitten. Vermoedelijk door vertakkingen in het poreuze zandsteen waardoor de druk wegvalt.

Het bedrijf wilde zien wat er zich diep onder de grond afspeelde, waarna TU/e-onderzoeker Elena Talnishnikh (op de foto, op dat moment werkzaam bij INCAS3) naar Canada afreisde. ‘Door de ijskoude buitentemperatuur tot wel -50 °C is de olie zo stroperig dat het letterlijk in papieren dozen wordt opgeslagen. Toch kwamen de knikkers netjes weer terug naar boven. Wel bleek dat balletjes groter dan zeven millimeter direct worden verpulverd door de waterpompen. We moeten dus nog een keer terug gaan zodra we de balletjes hebben kunnen verkleinen’, legt Baltus uit.

Nu, vier jaar later, is het Phoenix-project officieel afgelopen. Baltus: ‘We hebben aangetoond dat het concept en de evolutie van de knikkers werkt én we ontwikkelden de technologie om de knikkers in de toekomst sterk te kunnen verkleinen.’ Klaar is Baltus dan ook nog lang niet. Zo start hij nu samen met Antea Group een spin-off met de naam Smarble om de balletjes te vermarkten, waarvoor Antea Group de kar zal trekken. Voor dit doel ontvingen ze een Launchpad-subsidie van €100.000, ter aanvulling van het Horizon 2020 FET programma. ‘We willen robuuste en goedkope zwermen knikkers produceren en in gebruik nemen. Daarvoor zijn geen nieuwe uitvindingen meer nodig, maar wel nog veel hard werk om allerlei praktische problemen op te lossen,' legt Baltus uit.

Dirkjan Krijnders (op de foto) en Erik Duisterwinkel, senior adviseurs bij Antea Group, starten samen met Peter Baltus de spin-off genaamd SMARBLE. Ze werken aan de elektronica en mechanica van de grote knikkers (gebaseerd op bestaande “off-the-shelf” elektronische componenten) en de bijbehorende firmware.

Naast de spin-off gaat de TU/e nog verder met het onderzoek. Baltus: ‘We willen de knikkers nóg kleiner maken, bijvoorbeeld om ze te kunnen inzetten in de gezondheidszorg. Stel je voor dat ze straks door je bloedvat kunnen stromen. Dat biedt volop nieuwe mogelijkheden voor het opsporen van verstoppingen.' Onderzoeker Giovanni Iacca van de universiteit van Trento coordineert de vorming van een nieuw consortium voor het verkleinen van de balletjes, en is nu op zoek naar partners om weer een nieuwe Horizon 2020 FET-subsidie aan te vragen.’ Daarnaast hoopt Baltus in de toekomst ook simpele acties uit te kunnen voeren. ‘Nu sporen we lekken alleen op, maar straks willen we ze ook direct met een soort hars kunnen dichten.’ Ook daarvoor is Baltus van plan een nieuwe subsidieaanvraag in te dienen. ‘Als we die subsidies weten binnen te halen, kan ik ook weer gaan werven voor nieuwe PhD-kandidaten en postdocs.’

 

Do it yourself

Iedereen die dat wil kan thuis de balletjes en het leidingsysteem namaken met een aantal simpele producten uit de bouw- en elektronicawinkel. ‘We maken alle hard- en software die we ontwikkelen namelijk volledig openbaar op de Phoenix-website. We hopen namelijk dat er slimme mensen aan de slag gaan om toepassingen te ontwikkelen waar wij nog niet aan gedacht hadden.' De droom van Peter Baltus? 'Dat dit systeem straks hét product wordt om ontoegankelijke plaatsen te onderzoeken!’ 

Onderzoek gaat door

Tegelijkertijd blijft het optimaliseren van de huidige balletjes nog steeds doorgaan. ‘We willen aantonen dat onze knikkers voor allerlei toepassingen geschikt zijn. Daarvoor hebben we de hulp van bedrijven nodig, die hun proces als testlocatie willen aanbieden. We onderzoeken binnenkort mengprocessen bij Jongia en drinkwaterleidingen bij Oasen, maar zoeken nog veel meer toepassingen om te testen.’

Ook master- en bachelorstudenten zijn altijd welkom bij Baltus voor de doorontwikkeling van de balletjes. ‘Het mooie van dit werk is de multidisciplinariteit. Alleen onderzoekers uit het Electrical Engineering-veld werven is onvoldoende. Ik heb ook bijvoorbeeld werktuigbouwkundigen en bouwkundigen nodig. Maar ook mensen die alles weten over software, user interfaces, kunstmatige intelligentie, evolutie en noem het maar op. Ik hoop binnenkort met Innovation Space om de tafel te gaan zitten, om een nieuw project op te starten met een groep bachelorstudenten van allerlei verschillende studies aan de TU Eindhoven.

Fotocredits: Bart van Overbeeke

Ben je op zoek naar meer informatie?

Hilde de Laat
(Science Information Officer)

Help mee met de verdere ontwikkeling van de slimme knikkers.

Ben jij, net als Peter Baltus, gemotiveerd om science fiction om te zetten in werkelijkheid? Wil jij de maatschappij verder helpen, door bij te dragen aan het onderzoek naar slimme knikkers? Kijk dan wat de TU Eindhoven je te bieden heeft op het gebied van onderwijs, onderzoek en samenwerken vanuit de industrie.