De belofte van neurale netwerken op basis van licht en ons brein

Patty Stabile, hoofddocent bij de faculteit Electrical Engineering, was een van de eersten die zich op het opkomende gebied van fotonische neuromorfe computers stortte.

"Ik werkte aan een voorstel voor fotonische kunstmatige neuronen, toen onderzoekers van MIT in 2017 een artikel publiceerden waarin ze beschreven hoe ze op een kleine chip dezelfde algebraïsche bewerkingen konden uitvoeren als ik, maar dan op een analoge manier. Toen realiseerde ik me dat synapsen op basis van analoge technologie dé manier waren om kunstmatige intelligentie te onwikkelen.  Sindsdien ben ik verslaafd aan het onderwerp."

Stabile richt zich vooral op neuromorfe computers met geïntegreerde fotonicatechnologie. "Voor dit spannende nieuwe vakgebied hergebruik ik veel van de kennis die ik heb opgedaan toen ik werkte aan optische schakelaars voor datacenters."

Ongekende snelheden

Bij kunstmatige intelligentie moeten enorme hoeveelheden gegevens met ongekende snelheden worden verwerkt en geanalyseerd.

"De algoritmen die je daarvoor nodig hebt, kunnen niet draaien op conventionele von Neumann-computerarchitecturen, waarbij geheugen en verwerking niet parallel lopen. Het is daarom van groot belang om architecturen te ontwikkelen die deze functies wel combineren, en zo zorgen voor een soepel en snel datatransport. Er is inmiddels een overvloed aan veelbelovende elektronische opties, maar het probleem daarbij is de beperkte hoeveelheid gegevens die kan worden getransporteerd. In fotonica kun je bijna onbeperkte hoeveelheden data overbrengen met de snelheid van het licht."

Een menselijk brein bevat ongeveer 100 miljard neuronen, die elk met duizenden andere neuronen kunnen communiceren via synapsen.

Een menselijk brein bevat ongeveer 100 miljard neuronen, die elk met duizenden andere neuronen kunnen communiceren via synapsen die neurotransmitters vervoeren. "De sleutelbegrippen hier zijn de knooppunten en de interconnectiviteit. En dat is heel vergelijkbaar met wat we kennen van fotonische geïntegreerde schakelaars."

Stabile ziet daarom veel mogelijkheden in het gebruik van geïntegreerde fotonica om neuromorfe netwerken te bouwen. Zij gelooft ook dat dit nieuwe gebied van de neuromorfe fotonica een belangrijke bijdrage kan leveren voor de ontwikkeling  van optische schakelarchitecturen.

Uitdagingen

Het bouwen van een neuromorf fotonisch netwerk is verre van eenvoudig. "De uitdaging is om op te schalen naar grote aantallen neuronen. Dat roept allerlei nieuwe vragen op: Hoe kun je neuronen in slechts twee tot drie lagen stapelen en toch tot betrouwbare rekenresultaten komen? Is het mogelijk om algoritmes zo te tweaken dat de vereiste netwerkarchitectuur eenvoudiger wordt?"

Om deze en andere vragen te beantwoorden, werkt Stabile samen met tal van collega's uit complementaire disciplines, variërend van materiaalkunde en embedded systems tot wiskunde en informatica.

"Dat is het leukste deel van mijn werk, het feit dat ik de hele keten kan bestrijken, van de materiaal- en technologiekant helemaal tot aan de eigenlijke toepassing in de volledige computing layer stack," zegt de elektrotechnicus.

Toepassingen

Stabile ziet een schat aan mogelijkheden voor deze technologie. "Bijvoorbeeld bij autonoom rijden, waar je gegevens moet verwerken en analyseren van een groot aantal sensoren om in real time beslissingen te kunnen nemen. Of in ultrasnelle beeldclassificatie, waar je optische convolutionele neurale netwerken zou kunnen gebruiken om radiologen te ondersteunen bij de interpretatie van medische beelden. Een andere toepassing is extreme signaalverwerking voor beeldvorming in de sterrenkunde.

Maar denk ook aan optische communicatie over lange afstanden, om de overhead van digitale signaalverwerking voor de ontvanger te verlichten. Of aan de ruimtevaart, waar je fotonische neurale netwerken met ultralaag vermogen zou kunnen gebruiken om de verkregen gegevens voor te verwerken voordat je ze naar de aarde stuurt."

Optimaal en eenvoudig

Maar dat zijn allemaal dromen voor de toekomst. Op dit moment richt Stabile zich op het optimaliseren van de netwerkarchitectuur op een chip. In plaats van zo complex mogelijke netwerken te bouwen, gaat Stabile terug naar de basis.

Wat zou de killer application zijn voor dit soort netwerken, en aan welke eisen moeten ze voldoen? 

"Ik probeer te bepalen in hoeverre we de benodigde netwerken kunnen vereenvoudigen en toch betrouwbare voorspellingen kunnen doen. Wat zou de killer application zijn voor dit soort netwerken, en aan welke eisen moeten ze voldoen? De volgende stap is om de benodigde fysieke lagen, regelsystemen, algoritmen en read-outs te integreren in een werkend systeem dat in staat is om op een efficiënte manier berekeningen te versnellen."

Het opschalen van de technologie is de volgende fase. "Er zijn tal van onderzoeksopties om de gewenste prestaties te bereiken, variërend van nano-fotonica en spintronica tot plasmonica."

Een 3D-neuron

In de nabije toekomst hoopt Stabile een driedimensionaal neuron te demonstreren op basis van de integratie van elektronica en multifunctionele fotonica.

"Dat zou kunnen bestaan uit een indiumfosfidelaag voor niet-lineaire processen, bedekt met een routing-laag van siliciumnitride voor synaptische operaties met ultra-lage verliezen. Dit wordt dan opgeladen door een geheugenlaag, gebaseerd op fase-veranderende materialen. Uit onze analyses blijkt dat hiermee berekeningen mogelijk zijn op petaschaal, met tientallen femtojoules per operatie.

Hier in Eindhoven hebben we het juiste ecosysteem, de juiste expertise en de juiste apparatuur om zo'n neuron te produceren en de eigenschappen ervan te bestuderen. Daarbij is het onlangs gelanceerde Eindhoven Hendrik Casimir Institute een belangrijke stimulans voor ons werk."

Accelerator

Naast het optimaliseren van de netwerkarchitectuur op de chip, richt Stabile zich momenteel ook op het ontwikkelen van een experimenteel platform voor het versnellen van de technologie. Zo’n accelerator kan de belangstelling wekken van bedrijven om te onderzoeken hoe deze technologie kan helpen hun problemen op te lossen.

En verder wil ze natuurlijk ook graag nieuwe wetenschappers en studenten aantrekken voor dit opkomende onderzoeksgebied. "Neuromorfe fotonica is een spannend multidisciplinair vakgebied dat grote beloften inhoudt voor de toekomst. Aan de TU/e lopen we voorop als het gaat om dit onderwerp, waarbij we werken aan technologie, netwerken, architectuur en informatica. Wat wil je nog meer?"

Meer informatie

Bin Shi, Nicola Calabretta, and Patty Stabile, Deep Neural Network Through an InP SOA-Based Photonic Integrated Cross-Connect, in IEEE Journal of Selected Topics in Quantum Electronics, vol. 26, 2020.

Zou je graag werkzaam willen zijn als onderzoeker in de spannende wereld van fotonica? Kijk dan op de webpagina van Eindhoven Hendrik Casimir Institute.