Slimme hardware maakt het trainen van neurale netwerken makkelijker
Onderzoekers van de Technische Universiteit Eindhoven hebben een neuromorfisch apparaat ontwikkeld dat on-chip-training kan uitvoeren, waardoor het overbodig is om getrainde modellen naar de chip over te brengen. Dit zou kunnen leiden tot efficiëntere AI-chips in de toekomst.
Een organische neuromorfische chip gebaseerd op ECRAM-apparaten die worden gebruikt voor in situ hardware training van neurale netwerken, gebouwd door Tim Stevens en Eveline van Doremaele in de groepen van Yoeri van de Burgt (Mechanical Engineering) en Marco Fattori (Electrical Engineering), TU/e. Foto: Bart van Overbeeke
Grootschalige neurale netwerkmodellen vormen de basis van veel AI-gebaseerde technologieën zoals neuromorfische chips, die geïnspireerd zijn op het menselijk brein. Het trainen van deze netwerken kan omslachtig, tijdrovend en energie-inefficiënt zijn, omdat het model vaak eerst op een computer wordt getraind en vervolgens naar de chip wordt overgebracht. Dit beperkt de toepassing en efficiëntie van neuromorfische chips.
Neuromorfisch addertje Net als neurale netwerken zijn neuromorfische chips geïnspireerd op hoe de hersenen werken, maar in de chips wordt de imitatie naar een heel nieuw niveau getild. Wanneer in de hersenen de elektrische lading in een neuron verandert, kan het elektrische ladingen naar aangesloten neuronen sturen. Neuromorfische chips bootsen dit proces na.
“In een neuromorfische chip zitten memristors, oftewel memory resistors. Dit zijn circuit devices die kunnen ‘onthouden’ hoeveel elektrische lading er in het verleden doorheen is gestroomd”, zegt Yoeri van de Burgt (Mechanical Engineering). “En dit is precies wat nodig is voor een apparaat dat gemodelleerd is op hoe neuronen in de hersenen informatie opslaan en met elkaar praten.”
Maar er zit een neuromorfisch addertje onder het gras – en dat heeft te maken met de twee manieren waarop mensen hardware op basis van neuromorfische chips trainen. Bij de eerste manier wordt de training gedaan op een computer en worden de gewichten van het netwerk toegewezen aan de hardware van de chip. Het alternatief is om de training in-situ of op de hardware te doen, maar de huidige memristors moeten één voor één worden geprogrammeerd en vervolgens op fouten worden gecontroleerd. Dit is nodig omdat de meeste memristors stochastisch zijn en het onmogelijk is om het apparaat te updaten zonder het te controleren.
“Deze manieren zijn kostbaar in termen van tijd, energie en rekenkracht. Om de energie-efficiëntie van neuromorfische chips echt te benutten, moet de training direct op de neuromorfische chips worden gedaan”, zegt Van de Burgt.
En dat is precies wat Van de Burgt en zijn medewerkers aan de TU/e hebben bereikt en waar zij over publiceerden in een nieuw artikel in Science Advances. “Dit was echt een teamprestatie, en allemaal geïnitieerd door co-first auteurs Tim Stevens en Eveline van Doremaele”, zegt Van de Burgt trots.
Vlnr: Yoeri van de Burgt, Tim Stevens, en Marco Fattori. Foto: Bart van Overbeeke
De training met twee lagen De grootste uitdaging voor de onderzoekers was het integreren van de belangrijkste componenten die nodig zijn voor on-chip training op een enkele neuromorfische chip. “Een belangrijke taak was bijvoorbeeld het integreren van de elektrochemische random-access memory (EC-RAM) componenten”, zegt Van de Burgt. “Dit zijn de componenten die de elektrische ladingopslag en het zenden van het signaal nabootsen, wat neuronen in de hersenen doen.”
De onderzoekers maakten een neuraal netwerk met twee lagen op basis van EC-RAM-componenten gemaakt van organische materialen. Zij testten de hardware met een evolutie van het veelgebruikte trainingsalgoritme backpropagation met gradient descent. Tim Stevens, co-first auteur: “Het conventionele algoritme wordt vaak gebruikt om de nauwkeurigheid van neurale netwerken te verbeteren, maar dat is niet compatibel met onze hardware. Daarom bedachten we onze eigen versie”,
De toekomstige behoefte Hoewel de onderzoekers hebben aangetoond dat de nieuwe trainingsaanpak werkt, is het de volgende logische stap om de neurale netwerken groter, gedurfder en beter te maken.
“We hebben laten zien dat dit werkt voor een klein netwerk met twee lagen”, zegt Van de Burgt. “Nu willen we de industrie en andere grote onderzoekslaboratoria erbij betrekken, zodat we veel grotere netwerken van hardware-apparaten kunnen bouwen en deze kunnen testen met levensechte dataproblemen.”
Met de volgende stap kunnen de onderzoekers aantonen dat deze systemen zeer efficiënt zijn in het trainen en uitvoeren van bruikbare neurale netwerken en AI-systemen. “We willen deze technologie graag in verschillende praktijkgevallen toepassen”, zegt Van de Burgt. “Mijn droom is dat dergelijke technologieën in de toekomst de norm worden in AI-toepassingen.”
