De term “recurrent” in recurrent neuraal netwerk (RNN) verwijst naar het vermogen van deze neurale netwerken om sequentiële verwerking uit te voeren op invoergegevens. In tegenstelling tot traditionele feedforward neurale netwerken, die gegevens in een vaste volgorde van invoer tot uitvoer verwerken, kunnen RNN’s een herinnering aan eerdere invoer behouden via verborgen toestanden. Met dit geheugen kunnen RNN’s temporele afhankelijkheden in sequentiële gegevens vastleggen, waardoor ze zeer geschikt zijn voor taken zoals tijdreeksvoorspelling, natuurlijke taalverwerking en spraakherkenning.
Een recurrent neuraal netwerk (RNN) is een soort kunstmatig neuraal netwerk dat is ontworpen voor het verwerken van sequentiële gegevens. Het bestaat uit neurale netwerkeenheden die in lagen zijn georganiseerd, waarbij elke eenheid een geheugen of status bijhoudt die informatie over eerdere invoer vastlegt. Hierdoor kunnen RNN’s patronen en relaties in sequentiële gegevens leren door dezelfde set gewichten recursief toe te passen op elke invoer in de reeks. Dankzij de terugkerende verbindingen binnen RNN’s kunnen ze reeksen van variabele lengte en modelafhankelijkheden in de loop van de tijd verwerken, waardoor ze krachtige hulpmiddelen zijn voor taken die temporele modellering vereisen.
Een terugkerende laag in een neuraal netwerk verwijst naar een specifiek type laag dat is ontworpen om terugkerende verbindingen tussen zijn eenheden op te nemen. Deze verbindingen stellen de laag in staat een geheugen van eerdere invoer bij te houden en informatie over tijdstappen binnen sequentiële gegevens te verspreiden. Veelvoorkomende typen terugkerende lagen zijn onder meer SimpleRNN, LSTM (Long Short-Term Memory) en GRU (Gated Recurrent Unit), die elk verschillende mechanismen bieden om uitdagingen aan te pakken, zoals verdwijnende gradiënten en het vastleggen van afhankelijkheden op de lange termijn.
De termen “recurrent” en “recursief” verwijzen naar verschillende concepten in neurale netwerken. Terugkerende neurale netwerken (RNN’s) gebruiken terugkerende verbindingen om het geheugen in de loop van de tijd in sequentiële gegevens te behouden, waardoor ze taken als tijdreeksvoorspelling en natuurlijke taalverwerking kunnen uitvoeren. Recursieve neurale netwerken (RvNN’s) zijn daarentegen hiërarchisch gestructureerd, waarbij knooppunten recursief dezelfde bewerking toepassen op hun onderliggende knooppunten. RvNN’s worden vaak gebruikt bij taken waarbij hiërarchische of boomachtige datastructuren betrokken zijn, zoals het parseren en sentimentanalyse van zinnen die zijn gestructureerd als ontleedbomen.
Terugkerende convolutie verwijst naar een hybride neurale netwerkarchitectuur die terugkerende neurale netwerken (RNN’s) combineert met convolutionele neurale netwerken (CNN’s). Deze aanpak heeft tot doel de sterke punten van beide architecturen te benutten: CNN’s voor de extractie van ruimtelijke kenmerken en RNN’s voor sequentiële modellering. Bij terugkerende convolutie worden convolutionele lagen doorgaans gebruikt om ruimtelijke kenmerken uit invoergegevens, zoals afbeeldingen of tijdreeksen, te extraheren, terwijl terugkerende lagen deze kenmerken in de loop van de tijd of opeenvolging verwerken. Deze hybride architectuur is met name effectief voor taken die zowel ruimtelijke als temporele contextmodellering vereisen, zoals videoanalyse, actieherkenning en spraakherkenning.
