Der Begriff „rekurrent“ im rekurrenten neuronalen Netzwerk (RNN) bezieht sich auf die Fähigkeit dieser neuronalen Netzwerke, Eingabedaten sequentiell zu verarbeiten. Im Gegensatz zu herkömmlichen Feedforward-Neuronalen Netzen, die Daten in einer festen Reihenfolge von der Eingabe bis zur Ausgabe verarbeiten, können RNNs durch verborgene Zustände eine Erinnerung an vergangene Eingaben aufrechterhalten. Dieser Speicher ermöglicht es RNNs, zeitliche Abhängigkeiten in sequentiellen Daten zu erfassen, wodurch sie sich gut für Aufgaben wie die Vorhersage von Zeitreihen, die Verarbeitung natürlicher Sprache und die Spracherkennung eignen.
Ein rekurrentes neuronales Netzwerk (RNN) ist eine Art künstliches neuronales Netzwerk, das für die Verarbeitung sequentieller Daten entwickelt wurde. Es besteht aus neuronalen Netzwerkeinheiten, die in Schichten organisiert sind, wobei jede Einheit einen Speicher oder Zustand verwaltet, der Informationen über frühere Eingaben erfasst. Dadurch können RNNs Muster und Beziehungen in sequentiellen Daten lernen, indem sie rekursiv denselben Gewichtungssatz auf jede Eingabe in der Sequenz anwenden. Die wiederkehrenden Verbindungen innerhalb von RNNs ermöglichen es ihnen, Sequenzen variabler Länge zu verarbeiten und Abhängigkeiten im Zeitverlauf zu modellieren, was sie zu leistungsstarken Werkzeugen für Aufgaben macht, die eine zeitliche Modellierung erfordern.
Eine wiederkehrende Schicht in einem neuronalen Netzwerk bezieht sich auf einen bestimmten Schichttyp, der darauf ausgelegt ist, wiederkehrende Verbindungen zwischen seinen Einheiten zu integrieren. Diese Verbindungen ermöglichen es der Schicht, frühere Eingaben im Gedächtnis zu behalten und Informationen über Zeitschritte innerhalb sequenzieller Daten weiterzugeben. Zu den gängigen Arten wiederkehrender Schichten gehören SimpleRNN, LSTM (Long Short-Term Memory) und GRU (Gated Recurrent Unit), die jeweils unterschiedliche Mechanismen bieten, um Herausforderungen wie verschwindende Gradienten und die Erfassung langfristiger Abhängigkeiten zu bewältigen.
Die Begriffe „rekurrent“ und „rekursiv“ beziehen sich auf unterschiedliche Konzepte in neuronalen Netzen. Rekurrente neuronale Netze (RNNs) nutzen wiederkehrende Verbindungen, um das Gedächtnis in sequentiellen Daten über einen längeren Zeitraum aufrechtzuerhalten, sodass sie Aufgaben wie die Vorhersage von Zeitreihen und die Verarbeitung natürlicher Sprache bewältigen können. Rekursive neuronale Netze (RvNNs) hingegen sind hierarchisch strukturiert, wobei Knoten rekursiv dieselbe Operation auf ihre untergeordneten Knoten anwenden. RvNNs werden häufig bei Aufgaben verwendet, die hierarchische oder baumartige Datenstrukturen beinhalten, wie z. B. das Parsen und die Stimmungsanalyse von Sätzen, die als Parse-Bäume strukturiert sind.
Unter rekurrenter Faltung versteht man eine hybride neuronale Netzwerkarchitektur, die rekurrente neuronale Netzwerke (RNNs) mit konvolutionellen neuronalen Netzwerken (CNNs) kombiniert. Dieser Ansatz zielt darauf ab, die Stärken beider Architekturen zu nutzen: CNNs für die Extraktion räumlicher Merkmale und RNNs für die sequentielle Modellierung. Bei der wiederkehrenden Faltung werden Faltungsschichten typischerweise verwendet, um räumliche Merkmale aus Eingabedaten wie Bildern oder Zeitreihen zu extrahieren, während wiederkehrende Schichten diese Merkmale über Zeit oder Sequenz verarbeiten. Diese Hybridarchitektur ist besonders effektiv für Aufgaben, die sowohl räumliche als auch zeitliche Kontextmodellierung erfordern, wie z. B. Videoanalyse, Aktionserkennung und Spracherkennung.