Wenn heute von Künstlicher Intelligenz (KI) die Rede ist, fallen oft Namen wie Hinton, LeCun oder Bengio, die für ihre wegweisenden Arbeiten im Bereich des Deep Learning mit dem Turing Award ausgezeichnet wurden. Doch es gibt eine weitere zentrale Figur in diesem Feld, deren Einfluss unbestreitbar ist, auch wenn die öffentliche Wahrnehmung und die offizielle Ehrung manchmal hinter seinen tatsächlichen Beiträgen zurückzubleiben scheinen: Professor Jürgen Schmidhuber. Ein Wissenschaftler, getrieben von dem seit seiner Jugend verfolgten Ziel, eine sich selbst verbessernde KI zu schaffen, die klüger ist als er selbst. Seine Forschung, insbesondere auf dem Gebiet der rekurrenten neuronalen Netze, hat die Landschaft der modernen KI maßgeblich geprägt und ist heute in unzähligen Anwendungen präsent, von der Spracherkennung auf unseren Smartphones bis hin zur maschinellen Übersetzung.
Eine frühe Vision: Das Streben nach einer überlegenen Intelligenz
Jürgen Schmidhuber, geboren 1963 in Augsburg, zeigte schon früh ein tiefes Interesse an den Fundamenten von Intelligenz und Lernen. Bereits als Teenager fasste er den Entschluss, eine künstliche Intelligenz zu entwickeln, die in der Lage ist, sich selbst zu verbessern und schließlich die menschliche Intelligenz zu übertreffen. Dieses ambitionierte Ziel wurde zum roten Faden seiner gesamten wissenschaftlichen Laufbahn.
Er studierte in München Informatik und Mathematik, zwei Disziplinen, die das notwendige Rüstzeug für sein Vorhaben boten. Schon in dieser Zeit beschäftigte er sich intensiv mit neuronalen Netzen, einem Forschungsgebiet, das damals, nach der ersten „KI-Winterperiode“, noch nicht die breite Aufmerksamkeit genoss wie heute. Doch Schmidhuber erkannte das Potenzial dieser biologisch inspirierten Modelle für das maschinelle Lernen und die Schaffung von Intelligenz.
Die Revolution der rekurrenten neuronalen Netze: LSTMs erobern die Welt
Ein entscheidender Durchbruch in Schmidhubers Forschung, der seine Arbeit und das gesamte Feld der KI maßgeblich beeinflussen sollte, war die Entwicklung von rekurrenten neuronalen Netzen (RNNs) und insbesondere der Long Short-Term Memory (LSTM)-Einheiten.
Herkömmliche neuronale Netze, wie Feedforward-Netze, verarbeiten Informationen nur in eine Richtung – vom Input zum Output. Sie haben kein „Gedächtnis“ für vorherige Eingaben und tun sich daher schwer mit der Verarbeitung sequenzieller Daten, bei denen der Kontext früherer Elemente wichtig ist. Denken Sie an Sprache: Die Bedeutung eines Wortes hängt oft von den vorhergehenden Wörtern ab. Musik, Handschrift oder Zeitreihendaten sind weitere Beispiele für sequentielle Informationen.
RNNs versuchen dieses Problem zu lösen, indem sie Schleifen in ihren Verbindungen haben, die es ihnen ermöglichen, Informationen über die Zeit hinweg zu speichern und frühere Eingaben zu berücksichtigen. In den späten 1980er und frühen 1990er Jahren wurden verschiedene Arten von RNNs erforscht. Allerdings hatten viele frühe RNNs ein gravierendes Problem, bekannt als das Verschwinden oder Explodieren des Gradienten. Bei der Fehlerrückführung während des Trainings (Backpropagation) wurden die Gradienten, die für die Anpassung der Gewichte notwendig sind, über längere Sequenzen hinweg entweder extrem klein (verschwindend) oder extrem groß (explodierend). Dies erschwerte oder verhinderte das Lernen von langfristigen Abhängigkeiten in den Daten. Ein RNN konnte sich sozusagen nicht an weit zurückliegende Informationen erinnern.
Hier setzten Schmidhuber und sein Student Sepp Hochreiter an. Im Jahr 1997 veröffentlichten sie ihre bahnbrechende Arbeit über Long Short-Term Memory (LSTM)-Netzwerke. LSTM-Einheiten sind eine spezielle Art von RNN-Zellen, die entwickelt wurden, um genau das Problem des verschwindenden Gradienten zu überwinden. Der Kern einer LSTM-Zelle ist eine „Gedächtniszelle“, die Informationen über lange Zeiträume speichern kann. Gesteuert wird dieser Informationsfluss durch spezielle „Gates“ (Tore):
- Eingabe-Gate: Bestimmt, welche neuen Informationen in der Gedächtniszelle gespeichert werden sollen.
- Vergessens-Gate: Bestimmt, welche Informationen aus der Gedächtniszelle verworfen werden sollen.
- Ausgabe-Gate: Bestimmt, welche Informationen aus der Gedächtniszelle als Output ausgegeben werden sollen.
Diese Gates, die selbst durch das Netzwerk gelernt werden, ermöglichen es der LSTM-Zelle, relevante Informationen über lange Sequenzen hinweg zu behalten und irrelevante Informationen zu vergessen. Dies war ein revolutionärer Ansatz, der es RNNs erstmals ermöglichte, effektiv aus Daten mit langen Abhängigkeiten zu lernen.
Die Bedeutung von LSTMs kann kaum überschätzt werden. Sie wurden schnell zum Standard für die Verarbeitung sequenzieller Daten und erzielten in den folgenden Jahren in zahlreichen Aufgabenbereichen, bei denen RNNs zuvor gescheitert waren, Durchbrüche und neue Rekorde. Spracherkennung, Handschrifterkennung, maschinelle Übersetzung, Textgenerierung, Zeitreihenanalyse – LSTMs wurden zur bevorzugten Architektur. Große Technologieunternehmen wie Google, Apple und Amazon integrierten LSTMs in ihre Kernprodukte und Dienste (z. B. Google Translate, Siri, Alexa), was maßgeblich zur Verbesserung dieser Anwendungen beitrug und den Weg für die heutige Dominanz von Deep Learning in vielen Bereichen ebnete. LSTMs werden oft als das „meistzitierte neuronale Netz des 20. Jahrhunderts“ bezeichnet, was ihre enorme wissenschaftliche Wirkung unterstreicht.
Schmidhubers Blick auf die KI-Geschichte: Eine Frage der Anerkennung
Jürgen Schmidhuber ist nicht nur ein herausragender Forscher, sondern auch ein Wissenschaftler, der sich aktiv an der Debatte über die Geschichte der Künstlichen Intelligenz und die angemessene Anerkennung von Beiträgen beteiligt. Seine Perspektive weicht dabei oft von der populären Erzählung ab, die den „Deep Learning Boom“ der frühen 2010er Jahre (oft beginnend mit dem ImageNet-Moment im Jahr 2012) als plötzlichen und unerwarteten Durchbruch darstellt, der maßgeblich von wenigen Forschern vorangetrieben wurde, die später den Turing Award erhielten.
Schmidhuber argumentiert vehement, dass viele der Kernkonzepte des modernen Deep Learning, einschließlich entscheidender Architekturen und Trainingsmethoden, ihre Wurzeln in sehr viel früheren Arbeiten haben, oft in den 1980er und 1990er Jahren, an denen sein eigenes Labor am Schweizer AI Lab IDSIA maßgeblich beteiligt war. Er verweist auf Arbeiten zu:
- Rekurrenten neuronalen Netzen und LSTMs: Wie bereits erwähnt, wurden diese architektonischen Fundamente lange vor dem „Deep Learning Boom“ gelegt.
- Deep Convolutional Networks (CNNs): Obwohl CNNs oft mit den Erfolgen in den 2010er Jahren in Verbindung gebracht werden, gab es auch hier frühere Arbeiten und Schmidhubers Labor erzielte bereits 2011 mit „DanNet“ (benannt nach seinem Postdoc Dan Cireșan) wegweisende Ergebnisse bei Bilderkennungswettbewerben, die zeigten, dass tiefe CNNs mithilfe von Grafikprozessoren (GPUs) effektiv trainiert werden können.
- Unüberwachtes Vortraining: Techniken, bei denen ein neuronales Netz zunächst ohne spezifische Labels auf großen Datensätzen trainiert wird, um nützliche interne Repräsentationen zu lernen, bevor es für spezifische Aufgaben feinabgestimmt wird (ein Konzept, das auch in modernen Modellen wie den „Transformers“, die GPTs zugrunde liegen, wichtig ist), wurden ebenfalls schon früher erforscht.
Schmidhuber ist bekannt dafür, die Priorität dieser früheren Arbeiten nachdrücklich einzufordern und kritisiert, wenn seiner Meinung nach die Anerkennung für diese grundlegenden Beiträge zugunsten einer Fokussierung auf jüngere Entwicklungen oder bestimmte Personen zu kurz kommt. Er führt detaillierte „History of Deep Learning“-Seiten auf seiner Website, die akribisch die Veröffentlichungsdaten verschiedener Konzepte dokumentieren, um seine Argumentation zu untermauern. Diese Haltung hat ihm einerseits Respekt für seine Beharrlichkeit und seinen Einsatz für die historische Genauigkeit eingebracht, andererseits wurde sie manchmal auch als kontrovers oder übertrieben empfunden.
Aus Schmidhubers Sicht ist die Entwicklung der modernen KI keine plötzliche Revolution, sondern eine kontinuierliche Evolution, die auf den Schultern von Pionieren steht, deren Arbeiten oft lange Zeit unterschätzt oder übersehen wurden, bevor die notwendige Rechenleistung und die großen Datensätze zur Verfügung standen, um ihr volles Potenzial zu entfalten. Er sieht sich selbst als einen dieser Pioniere, dessen grundlegende Ideen erst Jahre oder Jahrzehnte später ihre volle Wirkung entfalteten.
Beiträge jenseits von LSTMs: Künstliche Neugier und Meta-Lernen
Schmidhubers Forschung ist keineswegs auf RNNs und LSTMs beschränkt. Sein Labor am IDSIA und später an der KAUST hat auch in anderen Bereichen der KI wegweisende Arbeit geleistet:
- Künstliche Neugier und Kreativität: Schmidhuber hat Mechanismen für künstliche Agenten entwickelt, die lernen, ihre Umgebung aktiv zu erkunden, indem sie durch das Lernen über ihre Umwelt „belohnt“ werden. Diese intrinsische Motivation oder künstliche Neugier treibt den Agenten an, unbekannte oder überraschende Zustände zu suchen und daraus zu lernen. Er argumentiert, dass solche Neugiermechanismen eine Grundlage für künstliche Kreativität und wissenschaftliche Entdeckung sein könnten.
- Meta-Lernen („Learning to Learn“): Ein weiteres Forschungsgebiet Schmidhubers ist das Meta-Lernen, bei dem Systeme lernen, wie sie selbst am besten lernen. Solche „Meta-Lerner“ können ihre eigenen Lernalgorithmen oder -strategien im Laufe der Zeit verbessern, was einen wichtigen Schritt auf dem Weg zu sich selbst verbessernden KI-Systemen darstellt.
- Universelle KI und theoretische Grundlagen: Schmidhuber beschäftigt sich auch mit den theoretischen Grundlagen der Künstlichen Intelligenz und strebt nach der Entwicklung von universellen intelligenten Agenten, die prinzipiell jedes lösbare Problem lösen könnten. Seine Arbeiten verbinden oft Ideen aus der theoretischen Informatik, der Kontrolltheorie und der Informationstheorie.
Diese Forschungsrichtungen zeigen die Breite und den langfristigen Fokus von Schmidhubers Arbeit, die über die direkten praktischen Anwendungen von Deep Learning hinausgeht und sich grundlegenden Fragen der Intelligenz und des Lernens widmet.
NNAISENSE und die Jagd nach AGI
Neben seiner akademischen Tätigkeit ist Jürgen Schmidhuber auch Mitbegründer und Chief Scientist von NNAISENSE (Neural Network AI SENSE). Dieses Unternehmen hat sich zum Ziel gesetzt, praktische, universelle Künstliche Intelligenz (AGI – Artificial General Intelligence) zu entwickeln, die in der Lage ist, eine breite Palette von Aufgaben zu verstehen und auszuführen, ähnlich wie ein Mensch. NNAISENSE konzentriert sich auf die Anwendung fortschrittlicher neuronaler Netze, einschließlich der Weiterentwicklung von LSTMs und anderen rekurrenten Architekturen, um komplexe Probleme in verschiedenen Branchen zu lösen.
Die Gründung von NNAISENSE im Jahr 2014 unterstreicht Schmidhubers Überzeugung, dass die Zeit reif ist, die akademischen Fortschritte in der KI in kommerzielle Anwendungen zu überführen und dem Ziel der AGI näherzukommen. Das Unternehmen arbeitet daran, KI-Systeme zu schaffen, die nicht nur spezifische Aufgaben lösen, sondern auch in komplexen, sich verändernden Umgebungen agieren und lernen können.
Schmidhubers Ansichten zur AGI sind optimistisch. Er ist davon überzeugt, dass wir in absehbarer Zeit Zeugen der Entstehung von Maschinen sein werden, deren Intelligenz die menschliche bei weitem übertreffen wird. Er sieht darin enorme Chancen für die Lösung globaler Probleme und die Weiterentwicklung der Menschheit, auch wenn er sich der potenziellen Risiken bewusst ist.
Anerkennung und Kontroversen: Ein komplexes Verhältnis
Jürgen Schmidhuber hat im Laufe seiner Karriere zahlreiche Auszeichnungen für seine Forschungsarbeiten erhalten. Dazu gehören der Helmholtz Award der International Neural Networks Society (2013), der IEEE CIS Neural Networks Pioneer Award (2016) für „wegweisende Beiträge zu Deep Learning und neuronalen Netzen“ und weitere Ehrungen, die seine Bedeutung im Feld unterstreichen.
Trotzdem gibt es, wie bereits angedeutet, eine anhaltende Debatte über das Ausmaß der Anerkennung, die ihm im Vergleich zu anderen führenden Forschern im Bereich Deep Learning zuteilwird. Schmidhuber selbst hat oft öffentlich darauf hingewiesen, wenn seiner Meinung nach seine oder die Beiträge seines Labors in historischen Darstellungen oder bei Preisvergaben nicht ausreichend gewürdigt wurden. Diese Diskussion über die „richtige“ Geschichtsschreibung des Deep Learning ist komplex und berührt Fragen der wissenschaftlichen Priorität, des Einflusses von Veröffentlichungen, der Rolle von Industrieforschung und der Mechanismen der wissenschaftlichen Anerkennung.
Einige argumentieren, dass Schmidhubers Arbeiten, insbesondere LSTMs, zu einer Zeit entwickelt wurden, als das breitere Interesse an neuronalen Netzen geringer war und dass ihre volle Wirkung erst Jahre später sichtbar wurde, als andere Forscher sie aufgriffen und in großem Maßstab anwendeten. Andere sehen darin eine Ungerechtigkeit und sind der Meinung, dass die grundlegenden Erfinder angemessen gewürdigt werden sollten, unabhängig davon, wann ihre Ideen Mainstream wurden. Schmidhuber selbst betrachtet die Debatte als wichtig für die wissenschaftliche Integrität und eine angemessene „Credit Assignment“ innerhalb der Forschungsgemeinschaft.
Philosophische Ausblicke: Intelligenz, Kreativität und das Universum
Über seine konkrete Forschung hinaus beschäftigt sich Jürgen Schmidhuber mit tiefgreifenden philosophischen Fragen rund um Intelligenz, Bewusstsein, Kreativität und die Natur des Universums. Er hat eine formale Theorie der Kreativität entwickelt, die diese als die Suche nach neuen, nicht offensichtlichen Mustern versteht, die zu einer Reduktion der Komplexität in der Beschreibung der Welt führen.
Er ist auch bekannt für seine spekulativen Gedanken über die Zukunft der KI und der Menschheit im kosmischen Maßstab. Er betrachtet die Entwicklung von AGI als einen notwendigen Schritt in der Evolution komplexer Systeme im Universum und sieht langfristig die Möglichkeit, dass künstliche Intelligenz über die Erde hinaus expandiert und letztlich die Grenzen des Kosmos neu definiert. Solche weitreichenden Überlegungen positionieren Schmidhuber nicht nur als KI-Forscher, sondern auch als Denker, der die Implikationen seiner Arbeit in einem sehr breiten Kontext betrachtet.
Fazit: Ein Visionär mit bleibendem Einfluss
Jürgen Schmidhuber ist zweifellos eine der prägendsten Figuren in der Geschichte der modernen Künstlichen Intelligenz. Seine Erfindung der LSTMs war ein fundamentaler Schritt, der die Verarbeitung sequenzieller Daten revolutionierte und entscheidend zum Erfolg des Deep Learning beitrug. Seine frühen Arbeiten zu CNNs, unüberwachtem Lernen und künstlicher Neugier zeugen von einem tiefen Verständnis der Prinzipien des Lernens und der Intelligenz.
Auch wenn die Anerkennung seiner Beiträge Gegenstand von Debatten ist, ändert dies nichts an der Tatsache, dass seine Forschung die Grundlage für zahlreiche Anwendungen und weitere Entwicklungen im Bereich der KI gelegt hat, die heute unseren Alltag prägen. Schmidhubers rastloses Streben nach der Schaffung einer überlegenen künstlichen Intelligenz und seine oft provokanten, aber fundierten Ansichten zur Geschichte und Zukunft seines Forschungsfeldes machen ihn zu einer einzigartigen und wichtigen Stimme in der globalen KI-Landschaft.
Er ist ein Wissenschaftler, der nicht davor zurückschreckt, große Fragen zu stellen und unkonventionelle Wege zu beschreiten. Sein Einfluss wird voraussichtlich noch über Jahrzehnte in der Weiterentwicklung der künstlichen Intelligenz spürbar sein. Jürgen Schmidhuber mag für einige der „unterschätzte Revolutionär“ sein, doch seine Beiträge sind ein Eckpfeiler des Fundaments, auf dem die heutige KI aufgebaut ist. Seine Geschichte ist ein wichtiges Kapitel im Buch der künstlichen Intelligenz – ein Kapitel, das von Weitblick, Beharrlichkeit und dem unerschütterlichen Glauben an das Potenzial intelligenter Maschinen erzählt.