NTT und die Universität Tokio entwickeln die weltweit erste Optical-Computing-KI mit einem vom menschlichen Gehirn inspirierten Algorithmus

Die Zusammenarbeit fördert die praktische Anwendung von Low-Power-High-Speed-KI auf Basis von Optical Computing

TOKYO– (BUSINESS WIRE) -#TechforGood-NTT Corporation (Präsident und CEO: Akira Shimada, „NTT“) und die University of Tokyo (Bunkyo-ku, Tokio, Präsident: Teruo Fujii) haben einen neuen Lernalgorithmus entwickelt, der von der Informationsverarbeitung des Gehirns inspiriert ist und sich für mehrschichtige künstliche neuronale Netze (DNN) mit analogen Operationen eignet. Dieser Durchbruch wird zu einer Reduzierung des Stromverbrauchs und der Rechenzeit für KI führen. Die Ergebnisse dieser Entwicklung wurden im britischen Wissenschaftsjournal veröffentlicht Nature Communications veröffentlicht Am Dezember 26^th.

Die Forscher erzielten die weltweit erste Demonstration von effizient ausgeführtem optischem DNN-Lernen, indem sie den Algorithmus auf ein DNN anwendeten, das optische analoge Berechnungen verwendet, von denen erwartet wird, dass sie Geräte für maschinelles Lernen mit hoher Geschwindigkeit und geringem Stromverbrauch ermöglichen. Darüber hinaus haben sie die weltweit höchste Leistung eines mehrschichtigen künstlichen neuronalen Netzwerks erzielt, das analoge Operationen verwendet.

In der Vergangenheit wurden Hochlast-Lernberechnungen durch digitale Berechnungen durchgeführt, aber dieses Ergebnis beweist, dass es möglich ist, die Effizienz des Lernteils durch Verwendung analoger Berechnungen zu verbessern. In der Deep Neural Network (DNN)-Technologie wird ein rekurrentes neuronales Netzwerk namens Deep Reservoir Computing berechnet, indem ein optischer Impuls als Neuron und ein nichtlinearer optischer Ring als neuronales Netzwerk mit rekursiven Verbindungen angenommen werden. Durch erneutes Einspeisen des Ausgangssignals in dieselbe optische Schaltung wird das Netzwerk künstlich vertieft.

Die DNN-Technologie ermöglicht fortschrittliche künstliche Intelligenz (KI) wie maschinelle Übersetzung, autonomes Fahren und Robotik. Gegenwärtig steigen die erforderliche Leistung und Rechenzeit mit einer Geschwindigkeit, die das Leistungswachstum digitaler Computer übersteigt. Es wird erwartet, dass die DNN-Technologie, die analoge Signalberechnungen (analoge Operationen) verwendet, eine Methode zur Realisierung hocheffizienter und schneller Berechnungen ähnlich dem neuronalen Netzwerk des Gehirns ist. Die Zusammenarbeit zwischen NTT und der Universität Tokio hat einen neuen Algorithmus entwickelt, der für ein DNN mit analogem Betrieb geeignet ist, der kein Verständnis der im DNN enthaltenen Lernparameter voraussetzt.

Das vorgeschlagene Verfahren lernt durch Änderung der Lernparameter anhand der letzten Schicht des Netzes und der nichtlinearen Zufallstransformation des Fehlers des gewünschten Ausgangssignals (Fehlersignal). Diese Berechnung erleichtert die Implementierung analoger Berechnungen in Dingen wie optischen Schaltungen. Es kann auch nicht nur als Modell für die physische Implementierung verwendet werden, sondern auch als hochmodernes Modell, das in Anwendungen wie maschineller Übersetzung und verschiedenen KI-Modellen, einschließlich des DNN-Modells, verwendet wird. Diese Forschung soll zur Lösung aufkommender Probleme im Zusammenhang mit KI-Computing beitragen, einschließlich Stromverbrauch und erhöhter Rechenzeit.

Neben der Untersuchung der Anwendbarkeit der in diesem Dokument vorgeschlagenen Methode auf spezifische Probleme wird NTT auch die Integration optischer Hardware im großen und kleinen Maßstab fördern, mit dem Ziel, eine optische Hochgeschwindigkeits-Computing-Plattform mit geringem Stromverbrauch für zukünftige optische Systeme zu etablieren Netzwerke.

Unterstützung für diese Forschung:

JST/CREST unterstützte einen Teil dieser Forschungsergebnisse.

Zeitschriftenveröffentlichung:

Magazine: Nature Communications veröffentlicht (Online-Version: 26. Dez.)

Artikeltitel: Physical Deep Learning mit biologisch inspirierter Trainingsmethode: Gradientenfreier Ansatz für physische Hardware

Autoren: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto und Kohei Nakajima

Erläuterung der Terminologie:

1. Optischer Schaltkreis: Ein Schaltkreis, bei dem optische Wellenleiter aus Silizium oder Quarz unter Verwendung von Herstellungstechnologie für elektronische Schaltkreise auf einem Siliziumwafer integriert werden. Bei der Kommunikation werden das Verzweigen und Zusammenführen optischer Kommunikationspfade durch optische Interferenz, Wellenlängen-Multiplexing/Demultiplexing und dergleichen durchgeführt.
2. Backpropagation (BP)-Methode: Der am häufigsten verwendete Lernalgorithmus im Deep Learning. Gradienten von Gewichten (Parametern) in dem Netzwerk werden erhalten, während das Fehlersignal rückwärts ausgebreitet wird, und die Gewichte werden aktualisiert, so dass der Fehler kleiner wird. Da der Backpropagation-Prozess eine Umsetzung der Gewichtsmatrix des Netzwerkmodells und eine nichtlineare Differentiation erfordert, ist es schwierig, ihn auf analogen Schaltungen zu implementieren, einschließlich des Gehirns eines lebenden Organismus.
3. Analoges Rechnen: Ein Computer, der reale Werte ausdrückt verwendet physikalische Größen wie die Intensität und Phase des Lichts und die Richtung und Intensität magnetischer Spins und führt Berechnungen durch, indem diese physikalischen Größen gemäß den Gesetzen der Physik geändert werden.
4. Direct Feedback Alignment (DFA)-Verfahren: Ein Verfahren zur Pseudoberechnung des Fehlersignals jeder Schicht durch Durchführen einer nichtlinearen Zufallstransformation am Fehlersignal der letzten Schicht. Da es keine differentiellen Informationen des Netzwerkmodells benötigt und nur durch parallele Zufallstransformation berechnet werden kann, ist es mit analoger Berechnung kompatibel.
5. Reservoir-Computing: Eine Art wiederkehrendes neuronales Netzwerk mit wiederkehrenden Verbindungen in der verborgenen Schicht. Es ist gekennzeichnet durch willkürlich fixierende Verbindungen in einer Zwischenschicht, die als Reservoirschicht bezeichnet wird. Beim Deep-Reservoir-Computing wird die Informationsverarbeitung durchgeführt, indem Reservoirschichten in mehreren Schichten verbunden werden.

NTT und das NTT-Logo sind eingetragene Marken oder Marken von NIPPON TELEGRAPH AND TELEPHONE CORPORATION und/oder seinen verbundenen Unternehmen. Alle anderen genannten Produktnamen sind Marken ihrer jeweiligen Eigentümer. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Kontakt

Stefan Russel

Drahtseitige Kommunikation®

Für NT

+ 1-(804) 362-7484

[E-Mail geschützt]