Der CPU-Algorithmus trainiert tiefe neuronale Netze bis zu 15-mal schneller als Top-GPU-Trainer

Anshumali Shrivastava ist Assistenzprofessor für Informatik an der Rice University. Bildnachweis: Jeff Fitlow / Rice University

Informatiker der Rice University haben Software für künstliche Intelligenz (KI) demonstriert, die auf Standardprozessoren ausgeführt wird und tiefe neuronale Netze 15-mal schneller trainiert als Plattformen, die auf Grafikprozessoren basieren.

“Die Kosten für die Ausbildung sind der eigentliche Engpass in der KI”, sagte Anshumali Shrivastava, Assistenzprofessor für Informatik an der Brown School of Engineering von Rice. “Unternehmen geben wöchentlich Millionen von Dollar aus, um ihre KI-Workloads zu trainieren und zu optimieren.”

Shrivastava und Mitarbeiter von Rice und Intel werden auf der Konferenz über maschinelle Lernsysteme am 8. April Forschungsergebnisse vorstellen, die sich mit diesem Engpass befassen MLSys.

Deep Neural Networks (DNN) sind eine leistungsstarke Form der künstlichen Intelligenz, die bei einigen Aufgaben den Menschen übertreffen kann. Das DNN-Training besteht in der Regel aus einer Reihe von Matrixmultiplikationsoperationen, einer idealen Arbeitslast für Grafikprozessoren (GPUs), die etwa dreimal so viel kosten wie Allzweck-Zentraleinheiten (CPUs).

“Die gesamte Branche ist auf eine Art von Verbesserung fixiert – schnellere Matrixmultiplikationen”, sagte Shrivastava. “Jeder sucht nach spezialisierter Hardware und Architekturen, um die Matrixmultiplikation voranzutreiben. Die Leute sprechen jetzt sogar davon, spezialisierte Hardware-Software-Stacks für bestimmte Arten von Deep Learning zu haben. Anstatt einen teuren Algorithmus zu verwenden und die ganze Welt der Systemoptimierung darauf zu werfen, Ich sage: ‘Lassen Sie uns den Algorithmus noch einmal überdenken.’ “

Shrivastavas Labor hat dies 2019 getan und das DNN-Training als Suchproblem neu formuliert, das mit Hash-Tabellen gelöst werden konnte. Ihre “sublineare Deep-Learning-Engine” (SLIDE) wurde speziell für Standard-CPUs entwickelt. Shrivastava und Mitarbeiter von Intel haben gezeigt, dass sie das GPU-basierte Training übertreffen können, als sie es auf der MLSys 2020 vorstellten.

Die Studium Sie werden diese Woche auf der MLSys 2021 präsentieren untersuchten, ob die Leistung von SLIDE durch Vektorisierungs- und Speicheroptimierungsbeschleuniger in modernen CPUs verbessert werden kann.

“Die auf Hash-Tabellen basierende Beschleunigung übertrifft bereits die GPU, aber auch die CPUs entwickeln sich weiter”, sagte Shabnam Daghaghi, Co-Autor der Studie, ein Rice-Doktorand. “Wir haben diese Innovationen genutzt, um SLIDE noch weiter zu entwickeln. Wenn Sie nicht auf Matrixmultiplikationen fixiert sind, können Sie die Leistung moderner CPUs nutzen und KI-Modelle vier- bis 15-mal schneller trainieren als die beste spezialisierte Hardwarealternative.”

Der Co-Autor der Studie, Nicholas Meisburger, ein Rice-Student, sagte: “CPUs sind immer noch die am weitesten verbreitete Hardware im Computer. Die Vorteile, sie für KI-Workloads attraktiver zu machen, sind nicht zu unterschätzen.”


Weiter erforschen

Deep Learning Rethink überwindet große Hindernisse in der KI-Industrie


Bereitgestellt von der Rice University

Zitat: Der CPU-Algorithmus trainiert tiefe neuronale Netze bis zu 15-mal schneller als die besten GPU-Trainer (2021, 7. April), die am 8. April 2021 von https://techxplore.com/news/2021-04-rice-intel-optimize-ai-commodity abgerufen wurden .html

Dieses Dokument unterliegt dem Urheberrecht. Abgesehen von fairen Geschäften zum Zwecke des privaten Studiums oder der Forschung darf kein Teil ohne schriftliche Genehmigung reproduziert werden. Der Inhalt wird nur zu Informationszwecken bereitgestellt.

This website uses cookies to improve your experience. We'll assume you're ok with this, but you can opt-out if you wish. Accept Read More

Privacy & Cookies Policy