• Open Daily: 10am - 10pm
    Alley-side Pickup: 10am - 7pm

    3038 Hennepin Ave Minneapolis, MN
    612-822-4611

Open Daily: 10am - 10pm | Alley-side Pickup: 10am - 7pm
3038 Hennepin Ave Minneapolis, MN
612-822-4611
Parallelrechner-Cluster zur Lösung von Rechenaufgaben im Bereich Daten

Parallelrechner-Cluster zur Lösung von Rechenaufgaben im Bereich Daten

Paperback

General Computers

ISBN10: 663037472X
ISBN13: 9786630374728
Publisher: Verlag Unser Wissen
Published: Aug 21 2026
Pages: 56
Weight: 0.19
Height: 0.13 Width: 6.00 Depth: 9.00
Language: German
Dieses Buch befasst sich mit einem entscheidenden Engpass bei der gro angelegten KI: dem langsamen und kommunikationsintensiven Training riesiger tiefer neuronaler Netze (DNNs) auf Multi-GPU-Systemen. Es behandelt den Kompromiss zwischen zwei wichtigen Parallelisierungsmethoden. Die Datenparallelität leidet bei gro en Modellen unter einem erheblichen Kommunikationsaufwand, während die pipelinierte Modellparallelität (wie PipeDream) zwar eine bis zu 8,91-fache Beschleunigung für gro e, vollständig verbundene bzw. rekurrente neuronale Netze bietet, jedoch zu Gewichtsveralterung führt, was die Modellgenauigkeit beeinträchtigt. Um dieses Problem zu lösen, stellt die Arbeit mit SpecTrain eine neuartige Technik vor. SpecTrain nutzt den Impuls von Optimierern, um zukünftige Gewichtsaktualisierungen vorherzusagen, und ermöglicht so eine pipelinierte Berechnung mit genauen, aktuellen Gewichten. Dies ermöglicht die hohe GPU-Auslastung und Geschwindigkeit der Pipelinierung bei gleichzeitiger Beibehaltung der Trainingsrobustheit und der endgültigen Genauigkeit synchroner Methoden.

Also in

General Computers