• Open Daily: 10am - 10pm
    Alley-side Pickup: 10am - 7pm

    3038 Hennepin Ave Minneapolis, MN
    612-822-4611

Open Daily: 10am - 10pm | Alley-side Pickup: 10am - 7pm
3038 Hennepin Ave Minneapolis, MN
612-822-4611
Cluster di calcolo parallelo per la risoluzione di problemi computazionali relativi ai dati

Cluster di calcolo parallelo per la risoluzione di problemi computazionali relativi ai dati

Paperback

General Computers

ISBN10: 6630382404
ISBN13: 9786630382402
Publisher: Edizioni Sapienza
Published: Aug 20 2026
Pages: 56
Weight: 0.19
Height: 0.13 Width: 6.00 Depth: 9.00
Language: Italian
Questo libro affronta un collo di bottiglia critico nell'IA su larga scala: l'addestramento lento e ad alto carico di comunicazione delle reti neurali profonde (DNN) su sistemi multi-GPU. Esamina il compromesso tra due principali metodi di parallelizzazione. Il parallelismo dei dati presenta un notevole sovraccarico di comunicazione per i modelli di grandi dimensioni, mentre il parallelismo dei modelli in pipeline (come PipeDream) offre un aumento della velocità fino a 8,91 volte per le grandi reti neurali completamente connesse o ricorrenti, ma causa una obsolescenza dei pesi, che compromette l'accuratezza del modello. Per risolvere questo problema, l'articolo introduce SpecTrain, una tecnica innovativa. SpecTrain utilizza lo slancio degli ottimizzatori per prevedere i futuri aggiornamenti dei pesi, consentendo un calcolo in pipeline con pesi accurati e non obsoleti. Ciò permette un elevato utilizzo della GPU e la velocità della pipeline, mantenendo al contempo la robustezza dell'addestramento e l'accuratezza finale dei metodi sincroni.

Also in

General Computers