• Open Daily: 10am - 10pm
    Alley-side Pickup: 10am - 7pm

    3038 Hennepin Ave Minneapolis, MN
    612-822-4611

Open Daily: 10am - 10pm | Alley-side Pickup: 10am - 7pm
3038 Hennepin Ave Minneapolis, MN
612-822-4611
Klaster obliczeń równoleglych slużący do rozwiązywania problemów obliczeniowych związanych z danymi

Klaster obliczeń równoleglych slużący do rozwiązywania problemów obliczeniowych związanych z danymi

Paperback

General Computers

ISBN10: 6630384962
ISBN13: 9786630384963
Publisher: Wydawnictwo Nasza Wiedza
Published: Aug 21 2026
Pages: 56
Weight: 0.19
Height: 0.13 Width: 6.00 Depth: 9.00
Language: Polish
Książka ta porusza kwestię kluczowego wąskiego gardla w sztucznej inteligencji na dużą skalę powolnego i wymagającego intensywnej komunikacji uczenia ogromnych glębokich sieci neuronowych (DNN) na systemach z wieloma procesorami graficznymi. Omówiono w niej kompromis między dwiema glównymi metodami równoleglego przetwarzania. Równoleglośc danych wiąże się z dużym obciążeniem komunikacyjnym w przypadku dużych modeli, podczas gdy równoleglośc modeli w trybie potokowym (taka jak PipeDream) zapewnia nawet 8,91-krotne przyspieszenie w przypadku dużych w pelni polączonych/rekurencyjnych sieci neuronowych, ale powoduje nieaktualnośc wag, co obniża dokladnośc modelu. Aby rozwiązac ten problem, w artykule przedstawiono SpecTrain - nowatorską technikę. SpecTrain wykorzystuje pęd generowany przez optymalizatory do przewidywania przyszlych aktualizacji wag, umożliwiając obliczenia potokowe z wykorzystaniem dokladnych, aktualnych wag. Pozwala to na wysokie wykorzystanie mocy obliczeniowej procesorów graficznych i szybkośc obliczeń potokowych przy jednoczesnym zachowaniu odporności procesu uczenia i końcowej dokladności charakterystycznej dla metod synchronicznych.

Also in

General Computers