"Использование OpenMP для ускорения процесса обучения нейронных сетей". Алексей Александрович Пазников, СПбГЭТУ «ЛЭТИ», 30.6.2023
Состав коллектива
- Пазников Алексей Александрович, к.т.н., с.н.с. СПбГЭТУ «ЛЭТИ», руководитель
- Мохаммед Омар Таха Мохаммед, аспирант. СПбГЭТУ «ЛЭТИ», исполнитель
Аннотация
В данной работе исследован параллельный алгоритм обучения нейронных сетей с применением техники мини-пакетного подхода. Этот алгоритм предназначен для вычислительных систем с общей памятью и применяется к большим реальным данным, таким как социальные сети и веб-графы. В отличие от существующих методов мини-пакетного обучения, предложенный подход исключает определенные пакеты на основе их оценки потерь или производительности, вместо обучения всех пакетов на протяжении всего процесса обучения. Разработанный алгоритм реализован программно с использованием многопоточности на основе стандарта OpenMP. Экспериментальная оценка на задаче бинарной классификации с использованием реальных данных показала ускорение процесса обучения по сравнению с аналогичными методами. Ключевые слова: параллельные вычисления, машинное обучение, нейронные сети, OpenMP, многопоточность, контролируемое машинное обучение.
Грантовая поддержка
- Грант РНФ, проект № 22-21-00686 «Алгоритмы и программные средства оптимизации выполнения параллельных программ в модели удаленного доступа к памяти», руководитель – Пазников А.А., 2022-2023
Публикации
- O. T. Mohammed, A. A. Paznikov and S. Gorlatch, "Accelerating Neural Network Training Process on Multi-Core Machine Using OpenMP," 2022 III International Conference on Neural Networks and Neurotechnologies (NeuroNT), Saint Petersburg, Russian Federation, 2022, pp. 7-11, DOI: 10.1109/NeuroNT55429.2022.9805549