Библиографическое описание:Сравнение эффективности градиентного алгоритма ADAM и его гибрида с DECC в обучении нейронной сети : доклад, тезисы доклада / Н. Р. Базин, Е. С. Семенкин. - [Б. м. : б. и.], 2026. - Текст : непосредственный // Достижения науки и технологий (ДНиТ-V-2026) : сборник научных статей по материалам V Всероссийской (национальной) научной конференции. - Красноярск, 2026. - С. 116-121. - ISBN 9785605323549, DOI 10.47813/dnit.5.2026.1017.
Аннотация:Одним устоявшимся и довольно простым способом обучения искусственных нейронных сетей является градиентный алгоритм Adaptive Moment Estimation (ADAM), недостатком которого можно назвать высокую вероятность сходимости в локальные оптимумы, которую стараются минимизировать, используя импульс и момент в подсчете каждой следующей исследуемой точки. Однако этого не всегда достаточно для получения эффективных результатов. В качестве решения этой проблемы иногда используют глобальные оптимизационные алгоритмы. Их преимуществом является более высокая вероятность сойтись к глобальному оптимуму, и эта вероятность напрямую зависит от количества выделенных вычислительных ресурсов. Однако для гарантированного нахождения глобального оптимума может потребоваться очень много этих ресурсов. Для смягчения недостатков обоих алгоритмов в данной работе рассмотрен гибридный подход, который совмещает преимущества градиентного алгоритма ADAM и кооперативной коэволюции алгоритмов дифференциальной эволюции (Cooperative Coevolution of Differential Evolution, DECC). В работе описан предложенный подход, сформулирована задача обучения нейронной сети при решении задачи символьной регрессии, а также проведены численные эксперименты. Полученные результаты демонстрируют эффективность предложенного подхода.
One established and relatively simple method for training artificial neural networks is the gradient-based Adaptive Moment Estimation (ADAM) algorithm. Its drawback is the high probability of convergence to local optima, which is minimized by using momentum and torque in the calculation of each subsequent point under study. However, this is not always sufficient to obtain effective results. Global optimization algorithms are sometimes used as a solution to this problem. Their advantage is a higher probability of converging to a global optimum, and this probability directly depends on the amount of allocated computing resources. However, a guaranteed finding of a global optimum can require a significant amount of these resources. To mitigate the shortcomings of both algorithms, this paper considers a hybrid approach that combines the advantages of the gradient-based ADAM algorithm and the Cooperative Coevolution of Differential Evolution (DECC) algorithms. The paper describes the proposed approach, formulates the problem of training a neural network to solve a symbolic regression problem, and conducts numerical experiments. The obtained results demonstrate the effectiveness of the proposed approach.
