Библиографическое описание:ОПТИМИЗАЦИЯ ПЛАНОВ КООРДИНАЦИЙ ДЛЯ СВЕТОФОРНЫХ ОБЪЕКТОВ УЧАСТКА ДОРОЖНОЙ СЕТИ : доклад, тезисы доклада / Т. И. Тисленко, Д. В. Семенова, Н. А. Сергеева. - [Б. м. : б. и.], 2022. - Текст : непосредственный // Системы управления, информационные технологии и математическое моделирование : Материалы IV Всероссийской научно-практической конференции с международным участием. В 2-х томах / Отв. редактор В.Н. Задорожный ; Системы управления, информационные технологии и математическое моделирование (2022 ; 19.05 - 19.05 ; Омск). - Омск : Омский государственный технический университет, 2022. - I. - С. 255-261. - ISBN 978-5-8149-3487-1, DOI 10.25206/978-5-8149-3487-1-2022-1-255-261. Перевод заглавия: OPTIMIZATION OF COORDINATION PLANS FOR TRAFFIC LIGHT OBJECTS OF THE ROAD NETWORK SECTION
Аннотация:Решена задача оптимизации планов координаций на основе управления выбором задержки сигнала для светофорных объектов с учетом их текущего расположения и загрузки. В качестве математической модели используется управляемый марковский процесс с конечным числом действий и состояний, а задача минимизации сводится к задаче мультиагентного обучения с подкреплением (MARL). Структура мультиагентной системы включает в себя множество агентов - светофоров и обеспечивает наиболее эффективное распараллеливание всей задачи на подзадачи, которые будут решены агентами. Описаны действия, выполняемые агентами, и специфика их координации. Для исследования модели был реализован алгоритм Q-обучения и проведена серия вычислительных экспериментов в системе имитационного моделирования Anylogic для реального участка дорожной сети г. Красноярска. Проведено сравнение предложенной модели с ранее известными.
The problem of optimizing coordination plans based on controlling the choice of signal delay for traffic light objects, taking into account their current location and load, is solved. As a mathematical model, a Markov decision process with a finite number of actions and states is used, and the minimization problem is reduced to the problem of multi-agent reinforcement learning (MARL). The structure of a multiagent system includes many agents - traffic lights and provides the most efficient parallelization of the entire task into subtasks that will be solved by agents. The actions performed by agents and the specifics of their coordination are described. To study the model, the Q-learning algorithm was implemented and a series of computational experiments was carried out in the Anylogic simulation system for a real section of the Krasnoyarsk road network. The proposed model is compared with the previously known ones.
Ключевые слова:multi-agent reinforcement learning, Q-learning, Markov decision process, traffic light control system, задача мультиагентного обучения с подкреплением, Q-обучение, управляемый марковский процесс, система управления светофорами
