Сравнение алгоритмов MCTS, MCDDQ, MCDDQ-SA, Greedy в рамках задачи параллельного планирования загрузки машин на производстве

Аннотация

Абузяров А.А., Макаров А.А.

Дата поступления статьи: 08.04.2025

В данной статье рассматривается проблема планирования задач в производственных системах с несколькими машинами, работающими параллельно. Предложены четыре подхода к решению этой задачи: чистый метод Монте-Карло с поиском по дереву (Monte Carlo Tree Search, MCTS), гибридный агент MCDDQ, сочетающий обучение с подкреплением на основе Double Deep Q-Network (DDQN) и Monte Carlo Tree Search (MCTS), усовершенствованный агент MCDDQ-SA, интегрирующий алгоритм имитации отжига (Simulated Annealing, SA) для повышения качества решений, а также жадный алгоритм (Greedy). Разработана модель среды, учитывающая скорости машин, длительности задач. Проведено сравнительное исследование эффективности методов на основе метрик makespan (максимальное время завершения) и idle time (время простоя). Результаты демонстрируют, что MCDDQ-SA обеспечивает наилучший баланс между качеством планирования и вычислительной эффективностью за счет адаптивного исследования пространства решений. Представлены аналитические инструменты для оценки динамики алгоритмов, что подчеркивает их применимость в реальных производственных системах. Статья предлагает новые перспективы для применения гибридных методов в задачах управления ресурсами.

Ключевые слова: машинное обучение, Q-обучение, глубокие нейронные сети, MCTS, DDQN, имитация отжига, планирование, жадный алгоритм

2.3.3 - Автоматизация и управление технологическими процессами и производствами

.