В данной статье рассматривается проблема планирования задач в производственных системах с несколькими машинами, работающими параллельно. Предложены четыре подхода к решению этой задачи: чистый метод Монте-Карло с поиском по дереву (Monte Carlo Tree Search, MCTS), гибридный агент MCDDQ, сочетающий обучение с подкреплением на основе Double Deep Q-Network (DDQN) и Monte Carlo Tree Search (MCTS), усовершенствованный агент MCDDQ-SA, интегрирующий алгоритм имитации отжига (Simulated Annealing, SA) для повышения качества решений, а также жадный алгоритм (Greedy). Разработана модель среды, учитывающая скорости машин, длительности задач. Проведено сравнительное исследование эффективности методов на основе метрик makespan (максимальное время завершения) и idle time (время простоя). Результаты демонстрируют, что MCDDQ-SA обеспечивает наилучший баланс между качеством планирования и вычислительной эффективностью за счет адаптивного исследования пространства решений. Представлены аналитические инструменты для оценки динамики алгоритмов, что подчеркивает их применимость в реальных производственных системах. Статья предлагает новые перспективы для применения гибридных методов в задачах управления ресурсами.

Ключевые слова: машинное обучение, Q-обучение, глубокие нейронные сети, MCTS, DDQN, имитация отжига, планирование, жадный алгоритм

2.3.3 - Автоматизация и управление технологическими процессами и производствами

В данном эксперименте реализуется решатель (NEAT) и симулятор (объект тележки с обратным маятником), где решатель будет оказывать влияние на объект с целью удержать его в стабильном состоянии, т.е. не дать маятнику упасть. Основной задачей эксперимента является исследование возможности реализации симулятора реального физического объекта и использование его для определения целевой функции нейроэволюционного алгоритма NEAT. Решение данной задачи позволит реализовывать контроллеры на основе алгоритма NEAT, способные управлять реальными физическими объектами.

Ключевые слова: машинное обучение, нереволюционные алгоритм, генетические алгоритмы, нейронные сети

2.3.3 - Автоматизация и управление технологическими процессами и производствами

Целью данной работы является реализация и сравнение генетических алгоритмов в рамках задачи обучения с подкреплением для управления неустойчивыми системами. Неустойчивой системой будет выступать объект CartPole Open AI GYM, который моделирует балансирование стержня, шарнирно-закрепленного на тележке, которая движется влево и вправо. Задачей является удержание стержня в вертикальном положении максимально продолжительное время. Управление данным объектом реализовано с помощью двух методов обучения: нейроэволюционный алгоритм (NEAT) и многослойный перцептрон с применение генетических алгоритмов (DEAP).

Ключевые слова: машинное обучение, нереволюционные алгоритм, генетические алгоритмы, обучение с подкреплением, нейронные сети

2.3.3 - Автоматизация и управление технологическими процессами и производствами

Целью данной работы является реализация системы прогнозирования потребления электроэнергии на пищевом производстве и выбор наиболее подходящего метода обучения модели прогнозирования. В нашем исследовании была реализована система прогнозирования потребления электроэнергии на основе потоковых данных, получающая их в «реальном времени». Система создана по принципу микросервисной архитектуры, где были реализованы сервис сбора данных с счетчиков, сервис агрегации данных и сервисы прогнозирования: с использованием классического подхода к обучению на основе модели ARIMA и онлайн подхода к обучению с использованием онлайн-модели HATR, результаты работы которых были сравнены с помощью тестов на прогнозирование аномальных значений и прогнозирование в условиях смены концепта данных, или дрейфа концепций.

Ключевые слова: машинное обучение, онлайн-обучение, онлайн-модель, дрейф концепций, дрейф данных

2.3.3 - Автоматизация и управление технологическими процессами и производствами