Использование методов обучения с подкреплением для настройки блока стабилизации АРВ СД в реальном времени
Аннотация
Диссертация 81 с., 58 рис., 19 источников, 1 прил.
АВТОМАТИЧЕСКОЕ РЕГУЛИРОВАНИЕ ВОЗБУЖДЕНИЯ, СТАБИЛИЗАТОР СИСТЕМЫ, АДАПАТИВНЫЙ СИСТЕМНЫЙ СТАБИЛИЗАТОР, МАШИННОЕ ОБУЧЕНИЕ, ГЛУБОКОЕ ОБУЧЕНИЕ, ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ, ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ, УСТОЙЧИВОСТЬ ЭНЕРГОСИСТЕМЫ, НИЗКОЧАСТОТНЫЕ КОЛЕБАНИЯ, ДЕМПФИРОВАНИЕ КОЛЕБАНИЙ МОЩНОСТИ
Целью настоящей работы является исследование возможности применения методов глубокого обучения с подкреплением для настройки параметров блока стабилизации автоматического регулятора возбуждения сильного действия в реальном времени, программная реализация выбранного метода глубокого обучения с подкреплением, а также проведение опытов с помощью разработанного в ходе выполнения работы модуля расчета параметров системного стабилизатора.
В первой главе представлена общая структура автоматических регуляторов возбуждения, рассмотрены виды системных стабилизаторов и приведена классификация по разным характеристикам. Дополнительно в главе выделены настраиваемые параметры каждого из рассматриваемых типов системных стабилизаторов и отмечены нюансы и трудности настройки традиционными методами.
Во второй главе рассмотрены методы глубокого обучения с подкреплением, приведена классическая постановка задачи обучения с подкреплением, а также подробно рассмотрены общепринятые методы решения задач. Отдельно в главе выделен Актор-Критик подход, детально рассмотрена его теоретическая база и разобраны основные сущности, а также представлены архитектуры построения искусственных нейронных сетей, базирующиеся на этом подходе.
Третья глава представляет из себя описание программной реализации модуля-прототипа настройки параметров блока стабилизации автоматического регулятора возбуждения в темпе переходного процесса. В главе приведены модификации расчетной схемы, архитектура построенного агента на базе двух искусственных нейронных сетей, а также представлены алгоритмы расчета награды для оценки действий агента в процессе последовательного принятия решений.
В четвертой главе представлена схема обучения агента в условиях утяжеляющихся возмущений, происходящих в энергосистеме, приведена схема генерации набора моделируемых сценариев. Основной частью главы стал анализ обучения агента на примере ряда различных возмущений, включающих в себя отключения без коротких замыканий, а также короткие замыкания различных видов.
Поставленные задачи решались с применением методов численного моделирования. Программная реализация представляет из себя многомодульное клиент-серверное приложение, разработанное на нескольких языках программирования. Численные эксперименты проводились с использованием программной среды MATLAB/Simulink. Построение искусственных нейронных сетей происходило на базе языка программирования Python с применением фреймворка PyTorch. В программе реализованы функции для обработки информации о состоянии энергосистемы и обучения вычислительной модели.
АВТОМАТИЧЕСКОЕ РЕГУЛИРОВАНИЕ ВОЗБУЖДЕНИЯ, СТАБИЛИЗАТОР СИСТЕМЫ, АДАПАТИВНЫЙ СИСТЕМНЫЙ СТАБИЛИЗАТОР, МАШИННОЕ ОБУЧЕНИЕ, ГЛУБОКОЕ ОБУЧЕНИЕ, ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ, ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ, УСТОЙЧИВОСТЬ ЭНЕРГОСИСТЕМЫ, НИЗКОЧАСТОТНЫЕ КОЛЕБАНИЯ, ДЕМПФИРОВАНИЕ КОЛЕБАНИЙ МОЩНОСТИ
Целью настоящей работы является исследование возможности применения методов глубокого обучения с подкреплением для настройки параметров блока стабилизации автоматического регулятора возбуждения сильного действия в реальном времени, программная реализация выбранного метода глубокого обучения с подкреплением, а также проведение опытов с помощью разработанного в ходе выполнения работы модуля расчета параметров системного стабилизатора.
В первой главе представлена общая структура автоматических регуляторов возбуждения, рассмотрены виды системных стабилизаторов и приведена классификация по разным характеристикам. Дополнительно в главе выделены настраиваемые параметры каждого из рассматриваемых типов системных стабилизаторов и отмечены нюансы и трудности настройки традиционными методами.
Во второй главе рассмотрены методы глубокого обучения с подкреплением, приведена классическая постановка задачи обучения с подкреплением, а также подробно рассмотрены общепринятые методы решения задач. Отдельно в главе выделен Актор-Критик подход, детально рассмотрена его теоретическая база и разобраны основные сущности, а также представлены архитектуры построения искусственных нейронных сетей, базирующиеся на этом подходе.
Третья глава представляет из себя описание программной реализации модуля-прототипа настройки параметров блока стабилизации автоматического регулятора возбуждения в темпе переходного процесса. В главе приведены модификации расчетной схемы, архитектура построенного агента на базе двух искусственных нейронных сетей, а также представлены алгоритмы расчета награды для оценки действий агента в процессе последовательного принятия решений.
В четвертой главе представлена схема обучения агента в условиях утяжеляющихся возмущений, происходящих в энергосистеме, приведена схема генерации набора моделируемых сценариев. Основной частью главы стал анализ обучения агента на примере ряда различных возмущений, включающих в себя отключения без коротких замыканий, а также короткие замыкания различных видов.
Поставленные задачи решались с применением методов численного моделирования. Программная реализация представляет из себя многомодульное клиент-серверное приложение, разработанное на нескольких языках программирования. Численные эксперименты проводились с использованием программной среды MATLAB/Simulink. Построение искусственных нейронных сетей происходило на базе языка программирования Python с применением фреймворка PyTorch. В программе реализованы функции для обработки информации о состоянии энергосистемы и обучения вычислительной модели.