Применение анализа больших данных в задачах DevOps
Аннотация
Выпускная квалификационная работа посвящена разработке испытательного стенда, который позволит автоматизировать рутинные действия по настройке и конфигурированию CI/CD конвейера и систем мониторинга, а также внедряет использование нейросетевой модели автокодировщика в процесс мониторинга. Это позволит повысить эффективность работы команд разработки и отслеживать с течением времени тенденции изменений в работе приложения.
Цель работы - разработка испытательного стенда, сочетающего в себе различные практики DevOps и подход Data Science.
Предмет исследования - применение анализа метрик работы компонентов приложения для выявления тенденций в них.
Объект исследований - процесс поиска аномалий в работе приложения, исходя из анализа отслеживаемых метрик.
При написании выпускной квалификационной работы использовались следующие методы: анализ предметной области, синтез данных для имитации нагрузки на приложение, наблюдение за поведением приложения, проведение эксперимента.
Первый раздел знакомит с основными понятиями и принципами преметной области, находящейся на границе разработки, администрирования и анализа данных. Также рассматриваются существующие практики и подходы.
Во втором разделе описывается проектирование испытательного стенда, его компонентов и их взаимосвязей, выбор стека технологий.
Третий раздел повествует о реализаций спроектированной системы с подробным описанием каждого её компонента.
Результатом работы является спроектированный и разработанный стенд, представляющая из себя реализацию непрерывного конвейера разработки и развёртывания приложения, сочетающегося с настроенной системой мониторинга и дополненного использованием модели автокодировщика для автоматизации выявления аномалий в наблюдаемых данных. Также все операции по запуску и настройке стенда сведены к запуску одного файла.
Цель работы - разработка испытательного стенда, сочетающего в себе различные практики DevOps и подход Data Science.
Предмет исследования - применение анализа метрик работы компонентов приложения для выявления тенденций в них.
Объект исследований - процесс поиска аномалий в работе приложения, исходя из анализа отслеживаемых метрик.
При написании выпускной квалификационной работы использовались следующие методы: анализ предметной области, синтез данных для имитации нагрузки на приложение, наблюдение за поведением приложения, проведение эксперимента.
Первый раздел знакомит с основными понятиями и принципами преметной области, находящейся на границе разработки, администрирования и анализа данных. Также рассматриваются существующие практики и подходы.
Во втором разделе описывается проектирование испытательного стенда, его компонентов и их взаимосвязей, выбор стека технологий.
Третий раздел повествует о реализаций спроектированной системы с подробным описанием каждого её компонента.
Результатом работы является спроектированный и разработанный стенд, представляющая из себя реализацию непрерывного конвейера разработки и развёртывания приложения, сочетающегося с настроенной системой мониторинга и дополненного использованием модели автокодировщика для автоматизации выявления аномалий в наблюдаемых данных. Также все операции по запуску и настройке стенда сведены к запуску одного файла.