Разработка инструмента для анализа используемости данных (на примере внутренних данных АО «ПФ «СКБ Контур»)
Аннотация
Работа посвящена разработке инструмента для анализа используемости данных на основе обработки пользовательских SQL-запросов к хранилищам.
Актуальность исследования обусловлена продолжающимся ростом хранимых компаниями объемов данных, повышением финансовых расходов на расширение и содержание инфраструктуры данных и сложившимся дефицитом серверного оборудования на отечественном рынке.
В работе рассмотрены принципы формирования SQL-запросов для получения данных и описана логика извлечения из них необходимых метаданных (названий таблиц и полей).
На основании этого на языке Python написан алгоритм, реализующий данные возможности, который проверен на искусственных и реальных данных.
Работа выполнена на примере внутренних данных компании АО «ПФ "СКБ Контур"».
Актуальность исследования обусловлена продолжающимся ростом хранимых компаниями объемов данных, повышением финансовых расходов на расширение и содержание инфраструктуры данных и сложившимся дефицитом серверного оборудования на отечественном рынке.
В работе рассмотрены принципы формирования SQL-запросов для получения данных и описана логика извлечения из них необходимых метаданных (названий таблиц и полей).
На основании этого на языке Python написан алгоритм, реализующий данные возможности, который проверен на искусственных и реальных данных.
Работа выполнена на примере внутренних данных компании АО «ПФ "СКБ Контур"».