Построение потокового захвата изменения данных для аналитических хранилищ данных
Аннотация
Магистерская диссертация 78 с., 52 рис., 45 источн., 4 прил.
Ключевые слова: захват изменений данных, СУБД, Kafka Connect, Debezium, MySQL, ClickHouse
Объект ВКР – потоковый захват изменений данных.
Цель работы – анализ методов построения потокового захвата изменений данных и реализация лучшего метода, выбранного в ходе анализа.
Методы исследования: теоретический анализ, тестирование, программирование.
Результатом работы является успешная реализация и тестирование системы потокового захвата изменений данных на базе Kafka Connect в связке с коннектором Debezium для MySQL и ClickHouse Kafka Connect Sink для ClickHouse, решённая проблема ограничения последнего на обработку удалённых записей из источника данных, а также получение актуального состояния данных из источника.
Область применения полученных результатов – инженерия данных и искусственного интеллекта.
Значимость работы заключается в возможности её практической реализации по месту работы, а также в гибком подходе к решению поставленной задачи в условиях ограничений инструментария.
Ключевые слова: захват изменений данных, СУБД, Kafka Connect, Debezium, MySQL, ClickHouse
Объект ВКР – потоковый захват изменений данных.
Цель работы – анализ методов построения потокового захвата изменений данных и реализация лучшего метода, выбранного в ходе анализа.
Методы исследования: теоретический анализ, тестирование, программирование.
Результатом работы является успешная реализация и тестирование системы потокового захвата изменений данных на базе Kafka Connect в связке с коннектором Debezium для MySQL и ClickHouse Kafka Connect Sink для ClickHouse, решённая проблема ограничения последнего на обработку удалённых записей из источника данных, а также получение актуального состояния данных из источника.
Область применения полученных результатов – инженерия данных и искусственного интеллекта.
Значимость работы заключается в возможности её практической реализации по месту работы, а также в гибком подходе к решению поставленной задачи в условиях ограничений инструментария.