Проектирование и разработка универсального программного компонента для постраничного извлечения многообразных данных с применением технологий Big Data
Аннотация
Выпускная квалификационная работа 51 с., 26 рис., 10 ист., 2 прил.
ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА УНИВЕРСАЛЬНОГО ПРОГРАММНОГО КОМПОНЕНТА ДЛЯ ПОСТРАНИЧНОГО ИЗВЛЕЧЕНИЯ МНОГООБРАЗНЫХ ДАННЫХ С ПРИМЕНЕНИЕМ ТЕХНОЛОГИЙ BIG DATA
Ключевые слова: большие данные, пагинация, задача постраничного извлечения данных, задача точечного поиска, Apache Phoenix, Apache HBase, Apache Hadoop,
Объектом исследования является обработка больших объемов данных.
Цель работы: разработка универсального программного компонента, в инфраструктуре Hadoop, HBase, Phoenix, решающего задачу точечного поиска и постраничного извлечения многообразных данных.
В процессе выполнения работы, был разработан универсальный продукт в инфраструктуре Hadoop, обладающий функционалом и пользовательским API для постраничного извлечения данных любой структуры из Phoenix, с возможностью применения к данным всевозможных операций фильтрации и сортировки.
Анализ результатов тестирования компонента позволил сделать вывод о работоспособности продукта и показал пригодность его использования в качестве универсального инструмента для постраничного извлечения любых данных хранимых в БД Phoenix.
В результате выполнения работы поставленные цели были выполнены. Новизна выпускной квалификационной работы заключается в том, что в открытом доступе на данный момент не существует универсального решения решения в инфраструктуре Hadoop, HBase и Phoenix, решающего задачу точечного поиска и постраничного извлечения данных.
ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА УНИВЕРСАЛЬНОГО ПРОГРАММНОГО КОМПОНЕНТА ДЛЯ ПОСТРАНИЧНОГО ИЗВЛЕЧЕНИЯ МНОГООБРАЗНЫХ ДАННЫХ С ПРИМЕНЕНИЕМ ТЕХНОЛОГИЙ BIG DATA
Ключевые слова: большие данные, пагинация, задача постраничного извлечения данных, задача точечного поиска, Apache Phoenix, Apache HBase, Apache Hadoop,
Объектом исследования является обработка больших объемов данных.
Цель работы: разработка универсального программного компонента, в инфраструктуре Hadoop, HBase, Phoenix, решающего задачу точечного поиска и постраничного извлечения многообразных данных.
В процессе выполнения работы, был разработан универсальный продукт в инфраструктуре Hadoop, обладающий функционалом и пользовательским API для постраничного извлечения данных любой структуры из Phoenix, с возможностью применения к данным всевозможных операций фильтрации и сортировки.
Анализ результатов тестирования компонента позволил сделать вывод о работоспособности продукта и показал пригодность его использования в качестве универсального инструмента для постраничного извлечения любых данных хранимых в БД Phoenix.
В результате выполнения работы поставленные цели были выполнены. Новизна выпускной квалификационной работы заключается в том, что в открытом доступе на данный момент не существует универсального решения решения в инфраструктуре Hadoop, HBase и Phoenix, решающего задачу точечного поиска и постраничного извлечения данных.