Усовершенствование сжатия лог-файлов: гибридное предсказательное и подстановочное кодирование с извлечением специфических данных
Аннотация
Ключевые слова: лог-файлы, сжатие данных, арифметическое кодирование, Prediction by
Partial Matching (PPM), подстановочное кодирование, Burrows Wheeler Transform (BWT)
Цели работы:
● Реализация специализированной схемы сжатия лог-файлов SubPrePCS на языке C++,
оптимизированной по скорости работы и с поддержкой потокового сжатия
● Проведение экспериментов над SubPrePCS с целью улучшения качества сжатия
● Сравнение полученной схемы с предыдущей её реализацией, а также существующими
передовыми инструментами сжатия логов
Методы проведения работы: разработка ПО и структур для сжатия лог-файлов без потерь,
разработка системы замера производительности и качества на различных лог-файлах,
сравнительный анализ полученной системы.
Результат: реализована схема SubPrePCS на языке C++; схема оптимизирована и готова к
использованию в реальных сценариях через интерфейс командной строки; проведен
сравнительный анализ и сделаны выводы относительно качества полученной системы.
Partial Matching (PPM), подстановочное кодирование, Burrows Wheeler Transform (BWT)
Цели работы:
● Реализация специализированной схемы сжатия лог-файлов SubPrePCS на языке C++,
оптимизированной по скорости работы и с поддержкой потокового сжатия
● Проведение экспериментов над SubPrePCS с целью улучшения качества сжатия
● Сравнение полученной схемы с предыдущей её реализацией, а также существующими
передовыми инструментами сжатия логов
Методы проведения работы: разработка ПО и структур для сжатия лог-файлов без потерь,
разработка системы замера производительности и качества на различных лог-файлах,
сравнительный анализ полученной системы.
Результат: реализована схема SubPrePCS на языке C++; схема оптимизирована и готова к
использованию в реальных сценариях через интерфейс командной строки; проведен
сравнительный анализ и сделаны выводы относительно качества полученной системы.