Защита интернет ресурсов от скрапинга и способы её преодоления
Аннотация
Пояснительная записка 33 страницы, 18 рисунков, 9 использованных источников.
Целью работы является подробный разбор понятия скрапинга, его методов. Введение в актуальные механизмы защиты от автоматизированного сбора данных, а также обзор способов обхода установленных на веб ресурсах систем защит. Реализация собственного скрапера.
Теоретическая часть состоит из нескольких разделов, в которых представлена информация о скрапинге. Приведены сферы деятельности, в которых он применяется, наиболее популярные методы, с помощью которых можно провести данную операцию. Также рассмотрены современные методики защиты от автоматизированного сбора данных и представлены способы преодоления этой защиты.
В практической части работы разработан веб скрапер, способный обходить систему защиты, размещенную на веб ресурсе и собирать необходимую информацию.
Целью работы является подробный разбор понятия скрапинга, его методов. Введение в актуальные механизмы защиты от автоматизированного сбора данных, а также обзор способов обхода установленных на веб ресурсах систем защит. Реализация собственного скрапера.
Теоретическая часть состоит из нескольких разделов, в которых представлена информация о скрапинге. Приведены сферы деятельности, в которых он применяется, наиболее популярные методы, с помощью которых можно провести данную операцию. Также рассмотрены современные методики защиты от автоматизированного сбора данных и представлены способы преодоления этой защиты.
В практической части работы разработан веб скрапер, способный обходить систему защиты, размещенную на веб ресурсе и собирать необходимую информацию.