В рамках проекта потребовалось извлечь информацию с сайта, посвящённого недвижимости в Минске.
При реализации проекта ключевым моментом была производительность, требовалось создать приложение, способное обрабатывать более 10 тысяч страниц сайта менее чем за пару часов.
Таким образом, ключевыми особенностями приложения стали оптимизация программного алгоритма и многопоточность. Помимо этого, для решения некоторых задач и обхода защиты сайта, потребовалось создать полноценную эмуляцию обычного настольного браузера. Выходные данные программа сохраняла в JSON, а сама работа организовывалась по внутреннему расписанию.
Разработка была выполнена на Java в виде веб-приложения, готового к размещению, к примеру, в облачном хостинге Jelastic или на любом сервере, где представляется возможным разместить «веб-контейнер» Java
Использованные технологии:
- Проект: SVN
- Проект: Maven
- Проект: Jetbrains Idea
- Платформа: Resin
- Платформа: Spring MVC
Срок выполнения: 2 дня