DenLans.Ru

Парсер недвижимости с крупнейшей площадке в Минске

В рамках проекта потребовалось извлечь информацию с сайта, посвящённого недвижимости в Минске.

При реализации проекта ключевым моментом была производительность, требовалось создать приложение, способное обрабатывать более 10 тысяч страниц  сайта менее чем за пару часов.

Таким образом, ключевыми особенностями приложения стали оптимизация программного алгоритма и многопоточность. Помимо этого, для решения некоторых задач и обхода защиты сайта, потребовалось создать полноценную эмуляцию обычного настольного браузера. Выходные данные программа сохраняла в JSON, а сама работа организовывалась по внутреннему расписанию.
Разработка была выполнена на Java в виде веб-приложения, готового к размещению, к примеру, в облачном хостинге Jelastic или на любом сервере, где представляется возможным разместить «веб-контейнер» Java

Использованные технологии:

Срок выполнения: 2 дня

Начать проект просто.

Свяжитесь со мной, я буду рад сотрудничеству с вами.

Я поддерживаю проект