В рамках проекта заказчик-реселлер поставил следующие задачи:
- собрать (спарсить) товарную базу с сайта-донора ( mvideo.ru)
- поддерживать собранную товарную базу в актуальном состоянии. Обновлять цену, наличие и тому подобные параметры по каждому из товаров, а так же — пополнять базу новыми товарами по мере их появление на сайте-доноре
- получить возможность экспорта и ре-экспорта товарной базы на целевой сайт заказчика. В процессе экспорта так же должна была присутствовать возможность изменения некоторых параметров товара (цены, наличия) по определённым правилам
- получить возможность мониторинга состояния товарной базы
Достигнутые результаты:
- Товарная база более 50 тысяч товаров;
- Регулярные обновления информации о товарных позициях;
- Экспорт в XLSX со структурой, пригодной для импорта и ре-импорта на торговую площадку на базе OpenCart;
- Журналирование проблем, возникающих в процессе работы с сайтом-донором с сохранением максимального объёма информации в БД проекта для последующего анализа;
- Реверс-инжиниринг языка XNR-запросов, использующихся для получения информации из БД донора;
- Работа с прокси-серверами в формате «прокси-рулетки»
Использованные технологии:
- Проект: Maven + GitLab.Com (Git, CI/CD);
- Платформа: Maven3, Java 8, Spring Boot+SpringData, JSoup, Apache Http, Apache Poi;
- База данных: MySql 5.5.x;
- Тестирование: JUnit5;
