Сбор товарной базы MVideo.Ru

В рамках проекта заказчик-реселлер поставил следующие задачи:

  • собрать (спарсить) товарную базу с сайта-донора ( mvideo.ru)
  • поддерживать собранную товарную базу в актуальном состоянии. Обновлять цену, наличие и тому подобные параметры по каждому из товаров, а так же – пополнять базу новыми товарами по мере их появление на сайте-доноре
  • получить возможность экспорта и ре-экспорта товарной базы на целевой сайт заказчика. В процессе экспорта так же должна была присутствовать возможность изменения некоторых параметров товара (цены, наличия) по определённым правилам
  • получить возможность мониторинга состояния товарной базы

Достигнутые результаты:

  • Товарная база более 50 тысяч товаров;
  • Регулярные обновления информации о товарных позициях;
  • Экспорт в XLSX со структурой, пригодной для импорта и ре-импорта на торговую площадку на базе OpenCart;
  • Журналирование проблем, возникающих в процессе работы с сайтом-донором с сохранением максимального объёма информации в БД проекта для последующего анализа;
  • Реверс-инжиниринг языка XNR-запросов, использующихся для получения информации из БД донора;
  • Работа с прокси-серверами в формате “прокси-рулетки”

Использованные технологии:

  • Проект: Maven + GitLab.Com (Git, CI/CD);
  • Платформа:  Maven3, Java 8, Spring Boot+SpringData, JSoup, Apache Http, Apache Poi;
  • База данных: MySql 5.5.x;
  • Тестирование: JUnit5;