Парсинг сайтов - сбор цен конкурентов 2.0

[odineskin]

Кто владеет информацией - тот владеет всем! Больше не нужны обзвоны/обходы конкурентов с целью узнать цену на продукцию. Внедряя данную подсистему, у вас всегда под рукой будут цены конкурентов онлайн.
Причины купить

Периодический мониторинг цен и ассортимента конкурентов с целью расчета собственных цен
Заполнение собственного справочника  "Номенклатуры" на основе считанных данных (описание, изображениями и тд)
Достоинства

Назначение программы

Периодический мониторинг цен и ассортимента конкурентов с целью расчета собственных цен
Анализ ассортимента конкурентов
Получение сравнительной отчётности по ценам и ассортименту между собственной номенклатурой и номенклатурой конкурентов
Заполнение собственного справочника  "Номенклатуры" на основе считанных данных (описание, изображениями и тд)


Стратегия использования программы

Цель - мониторинг цен конкурентов
1этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
2этап. Сопоставление собственной номенклатуры и номенклатуры конкурентов (Данная процедура выполняется один раз)
3этап. Периодический мониторинг цен и ассортимента конкурентов.
Цель - заполнение справочника Номенклатуры данными с сайта
1этап. Настройка на считывание нужных сайтов конкурентов. (Данная процедура выполняется один раз)
2этап. Создание элементов справочника "Номенклатура" на основе считанных данных (изображение. 3описание, производитель, страна и тд)


Основные характеристики продукта:

-90% типовых интернет - магазинов считываются без проблем. Настройка на парсинг одного сайта занимает от 15 минут
-Универсальность решения. Подходит для любой предметной области.
-Возможность анализа только товара, который есть "в наличии".
-Считывание изображений
-Помощник автоматической синхронизации. Помощник помогает значительно ускорить поиск соответствий, с помощью : поиска по вхождениям в наименование, процентному вхождению в наименование, поиск по различным комбинациям полей, поиск по различным комбинациям слов и тд 
-Рабочее место оператора для ручной синхронизации. В том числе сравнение по картинкам, поиск по вручную заданным словам, поиск только по отдельным характеристикам номенклатуры
-Обход защиты сайтов включает в себя настройку таймаута запросов к сайту, маскировка под поисковую систему
-Возможность использования куки при парсинге




Техническая поддержка

После покупки Вы получаете техническую поддержку и бесплатные обновления в течение 3 месяцев, далее на условиях продления.



Минимальные системные требования:

-   Процессор Intel Pentium IV 1800 МГц.

-   3960 Мб оперативной памяти.



К программному обеспечению предъявляются следующие требования:

-   Операционная система Microsoft Windows XP/7

-   Версия платформы «1С:Предприятие» не ниже 8.2.19.83

-   Elisy-Net-Bridge

-   .Net не ниже версии 4



Продукт представляет сообой отдельную подсистему



Для самостоятельного внедрения данного продукта требуются минимальные знания по Xpath, html, Regex. Также вы можете заказать внедрение

www.odineskin.ru - здесь более подробнрая информация  также сможете посмотреть демо базу, скачать и попробовать подсистему

[Opex2015]

Кто из форумчан воспользовался услугой? Дайте отзывы.

[odineskin]

Кто из форумчан воспользовался услугой? Дайте отзывы.

обращайтесь http://www.opencart1c.ru/monitoring-cen

Добавлено: 27 июл 2018, 18:35

настройка одного сайта бесплатна

[AIFrame]

Meh.
Проще в питоне HTMLDOM заюзать, чем городить такое в 1С.
Тем более, что

90% типовых интернет - магазинов считываются без проблем.

цифра взятая с потолка для красного словца.
Против таких вот грабберов уже давно юзаются модули блокировки аномальной активности.
Более 30 переходов в минуту? В бан на полчасика. Три раза спалился на этом - пермабан, довай до свидания.

[odineskin]

Meh.
Проще в питоне HTMLDOM заюзать, чем городить такое в 1С.
Тем более, что

90% типовых интернет - магазинов считываются без проблем.

цифра взятая с потолка для красного словца.
Против таких вот грабберов уже давно юзаются модули блокировки аномальной активности.
Более 30 переходов в минуту? В бан на полчасика. Три раза спалился на этом - пермабан, довай до свидания.

на моей памяти один магазин только был такой, который банил после 50 запросов, но он абсолютно всех банил, даже если мышкой в браузере по сайту щёлкаешь без модуля аномальной активности

Добавлено: 28 июл 2018, 21:12

Проще в питоне HTMLDOM заюзать, чем городить такое в 1С.

там ничего особо городить не пришлось, модуль УЖЕ готов к использованию, не надо тратить время городить на питоне HTMLDOM

[AIFrame]

ничего особо городить не пришлось, модуль УЖЕ готов к использованию

Орлы? Т.е. где-то в закромах 1С есть готовые процедуры парсинга HTML и преобразованием результата в именованный дикт?
Не подскажешь процедурку?

Ты же сам написал, что тебе регулярки нужны для работы этого. Значит нет у тебя там DOM, значит все на регулярках.
Берем во внимание, что это граббер, что он должен парсить как можно быстрее, желательно в несколько потоков, иметь таймаут на вызов, чтобы не палиться и при этом не сжирать весь локальный ресурс.
1С с регулярками для этого?
Не, спасибо, нехотет.

Или все делает ASP.NET, но тогда нафига это все в одном котле подавать.
Сделал бы на хотя бы на плюсах\шарпе свой продукт, а для 1С уже к нему впаривал модуль загрузки из итоговой БД.

И еще ответь - будет это чудо 1С-ной мысли работать в linux под NET-core? Чет сомневаюсь.
Получаем уже давно кроссплатформенную 1С и обработку к ней, для которой нужна венда.
Meh...

[odineskin]

ничего особо городить не пришлось, модуль УЖЕ готов к использованию

Орлы? Т.е. где-то в закромах 1С есть готовые процедуры парсинга HTML и преобразованием результата в именованный дикт?
Не подскажешь процедурку?

Ты же сам написал, что тебе регулярки нужны для работы этого. Значит нет у тебя там DOM, значит все на регулярках.
Берем во внимание, что это граббер, что он должен парсить как можно быстрее, желательно в несколько потоков, иметь таймаут на вызов, чтобы не палиться и при этом не сжирать весь локальный ресурс.
1С с регулярками для этого?
Не, спасибо, нехотет.

Или все делает ASP.NET, но тогда нафига это все в одном котле подавать.
Сделал бы на хотя бы на плюсах\шарпе свой продукт, а для 1С уже к нему впаривал модуль загрузки из итоговой БД.

И еще ответь - будет это чудо 1С-ной мысли работать в linux под NET-core? Чет сомневаюсь.
Получаем уже давно кроссплатформенную 1С и обработку к ней, для которой нужна венда.
Meh...

всё в одном котле тоже неплохо, нужны различные решения, и хорошо что у пользователя есть выбор

[odineskin]

сайт переехал на https://www.opencart1c.ru/parsing-monitoring