Многопоточный парсер свойств номенклатуры (загрузка прайса в 1С)

[SubSystems]

Умный многопоточный парсер прайса, в момент загрузки позволит встроенным интеллектом распознать в прайсе всю структуру свойств номенклатуры, которую прислал поставщик.

Парсер свойств
Итак. В загрузке обновленная встроенная форма "Парсер / конструктор свойств".  Команда которая в один клик целиком распарсивает весь прайс. Считывает колонки, считывает строки. И генерирует уникальную таблицу видов и свойств номенклатуры, которые прислал поставщик.

За основу берутся названия колонок прайса, но парсер умно распознает к какой номенклатуре относятся какие свойства. Он не назначает каждому товару все свойства прайса, а именно смотрит пересечения (заполненность) свойства для той или иной номенклатуры.

Исходя из этого парсер составляет список уникальных видов номенклатуры и принадлежности свойств к этим конкретным видам.

Обработка синхронизирует эту таблицу с 1С - находит виды и пересечения и отображает это. А что не найдено - это новые виды и свойства. Если у вас чистая база - то все таблица будет служить для полного создания в 1С всей СТРУКТУРЫ - видов, наборов и свойств.

Прайс с тысячами колонок свойств
В нашем распоряжении оказался прайс в Excel, в котором 16 557 товаров и 4 156 колонок, из которых 4 114 это свойства. В общей сумме в прайсе 70 миллионов ячеек.

Проблема пользователя - до нашей обработки (использовал другую) он создал в базе 4000 свойств, которые появились у каждого товара в 1С! Что привело к катастрофической ситуации в базе.

Задача парсера - в точности определить правильную схему видов и свойств из этого огромного прайса!


Многопоточный парсер свойств
Обычная и многопоточная обработка (включается опцией).
Пример - прайс в 4000 колонок парсится в 8 потоков и в 7 раз быстрее (за 20-30 секунд).
Обработка выполняется не блокируя 1С - в обоих режимах, выводится инфо по файлу.

Автозамены названий (соответствия) свойств
Вы можете указать и исправить свойства на свои названия. На моем примере в прайсе поставщика 20-30 процентов кривых свойств. Поставщик наделал кучу ошибок! И появилось куча дублей. Точки, без точек, запятые - в одних и тех же словах.
Автозамены позволят проставить правильные наименования на свои свойства. А также исправить дубли внутри прайса поставщика, тем самым объединив свойство в единое пространство.
В загрузке при заполнении свойств программа заполнит Автонастройку из автозамен - это значит что поиск колонки будет по названию поставщика!

Конструктор свойств номенклатуры

Три окна! Виды, свойства и СХЕМА (все пересечения). Конструктор позволяет проработать всю схему! Провести анализ всех свойств прайса, распределить, указать типы и правильные форматы свойств.
Счетчик строк показывает сколько в прайсе товаров по видам номенклатуры, сколько раз встречаются свойства. Возможность массово удалить и не создавать в базе мусорные свойства (которые есть у единиц товаров).
Парсер содержит конструктор типов свойств - можно назначать чем является свойство - числом, строкой, справочником, булево. Правильно указать формат чисел и строк.
Сейчас обучаем конструктор автоматическому распознаванию типов!
Конструктор  визуальный - в нем можно менять, удалять, редактировать.
Загрузка свойств
Парсер позволят не просто получить / создать всю схему наборов свойств, после выполнения обработки и закрытия форма, загрузка заполнит таблицу настроек колонок свойств. Т.е. автоматически проставит номера колонок с установленными свойствами. Таким образом далее вы сможете приступить к непосредственной заливке значений к загружаемой номенклатуре.


Расширенный справочник свойств номенклатуры в 1С

Обработка, внутри которой при открытии расположены справочники - виды, наборы и свойства номенклатуры.
Виды и наборы - являются навигацией по свойствам.
Сами свойства выводятся в виде расширенного списка (по умолчанию без отбора), в котором сразу отображены все основные параметры свойств - тип, формат, доступность, видимость, имя, а также является ли свойство "сведеньем" (важный реквизит).
Уже просто сразу с ходу видно очень многое! Это особенно важное, когда у вас тысячи свойств - удостоверится что вы их массово создали правильно.

Редактор свойств, чистка свойств

Со свойствами постоянная беда! Так как поставщики постоянно имеют ошибки - дубли, расхождения, орфографические ошибки значений. Также пользователи допускают ошибки - могут не правильно загрузить, создать свойства, неправильно указать тип, наплодить дубли и так далее и тому подобное.
А в 1С даже нет нормальных инструментов для работы со свойствами - по сути полное отсутствие. Частично ситуация решается с помощью наших разработок "Отчет по номенклатуре" и "Чистка номенклатуры", но и этого не достаточно. В случае острой необходимости что то удалить в базе - это превращается в кошмарный квест.
Я решил дополнить "Расширенную форму" командами, которые помогут решить эту задачу.
"Перенести и объединить" - кнопка, которая поможет пользователю объединить дубли выбранных свойств. Произойдет полная синхронизация значений свойств в одно, далее команда проверит все объекты в базе с этими свойствами и создаст внутри них одно указанное свойство.
"Редактировать формат" - с помощью команды пользовать может массово установить нужный формат значений выбранных свойств. Формат работает для чисел.
"Удалить записи" - команда которая сделает запрос по всей номенклатуре и очистит выбранные свойства (но не удалит свойство и его значения).

[SubSystems]

Страница программы

https://subsystems.ru/solutions/1c_excel/zagruzka_praysov_v_1s_iz_excel_csv_txt/

[SubSystems]

Мега: Поиск и подбор по свойствам номенклатуры в 1С


Обработка содержит форму для удобного и быстрого поиска с отбором номенклатуры по базе 1С по всем дополнительным реквизитам и сведеньям номенклатуры в 1С.
Все разработки совместимы с 1С УТ11 / УТ10 / УНФ / Розница / КА / ERP.
Очередной эксклюзив от Сабсистемс. Пока в помощнике продаж (но будет в других модулях). При нажатии кнопки открывает специальную форму - это поиск товаров.

Три окна по горизонтали. Виды - свойства - значения.
Порядок. Находим и становимся на нужный вид (окно 1). Получаем список свойств (окно 2).
При активации на свойствах получаем значения свойств и сведений номенклатуры (окно 3).
Если нужно получить товары с конкретным значением - переходим по свойствам и ставим галочки на нужных значениях (множественный отбор).
Получаем окно 4 - детальный список номенклатуры (по установленным или всем свойствам).
Выводится не просто список товаров, а в любом случае детальный отчет - отобранная номенклатура и все свойства и значения. Учитываются и дополнительные реквизиты и сведенья.
Значения свойств выводятся ЛЮБОГО типа (числа, строки, справочник, булево).Берутся значения реально существующей номенклатуры.
После поиска нужной номенклатуры она переносится в модуль-приемник. В данном случае помощник продаж и по этой номенклатуре накладывается отбор  - теперь можно видеть остатки, цены, прайсы и прочее.
Поиск плюс одновременно отчет по номенклатуре
Сохраняемый поиск. Открывается на том же виде номенклатуры, со всеми набранными отборами значений свойств.
При перемещении по свойствам - в нижней части отчета курсор перемещается на колонку с активным свойством (полезно если свойств очень много - не все влазят по ширине.
Таким образом даже просто перемещаясь можно увидеть значения списка товаров.
Подсветка свойств - по которым стоит отбор.
Параметры отбора - весь перечень набранных отборов. Пока думаю - сохранять ли историю поиска, допустим 3-5 последних историй  (пока без этого).
В СПИСОК свойств - выводятся реальные фактические свойства товаров указанного вида номенклатуры. Т.е если вы даже создали в базе 500 общих свойств. 95 которых пустые у конкретных товаров. Это все проигнорируется.
В списке свойств и списке значений - отображается реальное количество товаров, у которых есть свойство и указанные значения.