Назад
Какие дубли сложнее правил
Пропущенные дубли искажают данные о продажах, остатках и клиентах. Ошибочные объединения создают другую проблему: система связывает разные товары или компании. ИИ очистка справочников помогает находить скрытые совпадения, но точность результата зависит от того, какие признаки алгоритм учитывает при сравнении.
Разное написание
Менеджер записал клиента в CRM как «Север-Тех», а бухгалтер создал в 1С карточку «ООО СеверТех». Если ИНН указан в обеих системах, по нему записи можно сверить. Но при отсутствии реквизита поиск по точному названию не обнаружит совпадение.
Поиск дублей клиентов ИИ выявляет записи с разным порядком слов, сокращениями и вариантами написания. Модель предлагает возможную пару, а специалист сверяет доступные реквизиты. Одного сходства названий для объединения мало: две независимые компании могут называться почти одинаково. Ошибка приведет к неверной связи сделок, договоров и задолженности.
Сокращения
С товарами задача сложнее. Например, в 1С кладовщик указал «Труба стальная 50×3 мм», а менеджер в CRM – «Тр. ст. Ø50/3». Названия различаются, но обе записи могут описывать изделие с наружным диаметром 50 мм и стенкой толщиной 3 мм.
Для сопоставления номенклатуры 1С с CRM алгоритм раскрывает сокращения, приводит единицы измерения к общему формату и сравнивает характеристики. При этом нужно сверить марку стали и стандарт изделия: одинаковых размеров мало для подтверждения дубля.
Если система пропустит совпадение, продажи и остатки одного товара будут учитываться в разных карточках. Закупщик может заказать лишнюю партию, не увидев весь доступный остаток, или неверно оценить спрос.
Похожие товары
Есть и обратная ситуация: названия почти совпадают, а товары разные. Например, у кабелей «ВВГ 3×2,5» и «ВВГ 3×4» одинаковые марка и число жил, но разное сечение – 2,5 и 4 мм². Алгоритм, который сравнивает только текст, может ошибочно объединить эти позиции. Тогда складской остаток одного кабеля будет учитываться вместе с другим, и менеджер может выбрать неверную позицию для заказа.
При entity resolution для 1С (сопоставлении записей об одном объекте) ИИ находит похожие товары, а заданные правила сверяют их характеристики: марку, размеры, сечение и другие параметры. Если хотя бы одна характеристика, по которой различают товары, не совпадает, система отклоняет объединение.
Пайплайн сопоставления
Дубль может не попасть на проверку из-за неверной категории или отсутствующего артикула. Сравнивать все записи подряд тоже не выгодно: миллиарды лишних сравнений увеличивают время обработки и нагрузку на серверы. Так как сократить число проверок, не пропустив реальные совпадения?
Блокировка кандидатов
В справочнике из 100 000 записей почти 5 млрд возможных пар.
Сначала система отбирает записи с общими признаками:
- для товаров – по категории, артикулу и производителю;
- для контрагентов – по ИНН и вариантам названия.
Этот этап называют блокировкой кандидатов. Он сокращает число пар для дальнейшей проверки, но требует осторожности – если отбирать товары только по категории, запись с ошибочной классификацией выпадет из поиска. Несколько способов отбора, включая поиск по нормализованному названию, снижают риск пропустить дубль.
Сравнение полей
Когда кандидаты отобраны, система сравнивает поля каждой пары. Для названий применяют fuzzy matching (нечеткое сопоставление строк): алгоритм учитывает опечатки, перестановки слов и варианты написания. Размеры, мощность и другие числовые параметры сверяют по значениям и единицам измерения. Если критичные характеристики различаются, система отклоняет объединение.
Как сопоставлять поля номенклатуры 1С и CRM:
| Поле | Как сравнивать | Результат |
|---|---|---|
| Артикул | С учетом производителя и формата записи | Помогает определить конкретную модель |
| Наименование | Нечеткий поиск, сокращения, порядок слов | Выявляет дубли с разными названиями |
| Производитель | По утвержденному справочнику названий | Различает товары разных брендов |
| Марка и модель | По точным обозначениям | Снижает риск объединения разных изделий |
| Размер, мощность, объем | По значениям и единицам измерения | Предотвращает ошибки в заказах |
| Единица учета | По единицам и коэффициентам пересчета | Сохраняет корректность количества |
| Идентификатор 1С | Сохранять исходный ID, сверять с ID в CRM, если он там есть | Сохраняет связь результата с карточкой 1С и ее документами |
Для каждой пары алгоритм рассчитывает similarity score – оценку подобия по выбранным полям. Например, точное совпадение нормализованных артикулов может получить 1, а различия в названиях оцениваются по выбранному алгоритму. Высокий балл указывает на сходство записей, но не подтверждает, что это один товар.
Для контрагентов сверяют ИНН, КПП, ОГРН и названия компаний. Правила сравнения зависят от состава и заполненности полей в 1С и CRM.
Модель подобия
Не все совпадения можно найти по написанию. Embeddings (векторные представления текста) помогают модели распознавать близкие по смыслу названия. Но высокий балл сходства еще не говорит о том, что записи относятся к одному товару.
Итоговая оценка учитывает совпадения по полям: одним полям придают большее значение, другим – меньшее. Критичные расхождения блокируют объединение. В MDM (управлении мастер-данными) закрепляют правила выбора эталонной записи и назначают ответственных за спорные пары.
Как сопоставлять справочники 1С и CRM и проверять результат:
Данные 1С и CRM → Приведение названий и форматов к единому виду → Отбор похожих записей → Сравнение полей и оценка сходства с ИИ → Проверка критичных характеристик → Решение: подтвердить совпадение / передать эксперту / отклонить → Протокол решений → Запись утвержденных изменений в справочники
Результат: таблица утвержденных соответствий и протокол проверки с исходными ID, статусами и причинами решений. Вы видите, какие записи связаны, какие пары отклонены и какие изменения требуют согласования.
Где уместна LLM
В названиях товаров часто скрыты характеристики, которые нужны для точного сравнения: материал, размер, модель. Нормализация НСИ с нейросетью позволяет извлечь эти данные из текста, однако LLM может неверно определить категорию или добавить параметр, которого нет в карточке.
Классификация
Классификация товаров LLM помогает распределять позиции по категориям корпоративного справочника. Например, «Клапан обратный латунный DN20» модель относит к трубопроводной арматуре.
ИИ выбирает категорию из утвержденного списка, а специалист проверяет спорные варианты. Так можно быстрее разбирать новые позиции, сохраняя единые категории для закупок и анализа затрат.
Извлечение атрибутов
Из того же названия LLM выделяет тип изделия, материал и номинальный диаметр DN20. Для сопоставления номенклатуры 1С эти параметры сравнивают по отдельным полям, а не по всей строке.
Если производитель или рабочее давление не указаны, модель должна оставить поля пустыми. Придуманные характеристики могут привести к объединению разных товаров и ошибкам в заказах.
Объяснение пары
LLM может кратко объяснить предложенное совпадение: «Совпадают тип изделия, материал и диаметр, производитель не указан». Специалист видит основания для решения, но сверяет их с исходными данными. Такой подход называют human-in-the-loop (проверка решений человеком).
Исследователи Мангеймского университета изучили, как LLM объясняет совпадения записей и помогает находить причины ошибок. Вместо одной оценки сходства сотрудник видит, какие поля совпали, а какие требуют проверки. Такой разбор ускоряет согласование спорных пар и снижает риск объединить разных контрагентов или товары, сохраняя достоверность учета и отчетности.
Обработка опасных ошибок
Пропущенный дубль искажает данные об остатках. Ложное объединение смешивает разные модификации оборудования, и в заказ попадает неподходящая модель. При ИИ очистке справочников такие ошибки выявляют до изменения данных в 1С.
Ложные объединения
Рассмотрим условный пример: компания сопоставляет каталог офисной мебели из 30 SKU между 1С и CRM. Нужно найти три настоящих дубля и не объединить две пары похожих товаров с разными характеристиками.
Синтетический каталог из 30 SKU:
| SKU 01-10 | SKU 11-20 | SKU 21-30 |
|---|---|---|
| 01 Кресло «Мира», серое, ткань | 11 Стул «Тори», белый | 21 Полка «Рондо», 80 см |
| 02 Кресло Mira, сер. ткань | 12 Стул «Тори», черный | 22 Полка «Рондо», 100 см |
| 03 Стол «Лайн», белый, 120×60 см | 13 Стол «Лайт», дуб, 120×60 | 23 Комод «Эко», 3 ящика |
| 04 Line, стол бел., 1200×600 мм | 14 Стол «Лайт», дуб, 140×60 | 24 Комод «Эко», 4 ящика |
| 05 Тумба «Рио», дуб, 3 ящика | 15 Шкаф «Осло», белый, 80 см | 25 Держатель «Прайм», черный |
| 06 Рио, тумба 3 ящ., дуб | 16 Шкаф «Осло», белый, 100 см | 26 Держатель «Прайм», белый |
| 07 Кресло «Мира», серое, экокожа | 17 Подставка «Орби», черная | 27 Кресло «Лима», синее, ткань |
| 08 Стол «Лайн», белый, 140×60 см | 18 Подставка «Орби», белая | 28 Кресло «Лима», зеленое, ткань |
| 09 Тумба «Рио», дуб, 2 ящика | 19 Стеллаж «Вега», 4 полки | 29 Стол «Веста», черный, 100×50 |
| 10 Тумба «Рио», белая, 3 ящика | 20 Стеллаж «Вега», 5 полок | 30 Стол «Веста», белый, 100×50 |
Пять пар с условными оценками модели:
| Пара SKU | Оценка | Проверка |
|---|---|---|
| 01-02 | 0,98 | Дубль: разное написание |
| 03-04 | 0,95 | Дубль: размеры указаны в разных единицах |
| 05-06 | 0,91 | Дубль: сокращенное название |
| 01-07 | 0,88 | Не дубль: ткань и экокожа |
| 03-08 | 0,83 | Не дубль: длина стола 120 и 140 см |
Шесть SKU образуют три пары настоящих дублей: производитель и обязательные характеристики совпадают. Остальные 24 позиции дублей не имеют, хотя две из них (07 и 08) попали в список кандидатов из-за сходства названий.
Кресла «Мира» отличаются обивкой, столы «Лайн» – длиной. Если смотреть только на оценку подобия, при пороге 0,85 система ошибочно объединит кресла. Менеджер увидит общий остаток двух модификаций, рискуя подтвердить заказ на товар с другой обивкой.
У контрагентов также важны юридические реквизиты: два похожих названия и общий адрес не дают оснований связывать компании с разными ИНН.
Порог уверенности
Вернемся к каталогу мебели. Чтобы три настоящих дубля прошли проверку, а разные модификации остались раздельными, зададим условные пороги:
- От 0,90 – кандидат на автоматическое связывание после сверки обязательных характеристик.
- От 0,80 до 0,90 – специалист проверяет пару.
- Ниже 0,80 – записи автоматически не связывают.
Ручное согласование
Кресла «Мира» получили оценку сходства 0,88. Сотрудник видит разницу в обивке – ткань и экокожу – и отклоняет пару. Проверка спорных совпадений человеком помогает избежать ошибочного объединения и сохранить раздельный учет остатков.
Для подтвержденных дублей выбирают эталонную запись – основную карточку товара. В журнале сохраняют исходные ID, причину решения и ответственного. Если обнаружится ошибка, по журналу можно найти неверную связь и проверить затронутые документы. Отклоненные пары добавляют в тесты для проверки модели после обновлений.
Интеграция с 1С и CRM
Пока ИИ сопоставляет справочники, команда меняет товары и реквизиты в 1С и CRM. Если данные изменятся до загрузки результата, система может связать не те записи. Разберем, как организовать обмен, проверить актуальность данных и сохранить стабильную работу учетных систем.
1. Выгрузка
Для сопоставления справочников сначала получают исходные ID, названия, реквизиты и характеристики. Данные из 1С можно передать во внешнюю базу через Экстрактор 1С, не перегружая рабочую систему.
ИИ-агент Экстрактора 1С настраивает выгрузку по запросу на естественном языке – без написания программного кода (например: «Выгрузи номенклатуру с артикулами, названиями, характеристиками и ID»). Агент подбирает объекты 1С и готовит проект выгрузки, а аналитик проверяет состав полей. Содержимое справочников агент не получает: Экстрактор 1С передает данные напрямую во внешнюю базу.
Из CRM получают соответствующие поля. Исходные ID и дату выгрузки сохраняют, чтобы проверить версии карточек перед загрузкой изменений и исключить устаревшие сведения.
2. Обработка в контуре
Полученные данные нужно объединить, привести названия и характеристики к общему формату и далее передать кандидатов на проверку ИИ.
DVT (Denvic Visual Transformer) управляет подготовкой данных через единую визуальную ETL-схему, которую можно построить полностью через ИИ – при этом вся схема остается понятной и структурированной для человека.
Платформа объединяет источники, преобразует данные и запускает процессы по расписанию. Вместо отдельных скриптов вы видите весь процесс в одной схеме, проверяете промежуточные результаты и повторно запускаете обработку данных из справочников после их обновления.
3. Возврат результата
После проверки формируют таблицу соответствий: исходные ID, эталонные записи, статусы и причины решений.
Для передачи утвержденных изменений обратно в 1С можно использовать Инжектор 1С – low-code инструмент автоматической загрузки данных. Аналитик настраивает обмен без ручного ввода карточек. Если изменения затрагивают связанные объекты 1С, разработчик проверяет правила их обновления и сохранность связей с документами.
Перед загрузкой сверяют актуальность записей и сохраняют исходные карточки. На копии 1С проверяют, не нарушают ли изменения связи с документами, не создает ли повторная загрузка новые дубли и можно ли восстановить прежние связи при ошибке. По результатам тестов оценивают готовность интеграции к промышленному запуску.
Как оценить эффект дедупликации с ИИ
Алгоритм может принять разные товары за дубли и пропустить настоящие совпадения. Оценим точность и полноту поиска, а также время, которое специалисты тратят на ручную сверку.
Precision
Precision (точность) показывает долю настоящих дублей среди пар, предложенных системой.
Вернемся к примеру с каталогом мебели из 30 SKU. Для расчета возьмем условный порог 0,85 без дополнительной проверки характеристик. Из пяти размеченных пар модель выбрала четыре: три верных дубля и одно ошибочное совпадение – кресла с разной обивкой.
Precision = 3 / 4 × 100% = 75%.
Каждое четвертое предложенное объединение оказалось ошибочным. С такой точностью автоматически менять справочник рискованно: система смешает остатки разных товаров.
Recall
Recall (полнота) показывает, сколько настоящих дублей нашла модель. В нашем примере все три подтвержденные пары обнаружены.
Recall = 3 / 3 × 100% = 100%.
Матрица ошибок на пяти размеченных парах:
| Фактически | Модель: дубль | Модель: не дубль |
|---|---|---|
| Настоящий дубль | 3 – верно найдены (TP) | 0 – пропущены (FN) |
| Разные товары | 1 – ложное совпадение (FP) | 1 – верно отклонена (TN) |
Если запретить объединение кресел с разной обивкой, точность на этих пяти парах вырастет до 100%, а полнота сохранится на уровне 100%.
Но пять пар не покажут качество поиска во всем каталоге. Для пилота на ваших данных разметьте контрольную выборку, включая совпадения, пропущенные алгоритмом. Рассчитайте precision – долю правильных совпадений среди найденных, и recall – долю настоящих дублей, которые обнаружила система. Сравните показатели с результатами поиска без ИИ.
Экономия ручного труда
Теперь посчитаем время специалистов. Допустим, ручная проверка 200 пар занимает по две минуты – всего 400 минут. После автоматического отбора на согласование остаются 60 пар, или 120 минут работы.
Экономия: 280 минут (4 часа 40 минут) на одну партию. Расчет гипотетический: он не включает затраты на модель, контроль качества и исправление ошибок.
Сравните precision и recall до и после внедрения на одной размеченной выборке, а затраты на ручную проверку – на сопоставимых партиях. Вы увидите, сократились ли расходы без роста числа ошибочных объединений.
План внедрения
В тестовой базе ошибочное объединение легко отменить. После записи в рабочую 1С придется проверять связанные заказы, остатки и документы. Перед запуском проверьте весь процесс на ограниченном наборе реальных данных.
Пилот на номенклатуре
Выберите одну товарную категорию, где встречаются настоящие дубли и похожие позиции с разными характеристиками.
- Подготовьте выборку. Соберите реальные карточки и отметьте верные и ложные совпадения. Включите товары с разными размерами, материалами и комплектацией.
- Проверьте поиск. Сравните действующие правила с алгоритмом на базе ИИ. Рассчитайте точность и полноту, найдите пропущенные дубли и ошибочные объединения.
- Проверьте согласование. Передайте спорные пары специалисту НСИ. Сверьте его решения с оценками модели и зафиксируйте причины расхождений.
- Протестируйте загрузку. Запишите утвержденные соответствия в тестовую 1С. Проверьте связи с документами и повторный запуск обмена.
Если данные CRM уже поступают в 1С или аналитическую систему, проверьте существующие связи между карточками. Подробнее об обмене – в статье «Обогащение данных 1С из CRM и внешних систем».
Операционный контроль
После пилота спорные пары уже не разбирает проектная команда.
Новые товары поступают регулярно, и для их проверки нужны ответственные:
- Владелец справочника – утверждает правила сопоставления и изменения критичных характеристик.
- Специалист НСИ – разбирает спорные пары и фиксирует причины решений.
- Инженер интеграции – контролирует обмен данными и устраняет сбои загрузки.
Установите срок проверки спорных пар и порядок действий при повторяющихся ошибках. Следите за очередью согласования: если она растет, новые товары дольше остаются без корректных связей между 1С и CRM.
Регрессия
Обновили словарь сокращений для одной категории – проверьте, не ухудшился ли поиск в остальных. Для этого сохраняют контрольный набор пар с подтвержденными и отклоненными совпадениями. После каждого изменения модели или правил сравнивают новые решения с прежними.
Чек-лист перед запуском:
- В контрольном наборе есть настоящие дубли, похожие товары и записи с неполными характеристиками.
- Новая версия не допускает ошибочных объединений по критичным признакам.
- Сохранены предыдущие настройки модели, словари и пороги для отката.
- Назначен ответственный, который остановит автоматическую запись при обнаружении ошибок.
Если обновление ошибочно объединяет товары, которые прежняя версия различала, сначала исправьте причину и повторите тесты. Только затем переносите изменения в рабочую систему.
