Работа с данными в 1С — это всегда баланс между скоростью, стабильностью и возможностью масштабирования. Большинство компаний используют 1С как центральную систему, но аналитика, интеграции и обмен данными часто строятся на ручных выгрузках, скриптах, разрозненных интеграторах и решениях «на коленке».
Что получается на практике? Бизнес месяцами не может получить нужный отчёт и путается в цифрах. А IT-отдел только и делает, что вручную готовит данные, не успевая решать более важные задачи.
Несколько лет назад мы решили разорвать этот порочный круг. Результатом нашей работы стала полноценная экосистема продуктов Denvic Visual Tools. В её основе — три инструмента: Экстрактор 1C, Инжектор 1C и новый визуальный ETL-конструктор Denvic Visual Transformer (DVT).
Эта статья рассказывает о том, как мы пришли к такой архитектуре, зачем бизнесу нужна связка из трёх инструментов и какие задачи она решает.
С чего всё началось: потребность в быстрой и безопасной выгрузке данных из 1С
Первый продукт экосистемы — Экстрактор 1С.
Первоначальная задача формулировалась просто: обеспечить выгрузку данных из 1С в удобную и безопасную среду для аналитиков и дата-инженеров.
Но для её реализации в реальных компаниях продукт должен был соответствовать пяти ключевым принципам:
-
Многопоточность — для работы с большими объёмами без блокировок
-
Высокая скорость — чтобы не нагружать 1С и не тормозить пользователей
-
Self-service — чтобы аналитик мог работать без привлечения разработчика
-
Low-code — минимум кода, максимум логики в интерфейсе
-
Отслеживание изменений — выгрузка дельты, а не всей базы
Экстрактор 1C решил ключевую боль рынка: быстрый, предсказуемый и удобный канал выгрузки данных из 1С в хранилища, очереди и BI-системы.
Как рынок изменил запрос: нужно не только выгрузить
На этапе активной эксплуатации Экстрактора 1C стало очевидно: выгрузка — это лишь половина процесса.
У команд появлялись задачи:
-
Загружать данные обратно в 1С
-
Синхронизировать данные между разными контурами
-
Выравнивать справочники
-
Переносить данные между конфигурациями
-
Мигрировать с иностранных ERP на 1С
При этом многие компании не имели достаточного количества специалистов 1С или не хотели тратить время на трудоёмкие интеграции.
Так появился второй продукт экосистемы — Инжектор 1С, инструмент для надёжной и быстрой загрузки данных в конфигурации 1С, также выполненный в парадигме многопоточности и low-code.
Экстрактор 1C и Инжектор 1C эффективно закрывают две ключевые стадии конвейера данных: выгрузку и загрузку. Однако полноценный процесс требует третьего, центрального звена — стадии трансформации, где данные нужно обработать, очистить, нормализовать, объединить и подготовить.
Недостающий элемент: система трансформации данных Denvic Visual Transformer (DVT)
В реальных проектах информация редко бывает готова к использованию сразу после выгрузки:
- Данные поступают из разнородных источников
- Они имеют противоречивую структуру
- Содержат ошибки, дубликаты и пропуски
- Требуют нормализации, обогащения, агрегации
- Не подходят для прямой загрузки в 1С или BI-системы
До сих пор эти задачи решались вручную — с помощью SQL, скриптов и разрозненных утилит. Такой подход создаёт «бутылочное горлышко»: каждый новый отчёт или интеграция требуют времени ценных (и дорогих) разработчиков. Это напрямую бьёт по бизнесу: из-за нехватки ресурсов в отчётах появляются ошибки, данные в разных системах расходятся, а решения принимаются по вчерашней аналитике.
DVT ломает эту модель, опуская порог входа до уровня обычного пользователя (не программиста). Ресурсоёмкость задач по работе с данными снижается в разы, и бизнес перестаёт зависеть от графиков и приоритетов IT-отдела.
Denvic Visual Transformer (DVT): визуальный ETL-конструктор
Разработка началась в феврале 2025 года.
Мы протестировали десятки подходов, инструментов, платформ — и создали продукт, который соответствует задачам современного рынка данных вокруг 1С.
Главные принципы DVT:
-
Визуальное проектирование
-
Высокопроизводительные вычисления
-
Многопоточность
-
Self-service
-
Low-code
-
Масштабирование под большие объемы.
Визуальный интерфейс и узлы-трансформации
DVT использует понятный и привычный подход: ноды (кубики) → линии → потоки данных.
Каждый узел — конкретная операция: фильтрация, группировка, объединение, сортировка, переименование колонок, вычисления и многое другое.
Поддерживаемые источники
DVT подключается к:
-
Базам данных - PostgreSQL, MS SQL, ClickHouse, MySQL. В вланах - Greenplum;S3-хранилищам;
-
CSV, Excel, Parquet;
-
данным из 1С, полученным Экстрактором 1С;
Расширяемость
Для сложных сценариев доступно выполнение Python-кода и создание собственных модулей трансформации.
Техническая база
Под капотом — Dask, современный лёгкий фреймворк для ленивых вычислений и масштабирования ETL-нагрузки. Для решений Enterprise-уровня планируется поддержка движков Apache Spark и dbt.
Это позволяет DVT работать с большими объёмами данных без потери скорости.
Зачем всё это бизнесу
DVT закрывает то, что раньше приходилось собирать вручную:
-
Единая среда подготовки данных
-
Отсутствие разрывов между системами
-
Гарантированная согласованность данных
-
Меньше ручных процессов
-
Сокращение нагрузки на разработчиков
-
Ускорение внедрения аналитики
Компания получает не просто инструменты, а сквозной процесс данных, в котором все элементы работают согласованно.
Экосистема Denvic Visual Tools: единая логика данных
Сегодня экосистема выглядит так:
-
Экстрактор 1С — извлечение данных
-
DVT — подготовка и трансформация
-
Инжектор 1С — загрузка данных в 1С
Эти продукты уже работают в реальных компаниях и позволяют:
-
Выстраивать надёжные каналы обмена данными
-
Формировать витрины данных
-
Проводить миграции и синхронизации
-
Обеспечивать стабильную аналитику
-
Развивать цифровые контуры без хаоса с интеграциями
Уверенный взгляд вперёд
Мы продолжаем развивать экосистему Denvic Visual Tools: расширяем ноды, источники, возможности оркестрации и автоматизации.
Но главное — продукты уже помогают компаниям строить надёжные процессы данных и избавляться от ручной рутины, ошибок в отчётах и «узких мест» в интеграциях.
Именно так мы видим современную работу с данными вокруг 1С:
быструю, предсказуемую, удобную и доступную без больших команд разработчиков.
