21.11.25
20 ноября 2025 года состоялся онлайн-воркшоп по работе с Экстрактором 1С, на котором эксперты делились практическими кейсами и отвечали на вопросы пользователей.
Среди спикеров на встрече были:
- Пыстин Степан - Технический директор в компании "Денвик Аналитика". Эксперт по разработке и внедрению программных продуктов.
- Суровцева Анна - Технический специалист компании "Денвик". Программист 1С. Специалист по поддержке Экстрактора 1С в "Денвик Аналитика".
Вебинар прошел в формате воркшопа, с демонстрацией работы инструмента в реальном времени и ответами на вопросы аудитории. Эксперты показали, как оптимизировать процесс выгрузки и обработки данных, что позволит пользователям эффективно управлять данными и экономить ресурсы.
Вопрос:
Можно ли задать разные расписания для разных наборов данных?
Ответ:
Да.
• Расписание задаётся на уровне проекта.
• Все источники внутри одного проекта выполняются по одному расписанию.
Чтобы использовать разные расписания — нужно разнести наборы данных в отдельные проекты.
2. Есть ли механизм кэширования при повторных выгрузках?
Вопрос:
Чтобы не тянуть все данные заново, можно ли использовать кэш?
Ответ:
Это не кэширование, а инкрементальная выгрузка.
Экстрактор:
• отслеживает изменения объектов 1С с помощью регистрации изменений,
• помещает их в очередь,
• выгружает только изменённые сегменты.
3. Можно ли посмотреть, какие данные попали в инкремент?
Ответ:
Да, через очередь выгрузки.
Если включить поле «Дата выгрузки» — можно увидеть, какие сегменты перезаписаны.
Триггерные изменения фиксируются автоматически.
4. Как настраивается многопоточность?
Ответ:
• По умолчанию: 4 потока.
• 1С ПРОФ — до 12 потоков.
• 1С Корп — ограничений нет.
• Скорость зависит также от размера сегмента.
5. Как настроить постобработку данных (удаление дублей, маскирование, шифрование)?
Ответ:
Постобработка возможна в вычисляемых полях.
Можно:
• подменять значения полей,
• накладывать маску,
• преобразовывать в хэш,
• использовать пользовательские экспортные функции.
Однако рекомендуется выгружать сырые данные, а преобразования выполнять в последующем ETL-процессе.
6. Когда используются Bulk Insert / COPY для PostgreSQL и MS SQL?
Ответ:
Используются при:
• больших пакетах (десятки/сотни тысяч строк),
• когда необходимо ускорить массовую вставку.
Для мелких инкрементов лучше использовать обычные INSERT.
Требования:
• настроенный каталог обмена, доступный серверу 1С и серверу БД.
• доступы к сетевой папке должны быть корректно настроены.
7. Как работает шифрование данных?
Ответ:
• Передача идёт по HTTPS.
• Возможна дополнительная маскировка/шифрование через вычисляемые поля.
• На уровне БД отдельные механизмы не используются.
8. Можно ли экспортировать схему проекта в JSON или YAML?
Ответ:
Нет.
Поддерживается только XML-шаблон.
Шаблоны можно:
• сохранять из формы проекта,
• выгружать все разом,
• хранить в Git.
9. Как извлекать данные из текстовых файлов, загруженных в 1С?
Ответ:
Выгрузка самих прикреплённых файлов пока не поддерживается.
Рассматривается идея выгружать абсолютный путь до файла.
Если необходимо выгрузить внешние файлы (CSV, Excel) — это возможно через соответствующий режим экстрактора.
10. Какие методы защиты данных реализованы в Инжекторе?
Ответ:
Инжектор также использует:
• передачу данных по HTTP,
• прикладное шифрование,
• стандартные драйверы СУБД.
11. Как выгружать общие реквизиты документов?
Ответ:
Для технологии 1С:Фреш поддержка в разработке.
Требует уточнения деталей конфигурации — команда готова ответить в Telegram-чате.
12. Какие регулярные выражения поддерживаются в 1С и экстракторе?
Ответ:
Поддерживаются те же регулярные выражения, что используются в языке запросов 1С.
Экстрактор полностью принимает их в тексте запросов.
13. Что делать при изменении структуры таблиц после обновления 1С?
Ответ:
Используется Центр управления:
• выгрузка метаданных конфигурации,
• просмотр реквизитов документов, табличных частей, типов,
• последующее сравнение версий (в разработке).
Будет добавлена хэш-функция для отслеживания изменений метаданных.
14. Как определяется тип данных при выгрузке из 1С?
Ответ:
Тип определяется:
• по типу и длине реквизита в конфигурации 1С.
Если тип подобран неверно, можно:
• вручную изменить тип поля на этапе сопоставления,
• например, заменить smallint → numeric,
• или обрезать время у дат.
Ошибки в определении smallint устранены в обновлениях последних месяцев.
15. Как выполнить первичную загрузку всей базы, а затем перейти на инкремент?
Ответ:
В новом релизе реализован механизм расширения сегмента.
Доступны 3 режима:
1. Инициализация — первичная загрузка (например, за неделю).
2. Регулярный режим — отслеживание изменений по регистратору.
3. Расширенный сегмент — если число изменений достигает порога, выгружается весь день целиком.
Это оптимизирует и первичную загрузку, и дальнейшую инкрементальную работу.
16. Что такое расширенный сегмент?
Ответ:
Если регулярных изменений за день становится больше установленного порога — выполняется выгрузка всего дня одним пакетом.
17. Есть ли ограничения на размер пакета в Инжекторе?
Ответ:
Да, ограничения накладывает 1С:
• примерно до 10 000 строк за один вызов записи.
Поэтому загрузку необходимо дробить.
Планируется многопоточная обработка для ускорения загрузки.
18. История изменений объектов
Вопрос:
Можно ли выгружать историю изменений с пометкой удаления и владельцами?
Ответ:
• Прямого механизма нет, можно реализовать «псевдо-историю» через режим добавления и отметку даты выгрузки.
• Полная версионность пока не поддерживается.
19. Обработка ошибок и ограничений типов данных
• Ошибки типа «SmallInt out of range» решаются на этапе сопоставления полей вручную.
• Можно корректировать типы данных в проекте.
• Для некорректных значений даты можно задать fallback-значение.
20. Многопоточность
• По умолчанию 4 потока, настраивается до 12–24 потоков в зависимости от лицензии.
• Файловая база ограничивает число потоков до 1.
Среди спикеров на встрече были:
- Пыстин Степан - Технический директор в компании "Денвик Аналитика". Эксперт по разработке и внедрению программных продуктов.
- Суровцева Анна - Технический специалист компании "Денвик". Программист 1С. Специалист по поддержке Экстрактора 1С в "Денвик Аналитика".
Вебинар прошел в формате воркшопа, с демонстрацией работы инструмента в реальном времени и ответами на вопросы аудитории. Эксперты показали, как оптимизировать процесс выгрузки и обработки данных, что позволит пользователям эффективно управлять данными и экономить ресурсы.
Запись онлайн-воркшопа:
Блок «Вопрос–Ответ» по материалам вебинара от 20.11.2025
1. Можно ли гибко конфигурировать частоту инкрементальной выгрузки?Вопрос:
Можно ли задать разные расписания для разных наборов данных?
Ответ:
Да.
• Расписание задаётся на уровне проекта.
• Все источники внутри одного проекта выполняются по одному расписанию.
Чтобы использовать разные расписания — нужно разнести наборы данных в отдельные проекты.
2. Есть ли механизм кэширования при повторных выгрузках?
Вопрос:
Чтобы не тянуть все данные заново, можно ли использовать кэш?
Ответ:
Это не кэширование, а инкрементальная выгрузка.
Экстрактор:
• отслеживает изменения объектов 1С с помощью регистрации изменений,
• помещает их в очередь,
• выгружает только изменённые сегменты.
3. Можно ли посмотреть, какие данные попали в инкремент?
Ответ:
Да, через очередь выгрузки.
Если включить поле «Дата выгрузки» — можно увидеть, какие сегменты перезаписаны.
Триггерные изменения фиксируются автоматически.
4. Как настраивается многопоточность?
Ответ:
• По умолчанию: 4 потока.
• 1С ПРОФ — до 12 потоков.
• 1С Корп — ограничений нет.
• Скорость зависит также от размера сегмента.
5. Как настроить постобработку данных (удаление дублей, маскирование, шифрование)?
Ответ:
Постобработка возможна в вычисляемых полях.
Можно:
• подменять значения полей,
• накладывать маску,
• преобразовывать в хэш,
• использовать пользовательские экспортные функции.
Однако рекомендуется выгружать сырые данные, а преобразования выполнять в последующем ETL-процессе.
6. Когда используются Bulk Insert / COPY для PostgreSQL и MS SQL?
Ответ:
Используются при:
• больших пакетах (десятки/сотни тысяч строк),
• когда необходимо ускорить массовую вставку.
Для мелких инкрементов лучше использовать обычные INSERT.
Требования:
• настроенный каталог обмена, доступный серверу 1С и серверу БД.
• доступы к сетевой папке должны быть корректно настроены.
7. Как работает шифрование данных?
Ответ:
• Передача идёт по HTTPS.
• Возможна дополнительная маскировка/шифрование через вычисляемые поля.
• На уровне БД отдельные механизмы не используются.
8. Можно ли экспортировать схему проекта в JSON или YAML?
Ответ:
Нет.
Поддерживается только XML-шаблон.
Шаблоны можно:
• сохранять из формы проекта,
• выгружать все разом,
• хранить в Git.
9. Как извлекать данные из текстовых файлов, загруженных в 1С?
Ответ:
Выгрузка самих прикреплённых файлов пока не поддерживается.
Рассматривается идея выгружать абсолютный путь до файла.
Если необходимо выгрузить внешние файлы (CSV, Excel) — это возможно через соответствующий режим экстрактора.
10. Какие методы защиты данных реализованы в Инжекторе?
Ответ:
Инжектор также использует:
• передачу данных по HTTP,
• прикладное шифрование,
• стандартные драйверы СУБД.
11. Как выгружать общие реквизиты документов?
Ответ:
Для технологии 1С:Фреш поддержка в разработке.
Требует уточнения деталей конфигурации — команда готова ответить в Telegram-чате.
12. Какие регулярные выражения поддерживаются в 1С и экстракторе?
Ответ:
Поддерживаются те же регулярные выражения, что используются в языке запросов 1С.
Экстрактор полностью принимает их в тексте запросов.
13. Что делать при изменении структуры таблиц после обновления 1С?
Ответ:
Используется Центр управления:
• выгрузка метаданных конфигурации,
• просмотр реквизитов документов, табличных частей, типов,
• последующее сравнение версий (в разработке).
Будет добавлена хэш-функция для отслеживания изменений метаданных.
14. Как определяется тип данных при выгрузке из 1С?
Ответ:
Тип определяется:
• по типу и длине реквизита в конфигурации 1С.
Если тип подобран неверно, можно:
• вручную изменить тип поля на этапе сопоставления,
• например, заменить smallint → numeric,
• или обрезать время у дат.
Ошибки в определении smallint устранены в обновлениях последних месяцев.
15. Как выполнить первичную загрузку всей базы, а затем перейти на инкремент?
Ответ:
В новом релизе реализован механизм расширения сегмента.
Доступны 3 режима:
1. Инициализация — первичная загрузка (например, за неделю).
2. Регулярный режим — отслеживание изменений по регистратору.
3. Расширенный сегмент — если число изменений достигает порога, выгружается весь день целиком.
Это оптимизирует и первичную загрузку, и дальнейшую инкрементальную работу.
16. Что такое расширенный сегмент?
Ответ:
Если регулярных изменений за день становится больше установленного порога — выполняется выгрузка всего дня одним пакетом.
17. Есть ли ограничения на размер пакета в Инжекторе?
Ответ:
Да, ограничения накладывает 1С:
• примерно до 10 000 строк за один вызов записи.
Поэтому загрузку необходимо дробить.
Планируется многопоточная обработка для ускорения загрузки.
18. История изменений объектов
Вопрос:
Можно ли выгружать историю изменений с пометкой удаления и владельцами?
Ответ:
• Прямого механизма нет, можно реализовать «псевдо-историю» через режим добавления и отметку даты выгрузки.
• Полная версионность пока не поддерживается.
19. Обработка ошибок и ограничений типов данных
• Ошибки типа «SmallInt out of range» решаются на этапе сопоставления полей вручную.
• Можно корректировать типы данных в проекте.
• Для некорректных значений даты можно задать fallback-значение.
20. Многопоточность
• По умолчанию 4 потока, настраивается до 12–24 потоков в зависимости от лицензии.
• Файловая база ограничивает число потоков до 1.
Итоговые рекомендации
• Правильно писать запросы и настраивать обработчики для инкрементальной выгрузки.
• Для больших объемов данных использовать пакетные вставки и многопоточность.
• Хранить сырые данные, а трансформации выполнять через ETL-процесс.
• Для версионирования проектов использовать XML-шаблоны и GIT.
Наши менеджеры ответят на все вопросы, произведут расчет стоимости услуг и
подготовят
коммерческое предложение!
Заказать проект
