Выгрузка данных из 1С в bi системы с помощью Экстрактора данных от Денвик

Назначение продукта

"Экстрактор данных 1С 8.3 в BI" используется для автоматизации работы по выгрузке данных для последующего анализа в BI-системе Yandex Datalens. Наши Заказчики - это:

бизнес-аналитики
программисты
пользователи, активно работающих с 1С 8
финансовые и технические директора
CEO

Продукт решает следующие проблемы:

Удобная настройка выборки данных в 1С - т.е. формирование 1С как "Источника данных"
Автогенерация таблиц в базе-приемнике ClickHouse
Автосопоставление полей между Источником данных и Базой-приемником
Автоматическая (по расписанию) выгрузка данных из 1С в базу-приемник (можно укзаать разное расписание для разных наборов данных, можно разделить выгрузку по периодам, потокам и прочим фильтрам)

«Экстрактор данных 1С 8 в BI» - это ETL-инструмент автоматизации массивной выгрузки данных из 1С в аналитическую базу данных Clickhouse для работы с такими инструментами BI-аналитики как:

Yandex Datalens, Apache Superset, Microsoft Power BI, Qlik Sense, Tableau, Processet, Omega BI, LuxmsBI, Visiology, Loginom, Форсайт, Polymatica

«Экстрактор данных» полностью автоматизирует извлечение информации в Datalens, Visiology и пр. а также трансформацию и выгрузку данных в БД Clickhouse, для последующей обработки в BI-системах Datalens, Tableau и других.

«Экстрактор данных» реализует:

Данные с помощью экстрактора формируются в пользовательском режиме из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц
Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД Clickhouse, при этом:
БД Clickhouse поддерживается как в облаке Яндекс Datalens, так и self-hosted (http и https – доступ)
Поддержка партицирования таблиц в БД Clickhouse
Полная выгрузка экстрактором и выгрузка только изменений (в рамках партиции)
С помощью экстрактора данные осуществляются в многопоточную выгрузку
Работа с клиент-серверными и файловыми базами
Экстрактор полностью автоматизирует работу в фоновом режиме

Базово, наше Решение реализовано как «Расширение» 1С 8.3, т.е. оно встраивается в вашу 1С и дополняет возможности программы необходимым функционалом.

В каждой поставке мы предоставляем Заказчикам две версии:
Как «Расширение»
Как «Конфигурацию» для встраивания (методом объединения конфигураций)

Мы осуществляем полную методическую и консультационную поддержку нашего Решения.

Разработка выполнена на Управляемых формах (поэтому, если у вас не запрещен запуск вашей конфигурации в режиме управляемых форм, то наше Решение будет там работать вполне успешно).

Мы использовали стандартные методы и подходы 1С 8.3 и частично задействовали механизмы БСП (Библиотека стандартных подсистем), но только в части встраивания и создания регламентных заданий.

Решение имеет систему лицензирования и защиты, лицензируется на количество баз 1С, где устанавливается.
Также, Решение нормально (без доработок и адаптации) работает с любыми конфигурациями с версии платформы 8.3.16 (Для платформы ниже 8.3.16 необходима проверка под совместимость.
На данный момент реализованы проекты, работающие с кастомными конфигурациями под 8.3.10 и 8.3.11 (потребовалась небольшая адаптация и внедрение в конфигурацию, так как данные платформы 1С полноценно не поддерживают механизм Расширений).

Решение уже протестировано на стандартных (типовых) конфигурациях:

1С Управление торговлей 11 (11.4 и 11.5);
1С Розница 2 и 3;
1С Бухгалтерия 3.0;
ЗУП;
ERP 2.4 и 2.5;
УНФ 1.6 и 3.0;
Далион;
АСТОР.

Так как Решение является универсальным, то технически может быть запущено на любой конфигурации 1С 8.3.

Идея состоит в том, чтобы без участия программистов 1С, бизнес-аналитик мог сам:

Собрать себе набор данных (Датасет) в терминах 1С
На его основе создать таблицу в Базе данных “одной кнопкой”
при необходимости, добавить новые поля в набор данных и обновить таблицу-приемник новыми полями
Настроить регулярную автоматическую выгрузку, на то чтобы данные передавались в базу данных
Обеспечить многопоточную фоновую выгрузку, чтобы данные выгружались «по расписанию»
При определенных настройках можно реализовать фактически real-time выгрузку данных в БД Clickhouse(все зависит от того, какого объёма данные и поставленной задачи бизнес-аналитиком)
заниматься своей работой здесь и сейчас, не ожидая какие-то разработки, доработки, ручные выгрузки отчетов от программистов 1С и т.д.
получать большие массивы данных здесь и сейчас для анализа в своей BI-системе (например, Datalens)

Какие данные можно выгрузить с "Экстрактор данных 1С в BI-системах в Datalens" от ДЕНВИК

Наше решение позволяет выгружать любые данные из 1С в таблицы Clickhouse, для последующей работы в BI-системах Datalens:

Продажи;
Расходы;
Закупки;
Документы;
Справочники;
Перечисления;
Константы;
Планы видов характеристик;
Планы счетов;
Хозяйственные операции (проводки);
Регистры сведений (цены и т.д.);
Регистры расчета (зарплатные);
Бизнес-процессы;
Задачи;
Планы обмена.
и т.д.
И все это вместе и как единый набор данных для выгрузки и как отдельные наборы данных

Использование Экстрактора данных позволит вам не только упростить переносимые данные из 1С в yandex Datalens или Power BI, но и:

делать автоматическую выгрузку данных из любой конфигурации (даже из файловой);
настроить выгрузку в Datalens по расписанию;
подключить и настроить передаваемые в Datalens данные без участия программистов;
гибко добавлять и изменять таблицы в базе данных Datalens, куда выгружаются данные
все данные хранятся в облаке yandex Datalens, поэтому не нужно тратиться на администрирование серверов и контроль базы данных;
Это прямая выгрузка по расписанию из 1С в базу данных, для работы с Yandex Datalens и Power BI

Выгрузка из 1С в Yandex Datalens данных происходит следующим образом:

Экстрактор данных 1С в BI:

Подходит для всех конфигураций 1С 8.3 (тестировалось начиная с платформы 8.3.16);
Умеет выгружать абсолютно все сущности, в том числе и нетиповые;
Устанавливается как "Расширение 1С", а также как "Конфигурация для объединения".

Тестировалось и отлично работает под:

1С Управление торговлей 11
1С комплексная автоматизация 2
1С ERP 2.4 и 2.5
1С Розница 2 и 3
1С УНФ 1.6 и 3
1С Управление Холдингом
Далион
АСТОР Торговая Сеть и АСТОР Ваш Магазин
1С Управление Отелем
и другие...

Для работы требует установленный и настроенный сервер Clickhouse (в облаке или у вас на компьютере)

Описание как развернуть Managed Service for Clickhouse в облаке Яндекс

По запросу предоставим образы для развертывания Clickhouse под Hyper-V/VirtualBox)

Чтобы выгрузить данные из 1С в Datalens, нужно открыть экстрактор данных через 1С и выбрать необходимые для выгрузки в Datalens сущности.

Далее переименовать поля, если это нужно, чтобы они корректно выгрузились в Yandex Datalens и указать, как нужно отфильтровать данные. Следующим этапом настроить расписание для выгрузки.

Теперь можно подключаться к своей базе данных через Yandex Datalens и настраивать визуализации.

У нас вышла новая версия "Экстрактора данных", которая включает в себя:

Многопоточную выгрузку данных
Пред- и пост-обработчики выгрузки для каждого "проекта"
Специализированную "очередь" выгрузки, с помощью которой программист конфигурации может гибко управлять выгрузкой изменений" из базы 1С
Работу с партициями таблиц Clickhouse (теперь система умеет перезаписывать не всю таблицу-приемник целиком, а перезаписывать отдельные ее партиции (например месяцы или дни и т.д.)
Проведена значительная оптимизация кода, которая позволила еще более ускорить выгрузку, в том числе и за счет "тонкой" настройки экранирования спецсимволов
Теперь "Экстрактор данных" поставляется и как "Расширение" и как "Конфигурация для объединения"

Примеры настроенных дашбордов в Yandex Datalens по данным, получаемым нашим решением из 1С

Демо на котором демонстрируются выгружаемые данные о выручке и себестоимости в Datalens
Демо по безналичным платежам в Datalens

Мы поможем подключить и настроить Экстрактор данных для выгрузки в Datalens, если у вас возникнут проблемы.

Как подключить базы Clickhouse описано в этих статьях:

Быстрый гайд по развертыванию базы данных Clickhouse в облаке Яндекс (для работы с Yandex Datalens) (Далее, далее, далее...)

Как выгрузить данные с помощью нашего решения в Datalens, мы подробно описали в своем блоге.

Для консультации по поводу возможностей решения и совместимости его с 1С обращайтесь в наш отдел продаж.

Новинки, обновления и ответы на вопросы доступны в нашем Telegram-канале: https://t.me/extractor_1C_to_Clickhouse

Подписывайтесь, будьте в курсе новостей.

Сравнительный анализ

Традиционная парадигма разработки ПО, основанная на императивном программировании, требует высокой квалификации и много ресурсов. В этой модели создание и отладка кода — трудоемкие задачи, требующие глубоких знаний и навыков.

Low-code платформы предлагают другой подход. Они используют графические элементы и упрощают кодирование. Это сокращает время разработки и делает её понятной для пользователей с любым уровнем навыков.

Заказать демо

Другие статьи

Смотреть все

Экстрактор данных 1С в BI, 2.4.5.13 — релиз обновления

Обновление Экстрактора данных 1С в IB. Что изменилось, какие дополнительные преимущества приобретают пользователи программного обеспечения? Читайте в статье.

OLAP кубы в Excel: памятка по подключению

Краткая памятка по подключению к кубу OLAP (MS Analysis Services) из MS Excel на примере преднастроенного куба по чековой аналитике для SIS в программных решениях компании "АСТОР".

Кратко о выгрузке из 1С в Yandex Datalens

Yandex DataLens - это бизнес-аналитическая платформа, которая позволяет создавать интерактивные отчеты и дашборды для анализа данных, а Экстрактор данных 1С в BI - это инструмент, который позволяет извлекать данные из 1С в различные бизнес-аналитические системы.

Что лучше? - выгружать из 1С данные в Excel или лучше использовать Экстрактор данных 1С в BI?

Попросил ChatGPT написать мне ответ: Что же лучше использовать для выгрузки данных из 1С 8?
Выгружать данные из 1С в Excel
Или лучше использовать "Экстрактор данных 1С в BI"

Развертываем базу данных Яндекс Clickhouse в облаке Яндекс

Пошаговое описание по подключению управляемой базы данных Clickhouse в облаке Яндекс для работы с 1С и Yandex Datalens.

Как работать с данными в ClickHouse в Power BI или MS Excel

Если вы используете Power BI или Microsoft Excel и ClickHouse (например, используя выгрузку данных их "Экстрактор данных 1С в BI"), вы столкнетесь с тем, что в Power BI/Excel нет предустановленных коннекторов для ClickHouse. Чтобы выгрузить данные нужно использовать другой метод - подключение по ODBC от компании Microsoft. О нем сегодня и расскажем.

Как построить аналитику данных 1С: встроенные отчеты, excel-таблицы, напрямую через Odata или в Yandex Datalens

Одной из особенностей розничной торговли является необходимость анализа больших объемов информации: чеки, транзакции, покупатели. Обработка сотен миллионов чеков, сбор и агрегация этих данных в Хранилище, анализ среднего чека, динамики выручки, «корзина покупателя». Отсюда и выросла наша компетенция в BI.

Корпоративное хранилище данных (DWH): что это и зачем оно крупному бизнесу

Каждая компания за время своей работы обрастает данными. Чем больше этих данных, тем точнее бизнес-решения, принимаемые на их основе. Но большинство компаний в работе используют множество различных систем (1С, сайт, CRM, и т.д.), данные из которых хранятся разрозненно. Чтобы видеть точный результат работы, их нужно объединить в специальном хранилище Data Warehouse. Рассказываем, что это и зачем его использовать бизнесу.

Российские аналоги Power BI

Лидером рынка систем бизнес-аналитики считался Power BI, но он больше не доступен для российских пользователей. В связи с этим многие компании вынуждены были искать аналоги и переходить на другие решения для BI-аналитики. Мы подготовили для вас обзор отечественных аналогов Power BI. Если вы не знаете, какую систему BI-аналитики выбрать, эта статья для вас. В конце расскажем, как мы можем помочь с переносом данных.

1С: Аналитика: Обзор возможностей

Системы бизнес-аналитики существенно упрощают работу с данными. Мы используем их в работе своей компании, а также внедряем своим клиентам. До этого мы публиковали цикл статей по Yandex Datalens, но если вы хотите анализировать данные только из учетной системы, вы можете использовать собственный инструмент компании 1С – 1С:Аналитика. Данная статья – технический обзор нового сервиса 1С:Аналитика.

Выгрузка из 1С в Datalens

1С используют большинство компаний России, поэтому нам часто приходится выгружать из нее данные. Сегодня рассказываем, как связать 1С с Yandex Datalens, чтобы это было просто и без участия программиста.

Переход с Power BI на Yandex Datalens (На что обратить внимание)

Если вы хотите перейти с Power BI на Yandex Datalens возникает проблема переноса данных. О том, какие есть подводные камни и как решить задачу по переходу, рассказываем в статье.

15 / 16

Подписка на новости

Хотите узнавать о лучших предложениях первыми?
Подпишитесь на наши новости!

Назад к списку

Экстрактор данных 1С->BI: как выгружать данные из 1С в Yandex Datalens