Назад
Назначение продукта
"Экстрактор данных 1С 8.3 в BI" используется для автоматизации работы по выгрузке данных для последующего анализа в BI-системе Yandex Datalens. Наши Заказчики - это:
- бизнес-аналитики
- программисты
- пользователи, активно работающих с 1С 8
- финансовые и технические директора
- CEO
Продукт решает следующие проблемы:
- Удобная настройка выборки данных в 1С - т.е. формирование 1С как "Источника данных"
- Автогенерация таблиц в базе-приемнике ClickHouse
- Автосопоставление полей между Источником данных и Базой-приемником
- Автоматическая (по расписанию) выгрузка данных из 1С в базу-приемник (можно укзаать разное расписание для разных наборов данных, можно разделить выгрузку по периодам, потокам и прочим фильтрам)
«Экстрактор данных 1С 8 в BI» - это ETL-инструмент автоматизации массивной выгрузки данных из 1С в аналитическую базу данных Clickhouse для работы с такими инструментами BI-аналитики как:
- Yandex Datalens, Apache Superset, Microsoft Power BI, Qlik Sense, Tableau, Processet, Omega BI, LuxmsBI, Visiology, Loginom, Форсайт, Polymatica
«Экстрактор данных» полностью автоматизирует извлечение информации в Datalens, Visiology и пр. а также трансформацию и выгрузку данных в БД Clickhouse, для последующей обработки в BI-системах Datalens, Tableau и других.
«Экстрактор данных» реализует:
- Данные с помощью экстрактора формируются в пользовательском режиме из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц
- Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД Clickhouse, при этом:
- БД Clickhouse поддерживается как в облаке Яндекс Datalens, так и self-hosted (http и https – доступ)
- Поддержка партицирования таблиц в БД Clickhouse
- Полная выгрузка экстрактором и выгрузка только изменений (в рамках партиции)
- С помощью экстрактора данные осуществляются в многопоточную выгрузку
- Работа с клиент-серверными и файловыми базами
- Экстрактор полностью автоматизирует работу в фоновом режиме
Базово, наше Решение реализовано как «Расширение» 1С 8.3, т.е. оно встраивается в вашу 1С и дополняет возможности программы необходимым функционалом.
В каждой поставке мы предоставляем Заказчикам две версии:
Как «Расширение»
Как «Конфигурацию» для встраивания (методом объединения конфигураций)
Мы осуществляем полную методическую и консультационную поддержку нашего Решения.
Разработка выполнена на Управляемых формах (поэтому, если у вас не запрещен запуск вашей конфигурации в режиме управляемых форм, то наше Решение будет там работать вполне успешно).
Мы использовали стандартные методы и подходы 1С 8.3 и частично задействовали механизмы БСП (Библиотека стандартных подсистем), но только в части встраивания и создания регламентных заданий.
Решение имеет систему лицензирования и защиты, лицензируется на количество баз 1С, где устанавливается.
Также, Решение нормально (без доработок и адаптации) работает с любыми конфигурациями с версии платформы 8.3.16 (Для платформы ниже 8.3.16 необходима проверка под совместимость.
На данный момент реализованы проекты, работающие с кастомными конфигурациями под 8.3.10 и 8.3.11 (потребовалась небольшая адаптация и внедрение в конфигурацию, так как данные платформы 1С полноценно не поддерживают механизм Расширений).
Решение уже протестировано на стандартных (типовых) конфигурациях:
- 1С Управление торговлей 11 (11.4 и 11.5);
- 1С Розница 2 и 3;
- 1С Бухгалтерия 3.0;
- ЗУП;
- ERP 2.4 и 2.5;
- УНФ 1.6 и 3.0;
- Далион;
- АСТОР.
Так как Решение является универсальным, то технически может быть запущено на любой конфигурации 1С 8.3.
Идея состоит в том, чтобы без участия программистов 1С, бизнес-аналитик мог сам:
- Собрать себе набор данных (Датасет) в терминах 1С
- На его основе создать таблицу в Базе данных “одной кнопкой”
- при необходимости, добавить новые поля в набор данных и обновить таблицу-приемник новыми полями
- Настроить регулярную автоматическую выгрузку, на то чтобы данные передавались в базу данных
- Обеспечить многопоточную фоновую выгрузку, чтобы данные выгружались «по расписанию»
- При определенных настройках можно реализовать фактически real-time выгрузку данных в БД Clickhouse(все зависит от того, какого объёма данные и поставленной задачи бизнес-аналитиком)
- заниматься своей работой здесь и сейчас, не ожидая какие-то разработки, доработки, ручные выгрузки отчетов от программистов 1С и т.д.
- получать большие массивы данных здесь и сейчас для анализа в своей BI-системе (например, Datalens)
Какие данные можно выгрузить с "Экстрактор данных 1С в BI-системах в Datalens" от ДЕНВИК
Наше решение позволяет выгружать любые данные из 1С в таблицы Clickhouse, для последующей работы в BI-системах Datalens:
- Продажи;
- Расходы;
- Закупки;
- Документы;
- Справочники;
- Перечисления;
- Константы;
- Планы видов характеристик;
- Планы счетов;
- Хозяйственные операции (проводки);
- Регистры сведений (цены и т.д.);
- Регистры расчета (зарплатные);
- Бизнес-процессы;
- Задачи;
- Планы обмена.
- и т.д.
- И все это вместе и как единый набор данных для выгрузки и как отдельные наборы данных
Использование Экстрактора данных позволит вам не только упростить переносимые данные из 1С в yandex Datalens или Power BI, но и:
- делать автоматическую выгрузку данных из любой конфигурации (даже из файловой);
- настроить выгрузку в Datalens по расписанию;
- подключить и настроить передаваемые в Datalens данные без участия программистов;
- гибко добавлять и изменять таблицы в базе данных Datalens, куда выгружаются данные
- все данные хранятся в облаке yandex Datalens, поэтому не нужно тратиться на администрирование серверов и контроль базы данных;
- Это прямая выгрузка по расписанию из 1С в базу данных, для работы с Yandex Datalens и Power BI
Выгрузка из 1С в Yandex Datalens данных происходит следующим образом:
Экстрактор данных 1С в BI:- Подходит для всех конфигураций 1С 8.3 (тестировалось начиная с платформы 8.3.16);
- Умеет выгружать абсолютно все сущности, в том числе и нетиповые;
- Устанавливается как "Расширение 1С", а также как "Конфигурация для объединения".
- 1С Управление торговлей 11
- 1С комплексная автоматизация 2
- 1С ERP 2.4 и 2.5
- 1С Розница 2 и 3
- 1С УНФ 1.6 и 3
- 1С Управление Холдингом
- Далион
- АСТОР Торговая Сеть и АСТОР Ваш Магазин
- 1С Управление Отелем
- и другие...
- Описание как развернуть Managed Service for Clickhouse в облаке Яндекс
- По запросу предоставим образы для развертывания Clickhouse под Hyper-V/VirtualBox)
У нас вышла новая версия "Экстрактора данных", которая включает в себя:
- Многопоточную выгрузку данных
- Пред- и пост-обработчики выгрузки для каждого "проекта"
- Специализированную "очередь" выгрузки, с помощью которой программист конфигурации может гибко управлять выгрузкой изменений" из базы 1С
- Работу с партициями таблиц Clickhouse (теперь система умеет перезаписывать не всю таблицу-приемник целиком, а перезаписывать отдельные ее партиции (например месяцы или дни и т.д.)
- Проведена значительная оптимизация кода, которая позволила еще более ускорить выгрузку, в том числе и за счет "тонкой" настройки экранирования спецсимволов
- Теперь "Экстрактор данных" поставляется и как "Расширение" и как "Конфигурация для объединения"
Примеры настроенных дашбордов в Yandex Datalens по данным, получаемым нашим решением из 1С
- Демо на котором демонстрируются выгружаемые данные о выручке и себестоимости в Datalens
- Демо по безналичным платежам в Datalens
Мы поможем подключить и настроить Экстрактор данных для выгрузки в Datalens, если у вас возникнут проблемы.
Как подключить базы Clickhouse описано в этих статьях:
- Быстрый гайд по развертыванию базы данных Clickhouse в облаке Яндекс (для работы с Yandex Datalens) (Далее, далее, далее...)
Как выгрузить данные с помощью нашего решения в Datalens, мы подробно описали в своем блоге.
Для консультации по поводу возможностей решения и совместимости его с 1С обращайтесь в наш отдел продаж.
Новинки, обновления и ответы на вопросы доступны в нашем Telegram-канале: https://t.me/extractor_1C_to_ClickhouseПодписывайтесь, будьте в курсе новостей.
Сравнительный анализ
Традиционная парадигма разработки ПО, основанная на императивном программировании, требует высокой квалификации и много ресурсов. В этой модели создание и отладка кода — трудоемкие задачи, требующие глубоких знаний и навыков.
Low-code платформы предлагают другой подход. Они используют графические элементы и упрощают кодирование. Это сокращает время разработки и делает её понятной для пользователей с любым уровнем навыков.
Другие статьи
В данной статье мы подробно рассмотрим искусство и науку визуализации данных, а также проведём различие между бизнес-аналитикой и хранилищем данных. Кроме того, мы обсудим принципы проектирования базы данных для бизнес-аналитики, которая будет соответствовать потребностям бизнеса.
В мире бизнеса и аналитики данные — это новая валюта. Они помогают принимать обоснованные решения, оптимизировать процессы и достигать поставленных целей.
В крупных организациях попытка сосредоточить все усилия по интеграции данных в одной группе может оказаться неэффективной. Зачастую источники информации находятся в разных местах, не имея единого центра управления, что затрудняет поиск ответственных лиц. Такой подход не приводит к нужным результатам.
В подобных условиях выручает инновационная система — Data Mesh.
В современном бизнесе эффективное управление данными становится ключевым фактором успеха.
В этом контексте выгрузка данных из системы 1С играет важную роль.
В статье расскажем о различиях между аналитическими и транзакционными базами данных, их особенностях и областях применения
Подписка на новости
Подпишитесь на наши новости!