Назад
Получить данные из 1С для BI можно несколькими способами:
Для разового анализа небольшого набора данных обычно достаточно файловой выгрузки. Если отчеты и дашборды должны регулярно обновляться, важны автоматизация передачи, работа только с необходимыми данными, контроль периодичности обновления и возможность использовать отдельный аналитический источник вместо постоянного обращения BI к рабочей системе.
1С поддерживает стандартный OData-интерфейс, через который внешние приложения могут обращаться к опубликованным объектам информационной базы. Для регулярной BI-аналитики также применяют специализированные инструменты выгрузки, которые передают необходимые данные во внешнюю СУБД или другой аналитический контур.
Способ получения данных выбирают исходя из того, как часто они нужны и что с ними будет происходить дальше.
Рассмотрим четыре основных варианта:
Подробное сравнение вариантов, их ограничений и сценариев использования приведено в отдельном материале о способах выгрузки данных из 1С для аналитики.
Специалисты Денвик Аналитика неоднократно сталкивались с задачей получения данных из 1С при разработке витрин, OLAP-решений и BI-проектов. Для регулярной автоматизированной передачи информации был разработан собственный инструмент - Экстрактор 1С. Он позволяет извлекать необходимые данные из 1С и передавать их во внешний аналитический контур, который затем может использоваться BI-системой.
Для BI обычно не требуется выгружать информационную базу целиком. Состав данных определяется будущим отчетом или дашбордом: например, для анализа продаж нужны документы реализации, номенклатура, клиенты и связанные показатели, а для контроля остатков — соответствующие регистры и справочники.
Экстрактор 1С формирует набор данных по заданным правилам на основе объектов и запросов 1С и передает выбранную информацию в аналитическую систему.
Объекты 1С, из которых можно получать данные:
Ниже показан практический пример работы одной из ранних версий коннектора в связке 1С → MS SQL Server → Power BI.
Пример настройки коннектора и создания view
На видео показан подробный процесс выгрузки данных из 1С через коннектор и создания панелей в Power BI.
Это вариант в версии 2 (используется для Power BI)
Этот пример полезен для понимания общего принципа: необходимые данные извлекаются из 1С, становятся доступными во внешней аналитической базе, после чего к ней подключается BI-система.
Актуальный Экстрактор 1С использует более универсальную схему работы и поддерживает разные базы-приемники. Ниже после демонстрации отдельно описан современный вариант получения данных.
В показанном примере процесс выглядит следующим образом:
1. Запуск файла обработки в программе 1С:Предприятие.
2. Настройка и подключение к MS SQL Server. Для работы нужно заранее создать БД для хранения представлений.
3. Выбор и создание необходимых сущностей для генерации.
4. Переход в Power BI и подключение к заранее созданной БД.
В результате получаем интерактивные панели, которые удобно анализировать. После подготовки информации BI-система подключается к внешнему источнику, на основе которого можно создавать аналитические модели, отчеты и дашборды.
А вот вариант, который удобно использовать для Yandex Datalens.
Как получать данные из 1С для BI автоматически
Если данные нужны BI регулярно, процесс получения лучше автоматизировать. В актуальном Экстракторе 1С выгрузка настраивается как проект: определяется источник данных в 1С, выбирается подключение к базе-приемнику, создается или выбирается целевая таблица, выполняется первичная загрузка и задается расписание последующих выгрузок. В качестве баз-приемников Экстрактор 1С поддерживает ClickHouse, Microsoft SQL Server и PostgreSQL.
Выбор базы-приемника зависит от архитектуры проекта и требований к аналитике. Отдельно мы разобрали, куда выгружать данные из 1С для BI, а также чем отличаются ClickHouse, PostgreSQL, MS SQL и транспортные решения.
После передачи информации в выбранный приемник к нему можно подключать BI-систему и использовать данные для отчетов и дашбордов.
В таком сценарии данные проходят следующий путь:
Базовая последовательность настройки выгрузки данных:
1. Определить, какая информация из 1С нужна для будущей аналитики.
2. Создать проект и выбрать источник данных.
3. Выбрать или создать подключение к базе-приемнику.
4. Настроить таблицу, в которую будут передаваться данные.
5. Выполнить первичную выгрузку.
6. Настроить расписание дальнейшего обновления данных.
7. Подключить BI-систему к полученному источнику.
Практический сценарий настройки конкретной BI-платформы приведен в инструкции по интеграции Экстрактора 1С с Yandex DataLens.
Автоматизированная выгрузка отделяет процесс получения данных от работы аналитиков с отчетами и дашбордами. После первоначальной настройки информация может регулярно передаваться из 1С в выбранный приемник по расписанию.
Такой подход позволяет:
● получать для аналитики только необходимые данные;
● регулярно обновлять источник BI без ручной выгрузки файлов;
● использовать отдельную аналитическую базу;
● выбирать подходящий приемник в зависимости от архитектуры проекта;
● подключать BI к подготовленному источнику, а не строить весь процесс вокруг ручного экспорта из 1С.
Техническая схема получения данных зависит от конфигурации 1С, объема информации, требуемой частоты обновления и выбранного приемника. Для Экстрактора 1С также необходимо учитывать актуальную версию продукта и требования к используемой СУБД.
Поскольку с развитием продукта технические требования меняются, актуальные параметры установки, совместимости и настройки рекомендуется проверять в документации Экстрактора 1С.
Какой способ получения данных из 1С выбрать
Если данные нужны один раз для небольшого отчета, задачу можно решить экспортом в Excel или CSV. Для стандартизированного внешнего доступа к объектам 1С стоит рассмотреть OData и другие механизмы интеграции.
Если данные должны регулярно обновляться в BI, имеет смысл автоматизировать их доставку во внешний аналитический контур. Конкретная архитектура зависит от объема информации, требуемой частоты обновления, используемой СУБД и BI-платформы.
Экстрактор 1С решает именно задачу автоматизированной доставки данных: позволяет сформировать необходимые наборы, передавать их в базу-приемник и выполнять выгрузку по расписанию.
Если задача шире — нужно не только выгружать данные, но и выстроить полный аналитический контур, рассмотрите решения Денвик Аналитика для интеграции 1С с BI и построения BI-аналитики.
- разово выгружать отчеты и таблицы в Excel или CSV;
- использовать стандартный интерфейс OData;
- организовать собственный механизм интеграции;
- автоматизировать передачу данных во внешнюю аналитическую базу с помощью ETL-инструмента или коннектора.
Для разового анализа небольшого набора данных обычно достаточно файловой выгрузки. Если отчеты и дашборды должны регулярно обновляться, важны автоматизация передачи, работа только с необходимыми данными, контроль периодичности обновления и возможность использовать отдельный аналитический источник вместо постоянного обращения BI к рабочей системе.
1С поддерживает стандартный OData-интерфейс, через который внешние приложения могут обращаться к опубликованным объектам информационной базы. Для регулярной BI-аналитики также применяют специализированные инструменты выгрузки, которые передают необходимые данные во внешнюю СУБД или другой аналитический контур.
Основные способы получения данных из 1С для BI
Способ получения данных выбирают исходя из того, как часто они нужны и что с ними будет происходить дальше.
Рассмотрим четыре основных варианта:
- Excel или CSV - подходят для разового анализа и небольших объемов данных, когда автоматическое обновление не требуется.
- OData - стандартный механизм 1С для предоставления внешним приложениям доступа к опубликованным объектам информационной базы.
- Собственные интеграционные механизмы или прямой доступ к данным - применяются в проектах, где команда самостоятельно проектирует техническую архитектуру получения и преобразования информации.
- ETL- инструмент или специализированный коннектор — используется, когда данные требуется регулярно передавать из 1С во внешний аналитический контур и автоматически обновлять для BI.
Подробное сравнение вариантов, их ограничений и сценариев использования приведено в отдельном материале о способах выгрузки данных из 1С для аналитики.
Специалисты Денвик Аналитика неоднократно сталкивались с задачей получения данных из 1С при разработке витрин, OLAP-решений и BI-проектов. Для регулярной автоматизированной передачи информации был разработан собственный инструмент - Экстрактор 1С. Он позволяет извлекать необходимые данные из 1С и передавать их во внешний аналитический контур, который затем может использоваться BI-системой.
Какие данные из 1С можно использовать в BI
Для BI обычно не требуется выгружать информационную базу целиком. Состав данных определяется будущим отчетом или дашбордом: например, для анализа продаж нужны документы реализации, номенклатура, клиенты и связанные показатели, а для контроля остатков — соответствующие регистры и справочники.
Экстрактор 1С формирует набор данных по заданным правилам на основе объектов и запросов 1С и передает выбранную информацию в аналитическую систему.
Объекты 1С, из которых можно получать данные:
- справочники и документы, а также их табличные части;
- планы видов характеристик;
- регистры сведений;
- регистры расчета и регистры накопления;
- перечисления;
- константы;
- задачи и бизнес-процессы;
- планы видов расчета и планы счетов;
- регистры бухгалтерии.
Практический пример: получение данных из 1С для Power BI
Ниже показан практический пример работы одной из ранних версий коннектора в связке 1С → MS SQL Server → Power BI.
Пример настройки коннектора и создания view
На видео показан подробный процесс выгрузки данных из 1С через коннектор и создания панелей в Power BI.
Это вариант в версии 2 (используется для Power BI)
Этот пример полезен для понимания общего принципа: необходимые данные извлекаются из 1С, становятся доступными во внешней аналитической базе, после чего к ней подключается BI-система.
Актуальный Экстрактор 1С использует более универсальную схему работы и поддерживает разные базы-приемники. Ниже после демонстрации отдельно описан современный вариант получения данных.
В показанном примере процесс выглядит следующим образом:
1. Запуск файла обработки в программе 1С:Предприятие.
2. Настройка и подключение к MS SQL Server. Для работы нужно заранее создать БД для хранения представлений.
3. Выбор и создание необходимых сущностей для генерации.
4. Переход в Power BI и подключение к заранее созданной БД.
В результате получаем интерактивные панели, которые удобно анализировать. После подготовки информации BI-система подключается к внешнему источнику, на основе которого можно создавать аналитические модели, отчеты и дашборды.
А вот вариант, который удобно использовать для Yandex Datalens.
Как получать данные из 1С для BI автоматически
Если данные нужны BI регулярно, процесс получения лучше автоматизировать. В актуальном Экстракторе 1С выгрузка настраивается как проект: определяется источник данных в 1С, выбирается подключение к базе-приемнику, создается или выбирается целевая таблица, выполняется первичная загрузка и задается расписание последующих выгрузок. В качестве баз-приемников Экстрактор 1С поддерживает ClickHouse, Microsoft SQL Server и PostgreSQL.
Выбор базы-приемника зависит от архитектуры проекта и требований к аналитике. Отдельно мы разобрали, куда выгружать данные из 1С для BI, а также чем отличаются ClickHouse, PostgreSQL, MS SQL и транспортные решения.
После передачи информации в выбранный приемник к нему можно подключать BI-систему и использовать данные для отчетов и дашбордов.
В таком сценарии данные проходят следующий путь:
Базовая последовательность настройки выгрузки данных:
1. Определить, какая информация из 1С нужна для будущей аналитики.
2. Создать проект и выбрать источник данных.
3. Выбрать или создать подключение к базе-приемнику.
4. Настроить таблицу, в которую будут передаваться данные.
5. Выполнить первичную выгрузку.
6. Настроить расписание дальнейшего обновления данных.
7. Подключить BI-систему к полученному источнику.
Практический сценарий настройки конкретной BI-платформы приведен в инструкции по интеграции Экстрактора 1С с Yandex DataLens.
Что дает автоматическая выгрузка данных для BI
Автоматизированная выгрузка отделяет процесс получения данных от работы аналитиков с отчетами и дашбордами. После первоначальной настройки информация может регулярно передаваться из 1С в выбранный приемник по расписанию.
Такой подход позволяет:
● получать для аналитики только необходимые данные;
● регулярно обновлять источник BI без ручной выгрузки файлов;
● использовать отдельную аналитическую базу;
● выбирать подходящий приемник в зависимости от архитектуры проекта;
● подключать BI к подготовленному источнику, а не строить весь процесс вокруг ручного экспорта из 1С.
Что учитывать перед настройкой выгрузки
Техническая схема получения данных зависит от конфигурации 1С, объема информации, требуемой частоты обновления и выбранного приемника. Для Экстрактора 1С также необходимо учитывать актуальную версию продукта и требования к используемой СУБД.
Поскольку с развитием продукта технические требования меняются, актуальные параметры установки, совместимости и настройки рекомендуется проверять в документации Экстрактора 1С.
Какой способ получения данных из 1С выбрать
Если данные нужны один раз для небольшого отчета, задачу можно решить экспортом в Excel или CSV. Для стандартизированного внешнего доступа к объектам 1С стоит рассмотреть OData и другие механизмы интеграции.
Если данные должны регулярно обновляться в BI, имеет смысл автоматизировать их доставку во внешний аналитический контур. Конкретная архитектура зависит от объема информации, требуемой частоты обновления, используемой СУБД и BI-платформы.
Экстрактор 1С решает именно задачу автоматизированной доставки данных: позволяет сформировать необходимые наборы, передавать их в базу-приемник и выполнять выгрузку по расписанию.
Если задача шире — нужно не только выгружать данные, но и выстроить полный аналитический контур, рассмотрите решения Денвик Аналитика для интеграции 1С с BI и построения BI-аналитики.
