Зимний релиз 3.5: Снежинка или каскадная выгрузка объектов

Предыстория

До релиза 3.5 существовал лишь один способ настройки выгрузок из 1С с использованием "Экстрактора 1С" — настройка каждой сущности и таблицы отдельно через Мастер настройки. Мы решили внедрить принцип "Единого окна" для упрощения процесса создания проектов с множеством выгружаемых сущностей 1С.

В результате, в релизе 3.5 мы представили возможность собирать все факты и измерения в одном окне, а также генерировать денормализованные представления (View), которые связывают эти факты и измерения.

Новое в релизе 3.5

В релизе 3.5 мы реализовали принцип "одного окна", позволяя настраивать как "Факт", так и все связанные с ним "Измерения" в одном интерфейсе.

Терминология

- Схема: группа "Снежинок".
- Снежинка: набор связанных проектов, включающих "Факт" и "Измерения".
- Факт: главная таблица с данными (таблица "слева" в View).
- Измерение: справочник, связанный с "Фактом" (таблицы "справа" в View).
- Представление (Денормализованное View): виртуальная таблица, объединяющая необходимые поля из "Факта" и "Измерений" с использованием связей (left join).

Новая функциональность "Снежинка" является дополнением к функциональности релиза 3.4.

Как сделать "Снежинку"?

Подготовка "Схемы данных"

В интерфейсе списка проектов добавлены две новые иконки:

- Создать схему данных
- Создать "Снежинку"

1. Выберите "Создать схему данных".

2. Заполните все поля:
   - Наименование
   - Подключение
   - Префикс представления (для генерации имени денормализованной View)
   - Префиксы таблиц (для создания таблиц фактов и измерений)
   - Установите флаг "Транслитерация имен", если имена полей и таблиц должны быть на латинице.
   - Способ группировки проектов (по умолчанию: Факт в Проект №1, все измерения в Проект №2).

Проваливаемся внутрь “Схемы данных”

Создание "Снежинки"

Теперь можно создать "Снежинку".

Важно: В одной "Схеме данных" может быть несколько "Снежинок", которые будут переиспользовать общие "Измерения".


1. Выберите таблицу "Фактов".

Выбрав таблицу “Фактов”, вы проваливаетесь в список дерева всех полей данного “Факта”

2. Укажите уровень детализации



Выберите все поля, включая вложенные.



3. Выполните проверку, чтобы исключить дубли полей и проверить допустимую длину имен.

Проверка исключит дубли полей, проверит длину допустимую для именования полей и прочее.

4. Нажмите "Применить и закрыть".

Результат

В результате в базе SQL/Kafka:
- Создаются все таблицы/топики измерений и факта.
- Генерируется денормализованное View (для SQL).



В базе 1С, в "Экстракторе 1":
- Создаются проекты с указанным видом группировки, который вы указали на уровне создания “Схемы”.

Прочие настройки

Для каждого проекта необходимо:
- Настроить "Расписание выгрузки".
- Выполнить первичную инициализацию.
- Использовать новые кнопки на форме списка "Проектов" для формирования очереди и выполнения всех проектов "Снежинки".

Не забудьте указать расписание в каждом проекте отдельно.