«Денвик Аналитика» открыла исходный код DVT по лицензии AGPL-3.0

Компания «Денвик Аналитика» опубликовала исходный код Denvic Visual Transformer (DVT) - визуальной low-code платформы для построения ETL/ELT-процессов. 

DVT ядро теперь доступно в публичном репозитории GitHub и распространяется по лицензии GNU Affero General Public License v3.0 (AGPL-3.0-only). 

Репозиторий DVT: GitHub - Denvic-Tech/dvt 

До выхода в Open Source DVT развивался командой «Денвик Аналитика» в собственных проектах как инструмент для построения и управления потоками данных. Теперь исходный код платформы открыт: разработчики и data-команды могут изучать архитектуру DVT, развертывать решение в собственной инфраструктуре, создавать расширения и участвовать в развитии проекта через публичный GitHub-репозиторий. Репозиторий содержит исходный код, конфигурацию Docker, установщик, тесты, документацию для разработчиков и API расширений. 

Зачем DVT открыли 

DVT создавался для задач, где данные приходится собирать из нескольких корпоративных систем, преобразовывать, объединять и передавать дальше - в DWH, аналитические витрины, BI-системы или другие приложения. 

По мере развития платформы в ней сформировалась самостоятельная архитектура визуальных data pipeline: источник, трансформации и приемник соединяются в граф из повторно используемых нод. Процессы можно запускать вручную, по расписанию или через API, а состояние выполнения контролировать непосредственно в интерфейсе. 

Публикация DVT в Open Source делает этот технологический слой доступным за пределами проектов «Денвик Аналитики». Теперь любая компания может развернуть DVT у себя, изучить устройство платформы и при необходимости доработать ее под собственный стек данных с учетом требований лицензии AGPL-3.0. Повышается доверие к инструменту, а команда “Денвик” делает вклад в opensource-сообщество. 

Полные условия лицензирования DVT Core опубликованы вместе с исходным кодом в файлах LICENSE и COPYING репозитория. Архитектура также предусматривает механизм расширений через документированные интерфейсы DVT Extension Interfaces. 

Что умеет открытый DVT 

В основе DVT находится визуальный редактор пайплайнов, в котором процесс работы с данными собирается из связанных нод. 

Платформа позволяет подключать источники, читать и преобразовывать данные, объединять наборы, очищать значения, выполнять пользовательскую логику и передавать подготовленный результат в целевые системы. В документации DVT отдельно описаны ноды подключения, чтения, трансформации и записи, работа с переменными, обработка ошибок внутри пайплайна, просмотр промежуточных датафреймов и запуск проектов по расписанию. 

Для более сложных сценариев предусмотрены SQL-запросы, Python-блоки, HTTP-запросы, REST API, собственные расширения и повторно используемые компоненты. 

DVT можно использовать для подготовки данных для BI, построения аналитических витрин и DWH, консолидации корпоративных источников и других ETL/ELT-процессов. 

DVT можно развернуть у себя 

DVT ориентирован на self-hosted-развертывание. В GitHub опубликован установщик для Linux-среды с Docker и Docker Compose, а исходный код проекта можно получить непосредственно из публичного репозитория. 

Для разных инфраструктурных сценариев подготовлена отдельная документация по установке DVT. Помимо установки с помощью командного скрипта предусмотрены офлайн-развертывание и автономная установка в закрытый контур. 

Командный сценарий подходит для Linux-среды с Docker: установщик последовательно подготавливает параметры окружения, формирует конфигурацию и запускает сервисы DVT. 

Офлайн-установка рассчитана на инфраструктуру, где дистрибутив удобнее заранее подготовить и перенести на целевой сервер в виде архива. 

Для изолированных инфраструктур под управлением в закрытом контуре предусмотрен отдельный автономный сценарий с предварительной подготовкой и переносом необходимых компонентов на целевой сервер. 

Документация DVT: Denvic Visual Transformer - документация 

Открытое ядро можно расширять 

DVT ядро распространяется как Open Source по AGPL-3.0. При этом архитектура платформы предусматривает подключение дополнительных расширений через документированные интерфейсы. 

Для задач, связанных с корпоративными источниками данных, «Денвик Аналитика» также развивает коммерческие дополнения к DVT. В частности, к платформе можно подключить “Экстрактор 1С” для получения данных из 1С и “Коннектор к Битрикс24”. 

Такой подход позволяет использовать открытый DVT как самостоятельную платформу обработки данных и при необходимости дополнять его специализированными компонентами для конкретной инфраструктуры. 

Проект открыт на GitHub 

Исходный код DVT, инструкции по запуску, описание архитектуры и материалы для разработчиков опубликованы в открытом репозитории: github.com/Denvic-Tech/dvt - Denvic Visual Transformer 

В репозитории также описаны правила разработки и тестирования. Команда проекта принимает внешние contributions и предлагает использовать публичный GitHub как основной источник для работы с изменениями DVT. 

Подробнее о DVT и возможностях платформы: 
DVT - визуальная low-code платформа для трансформации данных