Когда скорость и надежность на первом месте

ДанКо

Знакомство с Visiology 3.X

Для начала немного теории

Архитектура Visiology получила новый аналитический движок под названием ДанКо, в который загружаются и где обрабатываются все данные.

Это не только хранилище данных, но и мощный инструмент, позволяющий объединять, трансформировать и оптимизировать данные для аналитических нужд. Это сердце Visiology, которое помогает аналитикам работать с информацией на более высоком уровне.

ДанКо построен на основе очень гибкой и высокопроизводительной СУБД ClickHouse. Но стоит понимать, что это глубоко переработанная и оптимизированная специально для Visiology система.

ДанКо – это и есть Данные Компании.

Данко – герой рассказа Максима Горького, приведший свой народ к процветанию, освещая путь светом своего сердца. Так и технология Visiology ДанКо, сердце платформы Visiology, призвана вести организации к успеху, проливая свет данных на тьму неопределенности.

Почему ДанКо?

Оптимизируем ClickHouse

Оптимизация происходила по нескольким направлениям.
Рассмотрим основные оптимизации, которые были реализованы при создании ДанКо.

В итоге получилась схема, которая состоит из следующих компонентов:

Web-интерфейс

Метаданные

Дашборды

DAX queries

Пользователь видит только интерфейс Visiology Designer и настройки модели данных в web-e.
Когда аналитик/бизнес-пользователь заходит на дашборд либо пишет меру, Visiology Designer отправляет соответствующий запрос в другой компонент — Dashboard Service, который переводит все запросы пользователя в понятный для платформы язык.

Далее Dashboard Service направляет запросы:

для проверки прав у пользователя;
к метаданным, таким как модель данных, расписание загрузки данных и т. д.;
для получения данных для отображения пользователю/аналитику.

В последнем случае запрос приходит в ДанКо в компонент Formula-engine, который конвертирует запросы DAX в SQL-запросы к ClickHouse. Уже из него возвращаются данные, которые ранее были загружены в ДанКо.

Подробнее про компоненты

Visiology ДанКо – это…

!

Подобный подход экономит, как минимум, 3-6 месяцев на разработку и кастомизацию хранилища, позволяет не держать в штате дорогостоящего специалиста по архитектуре КХД (потому что несколько таких есть у нас). При этом дает серьезный прирост в производительности — по различным оценкам, вплоть до 10 раз по сравнению с неоптимизированным ClickHouse.

Более подробно про архитектуру можно узнать в документации.

Документация

К документации

На страницу курса

Перейти к рабочим областям и ролям

Если у вас появились вопросы, напишите нам