Запросить демонстрацию платформы
Заполните форму, и наши специалисты свяжутся с вами для демонстрации продукта.
Нажимая на кнопку «Отправить», я даю согласие на обработку своих персональных данных и соглашаюсь с политикой конфиденциальности
Подписаться на новости
Будьте в курсе последних новостей компании «Visiology»
Нажимая на кнопку «Подписаться», я даю согласие на обработку своих персональных данных и соглашаюсь с политикой конфиденциальности
Доступ к демо-серверу
Оставьте ваши контакты, и вам будет автоматически выдан доступ
к демо-серверу Visiology
к демо-серверу Visiology
Нажимая на кнопку "Отправить", вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности.
Доступ к демосерверу Visiology 3.Х
Заполните заявку, чтобы получить доступ к демосерверу Visiology 3
Внимание! Сервер очищается от всех загруженных данных один раз в сутки.
Внимание! Сервер очищается от всех загруженных данных один раз в сутки.
Нажимая на кнопку «Отправить», вы даете согласие на обработку персональных данных и соглашаетесь с политикой конфиденциальности.
Когда скорость и надежность на первом месте
ДанКо
Знакомство с Visiology 3.X
Для начала немного теории
Архитектура Visiology получила новый аналитический движок под названием ДанКо, в который загружаются и где обрабатываются все данные.
Это не только хранилище данных, но и мощный инструмент, позволяющий объединять, трансформировать и оптимизировать данные для аналитических нужд. Это сердце Visiology, которое помогает аналитикам работать с информацией на более высоком уровне.
ДанКо построен на основе очень гибкой и высокопроизводительной СУБД ClickHouse. Но стоит понимать, что это глубоко переработанная и оптимизированная специально для Visiology система.
Это не только хранилище данных, но и мощный инструмент, позволяющий объединять, трансформировать и оптимизировать данные для аналитических нужд. Это сердце Visiology, которое помогает аналитикам работать с информацией на более высоком уровне.
ДанКо построен на основе очень гибкой и высокопроизводительной СУБД ClickHouse. Но стоит понимать, что это глубоко переработанная и оптимизированная специально для Visiology система.
ДанКо – это и есть Данные Компании.
Данко – герой рассказа Максима Горького, приведший свой народ к процветанию, освещая путь светом своего сердца. Так и технология Visiology ДанКо, сердце платформы Visiology, призвана вести организации к успеху, проливая свет данных на тьму неопределенности.
Данко – герой рассказа Максима Горького, приведший свой народ к процветанию, освещая путь светом своего сердца. Так и технология Visiology ДанКо, сердце платформы Visiology, призвана вести организации к успеху, проливая свет данных на тьму неопределенности.
Почему ДанКо?
Оптимизируем ClickHouse
Оптимизация происходила по нескольким направлениям.
Рассмотрим основные оптимизации, которые были реализованы при создании ДанКо.
Рассмотрим основные оптимизации, которые были реализованы при создании ДанКо.
Процессы загрузки были построены так, чтобы не создавать лишних сложностей для СУБД. Для оптимальной работы мы сделали принципы индексирования динамическими, оптимизировали схему модели данных для ClickHouse.
Теперь агрегаты (расчёты) могут кэшироваться на лету, как и запросы, которые генерирует пользователь. Также создаются отдельные кэши под каждый виджет, который видит на экране пользователь BI-системы.
При загрузке для одной и той же модели данных система автоматически формирует несколько физических представлений (таблиц). Благодаря этому большинство произвольных запросов DAX работают намного быстрее.
Чтобы достичь более высокой производительности, мы провели глубокую модернизацию работы платформы с форматами данных. Например, у вас есть две таблицы, и настроены связи между ними. По умолчанию они могут быть сохранены как большой integer. Но если связей не более 200, значит, нужно хранить всего 200 элементов. Зачем для 200 элементов использовать integer, если можно short integer? Благодаря этому уменьшается объем хранимых данных, ускоряются группировки и быстрее идут JOIN-ы.
Когда речь идет об одновременной загрузке данных и работе пользователей, возникает вопрос: как сделать так, чтобы в момент загрузки или по истечении времени всем были видны консистентные данные? Ведь одновременно с их работой идет постоянная сортировка, балансировка, масштабирование. Увы, инструментами по умолчанию в ClickHouse сделать это не получится, потребуется привлечение разработчика.
Поэтому команда Visiology потратила немало времени на разработку алгоритмов, которые отслеживают кардинальность данных, связи между таблицами, индексирование и т. д.
Поэтому команда Visiology потратила немало времени на разработку алгоритмов, которые отслеживают кардинальность данных, связи между таблицами, индексирование и т. д.
В итоге получилась схема, которая состоит из следующих компонентов:
Web-интерфейс
Метаданные
Дашборды
DAX queries
Пользователь видит только интерфейс Visiology Designer и настройки модели данных в web-e.
Когда аналитик/бизнес-пользователь заходит на дашборд либо пишет меру, Visiology Designer отправляет соответствующий запрос в другой компонент — Dashboard Service, который переводит все запросы пользователя в понятный для платформы язык.
Далее Dashboard Service направляет запросы:
В последнем случае запрос приходит в ДанКо в компонент Formula-engine, который конвертирует запросы DAX в SQL-запросы к ClickHouse. Уже из него возвращаются данные, которые ранее были загружены в ДанКо.
Когда аналитик/бизнес-пользователь заходит на дашборд либо пишет меру, Visiology Designer отправляет соответствующий запрос в другой компонент — Dashboard Service, который переводит все запросы пользователя в понятный для платформы язык.
Далее Dashboard Service направляет запросы:
- для проверки прав у пользователя;
- к метаданным, таким как модель данных, расписание загрузки данных и т. д.;
- для получения данных для отображения пользователю/аналитику.
В последнем случае запрос приходит в ДанКо в компонент Formula-engine, который конвертирует запросы DAX в SQL-запросы к ClickHouse. Уже из него возвращаются данные, которые ранее были загружены в ДанКо.
Подробнее про компоненты
Графический дизайнер, который работает в интернет-браузере (SPA-приложение).
С помощью него можно:
С помощью него можно:
- редактировать и просматривать существующие дашборды;
- редактировать и просматривать рабочие области;
- редактировать наборы данных.
Отвечает за визуализацию виджетов на экране и обеспечивает отображение виджетов на экране с учетом всех настроек.
Позволяет создавать и публиковать интерактивные отчеты (дашборды).
Возможности:
Возможности:
- получение, редактирование и хранение дашбордов;
- формирование DAX-запросов для получения данных;
- экспорт данных в формате Excel;
- взаимодействие с пользовательскими виджетами, темами, пользовательскими JavaScript-скриптами, картинками.
Для хранения метаданных всех компонентов платформы также используется PostgreSQL.Он позволяет создавать и публиковать интерактивные отчеты (дашборды).
Возможности:
Возможности:
- получение, редактирование и хранение дашбордов;
- формирование DAX-запросов для получения данных;
- экспорт данных в формате Excel;
- взаимодействие с пользовательскими виджетами, темами, пользовательскими JavaScript-скриптами, картинками.
– высокопроизводительное хранилище данных, реализованное на основе ClickHouse.
Это логическое объединение нескольких компонентов:
Это логическое объединение нескольких компонентов:
- Formula Engine – бэкенд-сервис. Реализует Tabular Object Model c помощью ClickHouse и конвертирует запросы DAX в SQL-запросы к ClickHouse. Основные функции
- Хранение и управление TOM-моделью (Tabular Object Model);
- Хранение больших объемов данных;
- Обработка аналитических запросов на языке DAX;
- Построение оптимальных структур хранения и индексов для более быстрой обработки DAX-запросов;
- Кэширование DAX-запросов;
- Хранение прав доступа к наборам данных.
- ClickHouse – непосредственно место хранения данных.
- Модуль загрузки данных состоит из разных компонентов и позволяет загружать данные из различных источников.
Visiology ДанКо – это…
!
Подобный подход экономит, как минимум, 3-6 месяцев на разработку и кастомизацию хранилища, позволяет не держать в штате дорогостоящего специалиста по архитектуре КХД (потому что несколько таких есть у нас). При этом дает серьезный прирост в производительности — по различным оценкам, вплоть до 10 раз по сравнению с неоптимизированным ClickHouse.
Более подробно про архитектуру можно узнать в документации.
Документация
Если у вас появились вопросы, напишите нам
Если у вас появились вопросы, напишите нам