ДанКо

Процессы загрузки были построены так, чтобы не создавать лишних сложностей для СУБД. Чтобы все работало оптимально мы сделали принципы индексирования динамическими, оптимизировали схему модели данных для ClickHouse.

Теперь агрегаты (расчёты) могут кэшироваться "на лету", как и запросы, которые генерирует пользователь. Также создаются отдельные кэши под каждый виджет, который видит на экране пользователь BI-системы.

При загрузке для одной и той же модели данных система автоматически формирует несколько физических представлений (таблиц). Благодаря этому большинство произвольных запросов DAX работают намного быстрее.

В целях достижения более высокой производительности была проведена глубокая модернизация по работе платформы с форматами данных. Например, если у вас есть две таблицы и настроены связи между ними. По умолчанию они могут быть сохранены как большой Integer. Но если связей не более 200 штук, значит нам нужно хранить всего 200 элементов. Зачем для 200 элементов использовать integer, если можно short integer? Благодаря этому уменьшается объем хранимых данных, ускоряются группировки и быстрее идут JOINы.

Когда речь идет об одновременной загрузке данных и работе пользователей, возникает вопрос — как сделать так, чтобы в момент загрузки или по истечении времени для всех были видны консистентные данные? Ведь одновременно с их работой идет постоянная сортировка, балансировка, масштабирование? Увы, инструментами “по умолчанию”, в ClickHouse, сделать это не получится, потребуется привлечение разработчика.

Поэтому разработчики Visiology потратили немало времени на разработку алгоритмов, которые отслеживают кардинальность данных, связи между таблицами, индексирование и т.д.

Графический дизайнер, который работает в интернет-браузере (SPA-приложение). С помощью него можно:

• редактировать и просматривать существующие дашборды;
• редактировать и просматривать рабочие области:
• редактировать наборы данных.

Данный сервис отвечает за визуализацию виджетов на экране и обеспечивает отображение виджетов на экране с учетом всех настроек.

Позволяет создавать и публиковать интерактивные отчеты (дашборды). Данный сервис предоставляет следующие возможности:

• получение, редактирование и хранение дашбордов;
• формирование DAX-запросов для получения данных;
• экспорт данных в формате Excel;
• взаимодействие с пользовательскими виджетами, темами, пользовательскими JavaScript-скриптами, картинками.

Для хранения метаданных всех компонентов платформы также используется PostgreSQL.Он позволяет создавать и публиковать интерактивные отчеты (дашборды). Данный сервис предоставляет следующие возможности:

• получение, редактирование и хранение дашбордов;
• формирование DAX-запросов для получения данных;
• экспорт данных в формате Excel;
• взаимодействие с пользовательскими виджетами, темами, пользовательскими JavaScript-скриптами, картинками.

– высокопроизводительное хранилище данных, реализованное на основе ClickHouse. Это логическое объединение нескольких компонентов:

• Formula Engine – бэкенд-сервис, реализующий Tabular Object Model c помощью ClickHouse и конвертирует запросы DAX в SQL-запросы к ClickHouse. Основные функции:

1. хранение и управление TOM-моделью (Tabular Object Model);
2. хранение больших объемов данных;
3. обработка аналитических запросов на языке DAX;
4. построение оптимальных структур хранения и индексов для более быстрой обработки DAX-запросов;
5. кэширование DAX-запросов;
6. хранение прав доступа к наборам данных.

• ClickHouse – непосредственно само место, где хранятся данные.

• Модуль загрузки данных – состоит из разных компонентов и позволяет загружать данные из различных источников.