Visiology ДанКо: новый уровень работы с данными

Вебинар «Visiology 2024: три изменения, которые вас приятно удивят», прошедший 3 июля, собрал более 200 участников из разных городов России и ближнего зарубежья. На встрече управляющий партнер Visiology Иван Вахмянин осветил прорывные нововведения, которые становятся доступны пользователям платформы уже сейчас. Главное из них позволит компаниям стать настоящими собственниками своих данных и извлечь из них максимум выгоды.

Если на выходе мы получаем практически одинаковые дашборды, чем тогда одна BI-платформа лучше другой? Разница в том, сколько времени и сил нужно на подготовку этого дашборда: один день или один месяц, занятость одного аналитика или целой команды разработки. Как показывает практика, только 20% ресурсов уходят непосредственно на создание дашбордов, остальные 80% — это затраты на подготовку данных, их объединение, обогащение, обеспечение надежности и безопасности.

BI-платформы справляются со своими задачами по-разному. Некоторые выполняют функции визуализации и отчетности, но вся вычислительная часть, связанная с моделями и обработкой данных, перекладывается на внешние инструменты. Как правило, это несколько баз данных, техническая инфраструктура (прокси, firewall и так далее). Такие решения, например Superset и DataLens, хорошо подходят для кейсов, где уже есть развитый бэкенд или сильная команда разработки.

Другие платформы располагают собственным аналитическим движком. Он отвечает за быстрые вычисления, удобный язык запросов, оптимизированное хранилище, быструю загрузку, надежность и безопасность. По этой схеме работают все мировые BI-лидеры, включая Power BI, Qlik, Tableau.

Сам вычислительный движок может быть двух типов. Первый — подобранные подходящие Open-Source компоненты, которые требуют ресурса дорогих и редких специалистов DWH. Задачи при этом решаются в течение недель и даже месяцев. Второй — полностью автоматический оптимизированный движок, который позволяет решать те же задачи за считаные дни и значительно разгружает аналитика.

Visiology изначально, еще со времен ViQube, шла по второму пути. Разработка велась с 2021 года, и вот наконец получаемая экономия времени и ресурсов специалистов настолько велика, что мы можем объявить о новом собственном аналитическом движке Visiology под названием ДанКо.

Основные отличия ДанКо:

• поддержка языка запросов DAX,
• семантическая модель,
• управление рабочими пространствами,
• безопасность, контроль доступа, RLS,
• быстрая загрузка (полная, инкрементальная, CDC),
• автоматический оптимизатор запросов,
• автоматическая оптимизация хранилища,
• управление кластером и распределенные вычисления.

Внутри ДанКо — СУБД ClickHouse, но она выполняет только вычислительную роль.

Может показаться, что все это уже есть у движков Power BI, Tableau и Qlik. Однако ДанКо обладает и несомненным преимуществом по сравнению с ними. Если зарубежные аналоги предоставляют автоматическую оптимизацию только в in-memory или работу в неуправляемом push-down режиме, то движок Visiology обеспечивает автоматическую оптимизацию без ограничения по объему данных.

Конечно, каждый вендор подсвечивает преимущества своей платформы, но возможности ДанКо подтверждаются результатами практических тестирований. Специалисты компании провели сравнение производительности зарубежной платформы Fine BI 6.1 и Visiology 3.8 по методологии Star Schema Benchmark, не делая никаких предварительных оптимизаций. В итоге ДанКо «из коробки» выполнил задачу в 6,5 раз быстрее и потребовал в 7 с лишним раз меньше памяти (32 секунды против 208 секунд и 12 Гб против 88 Гб под нагрузкой соответственно).

Всех заинтересованных в данной теме мы приглашаем на вебинар главного архитектора Visiology Никиты Ильина «Почему ДанКо не тормозит», который пройдет 9 июля в 15:00 (мск). Эксперт расскажет, почему аналитический движок Visiology работает так быстро и как этого удалось достичь с технической точки зрения.

Уже в релизе 3.9, который произойдет в августе, у Visiology появится собственный ETL-инструмент. Напомним, что сейчас пользователи могут применять одну из имеющихся технологических интеграций: например, Loginom для промышленного ETL или ViXtract для Self-Service ETL.

Первая версия собственного встроенного ETL-инструмента станет аналогом Power Query. Она не призвана выступить конкурентом для промышленного ETL в плане функциональности, но очень удобна в применении. Прямо в системе при загрузке можно будет сделать весь базовый набор преобразований: изменить, объединить или разделить столбцы, очистить данные, фильтровать строки, транспонировать и так далее.

В ближайшем релизе Visiology выйдет плагин к Excel. В программе появится вкладка, похожая на сводную таблицу. Клиенты смогут подключаться к датасету в Visiology и решать свои задачи. Для продвинутых пользователей также доступен DAX-запрос.

В перспективе — поддержка российских табличных процессоров Р7 и МойОфис.

Visiology стабильно развивается в соответствии с проработанной дорожной картой.

Основные направления:

• добавление функциональности DAX,
• перенос необходимых пользователям функций из второй в третью версию платформы,
• удобство использования и новые визуализации «из коробки».