04.07.2024

Visiology ДанКо: новый уровень работы с данными

Вебинар «Visiology 2024: три изменения, которые вас приятно удивят», прошедший 3 июля, собрал более 200 участников из разных городов России и ближнего зарубежья. На встрече управляющий партнер Visiology Иван Вахмянин осветил прорывные нововведения, которые становятся доступны пользователям платформы уже сейчас. Главное из них позволит компаниям стать настоящими собственниками своих данных и извлечь из них максимум выгоды.
Аналитический движок ДанКо
Если на выходе мы получаем практически одинаковые дашборды, чем тогда одна BI-платформа лучше другой? Разница в том, сколько времени и сил нужно на подготовку этого дашборда: один день или один месяц, занятость одного аналитика или целой команды разработки. Как показывает практика, только 20% ресурсов уходят непосредственно на создание дашбордов, остальные 80% — это затраты на подготовку данных, их объединение, обогащение, обеспечение надежности и безопасности.

BI-платформы справляются со своими задачами по-разному. Некоторые выполняют функции визуализации и отчетности, но вся вычислительная часть, связанная с моделями и обработкой данных, перекладывается на внешние инструменты. Как правило, это несколько баз данных, техническая инфраструктура (прокси, firewall и так далее). Такие решения, например Superset и DataLens, хорошо подходят для кейсов, где уже есть развитый бэкенд или сильная команда разработки.

Другие платформы располагают собственным аналитическим движком. Он отвечает за быстрые вычисления, удобный язык запросов, оптимизированное хранилище, быструю загрузку, надежность и безопасность. По этой схеме работают все мировые BI-лидеры, включая Power BI, Qlik, Tableau.

Сам вычислительный движок может быть двух типов. Первый — подобранные подходящие Open-Source компоненты, которые требуют ресурса дорогих и редких специалистов DWH. Задачи при этом решаются в течение недель и даже месяцев. Второй — полностью автоматический оптимизированный движок, который позволяет решать те же задачи за считаные дни и значительно разгружает аналитика.

Visiology изначально, еще со времен ViQube, шла по второму пути. Разработка велась с 2021 года, и вот наконец получаемая экономия времени и ресурсов специалистов настолько велика, что мы можем объявить о новом собственном аналитическом движке Visiology под названием ДанКо.

Основные отличия ДанКо:
  • поддержка языка запросов DAX,
  • семантическая модель,
  • управление рабочими пространствами,
  • безопасность, контроль доступа, RLS,
  • быстрая загрузка (полная, инкрементальная, CDC),
  • автоматический оптимизатор запросов,
  • автоматическая оптимизация хранилища,
  • управление кластером и распределенные вычисления.

Внутри ДанКо — СУБД ClickHouse, но она выполняет только вычислительную роль.

Может показаться, что все это уже есть у движков Power BI, Tableau и Qlik. Однако ДанКо обладает и несомненным преимуществом по сравнению с ними. Если зарубежные аналоги предоставляют автоматическую оптимизацию только в in-memory или работу в неуправляемом push-down режиме, то движок Visiology обеспечивает автоматическую оптимизацию без ограничения по объему данных.
«ДанКо — это количество, перешедшее в качество, — подчеркнул управляющий партнер Visiology Иван Вахмянин. — Новые проекты стартуют на Visiology 3, получая все преимущества ДанКо. Это уже более 40 проектов, один из самых ярких — Федеральное казначейство».
Конечно, каждый вендор подсвечивает преимущества своей платформы, но возможности ДанКо подтверждаются результатами практических тестирований. Специалисты компании провели сравнение производительности зарубежной платформы Fine BI 6.1 и Visiology 3.8 по методологии Star Schema Benchmark, не делая никаких предварительных оптимизаций. В итоге ДанКо «из коробки» выполнил задачу в 6,5 раз быстрее и потребовал в 7 с лишним раз меньше памяти (32 секунды против 208 секунд и 12 Гб против 88 Гб под нагрузкой соответственно).

Всех заинтересованных в данной теме мы приглашаем на вебинар главного архитектора Visiology Никиты Ильина «Почему ДанКо не тормозит», который пройдет 9 июля в 15:00 (мск). Эксперт расскажет, почему аналитический движок Visiology работает так быстро и как этого удалось достичь с технической точки зрения.
Загрузка и трансформация данных в Visiology
Уже в релизе 3.9, который произойдет в августе, у Visiology появится собственный ETL-инструмент. Напомним, что сейчас пользователи могут применять одну из имеющихся технологических интеграций: например, Loginom для промышленного ETL или ViXtract для Self-Service ETL.

Первая версия собственного встроенного ETL-инструмента станет аналогом Power Query. Она не призвана выступить конкурентом для промышленного ETL в плане функциональности, но очень удобна в применении. Прямо в системе при загрузке можно будет сделать весь базовый набор преобразований: изменить, объединить или разделить столбцы, очистить данные, фильтровать строки, транспонировать и так далее.
Прямая работа с данными Visiology из Excel
В ближайшем релизе Visiology выйдет плагин к Excel. В программе появится вкладка, похожая на сводную таблицу. Клиенты смогут подключаться к датасету в Visiology и решать свои задачи. Для продвинутых пользователей также доступен DAX-запрос.

В перспективе — поддержка российских табличных процессоров Р7 и МойОфис.
Развитие платформы — это не только прорывы
Visiology стабильно развивается в соответствии с проработанной дорожной картой.

Основные направления:

  • добавление функциональности DAX,
  • перенос необходимых пользователям функций из второй в третью версию платформы,
  • удобство использования и новые визуализации «из коробки».
При чем здесь Максим Горький?
Для самых любопытных и внимательных читателей мы подготовили небольшое объяснение неймингу аналитического движка Visiology.

Во-первых, ДанКо — это сокращение от «данные компании».

Во-вторых, это аллюзия на известный рассказ Максима Горького. Герой произведения Данко привел свой народ к процветанию, освещая путь светом собственного сердца. Технология ДанКо — «сердце» платформы Visiology, которое призвано вести компании к успеху, делая данные яснее, понятнее и полезнее.

Полную видеозапись вебинара смотрите на нашем YouTube-канале, а еще не забывайте регистрироваться на онлайн-встречу с главным архитектором Visiology, чтобы узнать все технологические подробности про ДанКо из первых рук и задать свои вопросы в прямом эфире.

Последние публикации

12.07.2024
Какие технологические преимущества аналитического движка Visiology позволяют работать ему так быстро и чем ДанКо выгодно отличается от аналогов, узнали слушатели вебинара 9 июля.
04.07.2024
Вычислительный движок платформы превзошел зарубежные аналоги. Об этом и других прорывных изменениях Visiology узнали слушатели тематического вебинара. Пропустили? Читайте подробности в нашем материале.
02.07.2024
26−28 июня в Москве проходила конференция и выставка об инновационных технологиях в бизнесе Tech Week, объединяющая лидеров рынка России. Рассказываем, чем мероприятие запомнилось специалистам Visiology.
12.07.2024
Какие технологические преимущества аналитического движка Visiology позволяют работать ему так быстро и чем ДанКо выгодно отличается от аналогов, узнали слушатели вебинара 9 июля.
04.07.2024
Вычислительный движок платформы превзошел зарубежные аналоги. Об этом и других прорывных изменениях Visiology узнали слушатели тематического вебинара. Пропустили? Читайте подробности в нашем материале.
02.07.2024
26−28 июня в Москве проходила конференция и выставка об инновационных технологиях в бизнесе Tech Week, объединяющая лидеров рынка России. Рассказываем, чем мероприятие запомнилось специалистам Visiology.