Аналитическая СУБД ViQube

Получайте ответ на любой аналитический запрос за секунды, независимо от объёма данных.

Колоночная In-Memory СУБД ViQube – собственная разработка Visiology, служащая залогом высокой производительности системы на различных объёмах данных. ViQube совместима с самыми популярными распределёнными системами хранилищ данных.

Что под капотом у BI? Хардкорный разбор технологии In-Memory OLAP

Что мы увидим, если заглянем «под капот» самых известных мировых BI-платформ? Детальный разбор технологии In-Memory OLAP от эксперта по BI Ивана Вахмянина: когда эта технология работает лучше, чем обычная реляционная СУБД, и как она может повысить производительность BI-системы, когда число записей в датасетах переваливает за сотни миллионов, а одновременных пользователей могут быть сотни...

Что под капотом у BI? Хардкорный разбор технологии In-Memory OLAP

Что мы увидим, если заглянем «под капот» самых известных мировых BI-платформ? Детальный разбор технологии In-Memory OLAP от эксперта по BI Ивана Вахмянина: когда эта технология работает лучше, чем обычная реляционная СУБД, и как она может повысить производительность BI-системы, когда число записей в датасетах переваливает за сотни миллионов, а одновременных пользователей могут быть сотни...

Бесшовная интеграция с Arenadata QuickMarts

В аналитической платформе Visiology реализована бесшовная интеграция с Arenadata QuickMarts. В момент работы пользователя с аналитической системой она автоматически определяет, какой запрос может быть обработан внутри In-Memory OLAP сервера ViQube, а какой отправляется на Arenadata QuickMarts.

Это позволяет оптимально использовать аппаратные ресурсы для проектов, в которых одновременно требуется работа с большими объемами данных (1+ ТБ) в режиме онлайн (отклик менее 5 секунд) и обслуживание значительного количества пользователей (от 100 одновременно). При этом для аналитика разделение на «горячий» и «холодный» слои данных является полностью прозрачным.

BI на больших данных. Эффективное решение на стеке Visiology и Arenadata

Вебинар о совместном решении компаний Visiology и Arenadata: бесшовная интеграция систем для решения проблем, возникающих у компаний при внедрении BI.
Спикеры: Иван Вахмянин, CEO и со-основатель Visiology; Дмитрий Павлов, директор по продуктам Arenadata.

BI на больших данных. Эффективное решение на стеке Visiology и Arenadata

Вебинар о совместном решении компаний Visiology и Arenadata: бесшовная интеграция систем для решения проблем, возникающих у компаний при внедрении BI.
Спикеры: Иван Вахмянин, CEO и со-основатель Visiology; Дмитрий Павлов, директор по продуктам Arenadata.

Широкие возможности загрузки данных и интеграции

ViQube предоставляет встроенную веб-панель администрирования, через которую можно настроить подключения к источникам данных. Самый простой способ получения данных – это загрузка простой таблицы в CSV- или XLSX-формате, причем файл может быть загружен из сетевой папки, и для него можно настроить автоматическое обновление по расписанию. Для загрузки данных из баз данных предусмотрена возможность получения данных с помощью SQL-запросов. ViQube совместим с любой реляционной СУБД, предоставляющей JDBC драйвер, например, Microsoft SQL Server, Oracle, MySQL, PostgreSQL, HP Vertica и другими. Для более сложных сценариев интеграции доступен интерфейс разработчика REST API.

Колоночное хранение и обработка запросов в оперативной памяти (In-Memory)

Вместе со снижением стоимости оперативной памяти стало возможным помещать обрабатываемые данные целиком в память. ViQube использует данный подход, а также колоночное хранение и обработку данных, что позволяет более оптимально вычислять агрегации над большими объемами информации. При этом за счет сжатия загруженные в память данные, как правило, занимают значительно меньший объем, чем исходный массив.

Исполнение многомерных запросов

Для удобства аналитиков и бизнес-пользователей данные необходимо преобразовать к многомерной (OLAP) модели. Многомерная модель описывает данные не в терминах разработчика, а в терминах бизнеса, таких как показатели и измерения (иногда называемые аналитическими разрезами). ViQube позволяет настраивать многомерную модель (семантический слой) непосредственно в СУБД через веб-интерфейс и использовать ее для выполнения многомерных (OLAP) запросов.

Оптимизация под возможности современных процессоров

Современные центральные процессоры имеют возможности, которые позволяют значительно оптимизировать аналитическую обработку данных. Например, это использование векторных SIMD (Sindle Input Multiple Data) инструкций, которые позволяют за один такт процессора обработать несколько блоков данных. ViQube использует оптимизации под расширения SSE4 и AVX системы команд x86 для современных процессоров Intel и AMD.

Динамическое изменение данных через REST интерфейс

В современных аналитических системах необходимо работать не только с отчетными данными, обновляющимися раз в сутки, но и с динамически обновляемыми данными. ViQube предоставляет разработчикам REST интерфейс, с помощью которого можно добавлять или удалять данные в реальном времени. При этом новые данные доступны для анализа сразу.

Детальный разбор технологии In-Memory OLAP – в нашем Хабраблоге.

Что под капотом у BI?

Читать на Хабр