Аналитическая СУБД ViQube

Вычислительным ядром платформы Visiology является аналитическая СУБД ViQube.

В отличие от транзакционных учетных систем аналитика требует выполнения многомерных запросов над сотнями миллионов записей в интерактивном режиме. Обычные реляционные СУБД не подходят для такой задачи, так как они оптимизированы на быстрое чтение и запись индивидуальных записей. Традиционным подходом к решению этой проблемы было выполнение предрасчетов (технология MOLAP), однако, недостатком этого была недостаточная гибкость системы – при любом изменении данных или методики анализа требовался длительный процесс пересчета (до нескольких часов). Современная аналитическая система должна поддерживать полностью интерактивную работу с данными.

Поэтому компанией Visiology была разработана специализированная БД, в полной мере использующая возможности современного аппаратного обеспечения, а также оптимизированная под выполнение аналитических запросов.

Широкие возможности загрузки данных и интеграции
ViQube предоставляет встроенную веб-панель администрирования, через которую можно настроить подключения к источникам данных. Самый простой способ получения данных – это загрузка простой таблицы в CSV или XLSX формате, причем файл может быть загружен из сетевой папки, и для него можно настроить автоматическое обновление по расписанию. Для загрузки данных из баз данных предусмотрена возможность получения данных с помощью SQL запросов. ViQube совместим с любой реляционной СУБД, предоставляющей JDBC драйвер, например, Microsoft SQL Server, Oracle, MySQL, PostgreSQL, HP Vertica и другими. Для более сложных сценариев интеграции доступен интерфейс разработчика REST API.
Загрузка плеера
Колоночное хранение и обработка запросов в оперативной памяти
(In-Memory)
Вместе со снижением стоимости оперативной памяти стало возможным помещать обрабатываемые данные целиком в память. ViQube использует данный подход, а также колоночное хранение и обработку данных, что позволяет более оптимально вычислять агрегации над большими объемами информации. При этом за счет сжатия загруженные в память данные, как правило, занимают значительно меньший объем, чем исходный массив.
Исполнение многомерных запросов

Для удобства аналитиков и бизнес-пользователей данные необходимо преобразовать к многомерной (OLAP) модели. Многомерная модель описывает данные не в терминах разработчика, а в терминах бизнеса, таких как показатели и измерения (иногда называемые аналитическими разрезами). ViQube позволяет настраивать многомерную модель (семантический слой) непосредственно в СУБД через веб-интерфейс и использовать ее для выполнения многомерных (OLAP) запросов.