ШАГ 2
Источники и модель данных

ЗАГРУЗКА ДАННЫХ

Платформа VISIOLOGY поддерживает работу одновременно с несколькими источниками данных, подключая которые, можно создавать сложные схемы данных.

В этом шаге мы рассмотрим интерфейс базы данных ViQube и основные принципы работы с ним, а также - разберемся с понятием OLAP и настройкой многомерного представления
ОСНОВНЫЕ ИСТОЧНИКИ ДАННЫХ ДЛЯ VIQUBE:
SQL - запрос
CSV - файл
Excel - файл
Также альтернативными источниками данных может служить компонент SmartForms и API БД ViQube. О них я расскажу в других уроках.
ViTalk
Виртуальный ассистент
Как создать загрузчик?

СОЗДАНИЕ ЗАГРУЗЧИКА

После того, как Вы определились с источниками данных, необходимо создать и настроить Загрузчики, для этого:

Откройте настройки интерфейса БД ViQube

Раскройте настройки "Базы данных"

Выберите элемент "Загрузчики"

Нажмите кнопку "Добавить загрузчик"

Введите имя для загрузчика

Далее приступаем к настройке источника данных:

Выберите тип загрузчика

Укажите корректные настройки для загрузчика

Нажмите кнопку "Сохранить настройки"
* Для каждого из типов загрузчиков есть свой набор настроек.
Типы загрузчиков

НАСТРОЙКИ ТИПА ЗАГРУЗЧИКОВ



Каждый из загрузчиков содержит в настройках свои уникальные параметры. Рассмотрим каждый из них:

SQL
Для работы с загрузчиком типа SQL вам необходимо будет предварительно создать "SQL- подключение" к внешней базе, затем выбрать его в списке подключений. Далее напишите SQL-запрос, результат выполнения которого будет таблица, которая загрузится в БД ViQube
CSV
Источником данных для такого загрузчика будет текстовый файл формата CSV. Для корректной загрузки таких файлов важно знать логическую структуру исходного файла, чтобы верно указать символы-ограничители колонок и строк.
Excel
Если источником данных является Excel таблица, то для корректной загрузки информация должна храниться на первом листе загружаемого файла.

Важно точно определить, что будет источником для загрузки данных.
Модель данных: что это?
МНОГОМЕРНАЯ МОДЕЛЬ ДАННЫХ
Следующим этапом является создание многомерной модели данных для упорядочения данных в БД, а также хорошей компоновки и связи в многомерной структуре.

Перед тем как приступить к настройке - немного теории.
OLAP (online analytical processing) — это оперативный анализ данных. Давайте попробуем определить это понятие на человеческом языке.

OLAP база данных опирается на многомерную модель данных, то есть такая база позволяет анализировать множество разных параметров с разных сторон. Также она обрабатывает многомерные массивы данных, то есть такие, в которых каждый элемент массива связан с другими элементами.

Поэтому OLAP позволяет строить гипотезы, выявлять причинно-следственные связи между разными параметрами, моделировать поведение системы при изменениях.

Данные при этом организованы в виде многомерных кубов — осями будут отслеживаемые параметры, на их пересечении находятся данные. Пользователи могут выбирать нужные параметры и получать информацию по разным измерениям.
Важным этапом будет то, какой вид имеют загружаемые таблицы. Таблицы для создания многомерного представления бывают двух типов:
Таблица фактов
Таблица, содержащая в себе количественные и качественные данные о событии факта, которым в свою очередь является строка в виде записи в таблице. Проще говоря, это таблица, которая содержит столбцы, данные которых мы можем посчитать/агрегировать.
Таблица справочников
Таблица, содержащая качественную информацию, на которую могут ссылаться значения из столбцов в таблице фактов.
Многомерная модель данных в платформе содержит следующие элементы:

Группа показателей
Элемент, логически объединяющий показатели и измерения в единую структуру.
Показатель
Элемент, отвечающий за количественные данные факта, которые возможно сагрегировать по выбранной функции агрегации.
Измерение
Элемент, отвечающий за качественную характеристику, совершенную над фактом.
Важно помнить, что платформа VISIOLOGY поддерживает объединение многомерной модели данных по типу "Звезда".
ViTalk
Виртуальный ассистент
Настройка элементов многомерной модели

НАСТРОЙКА МНОГОМЕРНОЙ МОДЕЛИ

Последний этап в данном шаге - это настройка многомерной модели в БД ViQube.

Ранее мы говорили о создании "Загрузчиков" и понятии OLAP. Теперь же нам предстоит объединить эти знания.
Вернёмся в интерфейс загрузчика и выберем кнопку «Настроить структуру».
Перед вами откроется интерфейс настроек многомерной структуры (модели данных).
Прежде чем приступить к мэппингу, проверьте корректность настроек. Чек-лист с настройками я покажу ниже.
ViTalk
Виртуальный ассистент
ЧЕК-ЛИСТ ПРОВЕРКИ НАСТРОЕК

Проверьте типы данных
Все могут ошибаться, и платформа - не исключение, поэтому на всякий случай проверяйте типы данных.
Убедитесь, что для колонки с датой выбрана корректная маска ввода
Вариантов записи даты существуют десятки, убедитесь, что платформа поймет данные правильно.
Определите к какому типу относится загружаемая таблица
В рассказе о многомерной модели данных мы говорили с вами, что есть два типа таблиц: "Таблица фактов" и "Таблица справочников".
После проверки настроек по данному чек-листу можем продолжить.

Если таблица является "Таблицей фактов", то для нее необходимо создать группу показателей, для этого:
Нажмите кнопку "Добавить".

В выпадающем меню выберите
пункт "Группа показателей".

Введите название для группы
показателей.
Теперь можно приступить к настройке столбцов.

Рекомендуем начинать со столбцов, которые можно определить как показатели, далее - разметить столбцы, содержащие дату, и в самом конце - определять столбцы как атрибуты измерения.
Чтобы было проще запомнить, я пользуюсь алгоритмом "цифры - дата - текст".
ViTalk
Виртуальный ассистент
Чтобы определить столбец как показатель, необходимо:

Tilda Publishing
Нажмите на перечеркнутый круг в заголовке столбца

В выпадающем меню выберите пункт "Показатели"

Выберите функцию агрегации
В данном случае необходимо выбрать функцию агрегации по умолчанию. В дальнейшей работе её без труда можно будет изменить.
ViTalk
Виртуальный ассистент
Для определения столбца "Дата" к системному календарному измерению выполните следующие пункты:
Нажмите на перечеркнутый круг в заголовке столбца

В выпадающем меню выберите пункт "Дата"

Выберите подходящую детализацию данных
Помните, что календарное измерение является системным, платформа сама создаст нужную иерархию :)
ViTalk
Виртуальный ассистент
Для определения столбца как атрибут измерения выполните следующие пункты:

Нажмите на перечеркнутый круг в заголовке столбца.
Выберите "Создать новое" для случая, если такого измерения в системе нет, либо "Выбрать существующие", если хотите привязать данные к существующему измерению.
В выпадающем меню выберите пункт "Измерение"
При помощи "Общего измерения" вы можете объединять различные источники данных, что потом поможет вам совмещать эти источники на одной визуализации.
ViTalk
Виртуальный ассистент
Мы также записали на тему этого урока видео, посмотреть его можно на нашем официальном Youtube-канале.

Таким образом, когда у нас появилось понимание, каким образом должна выглядеть многомерная структура, приступим к выполнению первого практического задания.

Если у Вас появились вопросы - напишите нам.