12.04.2024

Рейтинги BI: панацея или профанация?

BI-рейтинг по итогам 2022-2023 года в России не выпустил, без преувеличения, только ленивый. Помимо таких крупных, известных и авторитетных в области ИТ-площадок, как TAdviser, CNews и «Круги Громова», свою оценку Business Intelligence платформ предложили и неожиданные авторы, включая «Комсомольскую правду».

При этом разброс мнений и, соответственно, мест оказался колоссальным: лидеры одного рейтинга могли оказаться в середине другого и вообще не войти в третий. Например, в свежем обзоре CNews отсутствуют Visiology и Yandex DataLens, что вызвало бурную дискуссию в профессиональном сообществе.

Как в такой ситуации быть пользователю BI? Кому верить, а кому нет? Не теряют ли рейтинги своего смысла и стоит ли в таком случае вендору беспокоиться о своем месте в любом из них?

Visiology решила разобраться с этими вопросами и пригласила на круглый стол экспертов, способных пролить свет на методику создания рейтингов и обзоров, а также прокомментировать их полезность для бизнеса.

Спойлер: прийти к однозначному общему мнению не удалось, но точки соприкосновения были найдены.
В круглом столе приняли участие:
  • главный редактор TAdviser Александр Левашов,
  • директор ИТ-маркетплейса Market.CNews Юрий Хомутский,
  • создатель исследования «Круги Громова» Сергей Громов,
  • управляющий партнер Visiology Иван Вахмянин, представитель точки зрения вендора,
  • директор по цифровой трансформации Positive Technologies Дмитрий Лившин, представитель крупного бизнеса, рейтинговый «нигилист».

Choose your fighter.
В круглом столе приняли участие:
  • главный редактор TAdviser Александр Левашов,
  • директор ИТ-маркетплейса Market.CNews Юрий Хомутский,
  • создатель исследования «Круги Громова» Сергей Громов,
  • управляющий партнер Visiology Иван Вахмянин, представитель точки зрения вендора,
  • директор по цифровой трансформации Positive Technologies Дмитрий Лившин, представитель крупного бизнеса, рейтинговый «нигилист».

Choose your fighter.
Рейтинг рейтингов
Конечно, BI-рейтинги не изобретение вчерашнего дня, и зарубежные аналоги тоже не идентичны. Но, если посмотреть на самые авторитетные западные образцы — Gartner, BARC, Forrester, — то можно заметить общие тенденции. О них рассказал управляющий партнер Visiology Иван Вахмянин.

Лидером всех трех рейтингов стабильно является Microsoft Power BI. Примерно одинаковая вторая скамейка: Tableau, Qlik, Oracle, IBM, SAP BI. В третьем эшелоне расхождений больше. Также есть несколько компаний, точки зрения на которые разнятся. Например, компанию MicroStrategy рейтинг BARC ставит высоко, а вот Gartner и Forrester отправляют ее на обочину истории, возможно, из-за увлечения криптовалютами и слабости общей визионерской стратегии.

У российских рейтингов мера энтропии заметно выше. По словам Ивана Вахмянина, возникает искушение составить «рейтинг рейтингов» и посмотреть, кто выйдет на первое место. В каждой шутке только доля шутки, поэтому, действительно, рейтинги можно сравнить по методике составления и по критериям, с помощью которых они оценивают вендоров BI.

Gartner, BARC и Forrester используют очень близкую методологию. Они собирают информацию от вендоров об их продуктах, базово анализируют, смотрят выручку и не включают в обзор компании ниже определенной отсечки. У Gartner это 30 млн долларов, у Forrester — 90, у BARC — 15 млн евро. Никто из них не устанавливает системы и не тестирует их. Основное, на что они опираются, — интервью клиентов, причем их проводят тысячами. Количество BI-платформ в рейтингах разнится от 15 до 21.

Подходы основных российских рейтингов отличаются друг от друга. В частности, «Круг Громова» собирает информацию о вендорах. В последней версии также появился опрос клиентов, пока не такой масштабный, как в больших западных рейтингах, но тренд намечен. Также он не анализирует рынок, зато тестирует продукт.

Основной фокус рейтинга TAdviser – анализ рынка: выручка игроков и количество внедрений. Ранжирование осуществляется по выручке.

У CNews ранжирование идет на основе набора критериев, сформированных и заполненных по информации о системах, которую предоставили публичные источники и вендоры. Интервью клиентов и тестирование не проводится.

Интересный параметр для сравнения — объем исследования. Рейтинг Сергея Громова заметно выделяется — в нем более 600 страниц.

Чтобы нагляднее продемонстрировать особенности рейтингов, Иван Вахмянин составил таблицу, в которой отметил наличие и отсутствие определенных факторов в методологии каждого из них. В процессе обсуждения практически каждый спикер захотел добавить плюсы в свой сегмент таблицы.
Почувствовал, как здорово быть составителем рейтинга. Все просят тебя что-то исправить.
Иван Вахмянин, управляющий партнер Visiology
А нужен ли рейтинг?
Если рейтингов так много и все они дают разную информацию, возникает сомнение, нужны ли они вообще рынку. Возможно, вендорам и пользователям стоит обращать внимание на другие факторы, а рейтинги оставить в качестве занимательного чтения на досуге?

Точку зрения рейтингового «нигилиста», который не опирается на рейтинги, на круглом столе Visiology занял директор по цифровой трансформации Positive Technologies (использует BI-платформу Visiology) Дмитрий Лившин. Свое мнение он аргументировал с позиции представителя крупного бизнеса.

Positive Technologies — одна из ведущих компаний в российской кибербезопасности в сегменте large enterprise, она выпускает софт для крупных предприятий. В команде более 2500 человек. В случае с BI компания выступает как заказчик, но может оценить процесс и со стороны вендора.

Главная цель Positive Technologies по внедрению BI — переход на data-driven подход в управлении бизнесом.
Нам нужно понимать на основе данных, как идут продажи, как развивается софт, что происходит в бэк-офисе, куда вообще движется компания. На наших объемах без BI это делать невозможно.
Дмитрий Лившин, директор по цифровой трансформации Positive Technologies
По мнению специалиста, рейтинги BI полезнее для малых и средних предприятий, чем для корпораций. Выбор BI-платформы для Positive Technologies происходил на базе пилотов и в последнюю очередь на базе рейтингов. Дело в том, что у крупного бизнеса меньше свободы и больше ответственности при выборе платформы.

Во-первых, малые и средние компании меньше опасаются юридических последствий, продолжая использовать популярные зарубежные решения через обходные пути или в урезанном десктопном виде. Крупный бизнес вынужден регулярно проходить аудит, и никакие «альтернативные» решения вроде покупки Power BI или Qlik через посредника в Казахстане или ОАЭ ему не подходят. Как следствие, рейтинги зарубежного BI для этого сегмента практически бесполезны.

Во-вторых, большую роль играет неповоротливость и требовательность large enterprise к инфраструктуре, процессам покупки и поддержки решения. Специалисты ИТ-отдела могут отказаться устанавливать даже подходящую по другим аспектам BI-систему, если ее поддержка требует серьезных изменений внутренних процессов.

Третий важный момент — зрелость решения. Относительно зарубежных аналогов многие российские BI-платформы еще молоды и не успели развиться до необходимого уровня.

Кроме того, для крупного бизнеса значима возможность установить систему on-premise. Облачные решения не устраивают large enterprise, так как не могут обеспечить нужный уровень безопасности. Количество кибератак на российские компании в последние два года заметно выросло, поэтому никто не хочет размещать конфиденциальные данные за пределами внутреннего контура.
Без большого количества пилотов не обойтись. Для крупного бизнеса рейтинги — это лишь некий обзор рынка, мы можем посмотреть, кто на нем вообще сейчас есть. Но принимать решение на основе рейтингов мы не можем, потому что как только начинаешь пилотную эксплуатацию, сразу вылезает 200 тысяч «но».
Дмитрий Лившин, директор по цифровой трансформации Positive Technologies
За два месяца компания провела переговоры с 11 вендорами, посмотрела восемь решений, три из них взяла в пилот: Visiology, Apache SuperSet (Open Source) и «Форсайт». В итоге была выбрана Visiology в связке с Loginom в качестве ETL-прослойки и ClickHouse в качестве корпоративного хранилища данных.

Отвечая на вопрос, почему компания не рассматривала Fine BI, Дмитрий Лившин подчеркнул такой фактор, как развитое профессиональное сообщество.
Если вы получили китайский софт и надеетесь, что в Китае большое комьюнити и вы с помощью Google-переводчика сможете получить ответ на свой вопрос, то я вас разочарую. Скорее всего, вы даже не доберетесь до сайтов, где эти вопросы можно задать.
Дмитрий Лившин, директор по цифровой трансформации Positive Technologies
Кроме того, есть сложности с поиском разработчиков. Российский рынок еще не сформировался, а с китайскими специалистами неизбежно возникнет языковой барьер: далеко не все готовы общаться даже на английском языке, не говоря уж о русском.

Впрочем, Сергей Громов воспринял часть аргументов представителя Positive Technologies с некоторой долей иронии.
Я считаю, что далеко не все данные суперконфиденциальные. Во-первых, это открытая компания, поэтому часть информации есть в исследованиях и в аудиторских историях. Во-вторых, по моему опыту, топ-менеджеры всех крупных компаний в enterprise-сегменте ходят между одними и теми же работодателями. Сегодня они работают в одной компании, а завтра идут к конкуренту, зная все про предыдущее место. Поэтому я не вижу больших проблем для внедрения облачных технологий.
Сергей Громов, создатель исследования «Круги Громова»
К чести составителей рейтингов, они не пытаются выдать свой продукт за панацею. Например, главный редактор TAdviser Александр Левашов считает, что любой рейтинг, независимо от его специализации (функционал, продажи, выручка, число реализованных проектов), — это только первый этап в длинной цепочке принятия решения о приобретении продукта. За первичным определением воронки для выбора следуют демопоказы и тестирование. Только на их основе можно принимать решение.

При этом рейтинг помогает сформировать шорт-лист вендоров и продуктов для пилотирования клиентами. В свою очередь вендоры используют их, чтобы определять доли рынка и выстраивать мотивацию топ-менеджмента.
Наши рейтинги попадают в закупочную документацию, в которой присутствие в том или ином рейтинге является отсечкой.
Александр Левашов, главный редактор TAdviser
Мнение вендора выразил Иван Вахмянин. Полностью отрицать пользу рейтингов для пользователей и разработчиков BI, конечно, нельзя. Если определенная платформа стабильно входит в топ всех ключевых рейтингов, это может снять некоторые риски и сузить поле выбора для клиентов, потому что физически невозможно провести пилоты всех имеющихся на рынке решений. Для вендора же это информация, какие факторы развития платформы берутся во внимание при оценке, возможность посмотреть на себя со стороны, наметить векторы движения.

В то же время перед российскими разработчиками BI встает дилемма: на кого работать — на конечного пользователя и его запросы или на составителя рейтинга и критерии, которые он учитывает в оценке. Далеко не всегда эти вещи совпадают, а балльные рейтинги очень жестко наказывают за отсутствие выбранных ими функций. В то же время рейтинги не особенно поощряют за удобство использования решения, которое очень важно для пользователя и требует много времени и труда в разработке.

Получается, чтобы хорошо выглядеть в теории и получить высокий балл, нужно реализовать как можно больше функций, но кое-как. У Visiology ответ на этот спорный вопрос однозначный: рейтинги не игнорируем и плотно работаем с их составителями, но потребности клиентов — в приоритете.
На первом месте у нас продукт. Это развитие поддержки языка DAX, к которому привыкли пользователи Power BI, и развитие Self-Service — улучшений, которые позволяют использовать систему большому количеству пользователей. Новое направление — встроенный движок ViQube2, позволяющий экономить на аналитическом DWH. Второй приоритет – это экосистема, то есть развитие сообщества, обучение, партнерство с вузами, технологические интеграции.
Иван Вахмянин, управляющий партнер Visiology
Что под «под капотом» рейтингов
TAdviser
TAdviser
Аналитическое агентство много лет готовит рейтинги разных классов информационных систем. Информация по выручке и крупным клиентам собирается с рынка с помощью анкетирования. Данные по реализованным ИТ-проектам берутся из открытых источников: пресс-релизов, конференций, презентаций и так далее. Также из разных источников агрегируются сведения о госзакупках и внедрениях.

Платформа позволяет систематизировать информацию. Открыв анкету заказчика, можно посмотреть, продукты каких вендоров внедрены в разные годы.
На основе огромной базы знаний проектов, которая насчитывает десятки тысяч открытых анкет, мы выстраиваем таблицы сравнения по количеству реализованных проектов по разным категориям информационных систем, в частности по BI.
Александр Левашов, главный редактор TAdviser
Традиционный ежегодный обзор TAdviser — самый высокоуровневый рейтинг, связанный с выручкой от реализации BI-проектов. В нем присутствуют и вендоры-интеграторы, и чистые вендоры.

Отдельно при анкетировании указывается общая выручка от реализации BI-проектов. Например, в рейтинге, который TAdviser опубликовал 20 февраля, Visiology занимает первое место по выручке от реализации лицензий на собственные продукты среди российских BI-систем.
Мы предлагаем участвовать в наших рейтингах максимально широко: рассылаем приглашения, анонсируем. Кто готов раскрывать цифры, те и попадают в рейтинги. Только своими ресурсами и усилиями, без помощи компаний, мы не способны выделить эти цифры.
Александр Левашов, главный редактор TAdviser
Если говорить о рейтинге по количеству реализованных проектов, то составители подчеркивают, что, несмотря на усердный сбор информации, он не является исчерпывающим. Часть сведений не разглашается, соответственно, и в оценке не может быть учтена. Тем не менее в рейтинг попадает достаточное количество проектов, чтобы по ним можно было составить примерную картину рынка.
«Круг Громова»
«Круг Громова»
Исследователь Сергей Громов подчеркивает, что обладает огромным ИТ-бэкграундом — с BI-крещения Руси, как пошутили участники круглого стола.
Непосредственно BI я занимаюсь 15 лет, поэтому очень хорошо знаком с технической составляющей и диспозицией на рынке. Мы знаем всех партнеров, все компании-интеграторы, всех вендоров и громадное количество клиентов.
Сергей Громов, создатель исследования «Круги Громова»
BI — флагманское исследование проекта (также агентство Громова составляет рейтинги ETL, СУБД и датакаталогов). В прошлом году на участие в исследовании поступило 120 заявок. Из них в рейтинге присутствуют 82 вендора. Остальные 30+ были отклонены по причине либо излишней молодости решения, либо неполного соответствия понятию биосистемы. На составление рейтинга ушло около 3000 часов команды из 20 программистов.

Сергей Громов раскрыл и методологию исследования. Если все начиналось с консолидации текстовой информации, то сейчас в определенном объеме есть и интервьюирование участников (это направление «Круги» планируют развивать).

Критерии рейтинга такие: системные возможности и требования, администрирование безопасности платформы, подключение к источникам данных, трансформация хранения данных, расширенные возможности разработки, функциональность аналитических объектов, интерактивное визуальное исследование, геоаналитика, расширенные возможности анализа данных, удобство кастомизации свойств объекта, интерфейс и экспорт, рассылка отчетов.

Чек-лист по критериям — примерно 600 параметров. Вендоры заполняют документ самостоятельно, но исследователи его детально проверяют.
От вендора на все вопросы можно услышать только два ответа — «Да» или «Да, скоро будет». Ответа «Нет» я практически не видел».
Сергей Громов, создатель исследования «Круги Громова»
Это дилемма заключенного. Ты знаешь, что все остальные вендоры ответят «Да». Если хоть где-то поставишь «Нет», то точно и, очень вероятно, незаслуженно провалишься в рейтинге.
Иван Вахмянин, управляющий партнер Visiology
Вторая отличительная особенность исследования Громова – тестирование продуктов.
Мы выдаем вендорам две задачи. Обычно это анализ продаж и дебиторская задолженность. На анализе продаж проверяем базовый функционал BI, на дебиторке — трансформацию и часть визуализации, которая не вошла в первый блок.
Сергей Громов, создатель исследования «Круги Громова»
Ранее за каждым вендором был закреплен отдельный специалист агентства. В этом году один специалист исследует одну функцию у всех вендоров, чтобы сравнение было более комплексным. Например, конкретный человек проверил line chart во всех BI.

При расчете итоговых оценок используется метод аддитивной свертки показателей. К каждому критерию на основе опыта сотрудников компании привязан вес: какие-то показатели более важные, какие-то менее важные. Средняя оценка рассчитывается с учетом этих весов.

Что касается технического задания, то после того как вендоры делают демостенд и завершают ТЗ, сотрудники Громова выполняют все то же самое на своем демостенде, проверяя каждую кнопку. Причем в тестовом задании учитываются не все объекты. Например, в чек-листе 10 критериев, а для ТЗ работают только три. Соответственно итоговая оценка может быть больше в ТЗ.
Вендорам, которые случайно разработали объекты, попадающие в наши тестовые задания, повезло. Если эти объекты хорошо сделаны, у них более высокий балл.
Сергей Громов, создатель исследования «Круги Громова»
В итоге исследователь согласился с коллегами, что только на рейтинги ориентироваться не стоит. Но они полезны, чтобы не собирать вручную информацию, которую уже предлагают в готовом виде.
CNews
CNews
CNews – крупнейшее в России СМИ про информационные технологии, которое выпускает более 40 аналитических исследований в год.

По словам директора ИТ-маркетплейса Market.CNews Юрия Хомутского, для малого и среднего бизнеса основной критерий выбора продукта — это цена. Но крупный бизнес не может ориентироваться только на этот фактор, поэтому CNews и выпускает обзоры и рейтинги.

Специализация направления Юрия Хомутского — продуктовые обзоры, которые сравнивают характеристики, функционал, безопасность и стоимость решений.

В основе этих рейтингов — балльная система. По каждому виду ПО выделяются функциональные блоки. В каждом блоке ряд параметров. Каждому параметру начисляются баллы. Набравший максимальную сумму баллов вендор становится лидером рейтинга.

В 2022 году CNews впервые выпустил рейтинг по BI, и уже в 2023 году в нем заметно обновился топ-5. По словам Юрия Хомутского, это связано с изменением вводных положений, навеянных современными ИТ-тенденциями.

Сейчас один из базовых трендов в России — повышение цифровой грамотности населения. Кроме того, BI-системы все чаще использует бизнес, а не ИТ. То есть BI-система настраивается и модернизируется самими аналитиками, иногда менеджерами и руководителями отделов, без привлечения ИТ-специалистов. Поэтому в фокусе рейтинга CNews 2023 года — удобство, адаптивность, простота использования. Все это связано с Self-Service с учетом функциональных возможностей BI-систем.

В прошлом году в рейтинге было выделено девять функциональных блоков: возможность визуализации и работа с данными, миграция, коннекторы, ETL, администрирование, операционные системы, которые поддерживают платформы и которые поддерживают аналитические дашборды, стоимость лицензий.

Некоторые критерии оценки показателей по блокам являются числовыми. В таких случаях применяется регрессивная шкала, которая за каждую следующую единицу дает чуть меньше баллов по специальной формуле.

Такая же система применяется к количеству партнеров по внедрению, к длительности тестового периода и отчасти к стоимости (в последнем случае чем выше цифра, тем ниже количество баллов).
Все построено так, чтобы за счет одного какого-то критерия нельзя было ни выиграть рейтинг, ни проиграть.
Юрий Хомутский, директор ИТ-маркетплейса Market.CNews
Большое внимание CNews уделяет верификации данных за счет уточняющих вопросов при общении с вендорами, доступа к пробной версии продукта, работы с базой знаний вендора и с документацией на решения, а также сбора сведений из открытых источников (публикации, интервью, кейсы).

Результаты сводятся в таблицу, в три крупных блока: функционал, универсальность и стоимость.

После публикации проводится анализ, как рынок принял исследование. Учитывается шесть основных метрик, в том числе цитируемость, посещаемость, время, проведенное на странице материалов, обратная связь от вендоров.
По нашим данным, более 90 % компаний при выборе решений изучают профильные рейтинги и обзоры, в том числе наши. На динамичном рынке ИТ важно видеть ежегодный срез рынка и успехи конкурентов.
Юрий Хомутский, директор ИТ-маркетплейса Market.CNews
Перспективы рейтингов BI
На круглом столе Сергей Громов предложил коллегам из CNews и TADviser объединить бренды и усилия для работы над общим проектом — сводным рейтингом BI, который бы взял все лучшее из разных методик исследований.

Насколько реализуем этот проект и удастся ли договориться авторам исследований, узнаем на следующих тематических событиях Visiology.
Что думают слушатели круглого стола
Visiology провела опрос аудитории через некоторое время после мероприятия, чтобы понять, повлиял ли круглый стол на мнение непосредственных пользователей BI. При ответе на часть вопросов можно было отметить сразу несколько ответов.

На вопрос «Какой методике вы отдаете предпочтение при сопоставлении BI-инструментов?» более 64 % респондентов проголосовали за самостоятельное тестирование платформ. На референсы реальных проектов обращают внимание 42,9 % опрошенных. 35,7 % аудитории оценивают функциональные возможности BI по документации. Только 7,1 % оценивают рыночную доли вендора.

Отвечая на вопрос «Как вы оцениваете свое отношение к рейтингам BI после круглого стола Visiology?», 78,6 % опрошенных отметили, что их мнение не изменилось. У 21,4 % аудитории отношение улучшилось. Ухудшение не зафиксировал ни один человек.

Говоря об изменениях, которые помогли бы рейтингам стать объективнее и полезнее, респонденты сообщили, во-первых, об учете реального опыта и проектов (71,4 %), во-вторых, о привлечении независимых экспертов к оценке (35,7 %). Более детальная оценка сообществ пользователей, более детальное изучение характеристик и разделение по отраслевой специфике указали по 14,3 % респондентов.

Посоветовать рейтинги BI своим коллегам для выбора лучшего BI готовы более 90 % откликнувшихся на опрос: для ознакомления с рынком, для составления long- или short-листа и для выбора лучшей платформы по сумме характеристик.

Наконец, отвечая на вопрос, стало ли понятнее по итогам круглого стола Visiology, как составляют оценки ведущие исследователи и агентства, 85,7 % респондентов ответили утвердительно.

Visiology открыта для дискуссий и новых форматов мероприятий. Поделиться своими идеями и предложениями вы можете удобным вам способом.

Последние публикации

24.05.2024
По версии редакции журнала «Компьютерра» обучаться престижной специальности BI-аналитика лучше именно на Visiology.
21.05.2024
Эта тема стала ключевой на бизнес-встрече, организованной GlowByte и Visiology для крупных компаний из сферы FMCG. Участники обсудили, чего хочет бизнес от BI и в какой степени стратегия развития Visiology отвечает этим запросам.
16.05.2024
Компания представлена на карте «Корпоративного ПО» в разделе «Автоматизация процессов предприятий» — «Аналитика».
24.05.2024
По версии редакции журнала «Компьютерра» обучаться престижной специальности BI-аналитика лучше именно на Visiology.
21.05.2024
Эта тема стала ключевой на бизнес-встрече, организованной GlowByte и Visiology для крупных компаний из сферы FMCG. Участники обсудили, чего хочет бизнес от BI и в какой степени стратегия развития Visiology отвечает этим запросам.
16.05.2024
Компания представлена на карте «Корпоративного ПО» в разделе «Автоматизация процессов предприятий» — «Аналитика».