Рейтинги BI: панацея или профанация?

BI-рейтинг по итогам 2022-2023 года в России не выпустил, без преувеличения, только ленивый. Помимо таких крупных, известных и авторитетных в области ИТ-площадок, как TAdviser, CNews и «Круги Громова», свою оценку Business Intelligence платформ предложили и неожиданные авторы, включая «Комсомольскую правду».

При этом разброс мнений и, соответственно, мест оказался колоссальным: лидеры одного рейтинга могли оказаться в середине другого и вообще не войти в третий. Например, в свежем обзоре CNews отсутствуют Visiology и Yandex DataLens, что вызвало бурную дискуссию в профессиональном сообществе.

Как в такой ситуации быть пользователю BI? Кому верить, а кому нет? Не теряют ли рейтинги своего смысла и стоит ли в таком случае вендору беспокоиться о своем месте в любом из них?

Visiology решила разобраться с этими вопросами и пригласила на круглый стол экспертов, способных пролить свет на методику создания рейтингов и обзоров, а также прокомментировать их полезность для бизнеса.

Спойлер: прийти к однозначному общему мнению не удалось, но точки соприкосновения были найдены.

Конечно, BI-рейтинги не изобретение вчерашнего дня, и зарубежные аналоги тоже не идентичны. Но, если посмотреть на самые авторитетные западные образцы — Gartner, BARC, Forrester, — то можно заметить общие тенденции. О них рассказал управляющий партнер Visiology Иван Вахмянин.

Лидером всех трех рейтингов стабильно является Microsoft Power BI. Примерно одинаковая вторая скамейка: Tableau, Qlik, Oracle, IBM, SAP BI. В третьем эшелоне расхождений больше. Также есть несколько компаний, точки зрения на которые разнятся. Например, компанию MicroStrategy рейтинг BARC ставит высоко, а вот Gartner и Forrester отправляют ее на обочину истории, возможно, из-за увлечения криптовалютами и слабости общей визионерской стратегии.

У российских рейтингов мера энтропии заметно выше. По словам Ивана Вахмянина, возникает искушение составить «рейтинг рейтингов» и посмотреть, кто выйдет на первое место. В каждой шутке только доля шутки, поэтому, действительно, рейтинги можно сравнить по методике составления и по критериям, с помощью которых они оценивают вендоров BI.

Gartner, BARC и Forrester используют очень близкую методологию. Они собирают информацию от вендоров об их продуктах, базово анализируют, смотрят выручку и не включают в обзор компании ниже определенной отсечки. У Gartner это 30 млн долларов, у Forrester — 90, у BARC — 15 млн евро. Никто из них не устанавливает системы и не тестирует их. Основное, на что они опираются, — интервью клиентов, причем их проводят тысячами. Количество BI-платформ в рейтингах разнится от 15 до 21.

Подходы основных российских рейтингов отличаются друг от друга. В частности, «Круг Громова» собирает информацию о вендорах. В последней версии также появился опрос клиентов, пока не такой масштабный, как в больших западных рейтингах, но тренд намечен. Также он не анализирует рынок, зато тестирует продукт.

Основной фокус рейтинга TAdviser – анализ рынка: выручка игроков и количество внедрений. Ранжирование осуществляется по выручке.

У CNews ранжирование идет на основе набора критериев, сформированных и заполненных по информации о системах, которую предоставили публичные источники и вендоры. Интервью клиентов и тестирование не проводится.

Интересный параметр для сравнения — объем исследования. Рейтинг Сергея Громова заметно выделяется — в нем более 600 страниц.

Чтобы нагляднее продемонстрировать особенности рейтингов, Иван Вахмянин составил таблицу, в которой отметил наличие и отсутствие определенных факторов в методологии каждого из них. В процессе обсуждения практически каждый спикер захотел добавить плюсы в свой сегмент таблицы.

Если рейтингов так много и все они дают разную информацию, возникает сомнение, нужны ли они вообще рынку. Возможно, вендорам и пользователям стоит обращать внимание на другие факторы, а рейтинги оставить в качестве занимательного чтения на досуге?

Точку зрения рейтингового «нигилиста», который не опирается на рейтинги, на круглом столе Visiology занял директор по цифровой трансформации Positive Technologies (использует BI-платформу Visiology) Дмитрий Лившин. Свое мнение он аргументировал с позиции представителя крупного бизнеса.

Positive Technologies — одна из ведущих компаний в российской кибербезопасности в сегменте large enterprise, она выпускает софт для крупных предприятий. В команде более 2500 человек. В случае с BI компания выступает как заказчик, но может оценить процесс и со стороны вендора.

Главная цель Positive Technologies по внедрению BI — переход на data-driven подход в управлении бизнесом.

По мнению специалиста, рейтинги BI полезнее для малых и средних предприятий, чем для корпораций. Выбор BI-платформы для Positive Technologies происходил на базе пилотов и в последнюю очередь на базе рейтингов. Дело в том, что у крупного бизнеса меньше свободы и больше ответственности при выборе платформы.

Во-первых, малые и средние компании меньше опасаются юридических последствий, продолжая использовать популярные зарубежные решения через обходные пути или в урезанном десктопном виде. Крупный бизнес вынужден регулярно проходить аудит, и никакие «альтернативные» решения вроде покупки Power BI или Qlik через посредника в Казахстане или ОАЭ ему не подходят. Как следствие, рейтинги зарубежного BI для этого сегмента практически бесполезны.

Во-вторых, большую роль играет неповоротливость и требовательность large enterprise к инфраструктуре, процессам покупки и поддержки решения. Специалисты ИТ-отдела могут отказаться устанавливать даже подходящую по другим аспектам BI-систему, если ее поддержка требует серьезных изменений внутренних процессов.

Третий важный момент — зрелость решения. Относительно зарубежных аналогов многие российские BI-платформы еще молоды и не успели развиться до необходимого уровня.

Кроме того, для крупного бизнеса значима возможность установить систему on-premise. Облачные решения не устраивают large enterprise, так как не могут обеспечить нужный уровень безопасности. Количество кибератак на российские компании в последние два года заметно выросло, поэтому никто не хочет размещать конфиденциальные данные за пределами внутреннего контура.

За два месяца компания провела переговоры с 11 вендорами, посмотрела восемь решений, три из них взяла в пилот: Visiology, Apache SuperSet (Open Source) и «Форсайт». В итоге была выбрана Visiology в связке с Loginom в качестве ETL-прослойки и ClickHouse в качестве корпоративного хранилища данных.

Отвечая на вопрос, почему компания не рассматривала Fine BI, Дмитрий Лившин подчеркнул такой фактор, как развитое профессиональное сообщество.

Кроме того, есть сложности с поиском разработчиков. Российский рынок еще не сформировался, а с китайскими специалистами неизбежно возникнет языковой барьер: далеко не все готовы общаться даже на английском языке, не говоря уж о русском.

Впрочем, Сергей Громов воспринял часть аргументов представителя Positive Technologies с некоторой долей иронии.

К чести составителей рейтингов, они не пытаются выдать свой продукт за панацею. Например, главный редактор TAdviser Александр Левашов считает, что любой рейтинг, независимо от его специализации (функционал, продажи, выручка, число реализованных проектов), — это только первый этап в длинной цепочке принятия решения о приобретении продукта. За первичным определением воронки для выбора следуют демопоказы и тестирование. Только на их основе можно принимать решение.

При этом рейтинг помогает сформировать шорт-лист вендоров и продуктов для пилотирования клиентами. В свою очередь вендоры используют их, чтобы определять доли рынка и выстраивать мотивацию топ-менеджмента.

Мнение вендора выразил Иван Вахмянин. Полностью отрицать пользу рейтингов для пользователей и разработчиков BI, конечно, нельзя. Если определенная платформа стабильно входит в топ всех ключевых рейтингов, это может снять некоторые риски и сузить поле выбора для клиентов, потому что физически невозможно провести пилоты всех имеющихся на рынке решений. Для вендора же это информация, какие факторы развития платформы берутся во внимание при оценке, возможность посмотреть на себя со стороны, наметить векторы движения.

В то же время перед российскими разработчиками BI встает дилемма: на кого работать — на конечного пользователя и его запросы или на составителя рейтинга и критерии, которые он учитывает в оценке. Далеко не всегда эти вещи совпадают, а балльные рейтинги очень жестко наказывают за отсутствие выбранных ими функций. В то же время рейтинги не особенно поощряют за удобство использования решения, которое очень важно для пользователя и требует много времени и труда в разработке.

Получается, чтобы хорошо выглядеть в теории и получить высокий балл, нужно реализовать как можно больше функций, но кое-как. У Visiology ответ на этот спорный вопрос однозначный: рейтинги не игнорируем и плотно работаем с их составителями, но потребности клиентов — в приоритете.

Аналитическое агентство много лет готовит рейтинги разных классов информационных систем. Информация по выручке и крупным клиентам собирается с рынка с помощью анкетирования. Данные по реализованным ИТ-проектам берутся из открытых источников: пресс-релизов, конференций, презентаций и так далее. Также из разных источников агрегируются сведения о госзакупках и внедрениях.

Платформа позволяет систематизировать информацию. Открыв анкету заказчика, можно посмотреть, продукты каких вендоров внедрены в разные годы.

Традиционный ежегодный обзор TAdviser — самый высокоуровневый рейтинг, связанный с выручкой от реализации BI-проектов. В нем присутствуют и вендоры-интеграторы, и чистые вендоры.

Отдельно при анкетировании указывается общая выручка от реализации BI-проектов. Например, в рейтинге, который TAdviser опубликовал 20 февраля, Visiology занимает первое место по выручке от реализации лицензий на собственные продукты среди российских BI-систем.

Если говорить о рейтинге по количеству реализованных проектов, то составители подчеркивают, что, несмотря на усердный сбор информации, он не является исчерпывающим. Часть сведений не разглашается, соответственно, и в оценке не может быть учтена. Тем не менее в рейтинг попадает достаточное количество проектов, чтобы по ним можно было составить примерную картину рынка.

Исследователь Сергей Громов подчеркивает, что обладает огромным ИТ-бэкграундом — с BI-крещения Руси, как пошутили участники круглого стола.

BI — флагманское исследование проекта (также агентство Громова составляет рейтинги ETL, СУБД и датакаталогов). В прошлом году на участие в исследовании поступило 120 заявок. Из них в рейтинге присутствуют 82 вендора. Остальные 30+ были отклонены по причине либо излишней молодости решения, либо неполного соответствия понятию биосистемы. На составление рейтинга ушло около 3000 часов команды из 20 программистов.

Сергей Громов раскрыл и методологию исследования. Если все начиналось с консолидации текстовой информации, то сейчас в определенном объеме есть и интервьюирование участников (это направление «Круги» планируют развивать).

Критерии рейтинга такие: системные возможности и требования, администрирование безопасности платформы, подключение к источникам данных, трансформация хранения данных, расширенные возможности разработки, функциональность аналитических объектов, интерактивное визуальное исследование, геоаналитика, расширенные возможности анализа данных, удобство кастомизации свойств объекта, интерфейс и экспорт, рассылка отчетов.

Чек-лист по критериям — примерно 600 параметров. Вендоры заполняют документ самостоятельно, но исследователи его детально проверяют.

Вторая отличительная особенность исследования Громова – тестирование продуктов.

Ранее за каждым вендором был закреплен отдельный специалист агентства. В этом году один специалист исследует одну функцию у всех вендоров, чтобы сравнение было более комплексным. Например, конкретный человек проверил line chart во всех BI.

При расчете итоговых оценок используется метод аддитивной свертки показателей. К каждому критерию на основе опыта сотрудников компании привязан вес: какие-то показатели более важные, какие-то менее важные. Средняя оценка рассчитывается с учетом этих весов.

Что касается технического задания, то после того как вендоры делают демостенд и завершают ТЗ, сотрудники Громова выполняют все то же самое на своем демостенде, проверяя каждую кнопку. Причем в тестовом задании учитываются не все объекты. Например, в чек-листе 10 критериев, а для ТЗ работают только три. Соответственно итоговая оценка может быть больше в ТЗ.

В итоге исследователь согласился с коллегами, что только на рейтинги ориентироваться не стоит. Но они полезны, чтобы не собирать вручную информацию, которую уже предлагают в готовом виде.

CNews – крупнейшее в России СМИ про информационные технологии, которое выпускает более 40 аналитических исследований в год.

По словам директора ИТ-маркетплейса Market.CNews Юрия Хомутского, для малого и среднего бизнеса основной критерий выбора продукта — это цена. Но крупный бизнес не может ориентироваться только на этот фактор, поэтому CNews и выпускает обзоры и рейтинги.

Специализация направления Юрия Хомутского — продуктовые обзоры, которые сравнивают характеристики, функционал, безопасность и стоимость решений.

В основе этих рейтингов — балльная система. По каждому виду ПО выделяются функциональные блоки. В каждом блоке ряд параметров. Каждому параметру начисляются баллы. Набравший максимальную сумму баллов вендор становится лидером рейтинга.

В 2022 году CNews впервые выпустил рейтинг по BI, и уже в 2023 году в нем заметно обновился топ-5. По словам Юрия Хомутского, это связано с изменением вводных положений, навеянных современными ИТ-тенденциями.

Сейчас один из базовых трендов в России — повышение цифровой грамотности населения. Кроме того, BI-системы все чаще использует бизнес, а не ИТ. То есть BI-система настраивается и модернизируется самими аналитиками, иногда менеджерами и руководителями отделов, без привлечения ИТ-специалистов. Поэтому в фокусе рейтинга CNews 2023 года — удобство, адаптивность, простота использования. Все это связано с Self-Service с учетом функциональных возможностей BI-систем.

В прошлом году в рейтинге было выделено девять функциональных блоков: возможность визуализации и работа с данными, миграция, коннекторы, ETL, администрирование, операционные системы, которые поддерживают платформы и которые поддерживают аналитические дашборды, стоимость лицензий.

Некоторые критерии оценки показателей по блокам являются числовыми. В таких случаях применяется регрессивная шкала, которая за каждую следующую единицу дает чуть меньше баллов по специальной формуле.

Такая же система применяется к количеству партнеров по внедрению, к длительности тестового периода и отчасти к стоимости (в последнем случае чем выше цифра, тем ниже количество баллов).

Большое внимание CNews уделяет верификации данных за счет уточняющих вопросов при общении с вендорами, доступа к пробной версии продукта, работы с базой знаний вендора и с документацией на решения, а также сбора сведений из открытых источников (публикации, интервью, кейсы).

Результаты сводятся в таблицу, в три крупных блока: функционал, универсальность и стоимость.

После публикации проводится анализ, как рынок принял исследование. Учитывается шесть основных метрик, в том числе цитируемость, посещаемость, время, проведенное на странице материалов, обратная связь от вендоров.

На круглом столе Сергей Громов предложил коллегам из CNews и TADviser объединить бренды и усилия для работы над общим проектом — сводным рейтингом BI, который бы взял все лучшее из разных методик исследований.

Насколько реализуем этот проект и удастся ли договориться авторам исследований, узнаем на следующих тематических событиях Visiology.

Visiology провела опрос аудитории через некоторое время после мероприятия, чтобы понять, повлиял ли круглый стол на мнение непосредственных пользователей BI. При ответе на часть вопросов можно было отметить сразу несколько ответов.

На вопрос «Какой методике вы отдаете предпочтение при сопоставлении BI-инструментов?» более 64 % респондентов проголосовали за самостоятельное тестирование платформ. На референсы реальных проектов обращают внимание 42,9 % опрошенных. 35,7 % аудитории оценивают функциональные возможности BI по документации. Только 7,1 % оценивают рыночную доли вендора.

Отвечая на вопрос «Как вы оцениваете свое отношение к рейтингам BI после круглого стола Visiology?», 78,6 % опрошенных отметили, что их мнение не изменилось. У 21,4 % аудитории отношение улучшилось. Ухудшение не зафиксировал ни один человек.

Говоря об изменениях, которые помогли бы рейтингам стать объективнее и полезнее, респонденты сообщили, во-первых, об учете реального опыта и проектов (71,4 %), во-вторых, о привлечении независимых экспертов к оценке (35,7 %). Более детальная оценка сообществ пользователей, более детальное изучение характеристик и разделение по отраслевой специфике указали по 14,3 % респондентов.

Посоветовать рейтинги BI своим коллегам для выбора лучшего BI готовы более 90 % откликнувшихся на опрос: для ознакомления с рынком, для составления long- или short-листа и для выбора лучшей платформы по сумме характеристик.

Наконец, отвечая на вопрос, стало ли понятнее по итогам круглого стола Visiology, как составляют оценки ведущие исследователи и агентства, 85,7 % респондентов ответили утвердительно.

Visiology открыта для дискуссий и новых форматов мероприятий. Поделиться своими идеями и предложениями вы можете удобным вам способом.