Корпоративный Self-Service и высочайшая производительность: мониторинг госзакупок на базе Visiology

Корпоративный Self-Service и высочайшая производитель-ность: мониторинг госзакупок на базе Visiology

Федеральное казначейство РФ (ФК) является оператором единой информационной системы государственных закупок (ГИС ЕИС ЗАКУПКИ), которую используют организации по всей России. Ежедневно через нее проходят сотни тысяч транзакций, на платформе хранятся миллионы документов, оказывается поддержка процессов закупок согласно требованиям 44-ФЗ и 223-ФЗ. Чтобы обеспечить бесперебойную работу, а также предоставить пользователям новые востребованные функции, ФК ведет постоянную модернизацию и масштабирование решения.

Интегратор:

ГИС ЕИС ЗАКУПКИ представляет собой высоконагруженную систему, которая обслуживает свыше 90 миллиардов транзакций в год, предоставляя данные более чем трем миллионам пользователей. На платформе хранится 1,7 петабайт данных о закупках. В числе ее пользователей — порядка одного миллиона организаций и юридических лиц. Только за 2023 год в ЕИС было размещено 106 миллионов юридически значимых документов, а их общее количество продолжает непрерывно расти.

Задача

Поскольку государственные закупки — это непрерывный процесс, который охватывает все регионы России, целый ряд ведомств и организаций испытывает необходимость в его анализе и корректировке. Чтобы контролировать работу системы, отслеживать исполнение заявок, обнаруживать тенденции для внешнего регулирования и пресекать подозрительные действия, необходимо наличие мощной автоматизированной системы мониторинга. Для решения этой задачи может подойти только гибкое ПО с высокой производительностью и исключительными характеристиками надежности. Аналитическая платформа, на базе которой может работать мониторинг подобной ИТ-экосистемы, должна обеспечивать одновременную работу тысяч пользователей, которые регулярно делают запросы поверх более 10 Тб сжатых данных.

Возникшая необходимость перехода на российскую платформу потребовала от Федерального казначейства выбрать наиболее подходящую для задач мониторинга госзакупок BI-систему и обеспечить дальнейшее развитие BI-экспертизы на ее основе.

В числе требований, которые предъявлялись к BI-платформе:

Возможность работать с 10+ Тб данных в хранилище с приростом в 0,5 Тб в год.
Поддержка свыше 400 показателей и 1500 измерений в реальном времени.
Работа с 2,5 тысячами таблиц и витрин без снижения производительности.
Возможность рассылать преднастроенные отчеты и проводить AD-HOC аналитику.
Прозрачный план развития платформы и открытый RoadMap.
Возможность Self-Service не только в вопросах построения визуализаций, но и для исследования данных.

Решение

Задача выбора BI-платформы была поставлена с учетом высокой нагрузки (большие объемы данных и тысячи пользователей). Также новое решение должно было предоставлять аналитикам возможность самостоятельно работать с моделями данных и запросами без использования программирования. В результате была выбрана BI-платформа Visiology, которая наилучшим образом отвечала условиям, продиктованным масштабами и спецификой работы ЕИС.

Чтобы гарантировать высокую скорость работы всей системы мониторинга, специалисты ЛАНИТ перенесли корпоративное хранилище данных с иностранной платформы на открытую Greenplum. Для достижения нужной производительности был использован потенциал Visiology в области масштабирования. Несколько вычислительных узлов были объединены в кластер с возможностью дальнейшего линейного увеличения доступных мощностей.

Разработанные специалистами ЛАНИТ и Visiology инновационная схема индексирования данных и новая структура хранения на базе движка ViQube 2 (в его основе лежит оптимизированная СУБД ClickHouse) позволили более чем в десять раз ускорить процессы загрузки данных, обеспечивая высокую производительность платформы для задач аналитики.

Результаты

Благодаря уникальной архитектуре Visiology команде ЛАНИТ удалось полностью перенести подсистему мониторинга ГИС ЕИС ЗАКУПКИ на российские и открытые решения, сохраняя при этом высокую производительность.

Эксперты системного интегратора разработали на новой платформе:

40 стандартных дашбордов,
60 преднастроенных форматов для рассылок,
средства контроля 430 показателей и 1500 измерений,
более 2,5 тысяч таблиц и витрин данных.

Self-Service корпоративного уровня

Несмотря на повсеместную возможность самообслуживания, большинство BI-платформ ограничивают этот функционал самостоятельным выбором типов диаграмм и настройкой дашбордов. Наличие графической модели данных TOM, использование синтаксиса DAX и другие уникальные особенности Visiology 3 позволили специалистам ЛАНИТ создать на базе платформы действительно гибкий инструмент для исследования данных о государственных закупках.

После подготовки высокопроизводительного хранилища и адаптации процессов доступа к данным в системе мониторинга ГИС ЕИС ЗАКУПКИ на базе Visiology 3 была предоставлена возможность самостоятельно работать с платформой на всех уровнях — от выбора и формирования моделей данных до подготовки сложных запросов. Эти функции стали доступны профессиональным пользователям из тысяч организаций, позволяя проводить аналитику без привлечения разработчиков и программистов. В результате на начало 2024 года количество пользователей подсистемы мониторинга превысило 3,8 тысяч человек.

Перспективы

Ежегодно объем данных, которыми оперирует подсистема мониторинга, увеличивается на 5%. Аналитические запросы появляются у большего количества организаций, а для исследований требуются новые форматы отчетов и дашбордов. Команда ЛАНИТ продолжает дорабатывать платформу, а Visiology 3 позволяет в любой момент расширить доступные ресурсы за счет увеличения вычислительного кластера.

ЕСТЬ ЗАВЕРШЁННЫЙ ПРОЕКТ НА VISIOLOGY?

Заполните форму ниже, мы свяжемся с вами, и вскоре ваш проект появится на странице историй успеха Visiology!

Заявить проект