Формируем культуру через понимание, доступность и доверие

— Привет! Меня зовут Юрий Баталин, я лидер направления «Стратегия развития платформ данных» в команде «Управление данными» — такое подразделение обычно входит в Data Office или «Офис CDO (Chief Data Officer)». В НЛМК это часть ИТ-дирекции по архитектуре и стратегии ИТ.

Зачем мы нужны

— Многие сталкивались с ситуацией, когда аналитика или отчет требуют значительного времени на поиск данных, уточнение методов их расчёта или устранение расхождений между показателями из разных источников. Обычно приходится спрашивать у коллег, которые могут посоветовать других коллег, и т. д. Управление данными помогает ускорить и упростить эти процессы, обеспечивая единый подход и понятные правила.

Управление данными можно разделить на два ключевых направления: Data Governance и Data Management.

Наша команда отвечает за Data Governance и стратегические вопросы Data Management, а операционные моменты курируют Центры компетенций (ЦК) ИТ

Также мы отвечаем за внедрение и развитие стратегии управления данными, включая каталог данных, глоссарий, управление качеством данных и другие инструменты для повышения эффективности работы с данными во всех подразделениях компании.

Как мы развивались

— Раньше каждое функциональное направление (ФН) строило свою отдельную аналитическую инфраструктуру (хранилища, описание, качество данных). Это приводило к расхождениям в данных, трудностям с их поиском, отсутствию переиспользования и большим трудозатратам.

В 2020 году была создана команда для разработки стратегии управления данными. Реальная работа началась в 2022-м, а в начале 2023 года команда успешно защитила стратегию. В том же году разработали политику систематизации данных и классификации метаданных, и это значительно улучшило взаимодействие между подразделениями и ИТ. Также сформировали политики управления качеством данных и НСИ, которые определяют роли участников, стандарты и ключевые задачи для актуализации данных. На уровне топ-менеджмента создали «Комитет по данным», возглавляемый финансовым директором. Процессы управления качеством данных и НСИ регулярно проверяются в рамках цикла PDCA («планируй, выполняй, проверяй, корректируй»).

В 2024 году запустили систему «Бизнес-глоссарий»/«Каталог данных». Его будут наполнять представители бизнес-направлений, это поможет создать единый язык взаимодействия между бизнесом и ИТ.

В 2025-м мы еще актуализируем стратегию и повышаем уровень востребованности Data Governance. В этом году мы будем больше работать над интеграцией инструментов и повышением культуры, интеграцией Data Governance в жизнь компании.

Кто в команде

— Команда управления данными состоит из методологов (владельцев процессов управления данными) и корпоративных архитекторов, которые определяют технологии и функции инструментов данных. Часто эти две роли пересекаются.

Сейчас в команде — шесть человек (вместе с руководителем Алёной Квон), которые развивают свои ключевые процессы/направления:

• Описание данных (глоссарий и каталог).
• Качество данных.
• Мастер-данные и НСИ — Юрий Фомин.
• Стратегия развития платформ данных — Юрий Баталин.
• Управление изменениями — Антон Панфилов.

Также мы участвуем в развитии платформы данных Data Management Platform.

Задачи команды

— В частности, мы работаем над тем, чтобы данные доходили до руководителей в срок в нужном качестве и формате — это напрямую влияет на качество решений.

Мы создаем и актуализируем стратегию данных, запускаем инициативы по развитию методологии и инструментов, а также обеспечиваем управление качеством информации.

Качество данных мы оцениваем по ключевым параметрам: это точность, полнота, актуальность, согласованность и уникальность. Наша цель — внедрить единую систему мониторинга, которая позволит поддерживать высокий уровень качества данных во всей компании.

Метаданные, описывающие структуру, формат и характеристики данных, играют важную роль. Их стандартизация упрощает поиск и использование информации. Мастер-данные (НСИ) обеспечивают «единый источник правды» о ключевых бизнес-сущностях, таких, как клиенты, продукты и поставщики. Шаблоны проектных решений мы уже включили в основные процессы компании. А регулярный мониторинг и обновление дорожных карт управления данными помогают поддерживать актуальность и прозрачность.

Для эффективного управления данными разработана ролевая модель, охватывающая как бизнес, так и ИТ. Она включает в себя владельцев данных, лидеров ФН по данным, управляющих и экспертов по данным. Эти роли помогают выстроить единые подходы и процессы.

Владелец данных = ключевой потребитель данных. Он обеспечивает ПДД: понимание (описание и методики), доступность (хранение и доступ) и доверие (качество данных и НСИ).

Изменения в системе управления данными затрагивают сотрудников на всех уровнях, поскольку они влияют на подходы к работе и процесс принятия решений. Так что ещё одна наша задача — помочь коллегам адаптироваться к новым инструментам и методам.

Платформа данных и используемые технологии

Источники данных: производственные (MES, системы планирования) и корпоративные (SAP, HR, логистика, продажи и т. д.).

Хранилища данных:

• Cloudera Data Platform — текущее централизованное хранилище.
• S3 + Impala — основа для перехода к концепции Data Lakehouse, с планами на Trino, Spark и Kubernetes для гибкого масштабирования и разделения storage и compute.
• PostgreSQL — локальные хранилища для проектов ФН.
• ClickHouse — для скоростных витрин данных в реальном времени.

Инструменты обработки и интеграции данных:

• Airflow, Kafka, SAP DataServices, Flink, NiFi — управление потоками данных.

Инструменты анализа данных:

• FineBI — основная BI-платформа.
• Форсайт. Аналитическая платформа и Apache Superset — для отдельных кейсов.

— Этот стек поддерживает переход компании к Data Management Platform (DMP), реализацию концепции self-serve data infrastructure и созданию кросс-функционального хранилища.

Как выглядит рабочий день нашего специалиста

— Основную часть рабочего времени занимают встречи. Корпоративный архитектор направления Data Governance должен понимать, зачем нужны конкретные данные и какие решения принимаются на их основе. Для этого специалист много общается с представителями бизнеса. Встречи бывают как с лидерами данных, так и с технической командой. На встречах с лидерами обсуждаются решения, успешные практики, которые можно реализовать в других подразделениях, и прочее актуальное. А с технической командой — нюансы по данному направлению: коннекторы объединения данных, архитектурные детали, хранилище и прочее. По итогам встреч специалист формирует решения, подходы и принципы, которые входят в том числе и в стратегию управления данными.

Оставшееся время сотрудник тратит на описание методик и архитектуры решений.

Как проходит онбординг нового сотрудника

— Онбординг идет по трем направлениям. Во-первых, сотрудника знакомят с данными, которые есть в компании, их целями и потребителями.

Во-вторых, специалист знакомится с технической частью: какие инструменты, решения, стеки используются в компании.

В-третьих, блок методологий, политики и стандартов по использованию, обработке и хранению данных. Это этап находится на стыке двух предыдущих.

По каждому блоку у нас есть свои специалисты, которые готовы ввести в курс дела. Кроме того, на нашем портале есть описания основных процессов, и сотрудники могут обратиться к ним в любой момент. В будущем мы также планируем ввести практику персонального наставничества.

Куда может расти сотрудник

— У специалистов нашей команды есть два основных пути развития.

Дата-лидер. Это трек с углублением в аналитику и бизнес-процессы. Управляющий данными принимает решения на основе информации, которую ему готовит команда.

Руководитель IT-направления. Трек с полным переходом в IT. Такой специалист управляет работой над развитием IT-архитектуры компании.