Где лежат данные, что означают поля и к кому идти с вопросом? Разбираем каталог данных на примере компании с несколькими отчётами о продажах.
Таблица найдена, вопросов стало больше
Представим условную торговую компанию. Новому аналитику нужно узнать число клиентов за месяц. Коллеги присылают три таблицы с похожими названиями. В одной записаны покупатели, в другой — все зарегистрированные посетители, в третьей — участники программы лояльности. Открыть файлы удалось, но выбрать подходящий источник пока нельзя.
Каталог данных помогает искать наборы и понимать, для чего они предназначены. Он похож на справочник по информационным ресурсам компании. Пользователю важно найти не только адрес таблицы, но и её описание: что именно собрано, какие ограничения известны и кто может ответить на вопросы.
Что такое метаданные
Метаданные — это сведения, которые описывают данные. Для нашей условной таблицы это могут быть названия полей, их смысл, место хранения, период обновления и ответственная команда. Сам список покупателей и описание того, как его читать, решают разные задачи.
AWS описывает каталог как средство организации таких сведений и поиска ресурсов. Конкретное наполнение зависит от продукта и того, что команда в нём поддерживает. Поэтому наличие каталога само по себе не обещает подробного объяснения каждого показателя. Если никто не записал разницу между покупателем и зарегистрированным посетителем, новое красивое окно поиска эту разницу не придумает.
Подробнее: AWS: назначение каталога данных.
Как выглядит полезная карточка
Для условного набора о покупателях можно начать с короткого описания: здесь учитываются люди с завершённой покупкой за выбранный период. Затем уточнить, как обрабатываются возвраты, какое поле обозначает дату и есть ли задержка обновления. Такая карточка помогает оценить пригодность набора ещё до сложного анализа.
Полезно указать владельца описания и порядок запроса доступа. Не обязательно выкладывать в справочник сами записи с персональными сведениями. Для поиска часто достаточно контекста и контакта ответственной команды. В нашем примере аналитик сначала выяснит, какая таблица подходит для вопроса, а затем получит разрешённый доступ по правилам организации.
Что собирается автоматически, а что нужно объяснить
Некоторые технические сведения инструменты могут получать из подключённых источников. Например, документация AWS Glue описывает автоматическое обнаружение ресурсов и сбор информации об их расположении, структуре и свойствах. Это сокращает часть ручной работы по описанию технического устройства.
Но название столбца ещё не раскрывает бизнес-смысл. Если поле называется «активный», нужно понять, что считается активностью: вход на сайт, покупка или действующая подписка. Такой вопрос стоит адресовать человеку, который отвечает за правило. Автоматический сбор структуры и содержательное описание дополняют друг друга; одно не гарантирует наличия другого.
Подробнее: AWS Glue: обнаружение данных и сбор метаданных.
Чем каталог отличается от хранилища и карты пути
Хранилище содержит данные для определённых задач, а каталог помогает их обнаружить и понять. Это различие удобно представить через библиотеку: читатель ищет книгу по карточке, но сама книга находится на полке. Аналогия упрощённая: реальные продукты могут объединять несколько функций в одном интерфейсе.
Карта происхождения отвечает на другой вопрос — откуда пришли сведения и какие преобразования прошли. Её часто называют data lineage. В каталоге могут быть такие связи, но поиск подходящего набора и расследование происхождения показателя остаются разными задачами. Для первого достаточно хорошей карточки, для второго может потребоваться подробная цепочка обработки.
Как начать с малого
Выберите несколько наборов, о которых коллеги чаще всего спрашивают в переписке. Для каждого запишите назначение, границы использования, ключевые определения и ответственного. Затем предложите человеку, который не создавал эти таблицы, найти источник для конкретного вопроса. Места, где он запутался, подскажут, чего не хватает в описании.
Дальше важна поддержка актуальности: кто исправит карточку после переименования поля или изменения расчёта? Необязательно начинать с огромного перечня всех таблиц. Небольшой понятный справочник, который действительно обновляют, полезнее длинного списка без объяснений. Для будущего архитектора данных это хороший способ увидеть систему глазами её пользователей: найти ресурс должно быть проще, чем разыскивать автора в старой переписке.
Читайте также
Обучение в NovaData
Если хотите системно разобраться в этом направлении, посмотрите программу «Архитектор данных». Сопоставьте содержание и требования к подготовке со своими задачами.
