Почему цифры в отчётах расходятся: проверяем качество данных

Как искать причины расхождений в отчётах: проверить определения, полноту, точность и свежесть данных и договориться об ответственности в команде.

Два набора кубиков и прозрачная линза — образ поиска причин расхождения отчётов.

Два числа не всегда означают одну ошибку

Представим условную сеть магазинов. В утреннем отчёте отдела продаж стоит одна сумма, а у финансового отдела — другая. Первая реакция — искать сломанную загрузку. Но сначала стоит уточнить, какие события и за какой период учитывают оба отчёта.

Один может отражать оформленные заказы, другой — поступившую оплату. В первом возвраты ещё не вычтены, во втором они уже учтены. Оба расчёта способны быть правильными в рамках своих определений. Поэтому начинать расследование полезно с вопроса «что именно мы сравниваем», а не с назначения виноватого.

Проверьте, все ли нужные сведения получены

Полнота показывает, хватает ли нужных записей и значений. Например, если один магазин не передал продажи, сводка по сети будет неполной, даже когда все загруженные суммы верны. В описании измерений качества GOV.UK полнота рассматривается отдельно от точности.

В нашем условном примере команда могла бы сверять список ожидаемых магазинов со списком полученных выгрузок. Это не универсальное правило для всех систем, а проверка конкретного ожидания. Если точка временно закрыта, отсутствие её продаж нужно объяснить, а не автоматически считать технической ошибкой.

Уточните точность и время обновления

Точность связана с соответствием сведений действительности, а своевременность — с тем, доступны ли они тогда, когда нужны. Эти стороны качества могут расходиться: вчерашняя корректная сумма не отвечает на вопрос о текущем остатке товара. На значение разных критериев для разных задач указывает обзор качества данных GOV.UK.

У отчёта полезно показывать не только дату открытия страницы, но и понятный период сведений. Если финансовый отдел обновил данные утром, а продажи — позднее, сравнение нужно повторить на одном срезе. Иначе команда будет исправлять расхождение, которое вызвано временем наблюдения.

Разберите один понятный случай

Вместо обсуждения всей суммы выберите конкретный магазин и день. Найдите несколько заказов, которые вошли только в один отчёт, и проверьте их путь. Допустим, заказ оформили вечером, оплатили после полуночи, а возврат зарегистрировали ещё через день. У него уже есть несколько дат, каждая отвечает на свой вопрос.

Запишите, на каком этапе появляется отличие: в источнике, при передаче, при объединении или в правиле расчёта. Такой разбор превращает общее «цифры не сходятся» в проверяемое описание. Не исправляйте вручную только итоговую ячейку: в следующем обновлении причина может проявиться снова.

Договоритесь, кто принимает решение

Условной команде нужны как минимум две договорённости: кто объясняет смысл показателя и кто разбирается с его техническим получением. Один сотрудник может совмещать обе роли, но ответственность всё равно должна быть понятной. Иначе каждый участник будет ждать, что проблему подтвердит другой отдел.

Полезное сообщение об ошибке содержит название отчёта, период, ожидаемый результат и пример расхождения. Добавьте, на какое решение это влияет: можно ли отложить обновление или нужно явно отметить неполные сведения. Приоритет зависит от последствий для конкретной задачи, а не только от количества неверных записей.

Сделайте проверку частью обычной работы

После разбора выберите небольшое число проверок, которые действительно помогают этой команде. Для отчёта по магазинам это могут быть получение всех ожидаемых файлов, отсутствие повторного учёта заказа и согласованный момент обновления. Для другой задачи набор будет другим.

Обсудите и действия после сигнала: кто проверяет сообщение, когда предупреждает пользователей и как подтверждает восстановление. Именно здесь подход DataOps помогает рассматривать качество как часть совместной работы с данными. Но ни название подхода, ни покупка инструмента сами по себе не заменяют правил, ответственности и внимания к смыслу показателей.

По теме

Следующий шаг

Если хотите разобраться в этой работе на практике, изучите программу «DataOPS инженер». Сравните содержание с задачами, которые вам предстоит решать, и своей текущей подготовкой. Перед записью полезно уточнить требования к начальным знаниям и формат практики: название инструмента само по себе ещё не описывает всё обучение.

DataOPS инженер
Курс
Доступ сразу
DataOPS инженер

Научитесь автоматизировать развертывание и мониторинг data-инфраструктуры

С нуля до junior
Теория и практика
Диплом по окончании
12 990
₽/мес
УЗНАТЬ ПОДРОБНЕЕ

Источники

Читайте также

Обучить команду или нанять специалиста по данным: как выбрать
47

Обучить команду или нанять специалиста по данным: как выбрать

Как руководителю определить, какие навыки развивать внутри команды, когда нужна новая роль и почему обучение и найм часто дополняют друг друга.
Вертикальное и горизонтальное масштабирование данных: в чём разница
46

Вертикальное и горизонтальное масштабирование данных: в чём разница

Когда системе добавляют мощность одного сервера, когда делят работу между несколькими и почему увеличение ресурсов само по себе не решает любую проблему.
Журнал изменений данных: как выяснить, кто и когда изменил набор
42

Журнал изменений данных: как выяснить, кто и когда изменил набор

Что можно узнать из журнала действий с данными, как он помогает разбирать ошибки и почему его записи не показывают всю историю сами по себе.

Занятия проходят
в Нова Дата СДО

Вебинары, практика и общение с преподавателем — в одном окне браузера.

Посмотреть интерфейс платформы
Календарь обучения в Нова Дата СДО
Курсы студента в Нова Дата СДО
Редактор кода для практики в Нова Дата СДО
Вебинары и расписание Ваши курсы Код в браузере
Нова Дата СДО — в реестре российского ПОРеестровая запись № 34931
Заявка отправлена
Отправим вам подборку курсов в течение 5 минут. С вами также свяжется наш специалист и даст карьерную консультацию.
Персональный промокод
На курс «Инженер по парсингу данных»
Введите код при оплате, чтобы применить скидку к программе.