Как определить полезную историю для отчётов, договориться об архиве и удалении и не путать срок хранения с уровнем доступа.
Зачем хранить историю
Отчёт за вчера обычно требует немного свежих данных. Сравнение сезонов продаж — гораздо более длинной истории. Но мысль «оставим всё навсегда, вдруг пригодится» увеличивает объём хранения, стоимость и сложность контроля. Перед выбором срока полезно назвать конкретные решения, для которых нужна история, и период сравнения.
Срок хранения — договорённость о том, когда данные ещё нужны для определённой цели и что с ними происходит дальше. Для разных наборов он может быть разным. Историю цен, технические журналы и промежуточные выгрузки бессмысленно оценивать одной цифрой только потому, что они лежат в одной системе.
Когда данные перестают быть нужны
Спросите владельца отчёта, за какой период он действительно сравнивает результаты. Уточните, нужны ли исходные события или достаточно согласованных итогов. Иногда длинная история важна, но ежедневная детализация старых лет не приносит дополнительной пользы. Решение следует проверить на реальных сценариях, прежде чем удалять что-либо без возможности восстановления.
Есть и обязательства, которые команда не вправе произвольно сократить: договоры, внутренние правила, требования к конкретным категориям информации. Они зависят от контекста и проверяются с ответственными специалистами отдельно. Эта статья помогает сформулировать вопросы для аналитической архитектуры, а не назначает универсальный юридический срок.
Условный пример сроков
Представим условную сеть магазинов. Операционные события покупок нужны для разбора свежих ошибок, а ежемесячные итоги — для сравнения сезонов. Команда может договориться о разных периодах для подробных событий и сводных показателей. Это пример способа рассуждать, а не готовая рекомендация по числу месяцев.
План должен ответить на практические вопросы: кто утверждает переход в архив, как найти старую запись при обоснованной необходимости, кому она будет доступна и когда её окончательно удалить. Архив означает другой режим хранения и доступа, но сам по себе не означает исчезновение данных. Различие между часто и редко используемыми данными помогает обсудить стоимость и скорость получения.
Почему удаление сложнее переноса в архив
Облачные хранилища позволяют задавать правила перехода в другой класс хранения и правила истечения срока. Такие действия описаны в документации Amazon S3. Но переход в более дешёвый класс и удаление — разные события. Первое сохраняет объект, второе требует понять, остаются ли другие версии и копии.
Правила истечения срока Amazon S3 отдельно учитывают версии объектов. В других системах механизмы отличаются, поэтому нельзя считать, что удаление видимой записи убрало все следы. О том, почему сведения могут остаться в резервных копиях, рассказывает отдельный материал.
Что согласовать с владельцем данных
Для каждого набора запишите назначение, нужную глубину истории, ответственного и действие по окончании срока: пересмотр, архив или удаление. Разделите исходные, переработанные и резервные копии. Проверьте, что пользователь отчёта понимает, какие периоды доступны в обычном интерфейсе и как запрашивать более старые сведения.
Затем назначьте проверку того, что правило действительно выполняется. Если оставить только красивую запись в регламенте, данные продолжат накапливаться. Хорошая политика хранения связана с жизненным циклом набора, стоимостью, доступом и способом доказать, что согласованное действие произошло.
Полезно заранее обсудить исключения. Если по старому периоду идёт разбор ошибки, автоматическое удаление может помешать выяснить обстоятельства. Но исключение должно иметь владельца, основание и срок пересмотра. Иначе временная пауза незаметно превращается в бессрочное хранение. Эти правила лучше согласовать до запуска автоматического жизненного цикла.
По теме
Следующий шаг
Если хотите проектировать весь путь данных от поступления до архива, изучите курс «Архитектор данных». Сравните программу с задачами своей команды и нужным уровнем подготовки.
