Кто готовит данные, а кто ищет в них закономерности: сравниваем две роли на примере доставки и помогаем выбрать направление.
Один проект, разные вопросы
Представим условную службу доставки. Клиенты хотят точнее знать время приезда курьера, а компания — реже опаздывать. Для этого нужны сведения о заказах, маршрутах и фактическом времени вручения. Но сама по себе большая таблица ещё не подсказывает, когда приедет следующий заказ.
Здесь встречаются две профессии. Data Engineer, или инженер данных, организует получение и подготовку сведений. Data Scientist, специалист по исследованию данных, проверяет закономерности и строит модели — способы оценивать неизвестный результат по известным признакам. Их работа связана, но основной результат у каждого свой.
Что делает инженер данных
В нашем примере сведения приходят из нескольких мест: приложения клиента, системы заказов и приложения курьера. Инженер помогает собрать их так, чтобы записи относились к одной доставке, время было сопоставимым, а повторная передача события не превращалась в новый заказ.
Ему важно, чтобы процесс работал и завтра: новые сведения поступали регулярно, ошибки обнаруживались, а команда понимала происхождение чисел. В описании ролей IBM к инженерным задачам относятся интеграция источников и поддержка платформы данных. Результат работы инженера — пригодный для использования поток сведений, а не обязательно прогноз.
Подробнее: IBM: сравнение ролей.
Что делает исследователь данных
Data Scientist начинает с другого вопроса: какие сведения действительно помогают оценить время доставки? Достаточно ли расстояния? Меняется ли результат вечером? Не скрывает ли средняя ошибка большие промахи на отдельных маршрутах? Он сравнивает предположения с наблюдениями.
Машинное обучение позволяет находить зависимости на примерах. Но модель нужно оценивать на данных, которые не использовались для её подгонки. Важны и смысл признаков, и ограничения результата. IBM описывает Data Science как сочетание статистики, программирования и предметных знаний. Красивого графика недостаточно, если непонятно, насколько можно доверять выводу.
Подробнее: IBM: Data Science.
Где проходит граница ответственности
Предположим, прогноз стал хуже после изменения приложения курьера. Инженер проверяет, не потерялись ли события и не изменился ли смысл поля времени. Исследователь выясняет, изменилась ли сама связь между признаками и результатом. Иногда обнаруживаются обе причины одновременно.
Это условное разделение, а не обязательное устройство каждой команды. В небольшой компании один человек может совмещать задачи. В большой часть подготовки данных и работы с моделями выполняют другие специалисты. Поэтому при выборе вакансии полезнее читать обязанности, чем сравнивать только названия. Одинаковая должность не гарантирует одинаковый рабочий день.
Как понять, что вам ближе
Попробуйте мысленно продолжить пример. Вам интереснее разобраться, почему одна доставка оказалась в отчёте дважды, и сделать надёжный процесс обновления? Это повод присмотреться к инженерии. Хочется сравнить несколько объяснений опозданий и проверить, какое лучше предсказывает результат? Возможно, ближе исследовательская работа.
Ни один вариант не освобождает от общения с людьми и проверки данных. Инженеру нужно понимать, зачем бизнесу конкретная информация. Исследователю — объяснять ограничения своих выводов. Не стоит выбирать по представлению, что одна роль исключительно творческая, а другая механическая: нестандартные задачи встречаются в обеих.
Как сделать следующий шаг
Для первого знакомства возьмите маленькую понятную задачу, например учёт собственных поездок. Опишите, откуда берутся сведения, как проверять их полноту и какой вопрос вы хотите задать. Затем разделите задачи подготовки и исследования. Такой разбор помогает увидеть разницу до изучения длинного списка технологий.
Если привлекает организация работы с данными, изучите маршрут подготовки инженера. Если интереснее проверка гипотез, присмотритесь к статистике и оценке моделей. Менять направление по мере знакомства нормально: общие навыки понимания данных пригодятся в обоих случаях. Выбор первого курса не обязан определять всю карьеру.
Что почитать дальше
Обучение в NovaData
Если хотите разобраться в направлении глубже, посмотрите программу «Data Engineer для начинающих». Сопоставьте темы и требования к подготовке со своей текущей задачей.
