Поймёте, что такое большие данные, какие вызовы они создают и как роль DataOps-инженера помогает строить надёжные и масштабируемые пайплайны.

— Узнаете, чем большие данные отличаются от обычных и какие задачи решает DataOps.

— Разберётесь, из каких этапов состоит жизненный цикл данных: от сбора и хранения до аналитических витрин.

— Поймёте, как DataOps ускоряет доставку данных и повышает качество аналитики.

— Получите общую картину курса и roadmap развития от начинающего специалиста до Middle DataOps Engineer.

Освоите основы Linux: работу в терминале, скрипты на Bash, настройку сети, SSH и мониторинг.

— Изучите файловую систему, основные дистрибутивы и пакетные менеджеры.

— Поймёте разницу между виртуализацией и гипервизорами, научитесь ставить виртуальные машины.

— Овладеете базовыми и продвинутыми командами Bash для автоматизации рутины.

— Настроите SSH-сервер, сетевые интерфейсы и правила безопасности.

— Освоите мониторинг процессов, ресурсов и системных журналов.

Изучите Python от базового синтаксиса до востребованных библиотек Pandas, NumPy и Matplotlib для обработки, анализа и визуализации данных.

— Освоите переменные, типы данных, коллекции, условные операторы и циклы.

— Научитесь обрабатывать ошибки через конструкции try/except и создавать собственные функции.

— Поймёте, как работать с библиотекой Pandas: DataFrame, фильтрация данных, группировки и агрегации.

— Используете NumPy для численных вычислений и Matplotlib для построения графиков и визуализации результатов.

— Выполните итоговое практическое задание, объединяющее все ключевые темы модуля.

Научитесь работать с Git и GitHub, управлять версиями кода, использовать ветвление и оформлять проекты по современным стандартам разработки.

— Поймёте, зачем нужны системы контроля версий и как устроен Git.

— Освоите создание репозиториев на GitHub и работу с ними через веб-интерфейс.

— Изучите основные команды Git: clone, add, commit, push, pull и merge.

— Научитесь работать с ветками, выполнять слияние изменений и использовать rebase.

— Узнаете, как настраивать .gitignore и оформлять документацию проекта в Markdown.

Освоите Docker: от создания образов и написания Dockerfile до запуска контейнеров и описания многоконтейнерных приложений через Docker Compose.

— Поймёте разницу между контейнеризацией и виртуализацией.

— Научитесь создавать образы, запускать контейнеры и управлять ими.

— Изучите синтаксис Dockerfile, многоэтапную сборку и работу с Docker Hub.

— Освоите монтирование томов, проброс портов и настройку сетей в Docker.

— Сможете описывать многоконтейнерные приложения в файле docker-compose.yml.

Изучите основные типы баз данных и хранилищ: PostgreSQL для OLTP-нагрузки, ClickHouse для OLAP-аналитики, MongoDB для NoSQL-сценариев, а также научитесь подключаться к ним через DBeaver.

— Узнаете, как масштабируются базы данных и чем OLTP-подход отличается от OLAP.

— Настроите PostgreSQL и ClickHouse на Linux и подключитесь к ним через DBeaver.

— Освоите SQL-запросы: SELECT, JOIN, агрегации и оконные функции.

— Поймёте особенности ClickHouse: движки таблиц, партиционирование и хранение аналитических данных.

Познакомитесь с непрерывной интеграцией и доставкой: пайплайнами, джобами, раннерами, автоматической сборкой и деплоем приложений.

— Разберётесь, что такое CI/CD и зачем этот подход нужен в DataOps.

— Запустите GitLab локально в Docker и создадите первый pipeline.

— Освоите синтаксис .gitlab-ci.yml: stages, jobs, артефакты и правила выполнения.

— Научитесь регистрировать GitLab Runner и запускать пайплайны на собственных мощностях.

— Построите практический пример: сборку Docker-образа и деплой приложения.

Узнаете, зачем компаниям нужен менеджер артефактов, и научитесь управлять Docker-образами, зависимостями и внутренними репозиториями.

— Поймёте роль Nexus в корпоративной инфраструктуре разработки и DataOps.

— Установите и настроите Sonatype Nexus в Docker.

— Создадите Docker-репозиторий для хранения и совместного использования образов.

— Научитесь загружать Docker-образы в Nexus через push и скачивать их через pull.

— Освоите управление артефактами, версиями и политиками хранения.

Освоите основы Kubernetes на Minikube: pods, deployments, volumes, labels, kubectl и ключевые компоненты архитектуры кластера.

— Поймёте, чем Kubernetes отличается от Docker и зачем нужен оркестратор контейнеров.

— Установите Minikube и изучите архитектуру Kubernetes: master, worker, etcd и kube-apiserver.

— Научитесь создавать pods и управлять replicaset и deployment.

— Освоите основные команды kubectl, работу с volumes, labels и конфигурациями.

Познакомитесь с экосистемой Apache Hadoop: HDFS, MapReduce, Hive, YARN, HUE и командами hdfs dfs для работы с распределённым хранением и пакетной обработкой данных.

— Установите Hadoop в Docker и изучите распределённую файловую систему HDFS.

— Поймёте принципы MapReduce и его роль в пакетной обработке больших данных.

— Научитесь работать с Hive как SQL-надстройкой над HDFS.

— Разберётесь в YARN как менеджере ресурсов Hadoop-кластера.

— Освоите HUE как веб-интерфейс и команды hdfs dfs для управления файлами в HDFS.

Изучите Apache Spark: архитектуру driver/executor, установку, PySpark, запуск кластера на Minikube и обработку данных через Spark SQL и DataFrame API.

— Узнаете, где применяется Spark и как он устроен внутри.

— Развернёте Spark локально и на кластере в Minikube.

— Освоите DataFrame API, Spark SQL и преобразования данных на Python.

— Поймёте разницу между трансформациями и действиями: transformations и actions.

— Научитесь читать и записывать данные в разных форматах: Parquet, JSON и CSV.

Освоите оркестрацию пайплайнов данных в Apache Airflow: DAG’и, расписания, операторы, сенсоры и инструменты мониторинга для построения надёжных ETL-процессов.

— Поймёте, зачем Apache Airflow используется в DataOps и автоматизации ETL-пайплайнов.

— Установите Airflow через pip и Docker, запустите веб-интерфейс и scheduler.

— Изучите структуру DAG: задачи, зависимости и расписания на основе cron.

— Напишете собственный DAG с использованием BashOperator и PythonOperator.

— Освоите логирование, мониторинг, повторный запуск задач и отладку пайплайнов.

Разберётесь, почему индустрия переходит в облака, познакомитесь с основными провайдерами, виртуальными машинами и Managed Kubernetes для построения современных DataOps-пайплайнов.

— Узнаете преимущества облачной инфраструктуры перед локальной.

— Сравните основных облачных провайдеров: AWS, GCP, Yandex Cloud и Selectel.

— Получите первый практический опыт: поднимете виртуальную машину в облаке.

— Изучите Managed Kubernetes и поймёте, как работать с кластером без самостоятельного обслуживания control plane.

— Поймёте, как интегрировать облачные сервисы в DataOps-пайплайны.

Освоите современный стандарт трансформации данных в SQL: dbt-модели, Jinja-шаблонизацию, тестирование качества данных и автоматическую генерацию документации.

— Узнаете, что такое dbt и как он вписывается в modern data stack.

— Установите dbt и подключитесь к ClickHouse или PostgreSQL.

— Научитесь создавать модели на основе SQL-запросов и управлять зависимостями между ними.

— Освоите Jinja для динамических SQL-запросов, переиспользуемых шаблонов и макросов.

— Изучите тестирование данных: not null, unique, accepted values, а также генерацию документации по проекту.

Освоите автоматизацию настройки серверов с помощью Ansible: плейбуки, инвентарные файлы, модули и принципы идемпотентного управления инфраструктурой.

— Поймёте, чем Ansible отличается от Bash-скриптов и других систем управления конфигурацией, таких как Chef и Puppet.

— Научитесь писать простые и сложные плейбуки на YAML для автоматизации рутинных задач.

— Освоите работу со статическими и динамическими инвентарными файлами.

— Изучите встроенные модули Ansible и принципы идемпотентного выполнения задач.

— Построите практический пример автоматического развёртывания и обновления приложения на нескольких серверах одновременно.