Все курсы
Архитектор данных
Интенсив посвящён проектированию архитектуры данных для прикладного сервиса: сети постаматов. Участник построит систему, где разные базы данных используются под разные нагрузки (OLTP/OLAP), для гибких JSON-данных и графовых маршрутов, а затем объединит всё в Telegram-бота.
С нуля до junior
Диплом
Чем занимается?
Кто такой архитектор данных
Архитектор данных — это специалист, который проектирует системы хранения и обработки данных, выбирает правильные технологии под разные задачи и строит масштабируемую инфраструктуру.
Чем занимается
Он проектирует базы данных, определяет где использовать SQL, NoSQL, OLTP или OLAP, настраивает взаимодействие между системами и оптимизирует хранение и обработку данных.
Как помогает бизнесу
Архитектор данных позволяет компаниям эффективно работать с данными, снижать нагрузку на системы, ускорять аналитику и масштабировать продукты без потери производительности.
Реальный проект для вашего портфолио
Вы разработаете полноценный проект с нуля для своего портфолио
Реляционные базы данных
Проектирование БД, SQL-запросы, связи между таблицами и оптимизация PostgreSQL и MySQL.
Аналитические и NoSQL БД
Работа с ClickHouse, MongoDB и Neo4j для хранения и анализа различных типов данных.
Интеграция баз данных
Создание приложения с использованием нескольких СУБД и маршрутизацией запросов между ними.
Все материалы проекта: код, данные, презентация и дашборд — останутся у вас!
Ведущий преподаватель
Lead Data Engineer
Чемпион Дагестана по спортивному программированию (2024)
Чемпион СКФО по спортивному программированию (2026)
Эксперт в области Data Science
Эксперт по анализу данных и машинному обучению
Python-разработчик NovaData
Backend-разработчик
DevOps-инженер
Автор книг по ИИ, автор ВАК статей
Победитель международных и всероссийских олимпиад по математике
Ведущий преподаватель
Lead Data Engineer
Чемпион Дагестана по спортивному программированию (2024)
Чемпион СКФО по спортивному программированию (2026)
Эксперт в области Data Science
Эксперт по анализу данных и машинному обучению
Python-разработчик NovaData
Backend-разработчик
DevOps-инженер
Автор книг по ИИ, автор ВАК статей
Победитель международных и всероссийских олимпиад по математике
Стабильный доход на каждом этапе карьеры
В настоящее время профессия Архитектор данных является одной из самых высокооплачиваемых на рынке.
Профессия Архитектор данных особенно востребована в областях финансов, электронной коммерции, маркетинга и технологических компаниях
Данные о средней заработной плате взяты с официального сайта hh.ru и других открытых источников с актуальной информацией о вакансиях.
Кому подойдет программа?
Data Engineers
Чтобы перейти на уровень архитектуры данных
Backend-разработчикам
Чтобы глубже понять работу баз данных
Аналитикам
Чтобы понимать, где и как хранятся данные
Новичкам в IT
Чтобы разобраться в базах данных и архитектуре
Специалистам из смежных сфер
Чтобы научиться строить data-системы
Чему вы научитесь?
Инструменты
Навыки
Программа курса
PostgreSQL
Основы баз данных
Поймёте, что такое система управления базами данных (СУБД) и какую роль она играет в хранении, обработке и защите информации в современных приложениях.
— Разберётесь, чем СУБД отличается от обычных файлов, электронных таблиц и других способов хранения данных.
— Поймёте, как базы данных обеспечивают целостность, надёжность и совместный доступ к информации.
— Изучите основные задачи СУБД: хранение, поиск, обновление и управление данными.
— Узнаете, почему базы данных являются основой большинства современных информационных систем и веб-приложений.
CRUD-операции
Освоите CRUD-операции и напишете первые SQL-запросы для создания таблиц, добавления, изменения и удаления данных в базе.
— Научитесь создавать таблицы и управлять структурой базы данных с помощью DDL-команд.
— Освоите добавление новых записей через команду INSERT.
— Научитесь изменять существующие данные с помощью UPDATE.
— Разберётесь в удалении записей через DELETE и особенностях безопасной работы с данными.
— Поймёте различия между командами управления структурой базы данных и командами работы с данными.
Развёртывание через Docker
Освоите развёртывание PostgreSQL через Docker и подготовите полноценное окружение для работы с базой данных без ручной установки СУБД на операционную систему.
— Запустите PostgreSQL в Docker-контейнере и познакомитесь с основами контейнеризации баз данных.
— Научитесь настраивать параметры контейнера, порты, пользователей и постоянное хранение данных.
— Подключитесь к базе данных через DBeaver или другой визуальный клиент для администрирования.
— Проверите работоспособность окружения, создадите первые объекты базы данных и выполните тестовые запросы.
Результат
Результатом модуля станет рабочая база данных PostgreSQL, запущенная в Docker, с первой созданной таблицей и набором SQL-запросов для управления данными.
— Получите настроенный Docker-контейнер с PostgreSQL, готовый для практической работы.
— Создадите первую таблицу и проверите её структуру через SQL-запросы.
— Выполните базовые операции добавления, изменения, чтения и удаления данных.
— Подготовите основу для дальнейшего изучения SQL, проектирования БД и backend-разработки.
Связи и структура
Нормальные формы
Разберётесь в нормальных формах и поймёте, зачем данные разбивают по связанным таблицам вместо хранения всей информации в одной большой таблице.
— Поймёте, почему хранение всех данных в одном месте приводит к дублированию, противоречиям и ошибкам обновления.
— Изучите основные нормальные формы и их роль в проектировании реляционных баз данных.
— Научитесь выявлять избыточность данных и правильно разделять информацию между таблицами.
— Разберётесь, как нормализация помогает поддерживать целостность, читаемость и удобство сопровождения базы данных.
FOREIGN KEY
Освоите работу с внешними ключами и научитесь связывать таблицы между собой для построения целостной и логически связанной структуры базы данных.
— Изучите назначение FOREIGN KEY и поймёте, как обеспечивается связь между таблицами.
— Освоите связь «один-к-одному» и научитесь моделировать взаимосвязанные сущности.
— Разберётесь в связи «один-ко-многим», которая используется в большинстве реляционных баз данных.
— Познакомитесь со связью «многие-ко-многим» и научитесь реализовывать её через промежуточные таблицы.
— Поймёте, как внешние ключи помогают поддерживать целостность данных и предотвращать появление некорректных связей.
JOIN-запросы
Научитесь объединять данные из нескольких таблиц в единый результат и строить аналитические запросы с использованием JOIN, группировки и агрегатных функций.
— Освоите основные типы JOIN и научитесь объединять связанные данные из нескольких таблиц.
— Разберётесь в различиях между INNER JOIN, LEFT JOIN, RIGHT JOIN и FULL JOIN.
— Научитесь использовать GROUP BY для группировки данных по различным признакам.
— Освоите подсчёт и анализ данных с помощью агрегатных функций COUNT, SUM, AVG, MIN и MAX.
— Научитесь фильтровать сгруппированные результаты с использованием HAVING и строить сложные аналитические запросы.
Результат
ПРОЕКТ
Результатом модуля станет нормализованная структура базы данных из нескольких связанных таблиц и набор многотабличных SQL-запросов для анализа и обработки данных.
— Спроектируете нормализованную схему базы данных с использованием связей между сущностями.
— Создадите таблицы с первичными и внешними ключами для обеспечения целостности данных.
— Реализуете многотабличные запросы с использованием различных типов JOIN.
— Выполните группировку, агрегацию и анализ данных с помощью SQL-функций и операторов GROUP BY и HAVING.
— Получите практический опыт построения структуры данных, приближенной к реальным бизнес-приложениям.
MySQL и оптимизация
Дублирование данных
Разберётесь в дублировании данных между разными СУБД и перенесёте готовую схему из PostgreSQL в MySQL, чтобы понять отличия систем и реальные сценарии миграции данных.
— Перенесёте готовую структуру базы данных из PostgreSQL в MySQL.
— Сравните особенности PostgreSQL и MySQL: типы данных, синтаксис, ограничения и поведение запросов.
— Поймёте, зачем в реальных проектах дублируют данные между несколькими базами.
— Разберётесь в базовых сценариях миграции, резервирования и синхронизации данных между СУБД.
Индексы
Поймёте, как индексы ускоряют поиск данных в базе и научитесь принимать обоснованные решения при их использовании для повышения производительности запросов.
— Изучите принцип работы индексов и поймёте, как они помогают базе данных быстрее находить нужные записи.
— Разберётесь, в каких сценариях индексы значительно ускоряют выполнение запросов.
— Поймёте, почему создание индекса на каждое поле может привести к ухудшению производительности.
— Изучите влияние индексов на операции INSERT, UPDATE и DELETE, а также на объём занимаемого дискового пространства.
— Научитесь выбирать поля для индексации и оценивать эффективность индексов на практике.
Оптимизация запросов
Научитесь анализировать и оптимизировать SQL-запросы, понимая, как база данных выполняет поиск данных и на каких этапах возникают основные потери производительности.
— Освоите чтение плана выполнения запроса и поймёте, как СУБД обрабатывает SQL-команды внутри.
— Научитесь использовать EXPLAIN и другие инструменты анализа производительности запросов.
— Разберётесь, на каких этапах выполнения запросов возникают основные задержки и узкие места.
— Поймёте влияние индексов, JOIN-операций и фильтрации данных на скорость выполнения запросов.
— Освоите базовые подходы к оптимизации запросов и повышению производительности баз данных.
Результат
Результатом модуля станет схема базы данных, перенесённая в MySQL, с настроенными индексами и оптимизированными SQL-запросами для более быстрой работы с данными.
— Продублируете структуру базы данных из PostgreSQL в MySQL и проверите корректность переноса схемы.
— Настроите индексы для ускорения поиска, фильтрации и объединения данных.
— Проанализируете планы выполнения запросов и найдёте узкие места в производительности.
— Оптимизируете SQL-запросы с учётом особенностей MySQL и структуры данных.
— Получите практический опыт переноса, настройки и ускорения базы данных в условиях, приближенных к реальным проектам.
Аналитика (ClickHouse)
OLAP vs OLTP
Поймёте принципиальную разницу между OLTP- и OLAP-системами и разберётесь, почему для транзакционной обработки и аналитики используются разные подходы к хранению данных.
— Изучите особенности OLTP-систем и поймёте, как они обеспечивают быструю обработку транзакций и изменений данных.
— Разберётесь в принципах работы OLAP-систем, предназначенных для аналитики и построения отчётов на больших объёмах данных.
— Сравните PostgreSQL, ClickHouse и другие СУБД с точки зрения транзакционной и аналитической нагрузки.
— Поймёте, почему обычный PostgreSQL начинает испытывать сложности при выполнении тяжёлых аналитических запросов на миллионах строк данных.
— Научитесь выбирать подходящую архитектуру хранения данных под задачи бизнеса, аналитики и высоконагруженных систем.
Агрегации
Освоите специальные механизмы хранения и агрегации данных в аналитических СУБД и научитесь ускорять расчёт метрик за счёт предобработки данных.
— Изучите движки хранения для автоматического удаления дублей и поймёте, в каких сценариях они применяются.
— Освоите механизмы суммирования данных на лету и научитесь работать с агрегированными таблицами.
— Разберётесь в предрасчёте сложных агрегатов для ускорения аналитических запросов.
— Познакомитесь с движками ReplacingMergeTree, SummingMergeTree и AggregatingMergeTree и особенностями их использования.
— Научитесь выбирать подходящий способ хранения данных в зависимости от требований к скорости загрузки и аналитики.
Работа с аналитикой
Научитесь использовать ClickHouse для аналитики поверх данных из PostgreSQL и MySQL, а также настраивать предрасчёт отчётов и автоматическое управление жизненным циклом данных.
— Подключите ClickHouse напрямую к PostgreSQL и MySQL для чтения и анализа данных из внешних источников.
— Разберётесь, как строить аналитические запросы поверх транзакционных баз без ручной выгрузки данных.
— Настроите автоматический предрасчёт тяжёлых отчётов с помощью материализованных представлений и агрегированных таблиц.
— Освоите удаление устаревших данных по расписанию с использованием TTL и правил хранения.
— Получите практический опыт построения аналитического слоя на ClickHouse для ускорения отчётности и обработки больших объёмов данных.
Результат
Результатом модуля станет аналитическая база данных на ClickHouse, подключённая к OLTP-источникам и готовая для построения быстрых отчётов и аналитики на больших объёмах данных.
— Настроите подключение ClickHouse к PostgreSQL и MySQL для получения данных из транзакционных систем.
— Реализуете автоматический предрасчёт аналитических витрин и отчётов для ускорения выполнения запросов.
— Настроите материализованные представления и агрегированные таблицы для хранения готовых метрик.
— Организуете автоматическую очистку и архивирование устаревших данных с помощью TTL-политик.
— Получите полноценный аналитический контур, отделённый от транзакционной нагрузки и готовый к работе с миллионами и миллиардами записей.
NoSQL и графы
MongoDB (JSON данные)
Познакомитесь с MongoDB и научитесь хранить данные с произвольной структурой без жёсткой схемы, сложных миграций и строгой табличной модели.
— Разберётесь, чем документная модель MongoDB отличается от реляционных баз данных.
— Научитесь хранить данные в формате документов и работать с коллекциями.
— Освоите поиск и фильтрацию данных по различным условиям.
— Познакомитесь с агрегационным pipeline и научитесь обрабатывать данные через последовательность шагов.
— Поймёте, когда MongoDB удобнее использовать вместо классической реляционной СУБД.
Neo4j (графы и маршруты)
Разберётесь в устройстве графовых баз данных и научитесь моделировать данные как сеть объектов и связей между ними с помощью Neo4j.
— Поймёте, чем графовая модель отличается от реляционной и документной моделей хранения данных.
— Освоите создание узлов, свойств и связей между объектами в Neo4j.
— Научитесь выполнять поиск по условиям и строить запросы для анализа связей между сущностями.
— Разберётесь, как безопасно обновлять данные без риска дублирования объектов и связей.
— Познакомитесь с базовыми возможностями Cypher для работы с графовыми структурами данных.
Результат
Результатом модуля станут две полноценно работающие NoSQL-базы данных, каждая из которых решает свой класс задач и демонстрирует преимущества нереляционных подходов к хранению информации.
— Развернёте MongoDB и создадите документную базу данных для хранения телеметрии, событий и данных с изменяемой структурой.
— Реализуете поиск, фильтрацию и агрегацию данных через MongoDB Aggregation Pipeline.
— Развернёте Neo4j и создадите графовую модель объектов и связей между ними.
— Построите графовый маршрут доставки и выполните поиск оптимального пути между узлами сети.
— Получите практический опыт работы с документной и графовой моделями хранения данных, используемыми в современных высоконагруженных системах.
Продукт
Интеграция всех БД
ДЕМО ВНУТРИ
ПРОЕКТ
Объедините PostgreSQL, MySQL, ClickHouse, MongoDB и Neo4j в одном Python-приложении и научитесь использовать разные базы данных под разные задачи системы.
— Подключите PostgreSQL и MySQL для хранения транзакционных данных и работы с основной бизнес-логикой.
— Интегрируете ClickHouse для аналитики, отчётности и обработки больших объёмов данных.
— Подключите MongoDB для хранения телеметрии, событий и данных с гибкой структурой.
— Используете Neo4j для хранения связей, построения маршрутов и решения графовых задач.
— Соберёте единое Python-приложение, в котором каждая база данных выполняет свою роль в общей архитектуре.
Создание Telegram-бота
Выберете удобный интерфейс для работы с приложением и реализуете один из вариантов: Telegram-бота для взаимодействия через чат или Streamlit-приложение для работы из браузера.
— Разберётесь, в каких сценариях удобнее использовать Telegram-бота, а в каких — веб-интерфейс на Streamlit.
— Соберёте Telegram-бота для отправки запросов, получения ответов и взаимодействия с данными через чат.
— Или разработаете Streamlit-приложение с удобным браузерным интерфейсом для работы с базами данных и аналитикой.
— Подключите выбранный интерфейс к Python-приложению и объединённой архитектуре баз данных.
Роутинг запросов
Реализуете роутинг запросов внутри Python-приложения и научитесь автоматически направлять разные пользовательские сценарии в подходящую базу данных.
— Настроите логику маршрутизации запросов в зависимости от типа задачи: транзакции, аналитика, телеметрия или графовые расчёты.
— Реализуете поиск заказа через PostgreSQL или MySQL как транзакционные OLTP-источники.
— Направите запросы по аналитике выручки в ClickHouse для быстрой обработки агрегированных данных.
— Организуете получение состояния оборудования и телеметрии из MongoDB.
— Реализуете расчёт маршрута доставки через Neo4j как графовую базу данных.
— Соберёте единый слой бизнес-логики, который скрывает различия между базами данных и выбирает нужное хранилище автоматически.
Результат
Результатом модуля станет работающий прототип системы управления сетью постаматов, объединяющий несколько баз данных под разные сценарии хранения, аналитики и обработки информации.
— Соберёте единое Python-приложение для работы с заказами, телеметрией, аналитикой и маршрутами доставки.
— Подключите PostgreSQL, MySQL, ClickHouse, MongoDB и Neo4j в рамках одной архитектуры.
— Реализуете интерфейс для взаимодействия с системой через Telegram-бота или Streamlit-приложение.
— Настроите автоматический роутинг запросов в подходящую базу данных в зависимости от типа задачи.
— Поймёте, как выбирать базу данных под конкретный сценарий: транзакции, аналитику, телеметрию или графовые расчёты.
Тарифы
Standart
Premium
Реальные истории наших выпускников
Гарантии, условия и оплата
Отвечаем на вопросы
Каким требованиям нужно соответствовать?
Кто будет меня учить?
Что делать, если я не справлюсь с нагрузкой?
Как можно оплатить?
Если не понравится, я смогу вернуть деньги?
Могу ли я оплатить курс за счёт работодателя?
реквизиты компании и ваше ФИО — мы подготовим необходимые документы.
Что такое налоговый вычет на обучение и как его получить?