Познакомитесь с форматом обучения, платформой и организацией курса. Подготовитесь к прохождению программы и получите все необходимые инструменты для комфортного старта.

— Разберётесь в устройстве платформы и процессе обучения.

— Узнаете важные правила прохождения курса.

— Познакомитесь с командой преподавателей и наставников.

Получите базовое представление о парсинге данных, его задачах и областях применения. Разберётесь, какие данные можно собирать и как они используются в аналитике и разработке.

— Узнаете, что такое парсинг данных и для каких задач он применяется.

— Разберётесь в понятии скрейпинга и особенностях автоматизированного сбора информации.

— Познакомитесь с основными типами данных и популярными источниками информации.

Разберётесь в юридических и этических аспектах сбора данных из открытых источников и научитесь работать с информацией в рамках действующего законодательства.

— Изучите основные правовые ограничения при парсинге сайтов и сервисов.

— Узнаете, какие данные можно собирать и использовать на законных основаниях.

— Познакомитесь с принципами ответственного и безопасного использования данных.

Освоите основы контейнеризации и научитесь запускать приложения в изолированной среде с помощью Docker.

— Познакомитесь с Docker и его основными возможностями.

— Поймёте, зачем запускать приложения вне локальной среды разработки.

— Запустите первый контейнер и подготовитесь к дальнейшей практической работе.

Познакомитесь с аналитической СУБД ClickHouse и научитесь хранить результаты парсинга в высокопроизводительном хранилище данных.

— Узнаете, что такое ClickHouse и для каких задач он используется.

— Разберётесь, почему ClickHouse подходит для хранения и обработки больших объёмов данных.

— Изучите основные типы данных ClickHouse и их применение на практике.

Подготовите рабочее окружение для разработки парсеров и автоматизации процессов сбора данных.

— Установите Python и проверите корректность его работы.

— Настроите PyCharm для удобной разработки и запуска кода.

— Подготовите окружение для выполнения практических заданий курса.

Научитесь получать и обрабатывать данные из почтовых сервисов с использованием протокола IMAP.

— Настроите почтовый ящик для работы с Python.

— Познакомитесь с библиотекой imaplib и принципами работы протокола IMAP.

— Научитесь получать письма, обрабатывать их содержимое и извлекать необходимые данные.

Разберётесь в устройстве веб-сайтов и научитесь находить данные, доступные для автоматизированного сбора.

— Изучите структуру HTML-страниц и основные элементы разметки.

— Научитесь анализировать содержимое сайтов через инструменты разработчика.

— Подготовите тестовые площадки для дальнейшей практики по парсингу данных.

Освоите взаимодействие с веб-серверами через HTTP и научитесь получать данные напрямую из интернет-ресурсов.

— Познакомитесь с библиотекой requests и её основными возможностями.

— Научитесь выполнять GET и POST запросы к веб-сервисам.

— Освоите обработку ответов сервера и работу с полученными данными.

Научитесь извлекать данные из HTML-документов и работать со структурой веб-страниц с помощью библиотеки BeautifulSoup.

— Изучите основы работы с библиотекой BeautifulSoup.

— Научитесь находить нужные элементы и данные на веб-страницах.

— Освоите извлечение текстовой информации, ссылок и структурированных данных.

Освоите Selenium и научитесь работать с динамическими сайтами, где данные загружаются и изменяются с помощью JavaScript.

— Познакомитесь с Selenium, WebDriver и принципами автоматизации браузера.

— Научитесь программно управлять браузером и выполнять пользовательские действия.

— Освоите работу с динамическим контентом и сбор данных со сложных веб-ресурсов.

Научитесь работать со сложными сценариями сбора данных и получать информацию с динамических веб-ресурсов.

— Освоите работу с cookies и пользовательскими сессиями.

— Научитесь получать и обрабатывать динамически загружаемые данные.

— Познакомитесь с парсингом изображений и других мультимедийных материалов.

Разберётесь в механизмах защиты сайтов от автоматизированного сбора данных и научитесь создавать более устойчивые парсеры.

— Изучите основные методы защиты сайтов от парсинга.

— Поймёте, как веб-ресурсы выявляют и блокируют автоматизированные запросы.

— Познакомитесь с практическими подходами для работы в условиях существующих ограничений.

Разберётесь в принципах работы CAPTCHA и других механизмов защиты веб-ресурсов от автоматизированных действий.

— Узнаете, какие виды CAPTCHA используются на современных сайтах.

— Разберётесь в принципах их работы и назначении.

— Познакомитесь с подходами к автоматизации процессов с учетом существующих ограничений и требований сервисов.

Познакомитесь с Apache Airflow и научитесь автоматизировать запуск парсеров и обработку данных по расписанию.

— Изучите основные возможности и принципы работы Airflow.

— Установите и настроите Airflow для управления задачами.

— Научитесь создавать и запускать автоматизированные пайплайны по расписанию.

Освоите оркестрацию процессов сбора и обработки данных с помощью Apache Airflow.

— Разберётесь в устройстве DAG и принципах построения рабочих процессов.

— Познакомитесь с основными операторами и возможностями Airflow.

— Настроите автоматическое выполнение задач по расписанию.

Объедините все изученные инструменты в единый процесс автоматизированного сбора, обработки и хранения данных.

— Настроите полноценный пайплайн сбора данных из различных источников.

— Организуете обработку, очистку и сохранение полученных данных.

— Подготовите инфраструктуру для регулярного автоматического запуска процессов.

Закрепите полученные знания на практике, разработав полноценные системы сбора данных из различных источников. Научитесь проектировать архитектуру парсеров, автоматизировать их работу и организовывать обработку данных.

— Реализуете парсеры для сбора данных с веб-сайтов, API и внешних сервисов.

— Настроите обработку, очистку и сохранение полученной информации.

— Используете инструменты автоматизации и планировщики задач для регулярного сбора данных.

Пройдёте полный цикл работы с данными: от их получения из различных источников до обработки, преобразования и сохранения в хранилище.

— Соберёте данные из веб-сайтов, API и других источников информации.

— Выполните очистку, преобразование и подготовку данных к дальнейшему использованию.

— Организуете хранение данных в базах данных и аналитических хранилищах.