[Яндекс.Практикум] Python-разработчик Плюс, 2021-2022, Часть 11 из 14

[Grant34]

Ссылка на картинку

Расширенная программа для тех, кто только знакомится с миром IT и хочет стать сильным python-разработчиком.

Часть 11

Спринт 18.

1. Парсинг: начало
   1. Что такое парсинг
2. Работа с браузером
   1. Инструменты разработчика в браузере
   2. Типы веб-страниц
3. Основные библиотеки для парсинга
   1. Загрузка и кеширование веб-страниц
   2. Прогресс-бар в консоли
   3. HTML-код как DOM-дерево
   4. Поиск тегов: методы find_all() и find() в bs4
4. Настройка парсера
   1. Первый парсер: учимся переходить по ссылкам
   2. Второй парсер: работаем с регулярными выражениями
   3. Регулярные выражения: практика
   4. Третий парсер: скачивание файлов
   5. Парсинг аргументов командной строки
   6. Объединение парсеров: список зависимостей и argparse
5. Вывод и хранение результатов парсинга
   1. PrettyTable: таблица в терминале
   2. Вывод данных в файл
6. Рефакторинг парсера
   1. Логирование
   2. Обработка ошибок
7. Финальный проект спринта: парсер PEP

Спринт 19

1. Конкурентность, параллельность и асинхронность в Python
   1. Свободная касса
   2. Потоки и процессы
   3. Потоки и процессы в Python
   4. Эксперименты с потоками и процессами
   5. Асинхронный Python. Модуль asyncio
2. Работа с БД
   1. SQLAlchemy
   2. Движок, модели и таблицы в SQLAlchemy
   3. Управление данными: CRUD
   4. CRUD на практике
   5. Практическая работа. Парсер с записью в БД
3. Парсинг и авторизация
   1. Аутентификация и авторизация. Анализ запросов.
   2. Авторизация парсера с помощью requests
4. requests-html
   1. Парсинг страниц с динамическим содержимым
5. Scrapy
   1. Фреймворк Scrapy
   2. Scrapy-парсер, селекторы и Shell
   3. Scrapy-парсинг с выводом в файл
   4. Обработка страниц с разной структурой
   5. Items и Feeds в Scrapy
   6. Pipelines, сохранение в базу данных
6. Финальный проект спринта: асинхронный парсер PEP
7. Бонус. Selenium
   1. Selenium

Читать далее...

Показать больше