Содержание
Модуль 1 – SQL и получение данных
С помощью SQL научитесь получать информацию из базы данных. Также сможете фильтровать, агрегировать, импортировать и экспортировать данные.
- Архитектура и структура баз данных (БД)
- Простые запросы, join, агрегаты
- Базовые команды в SQL и встроенные аналитические функции
- Импорт и экспорт данных посредством SQL и ETL программ
- Принципы работы с различными БД
- Основные библиотеки для подключения к БД из Python
- Функции SQL и их аналоги в pandas
- Консоль: знакомство, основные операторы, утилита psql
- Архитектура и проектирование
- Нормализация
- Зависимости
- Разработка запросов для аналитики авиаперелётов
- Курсовой проект
Модуль 2 – Основы Python для работы с данными
Освоите основы Python и научитесь с его помощью получать и обрабатывать данные.
- Основы Python
- Введение в анализ данных на Python
- Статистика в Python
- Предобработка данных
- Feature Selection
Модуль 3 – Программирование на Bash
Изучите базовое программирование в командном интерпретаторе Bash. Научитесь проводить синтаксический анализ с помощью регулярных выражений regexp. Освоите утилиты sed, awk, cut, grep и другие.
- Базовое программирование на Bash. Коды возврата, функции
- Regexp и их использование для синтаксического анализа
- Полезные утилиты
- Разбор скриптов и написание своих скриптов. Linter, ShellСheck
Модуль 4 – Warehouse (DWH)
Познакомитесь с классическим хранилищем данных, научитесь проектировать его и выполнять основные задачи.
- Введение в хранилища данных
- Проектирование хранилища данных
- Знакомство с Pentaho
- Pentaho как инструмент ETL
- ETL-pro
- Общие рекомендации по разработке ETL
- Смежные темы
- DWH в облаке
Модуль 5 – Администрирование Linux
Разберёте дистрибутивы Linux, основанные на RedHat и Debian, и особенности работы с ними. Узнаете, как управлять пакетами: устанавливать, удалять и пересобирать их. Научитесь управлять пользователями и их правами, приложениями и их запуском. Изучите принципы поиска проблем производительности системы.
- Типы дистрибутивов
- Управление пакетами
- Системы инициализации Linux: systemd, init-v
- Управление пользователями
- Производительность системы
- Файловые системы
Модуль 6 – Системы хранения и передачи данных
Узнаете, чем различаются SQL и NoSQL базы данных и как выбрать нужную из всего многообразия существующих решений. Разберётесь, зачем нужен кеш и как его использовать. Научитесь складывать и смотреть логи приложений в Elasticsearch, а также настраивать и использовать менеджер очередей RabbitMQ.
- Базы данных и их типы
- Кеширование Redis/Memcached
- ELK
- Очереди RabbitMQ
Модуль 7 – Реляционные базы данных
Узнаете принципы работы реляционных баз данных. Научитесь писать SQL-запросы, работать с индексами и оптимизировать выполнение запросов. Освоите репликацию, масштабирование баз данных и резервное копирование.
- Базы данных
- Работа с данными с помощью DDL и DML
- Индексы
- Репликация и масштабирование
- Резервное копирование
- Базы данных в облаке
Модуль 8 – Продвинутая работа с SQL
Изучите основы проектирования и поймёте, какие бывают архитектурные модели данных. Научитесь создавать хранимые процедуры и триггеры. Узнаете, что такое нормализация и денормализация. Освоите шардирование и партиционирование.
- Создание хранимых процедур
- Создание триггерных функций и триггеров
- Горизонтальное и вертикальное шардирование
- Архитектурные модели
- Модели данных
- Этапы проектирования базы данных
- Отличие OLTP- от OLAP-систем
- Разработка и заполнение базы данных, внедрение в неё хранимых процедур и триггеров
- Курсовой проект
Модуль 9 – Интеграция систем и документирование API
Узнаете о методах интеграции информационных систем, изучите спецификацию OpenAPI, научитесь описывать программные интерфейсы приложений и публиковать их в Swagger.
- Процесс и уровни интеграции
- Подходы к интеграции
- REST API, SOAP
- Нотация OpenAPI
- Swagger
Модуль 10 – Администрирование баз данных
Познакомитесь с основами администрирования БД на примере PostgreSQL. Узнаете основы архитектуры, научитесь управлять доступом, организовывать репликацию и резервное копирование данных.
- Основы конфигурации и архитектуры
- Организация данных
- Задачи администрирования
- Управление доступом
- Репликация и резервное копирование
- PL и SQL
- Работа с PostgreSQL
- Определение ролей, доступа и резервное копирование для заданной базы данных
- Курсовой проект
Модуль 11 – Тестирование систем и данных
Познакомитесь с основными видами и методами тестирования, поймёте разницу между QA и тестированием.
- Ручное и автоматизированное тестирование
- Тестирование данных. Требования и подход
Модуль 12 – Документирование в IT-проектах
Сориентируетесь в видах проектной документации, структуре и назначении артефактов. Научитесь создавать BMC, CJM и узнаете, где их применять. Рассмотрите стандарты документирования и познакомитесь с процессами документирования внутри цикла разработки ПО.
- Согласование и управление изменениями требований
- Проектная документация и артефакты
- Business canvas model
- Customer journey map
- Software requirements specification и техническое задание
- Стандарты документирования
- Подходы к документированию в IT-проектах
Модуль 13 – Работа по agile: scrum, kanban, lean
Поймёте отличие гибких подходов к управлению от традиционных. Познакомитесь с принципами бережливого производства (lean), гибкой методологией разработки (agile), методологией управления проектами (scrum) и системой организации процесса реализации задач (kanban).
- Отличие традиционных подходов к управлению от гибких
- Lean — бережливое производство. Поток создания ценности
- MVP и agile-планирование
- Scrum: планирование спринта, работа итерациями
- Kanban: основы метода, построение системы
Модуль 14 – Дипломный практикум
Разработаете архитектуру и сконфигурируете базу данных для интернет-магазина. Настроите доступы, роли и резервное копирование данных.
