Отличие глубокого машинного обучения от классического машинного обучения. Примеры использования искусственных нейронных сетей. Основные термины в глубоком обучении. Обсуждение необходимого математического аппарата для понимания курса. Обзор популярных фреймворков для глубокого обучения. Обзор основных типов задач в глубоком обучении. Линейная регрессия. Логистическая регрессия. Сигмоида. Искусственная нейронная сеть как ансамбль линейных классификаторов.

Модель перцептрона. Функция ошибки. Разбор градиентного спуска. Learning rate. Обратный проход в искусственной нейронной сети. Правило цепи. Разбор обратного прохода на примере.

Метрики в задачах классификации: accuracy, precision, recall. Полносвязный слой искусственной нейронной сети. Написание простой трехслойной искусственной нейронной сети, используя Python и модуль Numpy.

Определение оптимизаторов, их применение. BatchNormalisation и его принципы работы, в каких случаях он незаменим. Вывод формулы BN и разбор примеров. Разбор стохастического градиентого спуска (SGD). Недостатки и преимущества использования пакетов батчей для градиентного спуска. SGD с импульсом (momentum), его идея и преимущества. Метод ADAM, его основная идея и отличие от SGD+momentum. Правильный подбор значений learning rate и пара слов об RADAM. Немного о таких понятиях как overfitting и underfitting. L1 и L2 регуляризация, как они помогают бороться с overfitting.

Что такое свёртка? Как данный алгоритм выглядит на бумаге, выполнение свёртки руками. Что такое MaxPooling и AveragePooling слои, их суть. Архитектуры с первыми свёрточными сетями. Разница между линейными слоями и свёрточными. Демонстрация работы нейронной сети со свёрточными слоями для классификации изображений.

Разбор алгоритма и вывод формул обратного распространения ошибки и градиентного спуска в применении к свёрточным слоям нейронной сети, реализация алгоритма на языке программирования Python. Представление операции свертки через матричное умножение. Сравнение метрик классификации при использовании свёрточных нейронных сетей в противовес полносвязным на примерах задач.

Разбор проблемы переобучения и её решений. Обучение ансамбля нейронных сетей с помощью Dropout. Взрывы и затухания градиентов, skip-connection как решение проблемы затухания градиента и деградации в нейронной сети. Разбор архитектуры ResNet. Знакомство с архитектурой Unet с примером иного использования skip-connection. Как уменьшить количество операций умножения на примере «зловещих» (dilated) свёрток и свёрток по глубине (deepthwise).

Разбор постановки задачи детекции объектов. Пересечение над объединением (Intersection over Union). Эволюция многоступенчатых детекторов – RCNN, fast RCNN, faster RCNN. Алгоритм Non-Maximum Suppression и mean Average Precision. Одноступенчатые детекторы – SSD и YOLO. Примеры использования фреймворков для задачи детекции. Отличия задачи сегментации от задачи детекции. Генеративные состязательные сети на примере CycleGAN. Несколько слов про обучение с подкреплением и про область естественной обработки языка (NLP).