Нейронные сети

1. Введение в машинное обучение. Методы обработки и подготовки данных (4 ак. часа)

• Пример задачи машинного обучения
• Ключевые компоненты задачи:
• Типы задач машинного обучения;
• История и развитие машинного обучения
• Тензоры и их использования для обработки данных:
• Взаимодействие с данными:
• Линейная алгебра;
• Дифференцирование тензоров:
• Автоматическое дифференцирование
• Вероятность и статистика
• Специальные классы для загрузки данных.

2. Линейная нейронная сеть для регрессии и классификации (4 ак. часа)

• Линейная регрессия теория и реализация;
• Объектно ориентированный подход в реализации;
• Модельный набор данных для регрессии;
• Применение линейного регрессора;
• Обобщение;
• Регуляризации модели;
• Логистическая регрессия
• Набор данных для классификации изображений
• Основная модель для классификации
• Применение логистического регрессора
• Обобщение;
• Окружение и сдвиг распределения.

3. Многослойный персептрон и конструкторы моделей (4 ак. час).

• Многослоевой персептрон;
• Реализация многослоевого персептрона;
• Прямое и обратное распространения, вычислительные графы;
• Сходимость модели и инициализация весов;
• Обобщение модели;
• Регуляризация Dropout;
• Пример предсказания по стоимости недвижимости.
• Слои и класс Моделей;
• Управление параметрами модели;
• Инициализация параметров;
• Пользовательские слои;
• Чтение и запись в файл;
• Работа с GPU.

4. Сверточные нейронные сети и их современные реализации (4 ак. час)

• Свертка для анализа изображений;
• Дополнение и шаг;
• Многоканальные вход и выход;
• Вытягивающие слои;
• Пример сверточной нейронной сети;
• Сеть AlexNet;
• Сеть с блоками VGG;
• Встроенные нейронные сети;
• Нейронная сеть с разделами (GoogLeNet);
• Слои пакетной нормализации;
• Остаточные нейронные сети (ResNet и ResNeXt);
• Плотно-связанные нейронные сети (DenseNet);
• Разработка архитектур сверточных нейронных сетей;

5. Реккурентные нейронные сети и их реализации (4.ак. час).

• Работа с последовательными данными;
• Превращение текста в последовательные вектора;
• Языковые модели;
• Реккурсия в нейронных сетях;
• Реализация реккурентных нейронных сетей;
• Обратное распространение во времени;
• Реккурентная сеть с ограничением памяти (LSTM);
• Реккурентная сеть с затвором (GRU);
• Глубокая реккурентная сеть;
• Двунаправленная рекурентная нейронная сеть;
• Машинный перевод и набор данных;
• Автокодировщики;
• Применение автокодировщика Seq2Seq в машинном переводе;
• Поиск по пучкам.

6. Механизм внимания и преобразователи ( 4 ак. час)

• Сигналы внимания;
• Вытягивание внимания;
• Скоринг-функции внимания;
• Внимание Bahdanau;
• Внимание многих;
• Само-внимание и позиционное кодирование;
• Архитектура преобразователей;
• Преобразователи для зрения;
• Полномаштабное предобучение с преобразователями.

7. Оптимизационные алгоритмы и вычислительные затраты (4 ак. час)

• Оптимизация в глубоком обучении;
• Выпуклость функции ошибки;
• Градиентный спуск;
• Стохастический градиентный спуск;
• Пакетный градиентный спуск;
• Момент в спуске;
• Adagrad;
• RMSProp;
• AdaDelta;
• Adam;
• Управление скоростью обучения;
• Компиляторы и интерпретаторы;
• Асинхронное программирование;
• Автоматическое распаралелливание;
• Вычислительные устройства;
• Обучение на кластере из GPU;
• Параметрические серверы.

8. Нейронные сети в компьютерном зрении (4 ак. часа)

• Расширения набора данных;
• Тонкая настройка модели;
• Детектирование объектов и их аннотирование;
• Якоря;
• Полномасштабная детектирование объектов;
• Набор данных для детектирования объектов;
• Детектирование на одном кадре;
• Сверточная нейронная сеть по областям (R-CNN);
• Семантическая сегментация и набор данных;
• Транспонирование свертки;
• Полные сверточные сети;
• Перенос нейронных моделей;
• Классификация изображений (CIFAR-10) на Kaggle.com;
• Индентификация собак (ImageNet Dogs) на Kaggle.com.

9. Обработка естественного языка. Предобучение. (4 ак. часа)

• Встраивание слов в векторное пространство (word2vec);
• Обучение по близости;
• Набор данных для предобученной вставки;
• Предобученный word2vec;
• Вставка по глобальным векторам (GloVe);
• Вставка подслов;
• Подобие слов и аналогия;
• Двунаправленный кодировщик представлений из преобразователя (BERT);
• Набор данных для предобучения на BERT;
• Предобученный BERT;

10. Обработка естественного языка. Применение нейронных сетей (4 ак. часа.)

• Анализ настроений и наборы данных;
• Анализ настроений с использование реккурентных нейронных сетей;
• Анализ настроений с использованием сверточных нейронных сетей;
• Набор данных для сопоставления текстов естественного языка;
• Сопоставление текстов естественного языка с использованием внимания;
• Настройка BERT для уровней последовательности и токенов;
• Сопоставление текстов с использованием BERT.

11. Использование нейронных сетей в рекомендательных системах (4 ак.часа)

• Обзор рекомендательных систем
• Набор данных MovieLens;
• Факторизация матриц;
• Предсказание рейтинга при помощи автокодировщиков;
• Персонализированный рейтинг для рекомендательных систем;
• Нейронная фильтрация персонализированного рейтинга;
• Рекомендательные системы с исключением последовательностей;
• Рекомендательные системы с большим количеством признаков;
• Машины факторизации;
• Машины глубокой факторизации.

12. Генеративные состязательные нейронные сети (4 ак. часов)

• Обзор состязательных сетей;

                                                          i.      Генерирование реальных данных;
                                                         ii.      Генератор;
                                                       iii.      Дискриминатор;
                                                       iv.      Обучение;

• Генеративные состязательные нейронные сети с глубокой сверткой;

                                                          i.      Набор данных Pokemon;
                                                         ii.      Генератор;
                                                       iii.      Дискриминатор;
                                                       iv.      Обучение.