Нейронные сети
направление:
вендор: Искусственный интеллект
Даты проведения курса
Необходимы предварительные знания:
Знание Python, основы машинного обучения на языке Python, библиотек обработки и визуализации данных NumPy, Pandas, Matplotlib.
1. Введение в машинное обучение. Методы обработки и подготовки данных (4 ак. часа)
ii. Генератор;
iii. Дискриминатор;
iv. Обучение;
ii. Генератор;
iii. Дискриминатор;
iv. Обучение.
- Пример задачи машинного обучения
- Ключевые компоненты задачи:
- Типы задач машинного обучения;
- История и развитие машинного обучения
- Тензоры и их использования для обработки данных:
- Взаимодействие с данными:
- Линейная алгебра;
- Дифференцирование тензоров:
- Автоматическое дифференцирование
- Вероятность и статистика
- Специальные классы для загрузки данных.
- Линейная регрессия теория и реализация;
- Объектно ориентированный подход в реализации;
- Модельный набор данных для регрессии;
- Применение линейного регрессора;
- Обобщение;
- Регуляризации модели;
- Логистическая регрессия
- Набор данных для классификации изображений
- Основная модель для классификации
- Применение логистического регрессора
- Обобщение;
- Окружение и сдвиг распределения.
- Многослоевой персептрон;
- Реализация многослоевого персептрона;
- Прямое и обратное распространения, вычислительные графы;
- Сходимость модели и инициализация весов;
- Обобщение модели;
- Регуляризация Dropout;
- Пример предсказания по стоимости недвижимости.
- Слои и класс Моделей;
- Управление параметрами модели;
- Инициализация параметров;
- Пользовательские слои;
- Чтение и запись в файл;
- Работа с GPU.
- Свертка для анализа изображений;
- Дополнение и шаг;
- Многоканальные вход и выход;
- Вытягивающие слои;
- Пример сверточной нейронной сети;
- Сеть AlexNet;
- Сеть с блоками VGG;
- Встроенные нейронные сети;
- Нейронная сеть с разделами (GoogLeNet);
- Слои пакетной нормализации;
- Остаточные нейронные сети (ResNet и ResNeXt);
- Плотно-связанные нейронные сети (DenseNet);
- Разработка архитектур сверточных нейронных сетей;
- Работа с последовательными данными;
- Превращение текста в последовательные вектора;
- Языковые модели;
- Реккурсия в нейронных сетях;
- Реализация реккурентных нейронных сетей;
- Обратное распространение во времени;
- Реккурентная сеть с ограничением памяти (LSTM);
- Реккурентная сеть с затвором (GRU);
- Глубокая реккурентная сеть;
- Двунаправленная рекурентная нейронная сеть;
- Машинный перевод и набор данных;
- Автокодировщики;
- Применение автокодировщика Seq2Seq в машинном переводе;
- Поиск по пучкам.
- Сигналы внимания;
- Вытягивание внимания;
- Скоринг-функции внимания;
- Внимание Bahdanau;
- Внимание многих;
- Само-внимание и позиционное кодирование;
- Архитектура преобразователей;
- Преобразователи для зрения;
- Полномаштабное предобучение с преобразователями.
- Оптимизация в глубоком обучении;
- Выпуклость функции ошибки;
- Градиентный спуск;
- Стохастический градиентный спуск;
- Пакетный градиентный спуск;
- Момент в спуске;
- Adagrad;
- RMSProp;
- AdaDelta;
- Adam;
- Управление скоростью обучения;
- Компиляторы и интерпретаторы;
- Асинхронное программирование;
- Автоматическое распаралелливание;
- Вычислительные устройства;
- Обучение на кластере из GPU;
- Параметрические серверы.
- Расширения набора данных;
- Тонкая настройка модели;
- Детектирование объектов и их аннотирование;
- Якоря;
- Полномасштабная детектирование объектов;
- Набор данных для детектирования объектов;
- Детектирование на одном кадре;
- Сверточная нейронная сеть по областям (R-CNN);
- Семантическая сегментация и набор данных;
- Транспонирование свертки;
- Полные сверточные сети;
- Перенос нейронных моделей;
- Классификация изображений (CIFAR-10) на Kaggle.com;
- Индентификация собак (ImageNet Dogs) на Kaggle.com.
- Встраивание слов в векторное пространство (word2vec);
- Обучение по близости;
- Набор данных для предобученной вставки;
- Предобученный word2vec;
- Вставка по глобальным векторам (GloVe);
- Вставка подслов;
- Подобие слов и аналогия;
- Двунаправленный кодировщик представлений из преобразователя (BERT);
- Набор данных для предобучения на BERT;
- Предобученный BERT;
- Анализ настроений и наборы данных;
- Анализ настроений с использование реккурентных нейронных сетей;
- Анализ настроений с использованием сверточных нейронных сетей;
- Набор данных для сопоставления текстов естественного языка;
- Сопоставление текстов естественного языка с использованием внимания;
- Настройка BERT для уровней последовательности и токенов;
- Сопоставление текстов с использованием BERT.
- Обзор рекомендательных систем
- Набор данных MovieLens;
- Факторизация матриц;
- Предсказание рейтинга при помощи автокодировщиков;
- Персонализированный рейтинг для рекомендательных систем;
- Нейронная фильтрация персонализированного рейтинга;
- Рекомендательные системы с исключением последовательностей;
- Рекомендательные системы с большим количеством признаков;
- Машины факторизации;
- Машины глубокой факторизации.
- Обзор состязательных сетей;
ii. Генератор;
iii. Дискриминатор;
iv. Обучение;
- Генеративные состязательные нейронные сети с глубокой сверткой;
ii. Генератор;
iii. Дискриминатор;
iv. Обучение.