Город: Санкт-Петербург Новосибирск Казань Язык: Русский English

Глубинное обучение
Санкт-Петербург / лето 2016, посмотреть все семестры

Запишитесь на курс, чтобы получать уведомления и иметь возможность сдавать домашние задания. Для записи требуется регистрация на сайте.
Перейти к регистрации Войти

Курс будет непростым, несмотря на кажущуюся простоту глубинного обучения. Мы постараемся дать не просто описание стандартных моделей бей-беги, а рассказать о современных трендах (модели внимания, глубинное обучение с подкреплением, вариационные автокодировщики), которые явно станут стандартными средствами в ближайшие 1-3 года. Также будет сделан упор на типичные ошибки при собственной реализации нейросетей, проблемы численной устойчивости и выбора правильного метода обучения нейронны сетей.

От слушателей не требуется знаний выходящих за рамки стандартной математической подготовки университета (базовые курсы по матану, линалу, методам оптимизации, теории вероятностей) + знакомство (желательно, в объеме базового курса) с машинным обучением (знание, что это за область, какие задачи в ней решаются).

Дата и время Занятие Место Материалы
16 июля
12:00–13:20
Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов), Лекция Таймс, ауд. 404 слайды
16 июля
13:30–14:50
Сети прямого распространения. Автоматическое дифференцирование. (Дмитрий Кропотов), Лекция Таймс, ауд. 404 Нет
17 июля
12:00–13:20
Сверточные сети. Резидьюальные сети (Алексей Артёмов), Лекция Таймс, ауд. 404 файлы
17 июля
13:30–14:50
Библиотеки для проектирования и обучения нейросетевых моделей (theano) (Алексей Артёмов), Лекция Таймс, ауд. 404 файлы
23 июля
12:00–13:20
Рекуррентные нейронные сети и их обучение. Проблема затухающего и взрывающегося градиента и методы ее решения: clipping, LSTM, GRU, uRNN. (Екатерина Лобачёва), Лекция Таймс, ауд. 404 слайды
23 июля
13:30–14:50
Применение рекуррентных нейронных сетей: примеры и особенности. (Екатерина Лобачева), Лекция Таймс, ауд. 404 Нет
24 июля
12:00–13:20
Задача Image to caption, механизм "внимания". Байесовский подход, модели со скрытыми переменными, вариационный автокодировщик (Дмитрий Ветров), Лекция Таймс, ауд. 404 слайды
24 июля
13:30–14:50
Методы вывода в нейробайесовских моделях, вариационный дропаут (Дмитрий Ветров), Лекция Таймс, ауд. 404 Нет