City: Test Saint Petersburg Novosibirsk Kazan Language: Русский English

Deep Learning
Saint Petersburg / summer 2016, посмотреть все семестры

Enroll in the course to get notifications and to be able to submit home assignments.
Register to enroll now Login

Курс будет непростым, несмотря на кажущуюся простоту глубинного обучения. Мы постараемся дать не просто описание стандартных моделей бей-беги, а рассказать о современных трендах (модели внимания, глубинное обучение с подкреплением, вариационные автокодировщики), которые явно станут стандартными средствами в ближайшие 1-3 года. Также будет сделан упор на типичные ошибки при собственной реализации нейросетей, проблемы численной устойчивости и выбора правильного метода обучения нейронны сетей.

От слушателей не требуется знаний выходящих за рамки стандартной математической подготовки университета (базовые курсы по матану, линалу, методам оптимизации, теории вероятностей) + знакомство (желательно, в объеме базового курса) с машинным обучением (знание, что это за область, какие задачи в ней решаются).

Date and time Class|Name Venue|short Materials
16 July
12:00–13:20
Введение в глубинное обучение. Стохастическая оптимизация (Дмитрий Кропотов), Lecture Таймс, ауд. 404 slides
16 July
13:30–14:50
Сети прямого распространения. Автоматическое дифференцирование. (Дмитрий Кропотов), Lecture Таймс, ауд. 404 No
17 July
12:00–13:20
Сверточные сети. Резидьюальные сети (Алексей Артёмов), Lecture Таймс, ауд. 404 files
17 July
13:30–14:50
Библиотеки для проектирования и обучения нейросетевых моделей (theano) (Алексей Артёмов), Lecture Таймс, ауд. 404 files
23 July
12:00–13:20
Рекуррентные нейронные сети и их обучение. Проблема затухающего и взрывающегося градиента и методы ее решения: clipping, LSTM, GRU, uRNN. (Екатерина Лобачёва), Lecture Таймс, ауд. 404 slides
23 July
13:30–14:50
Применение рекуррентных нейронных сетей: примеры и особенности. (Екатерина Лобачева), Lecture Таймс, ауд. 404 No
24 July
12:00–13:20
Задача Image to caption, механизм "внимания". Байесовский подход, модели со скрытыми переменными, вариационный автокодировщик (Дмитрий Ветров), Lecture Таймс, ауд. 404 slides
24 July
13:30–14:50
Методы вывода в нейробайесовских моделях, вариационный дропаут (Дмитрий Ветров), Lecture Таймс, ауд. 404 No