Набор закрыт

Курс «Современный NLP: большие языковые модели»

студенты МФТИ | бесплатно

Создай собственную LLM вместе с экспертами VK!
Изображение образовательного центра/проекта

О чем курс?

Этот курс поможет тебе начать разбираться в устройстве больших языковых моделей (LLM) и позволит построить собственную! Как всегда, преподают ведущие эксперты-практики из VK. В течение семестра будем обозревать и сравнивать различные LLM. Разберемся, как они работают, почему одни системы качественнее других и как обучать собственного LLM-ассистента. Заглянем под “капот” моделей из семейств BERT и GPT, а ещё попробуем оптимизировать обучение и инференс моделей с помощью новых подходов.

Обучение бесплатное, но количество мест ограничено. Подать заявку можно, когда набор открыт.

Кому подходит этот курс? 

Как поступить на этот курс?

Как подготовиться к поступлению?

Длительность

1 семестр

Формат

Гибридный

Нагрузка

9 занятий / 36 ак. часов и 6 домашних заданий

Кто может учиться

студенты МФТИ, СПбГУ, ВШЭ МИЭМ, МАИ, МИСиС и ИТМО

Стоимость

Бесплатно

Статус

Скоро набор

Набор заявок закрыт

Подпишись на уведомления, чтобы не пропустить старт набора.

Изучай то, что востребовано на рынке

Технология больших языковых моделей активно развивается и может автоматизировать приложения, ускорить обслуживание и оптимизировать процессы. Благодаря этому курсу ты узнаешь, как построить и обучить такую модель, чтобы внести свой вклад в развитие технологии. На этом курсе ты поэтапно разберёшь эволюцию языковых моделей и узнаешь причины, по которым одни подходы обучения LLM работают качественнее других. Вместе с экспертами VK из команды машинного обучения применишь навыки на дообучении моделей из семейства BERT и GPT и оптимизируешь их инференс, а ещё заведёшь на собственном ноутбуке персонального LLM-ассистента.

Получай практические навыки

Исследование больших языковых моделей

На курсе ты изучишь “внутреннюю кухню” больших языковых моделей и узнаешь об эффективных способах их обучения, получишь опыт оптимизации процессов и ознакомишься с современными подходами в индустрии. Полученный комплекс навыков поможет тебе стать востребованным специалистом и начать работать в крупной IT-компании.

Тренировка навыков

Курс ориентирован на практику: будем выполнять домашние задания, разбирать реальные кейсы из индустрии и разрабатывать персонального LLM-ассистента. Преподаватели рядом – можно задать вопрос и получить обратную связь, совет или лайфхак. 

Знакомство с комьюнити профессионалов

Преподаватели на курсе — действующие разработчики в VK и ведущие эксперты индустрии. У тебя будет возможность пообщаться с ними лично и задать вопросы по интересующей профессии.

Содержание программы

цель курса

изучить “внутреннюю кухню” больших языковых моделей и узнаеть об эффективных способах их обучения.

всего

9 занятий / 36 ак. часов и 2 домашних задания

преподаватели

Владимир Макаренко

Старший разработчик-исследователь Приложил руку к внедрению множества сервисов: по извлечению скидок из писем Почты Mail, рекомендациям отписки от нечитаемых рассылок, классификатору и многим другим. Поделится тем, какие есть подводные камни при обучении и внедрении LLM, и как их можно избежать.

Дмитрий Калашников

Разработчик-исследователь команды машинного обучения Почты Борется со спамом и взломщиками. Делает использование Почты удобнее, проще и приятнее. На курсе расскажет, в чем особенности построения больших языковых моделей в продакшене, и как строить эксперименты с LLM эффективно.

Дмитрий Парпулов

Руководитель команды машинного обучения Почты Вместе с командой создаёт фичи на основе машинного обучения, чтобы Почта Mail была по-настоящему умной, современной и технологичной. Расскажет про “магию”, которая творится внутри больших языковых моделей так, чтобы она перестала казаться “магией”.

Мария Анисимова

Разработчик-исследователь команда машинного обучения Антиспама Помогает защищать ящик пользователя от спама с помощью машинного обучения. На курсе поделится виденьем LLM изнутри, а ещё расскажет, как научиться понимать модель.

Артём Степанов

Разработчик-исследователь команды машинного обучения в Integrity Занимается задачами антиспама и защиты пользователей от взлома аккаунтов с помощью машинного обучения. Участвовал в создании поискового профиля пользователя в Почте Mail. На курсе расскажет про эволюцию моделей GPT.

Обзор области NLP. Большие языковые модели. Эволюция методов обработки естественного языка

Архитектура трансформера

Эволюция моделей семейства BERT

Эволюция моделей семейства GPT

Общие принципы работы ChatGPT

Работа с данными для больших языковых моделей

Подходы к оптимизации обучения и инференса LLM

Нюансы дообучения моделей семейства GPT. Alignment и SFT. Безопасность модели

Технические нюансы обучения GPT-моделей

Кому подходит этот курс?

Студентам МФТИ, СПбГУ, ВШЭ МИЭМ, МАИ, МИСиС и ИТМО

Поступить могут на этот курс могут действующие студенты 2-6 курсов бакалавриата, специалитета и магистратуры технических факультетов вузов-партнеров VK.  Если ты хочешь узнать, как работают большие языковые модели и научиться их обучать, — этот курс для тебя. 

Какие требования?

Обладать знаниями и навыками

Студентам курса необходимо владеть базовыми знаниями по основам высшей математики (линейная алгебра, дифференцирование матричных выражений), разбираться в статистике и оптимизации, уметь пользоваться фреймворком машинного обучения для языка Python с открытым исходным кодом PyTorch, а также понимать, как устроено машинное и глубокое обучение.

Быть готовым к нагрузке

Наш курс состоит из 42 часов погружения в большие языковые модели и содержит 9 разноплановых тем. Готовься слушать лекции, обсуждать темы на семинарах и тренировать навыки при выполнении домашних заданий. 

Как поступить на курс?

Для нас важно качество образования, а не количество выпускников, поэтому места на бесплатном курсе «Современный NLP. Большие языковые модели» ограничены. Чтобы начать обучение, выполни три простых действия.

Подача заявки

Внимательно изучи страницу курса, убедись, что соответствуешь всем требованиям, и подай заявку на участие. Если анкета заполнена верно и ты соответствуешь всем условиям, мы пришлём тебе письмо с информацией о дальнейших шагах для зачисления на программу.

Набор заявок закрыт

Подпишись на уведомления, чтобы не пропустить старт набора.

Как подготовиться?

Эти материалы помогут тебе получить необходимые знания и освоить полезные навыки для поступления на курс.

Книги

I. Goodfellow, Y. Bengio, A. Courville

Deep Learning 

Статьи

Курс машинного обучения

Основы математики для искусственного интеллекта

Лекции по машинному обучению 

Набор заявок закрыт

Подпишись на уведомления, чтобы не пропустить старт набора.