СПбГУ: «Современный NLP. Большие языковые модели»
студенты СПБГУ | бесплатно
О чем курс?
Этот курс поможет тебе начать разбираться в устройстве больших языковых моделей (LLM) и позволит построить собственную! Как всегда, преподают ведущие эксперты-практики из VK. В течение семестра будем обозревать и сравнивать различные LLM. Разберемся, как они работают, почему одни системы качественнее других и как обучать собственного LLM-ассистента. Заглянем под “капот” моделей из семейств BERT и GPT, а ещё попробуем оптимизировать обучение и инференс моделей с помощью новых подходов.
Обучение бесплатное, но количество мест ограничено. Подать заявку можно, когда набор открыт.
Длительность
1 семестр
Формат
Гибридный
Нагрузка
18 занятий / 36 ак. часов и 6 домашних заданий
Кто может учиться
студенты СПбГУ
Стоимость
Бесплатно
Статус
Скоро набор
Набор заявок закрыт
Подпишись на уведомления, чтобы не пропустить старт набора.
Изучай то, что востребовано на рынке
Технология больших языковых моделей активно развивается и может автоматизировать приложения, ускорить обслуживание и оптимизировать процессы. Благодаря этому курсу ты узнаешь, как построить и обучить такую модель, чтобы внести свой вклад в развитие технологии. На этом курсе ты поэтапно разберёшь эволюцию языковых моделей и узнаешь причины, по которым одни подходы обучения LLM работают качественнее других. Вместе с экспертами VK из команды машинного обучения применишь навыки на дообучении моделей из семейства BERT и GPT и оптимизируешь их инференс, а ещё заведёшь на собственном ноутбуке персонального LLM-ассистента.
Получай практические навыки
Исследование больших языковых моделей
На курсе ты изучишь “внутреннюю кухню” больших языковых моделей и узнаешь об эффективных способах их обучения, получишь опыт оптимизации процессов и ознакомишься с современными подходами в индустрии. Полученный комплекс навыков поможет тебе стать востребованным специалистом и начать работать в крупной IT-компании.
Тренировка навыков
Курс ориентирован на практику: будем выполнять домашние задания, разбирать реальные кейсы из индустрии и разрабатывать персонального LLM-ассистента. Преподаватели рядом – можно задать вопрос и получить обратную связь, совет или лайфхак.
Знакомство с комьюнити профессионалов
Преподаватели на курсе — действующие разработчики в VK и ведущие эксперты индустрии. У тебя будет возможность пообщаться с ними лично и задать вопросы по интересующей профессии.
Содержание программы
цель курса
Изучить рекомендательную систему изнутри: узнать приёмы обработки пользовательского сигнала, оценить роль машинного обучения в построении рекомендательного алгоритма и научиться качественно оценивать работающую модель рекомендательной системы.
всего
15 занятий / 36 ак. часов и 3 домашних задания
преподаватели
Владимир Макаренко
Старший разработчик-исследователь
Приложил руку к внедрению множества сервисов: по извлечению скидок из писем Почты Mail, рекомендациям отписки от нечитаемых рассылок, классификатору и многим другим. На курсе расскажет, какие есть подводные камни при обучении и внедрении LLM, и как их можно избежать.
Артём Степанов
Разработчик-исследователь
Занимается задачами антиспама и защиты пользователей от взлома аккаунтов с помощью машинного обучения. Участвовал в создании поискового профиля пользователя в Почте Mail. На курсе расскажет про эволюцию моделей GPT.
Мария Анисимова
Программист
Помогает защищать ящик пользователя от спама с помощью машинного обучения. На курсе поделится видением LLM изнутри, а ещё расскажет, как научиться понимать модель.
Егор Спирин
Старший программист
Занимается предобучением NLP, обучая большие модели на терабайтах данных и сотнях GPU. Активно развивает VK Lab, где вместе со студентами занимается научными исследованиями и развивает open-source в области NLP, Audio, RecSys и CV. На курсе расскажет, как менялась архитектура современных моделей, в чем отличие LLaMA от ванильного трансформера и как ее эффективно реализовать.
Андрей Соколов
Технический лид разработки
Занимается разработкой NLP-решений внутри ВКонтакте, начиная с автоматизации поддержки и модерации, внедрения машинного перевода, заканчивая исследованием и адаптацией различных LLM и SOTA-моделей. На курсе расскажет о том, какие практической инструменты можно использовать для эффективной работы с языковыми моделями.
Антон Земеров
Старший программист
В VK занимается оценкой и валидацией качества LLM. На курсе расскажет, как правильно оценивать способности LLM решать задачи и сравнивать разные модели между собой на разных стадиях: pretraining, alignment и downstream inference.
Кирилл Семин
Старший программист
Обучает претрейны на основе деберты и 7B+ модели для alignment задач в VK. Работал с генеративными моделями на основе трансформеров в различных проявлениях: делал претрейн на коде в JetBrains; отвечал за vid2vid пайплайны стилизации в приложении GLAM. На курсе расскажет, как решать практические задачи более качественно, используя знания и возможности LLM на 120%.
Антон Елисеев
ML-инженер
Делает взаимодействие с моделью более приятным и полезным, занимается alignment в VK LLM. На курсе откроет тайну создания ChatGPT, погрузит слушателей в alignment и оптимизацию предпочтений пользователей.
Джантемир Киков
Старший разработчик-исследователь
Занимается созданием сервисов с помощью LLM и внедрения их в продуктовые истории. На курсе откроет тайну rag, расскажет, с чем его едят и как LLM работает в бизнесе и продуктовых историях.
Кому подходит этот курс?
Студентам СПбГУ
Поступить могут действующие студенты 2-6 курсов бакалавриата, специалитета, а также магистранты и аспиранты технических факультетов СПбГУ, обладающие требуемыми навыками. Если ты хочешь узнать, как работают большие языковые модели и научиться их обучать, — этот курс для тебя.
Какие требования?
Обладать знаниями и навыками
Студентам курса необходимо владеть базовыми знаниями по основам высшей математики (линейная алгебра, дифференцирование матричных выражений), разбираться в статистике и оптимизации, уметь пользоваться фреймворком машинного обучения для языка Python с открытым исходным кодом PyTorch, а также понимать, как устроено машинное и глубокое обучение.
Быть готовым к нагрузке
Наш курс состоит из 36 часов погружения в большие языковые модели и содержит 9 разноплановых тем. Готовься слушать лекции, обсуждать темы на семинарах и тренировать навыки при выполнении домашних заданий.
Как поступить на курс?
Для нас важно качество образования, а не количество выпускников, поэтому места на бесплатном курсе «Современный NLP. Большие языковые модели» ограничены. Чтобы начать обучение, выполни два простых действия.
Подача заявки
Внимательно изучи страницу курса, убедись, что соответствуешь всем требованиям, и подай заявку на участие. Если анкета заполнена верно и ты соответствуешь всем условиям, мы пришлём тебе письмо с информацией о дальнейших шагах для зачисления на программу.Набор заявок закрыт
Подпишись на уведомления, чтобы не пропустить старт набора.
Набор заявок закрыт
Подпишись на уведомления, чтобы не пропустить старт набора.