Собственный бенчмарк, новый механизм внимания и психолингвистический анализ текстов: 3 разработки студентов ИМШ, которые могут изменить IT-индустрию

Англоязычные бенчмарки не учитывают российские культурные особенности и контекст: от известных личностей до ключевых исторических событий. Из-за этого большинство популярных бенчмарков не подходит для полной и качественной оценки отечественных моделей.

Под руководством наставников ИМШ я разработал собственный бенчмарк, учитывающий языковую и культурную специфику задач, характерных для нашей страны. А потом — с его помощью определил опенсорс-модель, которая лучше всего понимает контекст. Сейчас специалисты VK используют этот бенчмарк для оценки и сравнения моделей.

Работа над проектом в ИМШ помогла мне усилить компетенции в сфере машинного и глубокого обучения. А ещё — окончательно понять, что я хочу заниматься языковыми моделями: я проанализировал более 20 современных статей о VLM, получил много знаний о моделях и современных методах их оценивания.

Результаты учебного проекта и знания, полученные в ИМШ, очень помогли мне на собеседовании в VK. Но школа гораздо больше, чем строчка в резюме. Мой куратор (а теперь и руководитель) Александр Рогачев помогал структурировать идеи, направлял в нужное русло, делился опытом и самыми релевантными материалами. Его поддержка на регулярных синках, детальная обратная связь и полное отсутствие давления создали идеальную атмосферу для совместного поиска лучших решений.

Опыт, который можно получить за несколько месяцев в мастерской, сравним с несколькими годами самостоятельной работы. Используйте этот шанс по максимуму: общайтесь с куратором VK и коллегами, перенимайте их опыт и не стесняйтесь предлагать свои идеи. Меньше волнения, больше предвкушения!

В фокусе нашей команды — разработка и применение визуально-языковых моделей для решения широкого спектра внутренних задач поиска, рекомендаций, рекламы и модерации. Разработанные датасеты и метрики позволяют сравнивать разные VLM-модели и отслеживать прогресс при их дообучении. Наличие русскоязычных бенчмарков помогает быстрее понимать, какие модели лучше подходят для реальных продуктов, с чем они могут справляться, а где требуется дополнительное улучшение.

Оптимизация архитектур нейронных сетей для обработки последовательностей, включая языковые модели

Механизм внимания — ключевой компонент всех современных трансформеров, без которых сегодня невозможно представить мир нейросетей, от LLM и компьютерного зрения до авторегрессионных рекомендательных систем. Но вычислительная сложность почти всех механизмов растёт квадратично, что делает обучение и инференс моделей на их основе очень дорогими.

Мы вместе с командой и преподавателями ИМШ сейчас создаём линейный механизм с поддержкой двунаправленности, который не требует сложной низкоуровневой реализации. Проект ещё в разработке — если всё получится, то новый механизм будет гораздо быстрее своих предшественников, но железа при этом будет требовать меньше. А значит, станет гораздо доступнее для внедрения.

Реализация проекта сильно укрепила моё понимание архитектур нейронных сетей: теперь я понимаю, как они работают и почему ведут себя так, а не иначе. Кроме того, стал более осознанно программировать и чётче понимать, какими задачами хочу заниматься.

В ИМШ ты никогда не один: обсуждаешь задачи с руководителем, разбираешь результаты с командой, растёшь с каждой новой встречей. По совету руководителя постоянно задаю себе вопрос «Почему?». Это очень помогает обращать внимание на неочевидные тонкости и строить интуитивное понимание даже самых сложных вещей.

Работайте с первоисточниками: именно в статьях и официальных реализациях лучше всего видны идеи, допущения и мотивация авторов. От себя могу порекомендовать видеозаписи лекций ПМИ ВШЭ и книгу Андрея Буркова The Hundred-Page Machine Learning Book.

Система психолингвистического анализа текстов

Существующие ИИ-решения не видят разницы между фразами «я зол» и «у меня всё плохо», не могут отследить смену настроения внутри одного диалога, потому что не обучены на реальных размеченных экспертами данных из психологической практики. Это делает ИИ бесполезным или даже опасным в таких чувствительных сферах, как психологическая помощь, анализ кризисных состояний или глубокое понимание пользовательского фидбэка.

Мы с командой работаем в ИМШ над специализированным инструментом, который будет оценивать состояние собеседника, как психологи: выделять и анализировать эмоции и состояния в конкретных фрагментах речи.

В ИМШ я сильно прокачался в переводе сложных, неформализованных психологических концептов на язык, понятный для машинного обучения. А ещё укрепил свои навыки в фулстек-разработке и научился проектировать сложные системы: полностью разработал архитектуру веб-приложения для разметки (от базы данных до пользовательского интерфейса) с учётом специфических требований, например, многоуровневой разметки, ролевой модели и контроля качества.

Научная работа, основанная на моём проекте, заняла 1 место на конкурсе НИРС НИУ ВШЭ в номинации «Лучшая научно-исследовательская работа по психологии». Вместо учебной задачи получился комплексный продукт, который хорошо смотрится в резюме, — меня часто спрашивают об этой разработке на собеседованиях.

В ИМШ очень много талантливых и опытных специалистов. Мне удалось попасть в мастерскую по прикладному искусственному интеллекту и перенять опыт из первых рук — от экспертов VK. Пользуйтесь возможностью пообщаться с умными людьми: не стесняйтесь знакомиться и задавать вопросы. Почаще заглядывайте на Хабр и другие тематические ресурсы, читайте статьи о том, что вам интересно. Периодически проходите технические курсы — это помогает быстро получить необходимые навыки.

Те, кто сможет улучшить показатели понимания психологии моделями, получат существенное расширение задач, для которых можно применять их LLM.

Именно такие задачи пока никто не решал. Ребята прошли полный путь: выяснили технические требования, провели интервью со специалистами, написали и развили приложения для разметки, собрали данные, провели разметку, обучили модель и подготовили её к выкатке. Весь путь команды — это уровень ответственности либо синьора, либо техлида. Они показали себя как уверенные DL-исследователи.

Как попасть в ИМШ