Набор в Инженерно-математическую школу НИУ ВШЭ и VK

Открыт набор в проекты ИМШ

для студентов IT-направлений НИУ ВШЭ

Инженерно-математическая школа — совместный образовательный проект VK и НИУ ВШЭ, где студенты работают над реальными задачами под руководством экспертов VK и научных сотрудников университета.

Новые проекты подходят студентам, которым интересны области компьютерного зрения (CV) и обработки естественного языка (NLP).

Участвуй в реальных проектах от бизнес-юнитов VK, приобретай актуальные знания и навыки, получи специальность в сфере IT без отрыва от учёбы.

Чтобы получить тестовое задание, зарегистрируйтесь. Без регистрации задание не будет принято к рассмотрению.

— 15-20 часов в неделю занимает работа в мастерских;

— Еженедельно проходят созвоны или встречи с руководителем проекта или мастерской;

— Каждые две недели будут созвоны с экспертом из VK — куратором проекта;

— Каждые три месяца команды презентуют итоги работы на демо-днях и рассказывают о своих планах до следующего демо.

Даты этапов отбора

В какие проекты идет набор?

Мастерская по прикладному ИИ

Модель оценки TTS метрик

Студенты будут исследовать возможность построения на синтетических данных модели, автоматически выполняющей оценку TTS-метрик.

Zero-shot TTS

Направление заключается в генерации нового спикера по нескольким секундам аудио референса без дообучения модели. Ранее был собран «‎грязный» датасет и проведён ряд экспериментов с моделью VALL-E. В рамках продолжения этой деятельности планируюся эксперименты с моделью MELLE. Также предлагается отфильтровать/почистить ранее собранный датасет.

Мастерская по сервисам и платформам ИИ

Visual Language Model для Zero Shot задач Computer Vision

В рамках данного проекта участникам предлагается использовать модели для решения задач в режиме zero-shot, изучить зависимость качества от размера и типа LLM, провести анализ полученных результатов. 

Разработка русскоязычных бенчмарков для оценки качества Visual Language Model

В рамках данного проекта участникам предлагается разработать русскоязычные бенчмарки для оценки работы моделей, получающих на вход визуальную и текстовую информацию и предоставляющих текстовый ответ.

Parler-TTS для русского языка

Parler-TTS обучен и представлен только для английского языка. При этом, несмотря на публичный код, воспроизвести такую модель под новые языки не тривиальная задача – важнейшим элементом является датасет, который содержит как пары текст и озвучка, так и описание речи говорящего. В рамках проекта предлагается воспроизвести и расширить процесс сбора такого датасета, но уже для русского языка и в дальнейшем обучить модель синтеза для нее.

BDD с неявным поиском инструкций

В традиционном BDD текст инструкции часто совпадает с аннотацией функции, и это не всегда удобно. Иногда приходится слишком точно следовать аннотациям, что усложняет тесты. Мы хотим сделать процесс более гибким и удобным, чтобы можно было писать тесты проще и понятнее.

Attacks on Large Vision-Language Models

В большинстве VLM используются предобученные картиночные энкодеры и LLM, которые находятся в открытом доступе, что делает модели уязвимыми к атакам. Подобная уязвимость может стать слабым местом при применении VLM в рамках реальных сервисов. Для понимания переносимости атак с составных частей VLM на итоговую модель предлагается реализовать различные подходы для атак на visual и LLM компоненты, проанализировать результаты работы моделей с изображениями и видео, повысить устойчивость моделей.

Все вопросы по отбору в Инженерно-математическую школу направляйте на почту info_pish@hse.ru