«Полученный в мастерской опыт помог мне успешно пройти собеседование в VK», — Никита Кузнецов, студент мастерской Инженерно-математической школы НИУ ВШЭ и VK

Никита Кузнецов — студент 4-го курса направления «Прикладной анализ данных и искусственный интеллект» НИУ ВШЭ в Санкт-Петербурге, а также разработчик в группе синтеза речи и улучшения звука в VK. В мастерской по сервисам и платформам ИИ он занимается разработкой компактной модели для суперразрешения аудио, способной работать в реальном времени на низкоресурсных устройствах с сохранением качества сопоставимого с крупными моделями.
О том, как исследовательская работа, взаимодействие с куратором и полученные в мастерской навыки помогли пройти собеседование в VK, — читайте в материале.

Знакомство с мастерской

Все началось с желания найти вторую работу и попробовать себя в новом направлении. В одном из чатов Вышки я увидел набор в проекты Инженерно-математической школы НИУ ВШЭ и VK, подал заявку и дошел до финального собеседования по проекту суперразрешения аудио. В итоге меня пригласили в команду.

Что повлияло на выбор

Меня привлекла возможность работать с аудио в области глубокого обучения. Ранее я уже интересовался технологиями распознавания речи, поэтому проект по суперразрешению аудио оказался особенно близок мне. В его основе лежит задача восстановления человеческой речи: модель получает аудио с произвольной частотой дискретизации и восстанавливает его до качества 48 кГц.

Что вдохновляет в проекте

Больше всего в проекте мне нравится исследовательская работа в области глубокого обучения для аудио и смежных направлений. Особенно интересны разбор научных публикаций с руководителями, поиск перспективных идей и оценка того, как их можно адаптировать и применить в наших задачах.

Роль в проекте

Я занимался улучшением качества и скорости моделей для суперразрешения аудио — задачи восстановления высокочастотного спектра из сигнала с пониженной частотой дискретизации.

В результате нам удалось получить модель, которая на ~30% меньше и быстрее по инференсу, при этом сохраняет качество на уровне лучших существующих решений. Также мы подготовили публикацию «FastWave: Optimized Diffusion Model for Audio Super-Resolution», подали работу на Interspeech и получили положительные рецензии.

Куратор VK

Максим Каледин регулярно предлагал направления для исследования и полезные публикации для изучения. Он также организовывал еженедельные созвоны, на которых мы обсуждали прогресс и формировали дальнейший план работы.

Атмосфера в команде

Особенно мне запомнились командировки на демо-дни Инженерно-математической школы Вышки и VK, где участники мастерских презентуют свои проекты, обсуждают идеи и получают обратную связь. Это был ценный опыт обмена знаниями, нетворкинга и неформального общения.

Личный рост

Участие в проекте дало мне именно те задачи и профессиональные вызовы, которые я искал. Я научился эффективно совмещать учебу, работу в проекте, основную занятость и другие активности. Благодаря этому опыту я успешно прошел собеседование в VK. Сейчас я работаю в команде синтеза речи и улучшения качества звука, где занимаюсь разработкой и развитием моделей text-to-speech.

Советы новичкам

Не бойтесь пробовать новое, брать на себя сложные задачи и выходить за рамки привычного. Последовательность, упорство и постоянная практика помогают достигать целей, которые поначалу кажутся недостижимыми.