На какие проекты идёт набор?

Мастерская по прикладным моделям искусственного интеллекта

Voice separation аудио на устройстве

Во многих пользовательских сценариях возникает задача улучшить звучание речи в видео: сделать голос более разборчивым, громким и чистым, одновременно ослабив фоновые звуки — музыку, шум улицы, гул помещения, звуки техники, аплодисменты, эхо и другие посторонние источники.  Поэтому перспективным направлением является разработка легковесного on-device решения, способного выполнять разделение или усиление речевого компонента аудио непосредственно на устройстве пользователя — на смартфоне, в мобильном приложении или в клиентской части видеоплеера/редактора.

Проект направлен на исследование и прототипирование модели source separation / speech enhancement, которая сможет выделять речевую дорожку из исходного аудио видео и формировать отдельный «остаток» — всё, что не является речью. Далее эти два компонента могут быть смешаны с нужным балансом: речь громче, фон тише.

Особое внимание будет уделено не только качеству разделения, но и возможности эффективного запуска модели на мобильных устройствах или в браузерной/клиентской среде: малый размер модели, низкое потребление памяти, приемлемая задержка, возможность квантования и экспорта в ONNX / Core ML / TFLite совместимый формат.

Цель проекта: Исследовать и разработать прототип легковесного алгоритма или нейросетевой модели для on-device source separation / speech enhancement, способной усиливать речь и ослаблять неречевые компоненты в аудиодорожке видео без существенного роста вычислительных затрат и без обязательного использования облачного инференса.

CodecSSL – Self-Supervised Speech Pre-Training с фонетическими нейрокодеками как source of discrete targets.

ASR (automatic speech recognition) – задача преобразования устной речи в текст; качество современных систем ASR сильно зависит от SSL pre-training на больших неразмечеченных аудио-корпусах. Текущие SSL-методы для ASR (HuBERT, wav2vec 2.0, BEST-RQ) либо требуют ресурсоёмкой k-means кластеризации скрытых представлений (терабайты storage, итерации self-training), либо используют случайные target'ы, что ограничивает верхнюю границу качества. Проект предлагает использовать замороженные codebook'и предобученных фонетических нейрокодеков как готовый источник информативных дискретных target'ов для masked prediction — без k-means, без storage, с online-генерацией. Также проект исследует, какие свойства кодеков критичны для ASR-качества.

Цель проекта: Разработать и исследовать метод SSL pre-training речи, использующий замороженные дискретные токены предобученных фонетических нейрокодеков как target для masked prediction, и определить, какие свойства кодеков критичны для качества ASR downstream-задачи, при сохранении инженерной простоты BEST-RQ (нет k-means, нет storage, single-stage CE loss).

Модификации CTC-лосса для обучения ASR на неточной разметке (Star-CTC и Omni-CTC)

Системы распознавания речи обычно обучаются с помощью CTC: функция потерь суммирует выравнивания, которые после удаления blank и схлопывания повторов дают эталонный текст. Схема хорошо работает на дословной разметке. На реальных данных транскрипт часто содержит пропуски, лишние слова и замены, и обычный CTC заставляет модель учить эти ошибки.

Star-CTC, Bypass-CTC и Omni-CTC переносят такие ошибки в граф выравнивания: пропуск, лишнее слово и замена становятся допустимыми путями. В публикациях по Omni-CTC модель продолжает учиться на транскриптах, где обычный CTC уже перестаёт сходиться. Готовые реализации считают лосс на CPU или собраны под CUDA, а обучение лаборатории идёт на ускорителях AMD (ROCm).

Проект посвящён разбору этих функций потерь, собственной реализации под AMD и встраиванию в пайплайн обучения RNN-T системы. Участники сравнят обычный CTC и устойчивые варианты по качеству на чистой и намеренно испорченной разметке и по стоимости шага обучения, затем сформулируют, при какой доле ошибок разметки новый лосс оправдан.

Цель проекта: Исследовать функции потерь семейства CTC, устойчивые к ошибкам разметки, реализовать их на PyTorch с расчётом на AMD и встроить в существующий пайплайн обучения ASR. По итогам подготовить прототип, сравнение с обычным CTC и рекомендации, когда такой лосс стоит использовать в обучении сервисов VK.

Анализ и отбор данных для SFT моделей ASR

Лаборатория дообучает модели распознавания речи сразу на нескольких доменах и языках. Размеченных данных уже очень много, но в SFT они попадают почти без отбора. Лёгкие и повторяющиеся примеры занимают большую часть шагов, шумная разметка смешивается с надёжной, а редкие домены, языки и сложные случаи получают слишком мало веса. Объём данных растёт быстрее, чем качество.

Проект посвящён тому, как использовать этот корпус эффективнее. Участник заведёт отбор данных для SFT: data pruning, hard example mining и hard negative mining, а также фильтрацию разметки открытыми ASR-моделями. Если эталон и независимая модель сильно расходятся по WER и CER, пример подозрителен. Если сходятся, разметке можно доверять. Рядом сравниваются и другие приёмы: баланс доменов и языков, дедупликация, отбор по длине и уверенности модели, curriculum learning.

Цель проекта: Собрать пайплайн анализа и отбора обучающих данных для SFT ASR и показать, какие примеры стоит оставлять в обучении. Ожидаемый итог — более ровное качество по доменам и языкам при меньшем или том же объёме данных и понятные правила отбора для промышленного дообучения моделей VK.

Генерация плейлистов по запросу пользователя

Современные музыкальные сервисы в основном используют рекомендации, основанные на истории прослушиваний, похожести треков и поведении пользователей. Однако пользователи всё чаще формулируют свои запросы в виде естественного языка:

• «поставь что-нибудь спокойное для работы»

• «музыку как саундтрек к ночной поездке»

• «что-нибудь бодрое для тренировки»

• «песни похожие на Shaman, но поновее»

Такие запросы отражают интент пользователя - контекст, настроение, активность или желаемую атмосферу.

Вам предстоит исследовать и разработать подходы к разговорным рекомендациям музыки, где система по текстовому описанию пользовательского интента находит подходящие музыкальные треки. В рамках проекта студенты будут работать на пересечении NLP, рекомендательных систем и поиска, исследовать способы сопоставления текстовых описаний и музыкального контента, а также построят прототип системы рекомендаций.

Цель проекта: Разработать прототип системы, которая по текстовому пользовательскому запросу (интенту) способна находить и рекомендовать релевантные музыкальные треки.

Разговорные рекомендации для мест и мероприятий

Современные сервисы рекомендаций мест (карты, путеводители, туристические сервисы) чаще всего предлагают пользователям списки мест на основе рейтингов, популярности или категорий. Однако пользователи всё чаще формулируют свои запросы в виде естественного языка, описывая желаемый опыт или контекст:

• «куда сходить вечером в центре»
• «уютное кафе для работы с ноутбуком»
• «мне тут не понравилось, хочется другие интересные места для прогулки в выходной»
• «необычные места, которые знают только местные»

Такие запросы отражают интент пользователя — контекст, настроение, активность или тип желаемого опыта.

Студентам предстоит исследовать и разработать подходы к разговорным рекомендациям мест, где система по текстовому описанию пользовательского интента находит подходящие места для посещения: кафе, рестораны, достопримечательности, прогулочные маршруты и другие точки интереса.

В рамках проекта студенты будут работать на пересечении NLP, поиска и рекомендательных систем, исследовать способы сопоставления текстовых запросов пользователя и описаний мест, а также разработают прототип системы conversational-гайда по местам.

Цель проекта: Разработать прототип системы, которая по текстовому пользовательскому запросу (интенту) способна находить и рекомендовать релевантные места для посещения.

Рефразеры для поиска медиаконтента

Пользователь ищет контент по неполному описанию или продолжает прошлый запрос: «фильм про экспедицию», «а теперь что-нибудь про космос, без ужасов». Рефразер преобразует реплику и контекст в самостоятельный поисковый запрос, сохраняя смысл и ограничения. Проект проверяет, в каких случаях такое преобразование улучшает поиск, а в каких добавляет неверные детали.

Цель проекта: Разработать рефразер и измерить его влияние на качество поиска фильмов, видео, музыки по текстовым описаниям. Минимальный проект ограничен одной вертикалью — кино; подход должен допускать перенос на другой медиаконтент.

Генерация саджестов в разговорных рекомендациях

В диалоге с рекомендательным ассистентом и чатботом пользователю бывает сложно сформулировать следующий шаг. Саджесты помогают направить пользователя и ускорить взаимодействие с ассистентом. После запроса «музыка для работы» и полученной подборки интерфейс предлагает короткие реплики: «Только инструментальную», «Чуть энергичнее», «Больше джаза». Пользователь выбирает или редактирует подсказку, и ассистент обновляет рекомендации. Саджестер учитывает историю диалога, последнюю выдачу и уже выраженные предпочтения. Одна из ключевых проблем - саджесты должны приводить пользователя к взаимодействию с контентом, а не быть случайным продолжением диалога, которые могут завести в точку, в которой не будет содержательной выдачи. Фокус проекта - реализовать саджестер, который учитывает данные ограничения. Хотя ключевой домен проекта - реокмендательные системы, проект возможно реализовать в произвольном сценарии, в котором саджесты способны приводить к измеримым целевым действиям пользователя.

Цель проекта: Разработать генератор 3–5 полезных и разнообразных вариантов следующей пользовательской реплики. Исследовать, помогают ли контекстные подсказки уточнять намерение и находить подходящие рекомендации. 

Мастерская безопасной разработки и эксплуатации высоконагруженных систем

Развитие платформы для ИИ-агентов в корпоративном мессенджере VK WorkSpace

Мессенджер VK WorkSpace — корпоративный мессенджер для малого, среднего и крупного бизнеса. Внутри компаний вокруг мессенджера живут десятки ботов — дежурства, заявки, релизы, отчётность.

Bot API, на котором всё это построено, последний раз обновлялся в 2021 году. За это время изменился сам класс задач: от бота, который отвечает кнопкой за полсекунды, к ИИ-агенту, который читает контекст переписки, ищет по истории, думает минуту и действует от имени человека. Текущий API этого не выдерживает: агент не может прочитать историю чата, найти сообщение, поставить реакцию, создать чат и позвать людей. Каждый интегратор закрывает эти дыры обходами — на одном внутреннем прототипе агента мы насчитали 14 таких костылей.

Вторая половина проблемы — управляемость. Администратор домена сегодня не может ответить на вопросы «сколько у нас ботов», «кто их владелец», «к каким данным у них доступ», «как быстро отозвать доступ» и «что бот сделал в инциденте». Без этого служба безопасности не согласует агентам доступ к переписке — а значит, не будет и ИИ-сценариев.

Проект решает обе половины: расширяем API до платформенного уровня и строим админ-контур управления ботами на домене. Приоритеты опираются не на догадки: идёт дискавери-опрос разработчиков ботов и администраторов, есть бэклог фича-реквестов от клиентов и гэп-анализ против Slack, Telegram и Пачки.

Цель проекта: Превратить Bot API из набора методов для чат-ботов в платформу, на которой внутренние и внешние команды собирают ботов, ИИ-ассистентов и агентов: с полноценным доступом к контексту, управляемой моделью прав и админкой, в которой администратор домена видит и контролирует всех ботов компании.

PHP клиентская библиотека для создания ботов

Разработайте клиентскую библиотеку на PHP для создания ботов и интеграций с MAX.

Проектная команда создаст библиотеку, которая предоставит PHP-разработчикам понятный и предсказуемый интерфейс для работы с Bot API. Помимо реализации методов API, необходимо будет продумать архитектуру библиотеки, обработку ошибок, установку и пользовательскую документацию.

Минимальным результатом станет готовая библиотека, покрывающая методы Bot API, и документация по её установке и использованию. Расширенный результат — примеры ботов, демонстрирующие возможности библиотеки. Команда пройдёт полный путь разработки клиентской библиотеки: от анализа API и проектирования интерфейсов до реализации, тестирования и подготовки документации.

Цель проекта: Создать клиентскую библиотеку для создания ботов на PHP

Бот-рассыльщик

Создайте внутренний сервис, который позволит продуктовым командам самостоятельно готовить, согласовывать и запускать рассылки в ботах MAX.

Сейчас для запуска рассылок требуется участие разработчиков, а процесс согласования между продуктом и PR остаётся разрозненным. Команде предстоит автоматизировать этот процесс: разработать backend на Go, интерфейс в формате mini app на React и механизмы создания, проверки и отправки рассылок.

Участники будут работать над реальным внутренним продуктом: проектировать пользовательские сценарии, бизнес-логику, REST API и интерфейс, интегрировать решение с инфраструктурой MAX и демонстрировать его на тестовом контуре.

Это полноценный командный проект на стыке backend-, frontend- и продуктовой разработки, результатом которого должен стать работающий сервис, решающий конкретную задачу бизнеса.

Цель проекта: Создать бота, подходящего под техническое задание.

Java клиентская либа для создания ботов

Java библиотека для создания ботов MAX

Создайте клиентскую библиотеку на Java, с помощью которой разработчики смогут быстрее и удобнее создавать ботов для MAX.

Команда проекта разработает библиотеку для работы с Bot API: спроектирует понятный интерфейс, реализует необходимые методы, обработку ответов и ошибок, подготовит тесты и работающие примеры использования.

Участникам предстоит продумать архитектуру клиентской библиотеки и создать на её основе демонстрационных ботов, включая todo-бота и примеры, покрывающие возможности Bot API. Итогом станет рабочий инструмент для Java-разработчиков, который можно будет использовать при создании новых ботов для MAX.

Цель проекта: Создать клиентскую либу для создания ботов на Java

Мастерская по сервисам и платформам искусственного интеллекта

Расширение SpireRank для повышения качества рекомендаций коротких видео

Требование VK AI (проектный документ) «Повышение качества рекомендаций коротких видео с учетом изменяющихся интересов пользователя» предполагает раздельное моделирование краткосрочного и долгосрочного интереса пользователя в сервисах коротких видео, а также совместное использование мультимодального представления контента и механизма недорогого онлайн-обновления.

SpireRank — это легковесный онлайн-контекстный слой, расположенный между стадией candidate retrieval и итоговым ранжированием.

Сопоставляя требования VK и пробелы SpireRank, настоящее исследование сосредоточено на трех направлениях расширения:

• Интеграция мультимодального представления контента
• Подбор аудитории для новых видео
• Динамическое распространение импульса по графу (исследовательская гипотеза, подлежащая проверке)