В МИЭМ появится собственный провайдер инференса для студентов и исследователей

Совместная разработка МИЭМ ВШЭ и компании «Трамплин Электроникс» позволит студентам и ученым НИУ ВШЭ использовать большие языковые модели при выполнении научно-исследовательских работ, разработке интеллектуальных сервисов, изучении технологий ИИ и проведении образовательных проектов без необходимости самостоятельно разворачивать сложную вычислительную инфраструктуру.

МИЭМ ВШЭ и компания «Трамплин Электроникс»» при участии фонда развития технологий «Трамплин» приступают к реализации совместного проекта по созданию собственного инференс-провайдера для LLM. Проект предполагает развертывание специализированной LLM-платформы на вычислительной инфраструктуре, предоставленной «Трамплин Электроникс». После подготовки аппаратной
 платформы специалисты МИЭМ развернут программную часть системы и обеспечат ее
 настройку.
 
 Одной из ключевых особенностей проекта станет предоставление удаленного доступа к
 платформе студентам, преподавателям и исследователям НИУ ВШЭ. Это позволит использовать современные большие языковые модели при выполнении научно-исследовательских работ, разработке интеллектуальных сервисов, изучении технологий искусственного интеллекта и проведении образовательных проектов без необходимости самостоятельно разворачивать сложную вычислительную инфраструктуру.

 

Артем Кацнельсон, преподаватель МИЭМ ВШЭ, руководитель проекта: «Собственный провайдер больших языков моделей даст возможность студентам обучаться созданию агентных систем, работе с rag-базами и дообучением моделей, что сегодня является практически базовым навыком подходом во многих областях. Также собственный провайдер позволит сотрудникам и преподавателям университета обрабатывать закрытые корпоративные документы и получать/создавать новые сервисы, такие как интерактивные чат-боты для своих курсов, вопрос-ответные системы по учебникам, специализированные базы знаний по преподаваемым дисциплинам. Сотрудникам учебных офисов платформа поможет эффективнее и быстрее находить новые нормативные документы благодаря собственной раг-базе. Разработка программного обеспечения уже ведется в рамках создаваемой в МИЭМ совместно с Фондом «Трамплин», лаборатории «программно-аппаратных комплексов ИИ».

 

Владимир Старых, руководитель департамента компьютерной инженерии МИЭМ ВШЭ: «Речь по сути идет о создании современной инфраструктуры комплексной работы с технологиями искусственного интеллекта, удобной и необходимой для всех участников образовательного процесса, взаимодействующих с большими языковыми моделями. Проект станет первым этапом сотрудничества между МИЭМ ВШЭ и «Трамплин Электроникс» в этой области».

В качестве базовой модели планируется использовать различные открытые языковые модели, а также подступаться к созданию собственных LLM. Архитектура платформы предусматривает возможность дальнейшего расширения и интеграции новых моделей по мере развития проекта.
 
 В настоящее время стороны приступают к подготовке аппаратной конфигурации и выбору
 оптимальной GPU-платформы для развертывания системы.