Распознование эмоций на ПЛИС

В современном мире в связи с ускоренным развитием технологий искусственного интеллекта и, как следствие, их внедрением, все чаще возникает потребность решать задачи машинного обучения и, в частности, компьютерного зрения.

С другой стороны, неотъемлемой частью указанных технологий является задача распознавания эмоционального состояния человека. Наличие системы, способной выполнять задачи считывания чувств индивида, может совершить прорыв во многих областях науки и общественной жизни. Однако, многие современные продукты все еще несовершенны с точки зрения аппаратной производительности и энергопотребления, которое является весьма высоким.

В нашем проекте мы хотели бы решить данную проблему посредством построения программно-аппаратного комплекса на SoC ПЛИС (FPGA). Использование представленной базы, вкупе с применением современных технологий в области машинного обучения, позволит создать систему, потребляющую меньше энергии и обрабатывающую данные об эмоциональном состоянии человека быстрее, чем ее аналоги.

Цель проекта:

Расширение возможностей систем человеко-машинного взаимодействия с помощью использования индивидом интерактивной системы на базе ПЛИС и периферийных устройств для задачи распознавания его эмоционального состояния.

Применение:

Комплекс найдет широкое применение в медицинской диагностике заболеваний, в частности, ментального характера, научных исследованиях в области Artificial Intelligence (AI), таргетинге в рекламе, образовательных проектах. Вся работа с данными, поступающими с периферийных устройств, распознавание эмоции и вывод результата будет производиться на ПЛИС в автоматическом режиме.

Пользователь:

Данный продукт является отчасти уникальным в своей сфере. Подобные исследовательские работы проводились компанией Altera (Intel), но только для задачи считывания видеосигналов и выделения объекта на изображении, полученном с камеры. Особый интерес представляет использование в рамках проекта нейроинтерфейса Emotiv Insight для увеличения точности предсказания эмоции.

Перед нашей командой в рамках реализации проекта стоят следующие задачи:

1. Распознавание лица человека на кадре с камеры.
2. Разработка нейронной сети для классификации выражаемой эмоции.
3. Обучение нейронной сети.
4. Реализация системы на базе ПЛИС.
5. Тестирование системы.

В рамках проекта будет использован FPGA Open Vino Starter Kit (Cyclone V GX SoC). Наличие большого количества портов ввода-вывода данных (GPIO 2x20, Arduino, UART-to-USB) позволит подключить множество периферийных устройств. Модель нейронной сети для обработки данных с внешней видеокамеры и нейроинтерфейса будет обработана программой Model Optimizer в составе ПО Open VINO Toolkit и загружена на FPGA посредством Inference Engine в составе того же ПО, что позволит ускорить процесс обработки нейронной сетью данных с периферийных устройств аппаратно.

Использование указанных аппаратных и программных средств существенно ускорит выявление эмоций в рамках задач компьютерного зрения без потери производительности. Применение Open Vino Toolkit также позволит избежать высокого количества ошибок в программировании ПЛИС за счет автоматизации процесса, поскольку для создания нейронных сетей на языке описания аппаратуры (HDL - Hardware Description Language; наиболее популярные - VHDL и Verilog) требуются высокие трудозатраты, понимание процессов работы внутренних компонентов ПЛИС и связь их с алгоритмами машинного обучения, что возможно только при наличии большого опыта работы в данной сфере. К сожалению, малейшая ошибка в программном коде для ПЛИС может привести к его физическому разрушению, что еще раз подчеркивает необходимость Open VINO Toolkit как инструмента корректной автоматизации процесса.