Многомерные тензорные разложения

7 февраля в рамках научного семинара МИЭМ НИУ ВШЭ «Суперкомпьютерное моделирование в науке и инженерии или Вычислительные среды», организованного базовой кафедрой Прикладных информационно-коммуникационных средств и систем ВЦ РАН департамента прикладной математики МИЭМ НИУ ВШЭ, выступил Вениамин Блинов (разработчик Яндекс, м.н.с. НЦЧ РАН, к.ф.-м.н) с докладом «Многомерные тензорные разложения: введение и основные приложения». 

В докладе рассматривается обобщение многомерной матрицы как массив с тремя и более индексами. Например, обычные фотографии содержат несколько каналов цвета, что делает их 3-тензорами, цветные видеоролики - это 4-тензоры, и так далее. Различные тензорные разложения (например, каноническое или разложение Такера) применяются для задач сжатия, классификации и распознавания. 

Как соотносятся нейронные сети с тензорными разложениями? Оказывается, что можно применять тензорные разложения для оптимизации нейронных сетей по следующей схеме: глубокая нейронная сеть преобразуется в так называемую тензорную сеть, затем происходит понижение ранка тензорной сети, а затем конструируется нейронная сеть со свойствами, близкими к начальным, но которая требует меньшего числа операций как при обучении, так и функционировании. Известен пример специальной сети, сконструированной с помощью такого подхода израильскими исследователями под руководством профессора Коэна. 

В машинном обучении много эвристических подходов, которые хорошо работают в одних задачах и совсем не работают в других. Благодаря тому, что для тензоров разработан богатый математический аппарат, применение их в машинном обучении может давать более предсказуемые результаты. Доклад вызвал большой интерес аудитории, так как в дальнейшем может способствовать развитию научных исследований в данной области.