Мы говорим с профессором кафедры автоматики и процессов управления Санкт-Петербургского государственного электротехнического университета доктором технических наук Дороговым Александром Юрьевичем о применениях алгоритмов быстрых преобразований в области нейроинформатики и квантовых вычислений.
Набор алгоритмов, называемых алгоритмами быстрого преобразования Фурье (БПФ) вошел в практику спектрального анализа в 60–х годах, начиная с работ Кули-Тьюки.
Хорошо известно, какую огромную роль в обработке сигналов сыграло открытие алгоритма быстрого преобразования Фурье: его использование позволило кардинальным образом уменьшить количество вычислительных операций при выполнении спектральных преобразований, что значительно расширило сферу использования спектрального анализа для обработки данных.
Как удалось использовать принципы и преимущества алгоритма быстрого преобразования Фурье в теории искусственных нейронных сетей?
Алгоритмы БПФ имеют выраженную многослойную структуру, подобную структуре многослойных персептронов, поэтому напрашивается естественное решение — использовать идеологию БПФ для построения нейронных сетей. Для этого достаточно в операциях «бабочка» БПФ заменить коэффициенты преобразования перестраиваемыми синаптическими весамии добавить нелинейные функции активации.
Следует отметить, что первый шаг в этом направлении был сделан достаточно давно. Еще в исторической работе Гуда (1958 г.) было приведено аналитическое описание быстрых алгоритмов для обобщенных спектральных преобразований. Обобщенное спектральное преобразование (или перестраиваемое преобразование) с позиций сегодняшнего дня можно рассматривать как нейронную сеть с линейными функциями активации.
Чем отличаются предлагаемые Вами быстрые нейронные сети (БНС) от обычных нейронных сетей?
В отличие от сетей прямого распространения БНС имеет модульную организацию, в которой модули (нейронные ядра) связаны в многослойную регулярную сеть.
Структурные особенности БНС снимают «проклятие размерности», что позволяют использовать сети данного типа для обработки больших и сверхбольших массивов данных. Более того процедура обучения абсолютно сходится за конечное число шагов, равное числу слоев нейронной сети.
В терминах перестраиваемых преобразований процедура обучения обычно называется настройкой. Типичной задачей для перестраиваемого преобразования является настройка на заданную систему базисных функций, например базис Фурье, Адамара–Уолша и др. Автомодельность структуры БНС со структурой тензорных произведений векторных пространств позволяет их использовать для построения алгоритмов квантовых вычислений.
В чем состоит идея использования перестраиваемых алгоритмов БПФ для выделения главных компонент при распознавании образов?
Достаточно часто главную компоненту можно выделить из сигнала непосредственно, как опорный образ, относительно которого наблюдаются все сигнальные вариации. Поскольку энергия сигнала определяется суммой квадратов спектральных коэффициентов, то по величине спектрального коэффициента можно непосредственно судить о значимости информативного признака.
Ортогональное преобразование, которое настроено на одну главную компоненту относится к классу приспособленных. В силу ортогональности результатом воздействия приспособленного преобразования на опорный образ является выходной вектор, у которого одна из координат равна единице, в то время как все остальные координаты равны нулю. Таким образом, приспособленное ортогональное преобразование идеально подходит для селективного распознавания эталонного сигнала.
Чем отличаются быстрые нейронные сети от вейвлет-преобразований?
В основе вейвлет-анализа лежит представление сигналов в виде суперпозиции масштабных преобразований и сдвигов образующих импульсов. Самоподобие вейвлет-функций при масштабных преобразованиях является отличительным свойством фрактальных последовательностей, поэтому вейвлет-преобразование можно считать одним из представителей фрактальных методов обработки данных.
Принцип самоподобия можно также использовать при построении фрактальных фильтров. В обобщенном понимании фильтрация это процедура, реализующая проекцию сигнала, заданного в функциональном пространстве, в пространство меньшей размерности. В отличие от вейвлет-преобразования фрактальная фильтрация необратима и связана с потерей информации. Цель фрактальной фильтрации заключается в том, чтобы выявить пространственно распределенные свойства изучаемого объекта в кратных временных масштабах.
Известно, что нейронные сети могут служить генераторами фрактальных структур. Возможна ли нейросетевая аппроксимация регулярных фракталов?
Окружающий нас мир наполнен фракталами гораздо в большей степени, чем «привычными»нам объектами. Показательным примером являются, казалось бы, хорошо изученные динамические системы. Современные исследования показали, что в пространстве фазовых координат для нелинейных динамических систем характерно существование фрактальных притягивающих множеств (аттракторов). Фрактальные аттракторы связаны с так называемыми сценариями динамического хаоса, определяющего границы возможного прогнозирования поведения динамических систем.
По своему построению БНС являются регулярными структурами, можно доказать, что эти структуры обладают свойством самоподобия. Поэтому любые регулярные фракталы могут быть аппроксимированы в классе БНС. Вид фрактала накладывает некоторые ограничения на параметры нейронной сети.
Какая связь существует между быстрыми нейронными сетями и нейронными сетями глубокого обучения?
Небольшая модификация алгоритма структурного синтеза БНС приводит к архитектурам сетей глубокого обучения с множеством плоскостей в нейронных слоях. Новая топология сетей идеологически близка к топологиям свёрточных сетей глубокого обучения, но является регулярной. Методы обучения БНС без изменения переносятся на новый класс сетей, при этом число распознаваемых образов кардинально возрастает и покрывает все элементы выходной плоскости.
Предложенное решение позволяет дать конструктивный ответ на принципиальные вопросы нейронных сетей глубокого обучения: как выбрать топологию и как сократить время обучения сети.
Каким образом быстрые нейронные сети применяются для построения алгоритмов квантовых вычислений?
В квантовом компьютере функциональным аналогом бита является q–бит, который ассоциируется с двумерным комплексным пространством. В 1994 году Питер Шор показал, что NP–сложная задача — разложение целых чисел на множители — может быть решена на квантовом компьютере за полиномиальное время. Для построения эффективного квантового вычисления Шор использовал модификацию быстрого алгоритма Фурье с основанием 2. При использовании БНС в квантовых алгоритмах, все нейронные ядра сети структурно подобны и представляют собой унитарные матрицы размера 2×2. Если все ядра в пределах слоя параметрически одинаковы, то нейронный слой однозначно сопоставляется с одним q–битом квантового регистра. В этом случае эквивалентный унитарный оператор нейронной сети, описывающий эволюцию состояния q–битного регистра размерности n, выражается кронекеровским произведением матриц нейронных ядер. Следует отметить, что моделирование квантового регистра на обычном компьютере приводит к NP–сложной задаче.
В квантовом варианте образом является квантовое состояние регистра. Задача распознавания образа сводится к построению такого унитарного преобразования, которое формирует на выходе одно из базисных состояний регистра с вероятностью близкой или равной единице. Настройка сводится к фрактальной декомпозиции функции и выбору параметров нейронных ядер. Методы декомпозиции основаны на фрактальной фильтрации и отличаются только комплексным характером фрактальных фильтров.
Если исходное состояние квантового регистра совпадает с функцией образа, то квантовое состояние после воздействия оператора нейронной сети будет в точности совпадать с одним из базовых состояний. В общем случае БНС выполняет элементарные преобразования над состояниями квантового регистра, а не отдельных q–бит.
Интервью: Иван Степанян
