Метод синтеза аппроксиматоров, формирующих виртуальный поток на основе обучаемой нейронной сети

В качестве синтезаторов нелинейных аппроксимирующих функций достаточно часто используют нейронные сети [114, 156]. Аппроксимирующая нейронная сеть строится на основе теоремы об универсальном аппроксиматоре, которая предполагает, что аппроксимирующая функция известна.

В настоящее время существуют многочисленные виды нейронных сетей, обладающих свойствами универсальных аппроксиматоров функций многих переменных. Нейронные сети построены таким образом, что могут вычислять линейные функции, нелинейные функции одной переменной, а также всевозможные суперпозиции функций, получаемые при каскадном соединении сетей [156, 181].

В общем виде желательно иметь некую универсальную сетевую структуру, позволяющую объединить достоинства обучаемых систем и систем, классификация в которых осуществляется на основе экспертных технологий. В [152] предложена такая структура, которая состоит из двух скрытых слоев. В первом слое извлекаются локальные признаки, причем часть нейронов этого слоя используется для разделения входного пространства на отдельные области, а остальные нейроны выделяют локальные признаки, которые характеризуют эти области. Второй скрытый слой выделяет глобальные признаки, обобщая выходные сигналы первого скрытого слоя, относящиеся конкретно к одной из выделенных областей признакового пространства. В отличие от известных методов синтеза двухслойных аппроксиматоров, в данном случае в качестве второго скрытого

слоя, выполняющего вышеописанную роль, используем нечеткую нейронную сеть, построенную на нечетком логическом выводе.

Рассмотрим метод формирования апроксиматора NET₂.

Работа нейросетевого аппроксиматора основывается на теореме Арнольда-Колмогорова, согласно которой любая непрерывная функция f переменных n , заданная на единичном кубе n - мерного пространства Iⁿ = I х I х ...? I может быть представлена в виде где функции h_q (u) непрерывные функции одной переменной, а функции

- фиксированные возрастающие, непрерывные, определенные на I = [0,1] стандартные (не зависящие от выбора функции f) функции [55, 100].

Для реализации (4.10) в состав нейронной сети должны входить нелинейный преобразователь сигналов, нелинейный адаптивный сумматор и блок ветвления, осуществляющий рассылку одного и того же сигнала по нескольким адресам. Нейронная сеть, построенная согласно уравнению (4.10), является неоднородной нейронной сетью. На рисунке 4.14 представлена модель универсальной структуры нейронной сети, построенная на основе уравнения (4.10), в пространстве двух переменных. Такое редставление аппроксимирующей нейронной сети основано на теореме Хехт- Нильса [195], доказывающей возможность представления любой непрерывной функции многих переменных с помощью нейронной сети фиксированной размерности.

Представленный на рисунке 4.14 универсальный аппроксиматор обладает рядом недостатков, которые не позволяют его использовать для широких практических целей. Поэтому многие авторы предпринимали попытки его модификации.

234

Рисунок 4.14 - Модель структуры универсальной неоднородной нейронной сети для двумерного пространства информативных признаков

На рисунке 4.15 показана сетевая структура, соответствующая формуле

(4.11) . Она представляет многослойную нейронную сеть, которую сложно реализовать на практике. Основная проблема заключается в том, что функции φв формуле (4.11) непрерывны, но не являются гладкими, что вызывает проблемы при обучении сети.

Рисунок 4.15 - Модель универсальной неоднородной нейронной сети для двумерного пространства информативных признаков с модифицированной структурой

Поскольку длина машинного кода функции обратно пропорциональна ее гладкости, мы получим очень плохую точность реализации колмогоровского представления. Кроме того, сетевое представление должно иметь фиксированные элементы и изменяемые параметры.

зависит от функции f,которую необходимо аппроксимировать (функции φ не зависят от f) [100].

Трудности реализации сетевых структур, показанных на рисунке 4.14 и рисунке 4.15, связаны с тем, что они относятся к неоднородным структурам, то есть не имеют фиксированных элементов и настраиваемых параметров: функции hв узлах сетей зависят от аппроксимируемой функции f

Идея метода построения универсального аппроксиматора для реализации NET2 состоит в следующем. На первом шаге реализации метода попробуем аппроксимировать полученные посредством нейронной сети NET1данные линейной многомерной функцией

Это соответствует замене достаточно сложной гиперповерхности, соответствующей уравнениям (4.10) и (4.11), гиперплоскостью (4.12).

Несмотря на то, что это достаточно грубое приближение, такая аппроксимирующая модель нашла достаточно широкое применение [3].

Для определения модели (4.12) необходимо решить систему линейных неоднородных уравнений

Адекватность модели (4.13) будет определяться тем, имеет ли решение эта неоднородная система линейных уравнений.

Компонентам векторав модели (4.13)

определены в процессе обучения нейронной сети NET1согласно схеме, представленной на рисунке 4.11.

В реальных системах классификации m>nи система (4.13) переопределена и, следовательно, не имеет точного решения. В этом случае вместо точного решения системы уравнений осуществляется поиск такого вектора А, который будет наилучшим образом удовлетворять всем уравнениям, то есть минимизировать их невязку (расхождение между вектором Ах и вектором правой части (4.13) b-F(X)).Поскольку невязка Ах- (bF(X))является векторной величиной, то, исходя из практических соображений, минимизации надо подвергать ее норму (т.

Таким образом, на первом шаге ищем псевдорешение (4.13) — вектор, минимизирующий норму невязки системы уравнений. Поскольку эта минимизируемая норма зависит от суммы квадратов компонент неизвестного вектора, то процедура поиска псевдорешения является реализацией метода наименьших квадратов (МНК) [2].

На втором шаге реализации метода определяем ошибку аппроксимации по множествуЕсли ошибка аппроксимации по всем элементам этого

множества не превышает предельно допустимую, то на этом процесс построения аппроксиматора заканчивается - нейронная сеть вырождается в персептрон. Если это не так, то переходим к третьему шагу - кластеризации обучающей выборки для NET2.

Известно множество алгоритмов кластеризации, например, карта Кохонена [114]. Здесь используем следующий алгоритм кластеризации.

Упорядочиваем все образцы по величине ошибки аппроксимации. Строим шкалу ошибки и разбиваем ее на M/10 интервалов. Выделяем интервалы с допустимой ошибкой и исключаем образцы, принадлежащие этим интервалам, из обучающей выборки. Для оставшихся образцов строим свои аппроксиматоры согласно их интервальному разбиению (в цикле повторяем шаг 1). При необходимости либо уменьшаем интервалы, либо их объединяем. Алгоритм работает до тех пор, пока не останется ни одного образца, не связанного с аппроксимирующей функцией, обеспечивающей допустимую ошибку.

Свободный член в (4.13) целесообразно представить в виде нечеткого числа, соответствующего некоторой функции принадлежности с базовой переменной, лежащей в диапазоне ±ε.В этом случае область признакового пространства, соответствующая искомому кластеру (каждому кластеру соответствует своя аппроксимирующая функция), заключена между двумя параллельными гиперплоскостями, отстоящими друг от друга на расстояние не более 2ε.

Учитывая вышесказанное, от системы равенств (4.13) перейдем к системе систем неравенств

где λ-число кластеров в обучающей выборке для NET2.

Система неравенств (4.14) описывает множество параллельных гиперплоскостей, расстояние между которыми dне превышает некоторой величины ε

Система уравнений (4.14) позволяет перейти от системы параллельных гиперплоскостей к системе непараллельных параллельных гиперплоскостей, расщепив систему уравнений (4.13) на систему линейных подсистем или на множество непараллельных подмножеств параллельных гиперплоскостей путем уменьшения расстояний между параллельными гиперплоскостями. Очевидно, чем больше число гиперплоскостей, на которое расщепляется исходная гиперплоскость, тем более сложной может быть форма аппроксимируемой функции.

На рисунке 4.16 представлена сетевая структура, реализующая описанный метод аппроксимации, в которой исходная система (4.14) расщеплена на λнепараллельных гиперплоскостей.

Сеть состоит из четырех слоев и является однородной, так как в узлах сети осуществляются одинаковые математические операции. Первый (входной) слой определяет вектор состояния системы классификации. Второй слой синтезирует аппроксимирующие функции согласно уравнению (4.14). Число λтаких аппроксимирующих функций определяется структурой данных - обучающей выборкой и априорно неизвестно.

Рисунок 4.16 - Сетевая структура универсального классификатора

Выбор значения εопределяется расстоянием между кластерами и представляет компромисс между увеличением числа непараллельных гиперплоскостей (нейронов во втором слое) и увеличением точности аппроксимации, то есть

241

Если на вход сети подается неизвестный образец, то второй слой сети позволяет определить его близость к одному из известных образцов или к одному из сформированных кластеров.

Так как выходные сигналы второго слоя имеют любой знак, то есть могут приближаться к нулю с двух сторон, то над ними должны быть осуществлены симметричные нелинейные преобразования. Эти нелинейные преобразования позволяют осуществить переход от четких чисел, соответствующих выходам второго слоя, к нечетким, которые характеризуют степень принадлежности соответствующего выхода второго слоя к искомому кластеру. Так как эти выходы однозначно связаны (через соответствующие гиперплоскости) с входным вектором, нелинейные преобразования назовем функциями принадлежности к искомому классу по базовой переменной, соответствующей выходу второго слоя. В частом случае эти нелинейные преобразования не зависят от выхода нейрона второго слоя и их примеры показаны в виде графиков на рисунке 4.17.

242

Рисунок 4.17 - Нелинейные преобразования выхода rнейронов второго слоя к кластеру

В общем случае нелинейные преобразования получают в процессе обучения для каждого нейрона или задаются эмпирически [23, 29, 161].

При использовании нелинейных преобразований вида, показанного на рисунке 4.17, в четвертом слое сети рисунка 4.16 осуществляется операция «нечеткое или»

В соответствии со структурой, представленной на рисунке 4.16 и уравнениями (4.11), (4.15), а также обозначив функцию «нечеткое или»

а выходы нейронов второго слоя

243

аппроксимирующую модель для сетевой структуры рисунка 4.11 выразим следующим уравнением или в более общем случае

Уравнение (4.21) имеет запись, аналогичную уравнениям (4.10) и (4.11), соответствующим теореме Арнольда - Колмогорова, но лишено основных их недостатков: все функции, входящие в него, не зависят от аппроксимируемой функции и, следовательно, эта аппроксимация может быть достаточно легко реализована путем обучаемых нейронных сетей, например, в среде МаИаЬ 7.10 (R2010a) со встроенными пакетами Neural Network Toolbox и Fuzzy Logic ТооІЬох [91].

Таким образом, разработан метод формирования четырехслойной нейронной сети, работающей в качестве аппроксиматора. Сформированная нейронная сеть позволяет добавить к входному вектору информативных признаков неизвестного класса дополнительный информативный признак и тем самым формирует дополнительный поток данных. В структуре четырехслойного аппроксиматора использованы как нейросетевые технологии, так и технологии мягких вычислений.

Если данные не нормированы, то нелинейные преобразования, примеры которых представлены на рисунке 4.17, имеют значения максимума, равное среднему значению дополнительного информативного признака в обучающей выборке по кластеру.