Гибридные решающие модули для формирования виртуальных потоков

В качестве инструментария для формирования виртуальных потоков используем гибридные решающие модули. В настоящее время широкое распространение получили экспертные системы, в которых используются гибридные системы классификации, позволяющие интегрировать экспертные знания и результаты статистических исследований, положенные в основу обучающихся классификаторы [73, 152].

Экспертные знания интегрируются в гибридный решающий модуль в виде нечеткого решающего модуля, некоторые методы сборки которого рассмотрены в разделе 2. На выходе нечеткого решающего модуля имеем скалярную величину, которую принято называть коэффициентом

уверенности по данному сегменту информативных признаков или частным коэффициентом уверенности [61, 62, 71]. Агрегирование частных

коэффициентов уверенности осуществляется на основе обучаемого классификатора, в качестве которого часто выступает нейронная сеть. При использовании в качестве входов нейронной сети коэффициентов уверенности, получаемых в результате нечетких операций в нечетком решающем модуле, построенном на основе алгоритмов нечеткого вывода, возникают трудности с получением требуемой точности классификации нейронной сети, используемой на входе решающего модуля (рисунок 4.1).

Рисунок 4.1 - Структура гибридного решающего модуля, используемого при прогнозировании профессиональных заболеваний

Это связано с тем, что признаки, формируемые на входе нейронной сети, получены на основе экспертных заключений и гипотез, которые могут неадекватно отражать внутренние процессы в исследуемой системе.

213 работников экстремальных профессий выборки достаточно большого объема сформировать весьма проблематично. Поэтому в структуру рисунок 4.1 целесообразно внести дополнительные связи, которые бы позволили придать больший вес статистическим данным в общем процессе формирования гибридного решающего модуля.

Идея метода, позволяющего выполнить такую процедуру, состоит в следующем. Присутствующие на входе нейронной сети признаки - коэффициенты уверенности по сегментам информативных признаков - не отражают полностью свойства исследуемого объекта или системы, которые входят в область интересов ЛПР. Это утверждение справедливо хотя бы потому, что у ЛПР нет доказательств, что в Nсегментах признаков на входе гибридного решающего модуля (рисунок 4.1) собраны все релевантные признаки, характеризующие исследуемый объект, относящиеся к области интереса решаемой задачи или у ЛПР нет уверенности, что в гибридный решающий модуль включены все релевантные потоки.

Следовательно, можем выдвинуть гипотезу, что есть хотя бы один сегмент информативных признаков N+1,который включает хотя бы один информативный признак, коэффициент уверенности по которому (по сегменту N+1) KY_n+1,существенно влияет на качество принимаемых решений. Следовательно, необходима процедура, которая позволит сформировать вектор

для обучающей выборки

где

214

M- число образцов в обучающей выборке,

N- число входов нейронной сети на рисунке (4.1),

В общем случае у нейронной сети рисунок 4.1 может быть введено неограниченное число дополнительных входов (имеется неограниченное число виртуальных информационных потоков), но в данном случае рассматривается только один дополнительный вход.

В нейронных сетях имеется поляризующий информационный вход, на который подается константа (единица), а веса по этому входу определяются в процессе обучения нейронной сети [100]. В принципе, не имеет значение, сколько поляризующих входов введено в структуре нейронной сети и какие константы на них подаются, поэтому всегда можем расщепить поляризующий вход на два входа. На первый поляризующий вход подаем константу 0,5; а на второй (дополнительный) - подаем случайную величину, распределенную по нормальному закону распределения, математическое ожидание которой равно 0,5.

Получим зависимость количественных показателей качества классификации от дисперсии случайной величины на этом входе, принимая во внимание то, что используя величину дисперсии как «движок», мы имеем возможность, как включать, так и отключать этот вход.

«Включение» или «выключение» дополнительного входа осуществлялось посредством управления вариативностью данных, поступающих на него как в процессе обучения, так и при неизвестном образце. Если вариативность входа отсутствует, то он не оказывает влияние

215 на принадлежность объекта к одному из двух альтернативных классов, а, следовательно, и на результаты классификации.

Качество классификации оцениваем через показатели чувствительности и специфичности [153]. Допустим, что количество объектов в тестовом наборе равно N, из них Np- количество «положительных» объектов, а Nn- количество объектов «отрицательных», причем N=Np+Nn.Пусть количество ложных пропусков FN,а ложных обнаружений FP,тогда можем подсчитать количество верных обнаружений ТР и верных пропусков TN:

На контрольной выборке рассчитываются характеристики классификатора - чувствительность Seи специфичность Sp:

Для количественного определения влияния дополнительного входа на качество классификации нейронной сети целесообразно два показателя (4.4) и (4.5) выразить в виде одного показателя.

216 классифицирующая система может быть полностью неработоспособна, например, иметь показатель (4.4) или (4.5) равным нулю. Поэтому введем интегральный показатель качества классификации S, способ вычисления которого поясняет рисунок 4.2.

Так же, как и в ^ОС-анализе интегральный показатель ищем в единичном квадрате, определяющем координаты диагностической специфичности - Spи диагностической чувствительности - Se. Интегральный показатель качества классификации определяем по обучающим выборкам, закон распределения компонентов образцов у которых имеет одинаковые параметры, то есть случайные числа, из которых сформированы компоненты образцов выборки, принадлежат одной и той же генеральной совокупности.

Рисунок 4.2 - Определение интегрального показателя качества классификации

На рисунке 4.2 показатели качества классификации определяются кружками черного цвета. Кружки, вписанные в прямоугольник, это результаты классификации по выборкам из одной и той же генеральной

совокупности. Для того, чтобы не загромождать рисунок, в прямоугольнике показаны только четыре кружка, которые определяют координаты и размер прямоугольника (лежат на нижней, верхней, правой и левой границах).

Показатель Sопределяет площадь заштрихованных прямоугольников, координаты которых определяют левые нижние углы прямоугольников, описывающие черные кружки. Для i-й выборки или группы выборок из одной и той же генеральной совокупности интегральный показатель качества классификации определяется по формуле

гдеопределяются координатами описывающих

прямоугольников.

Экспериментально путем исследования искусственно сформированных выборок было установлено, что ввод («включение») дополнительного информативного признака (входа) в двухвходовой нейронной сети прямого распространения может повысить точность двухальтернативной классификации до 100% и выше, при разнице первых моментов у третьего признака всего лишь на 10%.

Для проведения этих экспериментальных исследований было создано программное обеспечение, позволяющее генерировать виртуальные классы в заданном пространстве информативных признаков, и осуществлять визуализацию распределения классов в пространстве информативных признаков в двумерном или трехмерном пространствах. Для сравнительного анализа качества классификации формируемых нейросетевых структур использовался показатель (4.6). В процессе эксперимента генерировались обучающие выборки в трехмерном пространстве информативных признаков. Создавалась нейронная сеть для двухальтернативной классификации. Классы моделировались посредством управления математическим ожиданием и

дисперсией генератора случайных чисел, распределенных по нормальному закону распределения.

На рисунке 4.3 представлена модульная структура разработанного программного обеспечения.

Рисунок 4.3 - Модульная структура программного обеспечения для экспериментальных исследований эффективности дополнительного информативного признака на входе нейронной сети

Программное обеспечение включает модуль генерации обучающей выборки и модуль генерации контрольной выборки. Модули генерируют массивы случайных чисел, распределенные по нормальному закону распределения, заданного размера. В качестве входной информации в этих модулях используются размерность пространства информативных признаков

Dim,число образцов в обучающей или контрольной выборках N, математические ожидания компонентов векторов информативных признаков первого и второго классов {M_i},дисперсии компонентов векторов информативных признаков первого и второго классов {D_i}, i=1,2...Dim.

Модуль настройки нейронной сети позволяет формировать модель нейронной сети NETна основе обучающей выборки, сформированной модулем генерации обучающей выборки. В качестве входной информации для этого модуля, кроме обучающей выборки, необходимо задать число слоев нейронной сети и число нейронов в скрытых слоях. Необходимо учитывать, что минимальное число слоев нейронной сети - два, то есть мы можем исследовать нейронную сеть как минимум с одним скрытым слоем. В этом случае число нейронов в скрытом слое равно числу компонентов входного вектора и задается автоматически. В нашем эксперименте использовалась нейронная сеть с тремя слоями и с десятью нейронами в скрытых слоях. Модель этой сети представлена на рисунке 4.4.

Нейронная сеть была построена в среде MATLAB [91] (модуль neurowork).

В качестве обучающей функции выбрана встроенная функция trainlm, которая модифицирует значения весов и смещений в соответствии с методом оптимизации Левенберга-Маркара. Выбор данной функции обусловлен наибольшими качественными показателями в скорости обучения, по сравнению с другими обучающими функциями. Несмотря на то, что trainlm является достаточно требовательной к оперативной памяти, на современных вычислительных системах данная особенность не является критичной. Для контроля ошибки обучения использовалась функция mse,позволяющая адекватно оценивать ошибки при любых диапазонах входных значений переменной [91].

На рисунке 4.5 представлено окно модуля neurowork,в котором формируются виртуальные обучающие выборки. Пользователь может задать количество объектов в обучающей выборке на класс, число признаков на

класс, число классов, закон распределения: нормальное или бимодальное распределение. На графиках в нижней части интерфейсного окна можно посмотреть гистограммы распределения признака в классах или их распределение вероятностей.

Рисунок 4.4 - Структура нейронной сети, используемой для

экспериментальных исследований

Рисунок 4.5 - Интерфейсное окно для генерации виртуальных обучающих выборок

В интерфейсном окне График можно просмотреть непосредственное распределение информативных признаков в трехмерном пространстве. Это интерфейсное окно представлено на рисунке 4.6. Этот режим позволяет просматривать данные на плоскости в координатах, которые определены попарной комбинацией признаков (нажимается кнопка «сравнение графиков) в левой части интерфейсного окна.

Рисунок 4.6 - Интерфейсное окно для просмотра обучающих выборок

На рисунке 4.7 совмещены два интерфейсных окна модуля neurowork (График и Классификация) с двумерными проекции обучающей выборки (вверху) и интерфейсное окно формирования нейронной сети (внизу). Как видно из диаграмм распределения признаков в двумерном пространстве, третий признак P3занимает диапазон [-0,005; 0,005], тогда как два других информативных признака лежат в диапазоне [-0,2; 0,2].

Цель эксперимента заключается в том, чтобы определить, чувствителен ли вход третьего нейрона к вариации третьего информативного признака, если нейронную сеть настраивать при таких свойствах обучающей выборки. Иначе говоря, можем ли мы вводить дополнительные входы в нейронную

сеть, подавая на них постоянный сигнал, и нейронная сеть при этом не обнулит веса соответствующего нейрона нулевого слоя. В случае наличия такой ситуации организовать обратную связь по дополнительному входу не представляется возможным, и все последующие теоретические построения станут неправомочны.

Рисунок 4.7 - Интерфейсные окна результата обучения нейронной сети с тремя слоями и с 10 нейронами в скрытом слое при дисперсии основных признаков 10^-2, а дисперсии дополнительного (P3) признака 10^-6 (образцы обучающей выборки обозначены прямоугольниками в декартовых координатах двумерных признаковых пространств на рисунке слева)

На рисунке 4.7 в соответствующем интерфейсном окне представлен результат настройки нейронной сети. Как видно, настройка осуществлялась по сто элементной обучающей выборке, и нейронная сеть распределила по классам все образцы обучающей выборки правильно. Параметры нейронной сети, полученные при обучении, были сохранены в блоке NET.

Для проверки качества классификации нейронной сети NET генерируется контрольная выборка, компоненты векторов образцов которой имеют те же самые параметры распределения, что и обучающая выборка [164]. На рисунке 4.8 представлены интерфейсные окна, иллюстрирующие результаты эксперимента. В данной генерации нейронная сеть сделала всего лишь одну ошибку: отнесла один элемент второго класса к первому.

Рисунок 4.8 - Интерфейсные окна результата контрольного испытания нейронной сети с тремя слоями и с 10 нейронами в скрытом слое при дисперсии основных признаков 10^-2, а дисперсии дополнительного (P3) признака 10^-6 (образцы контрольной выборки обозначены крестиками в

декартовых координатах двумерных признаковых пространств на рисунке слева)

Следующим шагом эксперимента является изменение параметров закона распределения третьего информативного признака в очередной генерации контрольной выборки: изменялась дисперсия третьего информативного признака в сторону увеличения. Дисперсия менялась от 10^-6 до 10^-2. При изменении дисперсии на один порядок рост числа ошибок отражает следующий ряд: 0; 5; 32; 45; 50. Причем последние три числа являются, по существу, случайными числами.

Если дисперсию изменять у третьего признака только одного класса на те же величины, что и в первом случае, то получим следующий ряд ошибок: 1; 3; 13; 21; 26. При этом к случайной величине можно отнести только последний элемент этого ряда [164].

На рисунке 4.9 представлены интерфейсные окна одного из экспериментов, когда дисперсия третьего признака изменилась на максимальную величину по отношению к обучающей выборке.

Рисунок 4.9 - Интерфейсные окна результата контрольного испытания нейронной сети с тремя слоями и с 10 нейронами в скрытом слое при увеличении дисперсии дополнительного (P3) признака с 10^-6 до 10^-2 (образцы контрольной выборки обозначены крестиками в декартовых координатах двумерных признаковых пространств на рисунке слева)

Для оценки степени управляемости показателями качества классификации нейронной сети посредством виртуального входа рассмотрим графики зависимости показателя качества классификации (4.6) от величины дисперсии виртуального входа, представленные на рисунке 4.10. Управляемость величиной S'посредством изменения дисперсии виртуального потока исследовалась при различных размерностях пространства информативных признаков3, 5 и 7.

Рисунок 4.10 - Влияние дисперсии виртуального входа на качество классификации нейронной сети прямого распространения при размерности пространства информативных признаков три, пять и семь

Представленные на рисунке 4.10 зависимости показывают, что для широкого значения размерностей пространства информативных признаков может быть подобрана дисперсия виртуального потока, которая позволяет управлять показателем качества классификации нейронной сети в широком диапазоне. При этом управляемость показателя качества классификации снижается с ростом пространства информативных признаков, откуда следует, что при увеличении размерности пространства информативных признаков необходимо увеличивать число виртуальных потоков.

Таким образом, введение виртуальных потоков в гибридный решающий модуль позволяет организовать «движок», осуществляющий управление качеством классификации нейросетевой структуры. С этой целью показатель качества классификации выбран таким образом, чтобы он зависел, с одно стороны, как от ошибок первого, так и второго рода, а с другой стороны, недопустимо большие ошибки хотя бы одного вида снижали бы показатель качества классификации к недопустимым значениям.