9.4. УКРУПНЕНИЕ, РАЗУКРУПНЕНИЕ ДИАПАЗОНОВ ПРИЗНАКОВ

9.4.1. Этап 5. Оптимальное укрупнение диапазонов не более чем до трех и вычисление минимального D(xt). При описанном способе вычисления £>(х,), как это видно из рис. 9.2, случайные флюктуации распределений будут учитываться как их истинные расхождения.

По мере укрупнения диапазонов все большее значение приобретает правильный выбор границ между ними. Неудачный выбор границ может «сгладить» истинные различия. Оптимальными были бы такие границы укрупненных диапазонов, которые при минимальном числе диапазонов (2 — 3) максимально сохраняли бы имеющиеся различия. Мы попытались найти метод выбора оптимальных в этом смысле границ [46, 47]. При этом мы исходили из следующей модели возможных различий в двух независимых выборках: различия возможны как в одном направлении (изменение средней тенденции распределений, этот случай изображен на рис. 9.2), так и в двух направлениях: в одной части наблюдений увеличение исследуемого параметра, в другой — уменьшение. В последнем случае зона преобладания частоты наблюдений будет состоять из двух или более участков, расположенных в разных частях распределений (рис. 9.3). Первый из участков, отражающий изменения в преобладающую сторону, обозначим через D' (xf), второй, отражающий изменения в противоположную сторону, — через D" (х,). Тогда

Минимальное число диапазонов, которые необходимы для приближенного описания двух распределений, в первом случае (различия в одну сторону) равно двум, во втором случае — трем. Поэтому мы использовали алгоритм для описания границы диапазонов, максимально сохраняющий различия двух распределений при описании их не более чем тремя диапазонами.

зф 67

Рис. 9.3. Оценка двустороннего расхождения распределений с отысканием базовых границ укрупненных диапазонов и минимальным влиянием случайных флюктуаций.

Внизу — распределения Ах и Аъ вверху — соответствующие им интегральные функции распределений (накопленные частоты). Общая площадь распределений заштрихована. Площадь, обозначенная точками и стрелками, — расхождения распределений. Площадь D" и численно равная ей AF (х^тах — расхождения распределений в преобладающую для выборки А2 по сравнению с Ах сторону; площадь D' и численно равная ей AF(x,)miB — расхождения в сторону, противоположную преобладающей.

Рассмотрим обоснование формулы {9.7). По критерию Колмогорова — Смирнова определяется один максимальный модуль разности | AF (х0-) |тах между накопленными частотами. Если мы имеем дело с распределениями, различающимися своими тенденциями (см. рис. 9.1 и 9.2), а не формой (как на рис. 9.3), то максимальный модуль разности накопленных частот как раз и является необщей площадью одного из этих распределений, т. е. величиной D (х,), как это показано в обосновании формулы (9.3).

Однако так обстоит дело только в тех случаях, когда нет двусторонних отличий распределения Л2 от Аг (на рис. 9.2 их нет). Если такие отличия есть, то необщая площадь Z>(xt) состоит из двух участков (см. рис. 9.3). Каждый из них может быть охарактеризован максимальной разностью накопленных частот, но одна из них является максимальной разностью с положительным знаком, вторая — максимальной по абсолютному значению разностью с отрицательным знаком.

Поэтому в предлагаемом алгоритме предусмотрено нахождение двух максимальных по абсолютному значению разностей — с положительным и отрицательным знаками.

Это видно на рис. 9.3. Следовательно (с учетом формулы 9.6):

Формула (9.9) универсальна. Если распределение Л2 отличается от распределения Лг в одну сторону, то минимальной разностью накопленных частот, как видно из рис. 9.2, будет нулевая разность AF (х,) = 0. В этом случае формула (9.9)

за счет исключения нулевого члена фактически примет вид формулы (9.5) и (9.3) одновременно (знак модуля в данном случае не меняет дела):

Проведя искомые границы укрупненных диапазонов по правому краю тех же первоначальных диапазонов, в которых достигнуты максимальная и минимальная разности F(Xi)max и F(xt)min, мы получим такие границы, которые оптимальны в указанном выше смысле. Будем их называть базовыми границами диапазонов.

Численный пример и расчет по формулам (9.8) и (9.9), соответствующий рис. 9.3, представлен в табл. 9.3 и в разделе 9.7.2.

Обозначения распределений А1 и Л2 целесообразно выбрать так, чтобы разность с положительным знаком была по абсолютному значению больше разности с отрицательным знаком.

Тогда величина D' (*,•), равная I AF(jC|)max|, будет всегда отражать прирост числа биоединиц в той части «зоны прироста», которая связана с отклонением измеряемого параметра в преобладающую сторону. Величина D" (*,), равная I(хі)шіп |> будет отражать прирост числа биоединиц в той части «зоны прироста», которая связана с отклонением измеряемого параметра в сторону, противоположную преобладающей.

При расчете по формуле (9.9) разбивка признака на диапазоны может быть неравномерной, а диапазоны — сколь угодно малыми.

Однако в ряде случаев приходится применять рассматриваемую процедуру оценки величины различий D (х,) на сгруппированных выборках ограниченной численности. Это допустимо, НО надо иметь В виду, ЧТО при ЭТОМ D(Xi) выявляет меньше различий распределений, чем есть в действительности, но зато с известной гарантией, что это не случайные флюктуации. Есть более сложные методы более полного выявления действительных, а не мнимых различий для их использования с целью распознавания: например, аппроксимация эмпирических распределений теоретическими, если те и другие достаточно схожи (см. подразделы 9.5.2 и 9.5.3). Технология такой аппроксимации в ходе применения ПА описана в [47].

Однако возможен и другой подход: использование быстродействия ЭВМ для «вычислительного эксперимента» в виде применения способов распознавания, рассчитанных на разные распределения, и выбор наилучших способов по результатам «скользящей проверки» на обучающей выборке или испытаний на специальной проверочной (контрольной) выборке (см. гл. 13 и 15).

9.4.2. Этап 6. Разукрупнение диапазонов признаков. В результате укрупнения диапазонов, произведенного на основе методики Колмогорова — Смирнова, мы получаем базовые границы диапазонов. По ряду соображений слишком крупные диапазоны часто целесообразно разукрупнить. Имея базовые границы, мы можем сделать это так, чтобы сохранить истинные различия и вместе с тем несколько уменьшить вызванные случайными флюктуациями расхождения распределений. Для этого надо наметить равные диапазоны так, чтобы в число границ диапазонов вошли базовые границы, т. е. чтобы они не оказались внутри новых диапазонов.

Простейший метод разукрупнения диапазонов состоит в том, что интервал между базовыми границами делят на равные части, желательно так, чтобы правая граница каждого диапазона приходилась на целое, а еще лучше на круглое значение деления шкалы признака. В большинстве случаев достаточно укрупненный диапазон разделить на 3 разукрупненных, равных по величине 7з срединного диапазона при различиях в две стороны (см. рис. 9.3) или произвольно выбранных при различиях в одну сторону (см. рис. 9.2).

При разукрупнении диапазонов информативность, как правило, возрастает, так как выделяются в отдельные диапазоны те участки распределений, где различия между ними особенно контрастны, но одновременно возрастает влияние на эти различия случайных флюктуаций. Методы сглаживания распределений, которые призваны уменьшить случайные флюктуации, описаны в разделе 9.5.