Верификация, оценка чувствительности и специфичности модели классификации

Неотъемлемым этапом при построении модели классификации является проведение её верификации. Наибольшее распространение при проведении верификации получили методы, основанные на скользящем контроле.

В результате скользящего контроля исходная выборка разбивается на контрольную и обучающую подвыборки, суммарное число объектов в которых в процессе верификации остаётся неизменным. Для каждого разбиения выполняется вычисление алгоритма классификации по обучающей подвыборке, а затем с применением объектов контрольной подвыборки вычисляется средняя ошибка оценивания. Разбиение основной выборки позволяет получить независимую контрольную подвыборку, для которой средняя ошибка скользящего контроля даёт несмещённую оценку вероятности ошибки, тем самым позволяет исключить влияние переобучения, что характерно для средней ошибки на обучающей подвыборке [199, 200].

Для проведения верификации полученных дискриминантных функций был применён метод скользящего экзамена (leave-one-out), который относится к группе методов скользящего контроля [201]. При применении данного подхода исходная выборка из mобъектов, где m=p1+p2, разделялась на обучающую выборку L,состоящую из (m- 1) объектов, и контрольную Kиз 1 объекта. С учётом изменившихся матриц ковариации и вектора средних значений дискриминантных переменных вычислялись значения вектора коэффициентов дискриминантной функции, свободного члена, формировалась модифицированная дискриминантная функция, с применением которой оценивалось, к какой из двух распределяемых групп принадлежит контрольный объект.

После верификации для каждой дискриминантной функции рассчитывались значения показателей чувствительности (Se)и специфичности (Sp):

где e- количество пациентов, у которых выявлены микроциркуляторные нарушения при проведении исследования (истинно положительные);

g- количество пациентов, у которых не выявлены микроциркуляторные нарушения при проведении исследования (ложноотрицательные).

где h- количество условно здоровых добровольцев, у которых выявлены мик- роциркуляторные нарушения при проведении исследования (ложноположительные);

f- количество условно здоровых добровольцев, у которых не выявлены микроциркуляторные нарушения при проведении исследования (подлинно отрицательные).

Также для каждой дискриминантной функции рассчитывались ошибки первого и второго рода, как g /(e + g) и f/ (h + f) соответственно. Значения чувствительности и специфичности, а также ошибки первого и второго рода для полученных дискриминантных функций представлены в таблице 3.4.

Таблица 3.4 - Значения чувствительности и специфичности, ошибки первого и второго рода для полученных дискриминантных функций

Параметр	Im1,	Im1,	Im1,	Im1,	Im1,	Im2,	Im2,	Im2,	Im3,	Im3,	Im3,	Im3,
Параметр	A₃1	Ah1	Am1	A∂1	Ac1	Am2	A∂2	Ac2	Ah3	Am3	A∂3	Ac3
1	2	3	4	5	6	7	8	9	10	11	12	13
Se	0,72	0,75	0,72	0,80	0,85	0,78	0,83	0,92	0,73	0,72	0,75	0,90
^SP	0,53	0,53	0,56	0,75	0,94	0,78	0,75	0,97	0,59	0,69	0,78	0,94
Ошибка 1-го рода	0,47	0,47	0,44	0,25	0,06	0,22	0,25	0,03	0,41	0,31	0,22	0,06

Продолжение таблицы 3.4

1	2	3	4	5	6	7	8	9	10	11	12	13
Ошибка 2-го рода	0,28	0,25	0,28	0,20	0,15	0,22	0,17	0,08	0,27	0,28	0,25	0,10

С точки зрения достижения наибольшей специфичности и чувствительности в качестве наиболее приемлемой выбрана дискриминантная функция с применением в качестве дискриминантных переменных значения показателя микроциркуляции крови (I_m₂) и амплитуды пульсовых колебаний (A_c₂)кровотока в БТ2 (сразу после охлаждения рук). При этом ошибка 1 -го рода (ложноположительный результат) составляет 0,03, а 2-го рода (ложноотрицательный результат) - 0,08, что меньше желаемого уровня ошибки (0,2), установленного в результате экспертного анализа (параграф 1.5).

3.4

<< | >>

↑

Источник: МАКОВИК Ирина Николаевна. МЕТОД И УСТРОЙСТВО ДИАГНОСТИКИ МИКРОЦИРКУЛЯТОРНЫХ НАРУШЕНИЙ ПРИ РЕВМАТИЧЕСКИХ ЗАБОЛЕВАНИЯХ НА ОСНОВЕ ВЕЙВЛЕТ-АНАЛИЗА КОЛЕБАНИЙ. ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук ПЕРИФЕРИЧЕСКОГО КРОВОТОКА. Орёл - 2018. Орёл

Еще по теме Верификация, оценка чувствительности и специфичности модели классификации:

- Медицинские приборы и аппараты -

- Pediatrics - Акушерство и гинекология - Анатомия - Андрология - Биология - Болезни уха, горла и носа - Валеология - Ветеринария - Внутренние болезни - Военно-полевая медицина - Восстановительная медицина - Гастроэнтерология и гепатология - Гематология - Геронтология, гериатрия - Гигиена и санэпидконтроль - Дерматология - Диетология - Здравоохранение - Иммунология и аллергология - Интенсивная терапия, анестезиология и реанимация - Инфекционные заболевания - Информационные технологии в медицине - История медицины - Кардиология - Клинические методы диагностики - Кожные и венерические болезни - Комплементарная медицина - Лучевая диагностика, лучевая терапия - Маммология - Медицина катастроф - Медицинская паразитология - Медицинская этика - Медицинские приборы - Медицинское право - Наследственные болезни - Неврология и нейрохирургия - Нефрология - Онкология - Организация системы здравоохранения - Оториноларингология - Офтальмология - Патофизиология - Педиатрия - Приборы медицинского назначения - Психиатрия - Психология - Пульмонология - Стоматология - Судебная медицина - Токсикология - Травматология - Фармакология и фармацевтика - Физиология - Фтизиатрия - Хирургия - Эмбриология и гистология - Эпидемиология -