Выбор математического аппарата для оценки эффективности полученных результатов и оценка качества работы математических моделей прогнозирования инфаркта миокарда в реабилитационном периоде
Для оценки эффективности полученных результатов используем ROC- кривые (ROC - Receiver operating characteristic), которые, являясь графиком, позволяют дать оценку качеству модели по разделению двух классов.
ROC- кривая показывает зависимость количества верно классифицированных положительных примеров - диагностическая чувствительность (ДЧ) от количества неверно классифицированных отрицательных примеров: 1- диагностическая специфичность (ДС). При этом предполагается, что у классификатора имеется некоторый параметр, варьируя который, возможно варьировать соотношение между ДЧ и ДС. Параметр называют порогом или точкой отсечения одной диагностируемого класса от другого. Эта точка ближе всего расположенная к верхнему левому углу графика или максимально удаленна от диагональной прямой линии.Для оценки качества модели с гетерогенными классификаторами по прогнозированию ИМ в реабилитационном периоде согласно структуре (рисунок 4.2) нами в поликлиниках города Курска было отобрано 230 больных, перенесших острый ИМ. Выбор объема обучающей и контрольной выборок осуществлялся по рекомендациям [62]. Используя получаемые
различные показатели, характеризующие риск появления ПИМ, как шкалы для построения гистограмм распределения классов ω0и щ = соим, были определены классификационные пороги, позволившие решать задачу ROC- анализа.
В качестве прототипа для гетерогенного классификатора была выбрана шкала ASCORE [95]. В таблице 4.3 приведены показатели качества прогнозирования ПИМ на контрольной выборке в модели гетерогенного классификатора с использованием всего гетерогенного пространства ИП, которые сопоставляются с аналогичными результатами, полученными на шкале ASCORE.
Таблица 4.3 - Экспериментальные данные по прогнозированию ПИМ на контрольной выборке гетерогенным классификатором, построенным с использованием всего гетерогенного пространства информативных признаков, и по шкале ASCORE
| Обследуемые | Модель гетерогенного классификатора | Шкала ASCORE | ||||
| ДЧ | ДС | ДЭ | ДЧ | ДС | ДЭ | |
| ‰ = 100 | 90% | 86% | 88% | 75% | 71% | 73% |
| = 60 | 86% | 90% | 71% | 75% | ||
Для построения ROC-кривых воспользуемся гистограммами гетерогенных классификаторов, пример одной из которых представлен на рисунке 4.18.
Задаемся диапазоном изменения КУПор - показателя на выходе гетерогенного классификатора, выше которого неизвестный образец будет относиться к классу ω1. После этого, выбрав подходящий шаг изменения КУПор. будем определять показатели качества гетерогенного классификатора.
Таким образов, в данном случае ROC-кривая для каждого гетерогенного классификатора это функциональная зависимость показателей качества классификации ДЧ и ДС от КУПор. Учитывая характер
аппроксимации гистограмм Hωoи Hω1, представленных на рисунке 4.18, шаг изменения КУПор выбран 0,05, а динамический диапазон 0,5...0,8.
Рисунок 4.18 - Типовая гистограмма распределения классов ω0и ω1по
величине Kyω1
В таблицах 4.4...4.8 приведены результаты ROC-анализа для построенных гетерогенных классификаторов.
Таблица 4.4 - Результаты ROC - анализа для гетерогенного классификатора, построенного по всему пространству информативных признаков
| КУпор | 0,50 | 0,55 | 0,60 | 0,65 | 0,70 | 0,75 | 0,80 |
| ДЧ | 0,95 | 0,94 | 0,92 | 0,90 | 0,83 | 0,75 | 0,62 |
| ДС | 0,74 | 0,78 | 0,84 | 0,86 | 0,90 | 0,94 | 0,99 |
Таблица 4.5 - Результаты ROC - анализа для гетерогенного
классификатора, построенного по пространству информативных признаков без учета виртуальных потоков
| КУпор | 0,50 | 0,55 | 0,60 | 0,65 | 0,70 | 0,75 | 0,80 |
| ДЧ | 0,94 | 0,91 | 0,88 | 0,84 | 0,78 | 0,72 | 0,65 |
| ДС | 0,72 | 0,78 | 0,82 | 0,86 | 0,90 | 0,93 | 0,96 |
Таблица 4.6 - Результаты ROC - анализа для гетерогенного
классификатора, построенного по гетерогенному пространству информативных признаков с исключением виртуальных потоков и биоимпедансных исследований
| КУПор | 0,50 | 0,55 | 0,60 | 0,65 | 0,70 | 0,75 | 0,80 |
| ДЧ | 0,92 | 0,88 | 0,84 | 0,78 | 0,74 | 0,69 | 0,65 |
| ДС | 0,72 | 0,80 | 0,84 | 0,88 | 0,90 | 0,92 | 0,94 |
Таблица 4.7 - Результаты ROC - анализа для гетерогенного классификатора, построенного по гетерогенному пространству информативных признаков с исключением виртуальных потоков, биоимпедансных исследований и анализа психоэмоционального напряжения
| КУПор | 0,50 | 0,55 | 0,60 | 0,65 | 0,70 | 0,75 | 0,80 |
| ДЧ | 0,80 | 0,79 | 0,78 | 0,76 | 0,69 | 0,60 | 0,5 |
| ДС | 0,67 | 0,71 | 0,77 | 0,79 | 0,86 | 0,90 | 0,93 |
Таблица 4.8 - Результаты ROC - анализа для гетерогенного
классификатора, построенного по гетерогенному пространству информативных признаков с исключением виртуальных потоков, биоимпедансных исследований, анализа психоэмоционального напряжения и показателей перекисного окисления липидов и антиокислительной активности
| КУПор | 0,50 | 0,55 | 0,60 | 0,65 | 0,70 | 0,75 | 0,80 |
| ДЧ | 0,77 | 0,77 | 0,76 | 0,72 | 0,65 | 0,58 | 0,45 |
| ДС | 0,66 | 0,70 | 0,75 | 0,80 | 0,84 | 0,87 | 0,9 |
Анализ результатов использования всех шести составляющих пространства информативных признаков, предложенных в работе в финальном решающем правиле, показывает, что при этом обеспечивается
наиболее высокое качество классификации хотя и требуется дополнительное время и средства.
Рисунок 4.19 иллюстрирует сравнительные характеристики гетерогенных классификаторов на ROC-плоскости.
Анализ этих графиков позволяет оценить вклад той или иной группы информативных признаков в общий прогностический процесс.
Рисунок 4.19 - ROC-кривые шести гетерогенных классификаторов
Так, по признакам, полученным без применения сложных специальных технических средств и методов, путем стандартного обследования пациента, возможного в рядовой поликлинике, получаем сводные показатели качества, приведенные в таблице 4.8.
Анализ полученных результатов показывает удовлетворительное совпадение результатов экспертного оценивания и проверки качества работы, синтезированных гетерогенных классификаторов на контрольной выборке по показателям ДЧ и ДС. Таким образом, результаты проверки на контрольной выборке эффективности работы правил прогнозирования ПИМ в период реабилитации на основании комплексного учета информативных признаков показывают приемлемое для практики качество решения поставленных в
работе целей и решаемых задач.
В ходе обобщений полученных результатов наблюдений нами были проанализированы различные показатели, характеризующие состояние исследуемой категории больных без применения разработанных методов и средств и с их применением (работа с использованием интеллектуальной системы поддержки принятия решений врача-кардиолога).
4.5
Еще по теме Выбор математического аппарата для оценки эффективности полученных результатов и оценка качества работы математических моделей прогнозирования инфаркта миокарда в реабилитационном периоде:
- 2.4 Метод синтеза гетерогенных математических моделей прогнозирования повторного инфаркта миокарда в реабилитационном периоде
- Математические модели для оценки риска повторного инфаркта миокарда по информативным признакам хі... хі8
- Математические модели оценки риска повторного инфаркта миокарда по традиционно принятым в медицине признакам
- Математические модели прогнозирования повторного инфаркта миокарда по показателям перекисного окисления липидов и антиокислительной активности
- 4.3 Анализ качества работы математических моделей прогнозирования возникновения и рецидива гангрены нижних конечностей
- Алгоритмы и модели для гетерогенного классификатора повторного инфаркта миокарда в реабилитационном периоде
- Двухслойная плоская математическая электрофизическая модель глаза для оценки влияния характеристик века на результаты исследований
- Синтез математических моделей для прогнозирования динамики развития критической ишемии нижних конечностей и оценки возможности возникновения гангрены по электрическим характеристикам биологически активных точек
- Анализ методов прогнозирования повторного инфаркта миокарда в реабилитационном периоде
- 4.3 Анализ эффективности математической модели прогнозирования рецидива МКБ
- Анализ эффективности математической модели по прогнозированию возникновения камнеобразования при мочекаменной болезни
- Исследование гетерогенного пространства информативных признаков для классификатора повторного инфаркта миокарда в реабилитационном периоде
- 2.3 Разработка математической модели оценки уровня психоэмоционального напряжения
- 3.2. Математические модели оценки влияния электромагнитных и магнитных полей на появление и развитие профессиональных заболеваний.
- Структурный анализ и синтез признакового пространства для математических моделей прогнозирования и развития ишемии сердца
- Оценка вклада биохимических показателей в верификации инсулинорезистентности в госпитальном периоде инфаркта миокарда
- Синтез математических моделей прогнозирования ишемических рисков на основе традиционных предикторов сердечно-сосудистых осложнений
- Методика дифференциально-психометрической оценки научно-методического аппарата прогнозирования эффективности профессиональной деятельности мастеров - консультантов автомобильных компаний
- Синтез математических моделей прогнозирования рецидива МКБ