Основные проблемы экспертных оценок

Что должна представить экспертная комиссия ЛПУ в результате своей работы ─ информацию для принятия решения руководителями ЛПУ ─ менеджерами или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии ЛПУ.

Цель - сбор информации для генерального менеджера (главного врача)

Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов «за» и «против» определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов, описанный А.И. Орловым в 1979 году. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему ─ третьему эксперту... Процедура проведения «комиссионной экспертизы» заканчивается, когда иссякает поток новых соображений.

Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы «за» и «против», но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.

Цель - подготовка проекта решения для генерального менеджера

Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности.

Догма согласованности

Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство.

Поскольку число экспертов обычно не превышает 5-8 (10-15), то формальная статистическая согласованность мнений экспертов может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена (Волков Н.Г., Ерофеева С.Ю., 1992), то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределённости мнений экспертов на множестве всех ранжировок. Недостатки рассматриваемых математико-статистических методов анализа ранжировок привела некоторых авторов к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на «люсианах» (Большев Л.Н., Смирнов Н.В., 1968).

С целью искусственно добиться согласованности стараются уменьшить влияние мнений «экспертов-диссидентов». Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства (Орлов А.И., Рыданова Г.В., 1986). Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают генерального менеджера) аргументы диссидентов.

В любом из двух способов борьбы с диссидентами руководитель ЛПУ лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление генеральным менеджером всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи руководителя ЛПУ.

Догма одномерности

Распространен довольно примитивный подход так называемой «квалиметрии» (Орлов А.И, 1992), согласно которому объект всегда можно оценить одним числом. Каждый объект можно оценивать по многим показателям качества. Например, изготовленный зубной протез можно оценивать по таким показателям:

· материал, из которого изготовлен протез,

· качество обрабатываемых поверхностей,

· плотность смыкания с зубами-антагонистами,

· наличие 2 – 3 точек контакта на молярах и премолярах соответственно и т.п.

Можно ли свести оценки по этим показателям вместе?

Определяющим является конкретный пациент, для которого изготавливается зубной протез. Для одних пациентов ведущее место занимают эстетические требования, для других – надежность, для третьих – функциональное соответствие и пр.

Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет, а тогда мотивы разработки обобщенного показателя качества услуг не имеют объективного характера. Рыночные отношения требуют индивидуализации производства медицинских услуг в условиях конвейерного производства. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д. (Гличев А.В., 1983).