Анализ правомерности (точности) экспертных методов

Как отмечено выше, в настоящее время имеет место значительное расширение сферы применения экспертных методов.

Это связано с особенностями человеческого мышления в отличии от формализованных расчетных методов с применением ЭВМ.

Многие задачи возможно решить только с использованием интуитивного, эвристического анализа.

Эвристические решения обычно основываются на обобщении человеческого прошлого опыта.

При решении некоторых классов задач человеческий мозг значительно превышает возможности ЭВМ. К числу таких задач относят задачи с условиями неопределенности, когда имеет место недостаток данных, либо информация неточная.

По этой причине многие задачи имеют две альтернативы:

* их решения откладывают до появления более точных решений или исходных данных;

* применяют менее точные - экспертные методы.

Прежде чем говорить о точности экспертных методов, заметим, что, несмотря на многовековый опыт их применения, в настоящее время они еще недостаточно исследованы.

Этот недостаток следует отмечать, когда речь идет о психофизиологическом механизме выработки суждений экспертов.

Пользуясь терминами кибернетики, отметим, что эксперт зачастую рассматривается как «черный ящик».

Вместе с тем, экспериментально подтверждено, что существует возможность опосредственного определения точности суждений, выносимых экспертом.

Так, например, при истинной вероятности наступления событий около 2%, обычные эксперты обеспечивали субъективную точность 40%, а специально подготовленные - в 10 раз выше, т. е. около 4%.

Другим примером может служить американский эксперимент по прогнозу совместного советско-американского освоения космоса, когда точность предсказания событий составила один год.

Следовательно, хорошо подготовленный экспертный анализ может обеспечить точность до 5...10%, что в ряде случаев, с учетом принимаемых коэффициентов запаса, может быть на менее точным, чем другие математически хорошо выстроенные способы.

При оценке результатов экспертного анализа применяют понятие - воспроизводимость экспертной оценки, которое определяют исходя из двух условий:

* близость оценок по одному и тому же вопросу, которые эксперты дают через некоторый промежуток времени;

* близость оценок, которые дают разные эксперты в одно и то же время.

Отечественные опыты свидетельствуют, что в этом случае существует проблема выбора меры, с помощью которой можно оценить близость оценок. В любом случае выбор меры носит субъективный характер.

Зарубежные исследования показали, что коэффициенты весомости в двух группах экспертов одинаковой численности, уложились в рамки доверительного интервала.

Анализ данных экспертов с различной профессиональной направленностью (механики и эстеты) показал также, что 13 показателей весомости из 16 также уложились в доверительный интервал.

В некоторых случаях, например в торговле, искусстве, литературе, музыки и др., экспертные методы являются основными или единственными.

 

 

Алгоритм, задачи и классификация экспертных методов

 

Среди существующих многочисленных методов получения коллективной экспертной оценки, Э. П. Райхман и Г. Г. Азгальдов рекомендуют следующий алгоритм экспертных операций.

1. Проводится подготовительный этап:

* формирование рабочей и экспертной групп;

* классификация задач (продукции и потребителей);

* формирование структурной схемы показателей.

2. Этап получения индивидуальных экспертных оценок:

* принятие процедуры назначения оценок экспертами;

* выбор метода получения информации от экспертов и создание документов опроса (анкет, форм пояснительных записок и т.д.);

* проведение опроса экспертов.

3. Этап обработки результатов и получения коллективных экспертных оценок:

* обобщение индивидуальных экспертных оценок;

* формирование принципов согласованности индивидуальных экспертных оценок;

* определение оценок объективности коллективных экспертных оценок.

В соответствии с этим алгоритмом можно сформировать следующие, далеко не равноценные задачи по важности и трудности, которые требуется решать в процессе проведения экспертных исследований.