3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

3.1. Задачи обработки.

При решении многих задач недостаточно упорядочения объектов по одному или группе показателей. Необходимо иметь числовые значения для каждого объекта, определяющие его предпочтение перед другими объектами. Наличие таких оценок позволит определить обобщенную оценку для всей группы экспертов.

Поэтому в зависимости от целей экспертного оценивания и метода учета экспертных оценок возникают такие задачи, как:

Обработка экспертных оценок позволяет вскрыть связанные показатели сравнения и осуществить группировку по степени связи.

• Так, например, если показатели сравнения – различные цели, а объекты сравнения – средства достижения этих целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос: "В какой степени достижение одной цели при данных средствах способствует достижению других целей" (то есть установить причинно-следственную связь).
• Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений.
• Анализ значения меры согласования способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов.

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важнейших задач процедуры обработки является определение их надежности.

3.2. Групповая экспертная оценка объектов при непосредственном оценивании.

Существует множество подходов к решению данной задачи. С целью иллюстрации рассмотрим один из простейших. Пусть m экспертов провели оценку n объектов по L показателям. Результаты оценивания представлены величинами x_ij^h , где i – номер объекта, j – номер эксперта, h – номер показателя.

Величины x_ij^h, которые были получены методам непосредственного оценивания, представляют собой числа из некоторого отрезка числовой оси, или баллы.

В качестве групповой оценки для каждого из объектов можно принять среднее взвешенное значение его оценки

Коэффициенты q_h могут быть определены экспертным путем, как средний коэффициент веса h-ого показателя по всем экспертам, то есть:

Возможность получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности основывается на выполнении:

• аксиом теории полезности фон Неймана-Моргенштерна для индивидуальных и групповых оценок [3];
• и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето) [4].

Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, то есть по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность эксперта должна оцениваться по степени согласованности его оценок с групповой оценкой объектов.

Для упрощения дальнейшего изложения, ограничимся рассмотрением случая h=1. То есть когда групповое оценивание объектов проводится на основе только одного показателя. Алгоритм вычисления групповых оценок и коэффициентов компетентности экспертов для этого случая имеет вид:

Сходимость данной итерационной процедуры доказана в литературе для случая, когда индивидуальные оценки неотрицательны, а эксперты и объекты не распадаются на отдельные группы. То есть когда каждая группа экспертов не оценивает объекты своей группы. В большинстве практических задач эти условия выполняются, что доказывает сходимость алгоритма [5].

Пример 1. Три эксперта (m=3) оценили значение двух мероприятий (n=2) по степени их влияния на решение одной из проблем (h=1). Результатами экспертизы явились нормированные оценки мероприятий x_1j + x_2j = 1, где j = 1,2,3.

Вычислим групповые оценки мероприятий, приводящих к решению проблемы и коэффициенты компетентности каждого из экспертов. Для этого воспользуемся приведенным выше алгоритмом, задавшись точностью вычисления Е = 0,001.

Средние оценки объектов первого приближения (при t = 1) будут равны:

Вычислим нормировочный коэффициент первого шага приближения:

Значение коэффициентов компетентности первого приближения примут значения:

Вычисляя групповые оценки второго и следующих шагов приближения, получим:

Результат третьего шага удовлетворяет условию окончания итерационного процесса и за значение групповой оценки принимается x ≈ x³ = (0,3235; 0,6765).

3.3. Обработка парных сравнений.

При установлении причинно-следственных зависимостей между объектами предметной области, экспертам в ряде случаев сложно выразить их численно. То есть трудно установить количественно степень влияния той или иной причины (объекта) на конкретное следствие. Особенно психологически это сложно, если таких объектов много.

Вместе с тем, эксперты сравнительно легко решают задачу парного сравнения. Эта задача состоит в том, что эксперт устанавливает предпочтения объектов при сравнении всех возможных пар. То есть эксперт, рассматривая все возможные пары объектов, в каждой из них устанавливает ту причину, которая по его мнению оказывает большое влияние на следствие. Возникает вопрос, как получить оценку всей совокупности объектов на основе результатов парного сравнения, выполненного группой экспертов.

Пусть каждый из m экспертов производит оценку влияния на результат всех пар объектов, давая числовую оценку

Рис. 7. Последовательность обработки парных сравнений.

Как следует из рис.7 последовательность обработки парных сравнений заключается в том, что на основании таблиц парных сравнений m-экспертов строится матрица математических ожиданий оценок всех пар объектов. Затем по этой матрице вычисляется вектор коэффициентов относительной важности объектов.

Если при оценке пары объектов O_ij из общего количества экспертов:

• m_i экспертов высказались в пользу предпочтение O_i,
• m_j экспертов в пользу предпочтение O_j,
• а m_p экспертов считает эти объекты равноправными,

то оценка математического ожидания дискретной случайной величины r_ij будет равна:

Так как общее количество экспертов m_i + m_j + m_p = m, то определяя отсюда m_p и подставляя его в вышеприведенное выражение, получим.

Очевидно, что x_ij + x_ji = 1. Совокупность величин x_ij образуют матрицу X = [ x_ij ] размерности nxn, на основе которой можно построить ранжировку всех объектов и определить коэффициенты относительной важности объектов, то есть вектор

Одним из способов определения значений элементов вектора К является итерационный алгоритм вида:

Если матрица Х неотрицательна и неразложима (то есть путем перестановки строк и столбцов ее нельзя привести к треугольному виду), то при увеличении порядка t → ∞ величина k^t сходится к максимальному собственному числу матрицы Х, то есть

Это утверждение следует из теоремы Перрона-Фробениуса и доказывает сходимость приведенного выше алгоритма [6].

Пример 2. Предположим, что в результате опроса трех экспертов (m = 3) о степени влияния на результат трех различных факторов (объектов) (n = 3) получены следующие таблицы парных сравнений:

Для получения групповой оценки степени влияния каждого из объектов на результат, построим матрицу математических ожиданий оценок каждой из пар объектов, которая для рассматриваемого примера будет иметь вид:

Значения элементов этой матрицы получены из следующих выражений:

Воспользуемся вышеописанным алгоритмом для получения вектора относительной важности объектов. Для наглядности, каждый из шагов представим в виде:

Продолжая итерационный процесс до тех пор, пока норма оценки не будет меньше заданной, то есть max(|Kⁱ - K^i-1|) < 0.001, получим

На четвертом шаге выполняется условие выхода, что позволяет за групповую оценку степени влияния на результат принять вектор коэффициентов относительной важности объектов вида:

3.4. Определение обобщенных ранжировок.

При групповой экспертной оценке каждому i-ому объекту каждый из j-ых экспертов присваивает значение r_ij. В результате проведения экспертного оценивания получается матрица рангов || r_ij || размерности n x m, где n – число объектов (i = 1,2,...,n), а m – число экспертов (j = 1,2,...,m).

Самый простейший способ получения обобщенной ранжировки заключается в ранжировании объектов по величине сумм рангов, полученных каждым объектов от всех экспертов. В этом случае для матрицы ранжировок || r_ij || вычисляются суммы:

Далее объекты упорядочиваются по цепочке неравенств r_k < r_l < ... < r_q, где r_k = min_i(r_i), r_l = min_i,i≠k ( r_i ) , . . . , r_q = max_i ( r_i ). Отсюда следует обобщенная ранжировка объектов

Для учета компетентности экспертов достаточно умножить i-ю ранжировку на коэффициенты компетентности j-го эксперта 0 ≤ k_j ≤ 1. В этом случае вычисление суммы рангов для i-ого объекта производится по формуле:

Однако ранги объектов определяют только порядок расположение объектов по показателям сравнения. Ранги как числа не дают возможность сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим. Если ранг 3, то отсюда не следует делать вывод о том, что объект, с рангом 1, в три раза предпочтительнее, чем объект, имеющий ранг, равный трем.

Вместе с тем для использования в ЭС знаний, полученных от экспертов, необходимо не только упорядочение или ранжирование объектов по степени их влияния или воздействия на какой-либо результат, но и определение количественной оценки степени влияния каждого из объектов на результат.

Простейшим методом для реализации этой задачи является подход, основанный на построении обобщенной ранжировки путем перехода от матрицы ранжировок к матрице парных сравнений. Для этого на основе матрицы || r_ij || строится m матриц парных сравнений R_j (j=1,2,...,m) , где m – число экспертов. Элементы этих матриц определяются следующим образом:

Затем к полученным матрицам парных сравнений всех экспертов применяется рассмотренный ранее метод обработки парных сравнений. Его итерационная процедура позволяет получить коэффициенты относительной важности объектов по степени их влияния на результат. Проиллюстрируем применение этого подхода на примере.

Пример 3. Пусть три эксперта (m = 3) провели ранжировку трех объектов (n = 3) по степени их влияния на какой-либо результат и таблица ранжировок имеет вид:

На основе данных этой таблицы матрица парных сравнений для первого эксперта будет иметь вид:

Аналогичные матрицы парных сравнений для второго и третьего эксперта будут иметь вид:

Используя метод обработки парных сравнений получим последовательность векторов коэффициентов относительной важности объектов:

Итерационная процедура с заданной точностью (Е=0,001) является сходящейся на четвертом шаге к значениям:

3.5. Замечания к определению групповых оценок.

Все рассмотренные методы получения групповых оценок позволяют получить достоверные результаты в случае хорошо подобранной группы экспертов и согласованности их мнений. Если это не так, то встает задача определения количественной оценки степени согласованности экспертов. Получение количественной меры позволяет более обоснованно интерпретировать причины в расхождении мнений.

Для оценки меры согласованности мнений группы экспертов используют, в частности, дисперсионный и энтропийный коэффициенты конкордации [5]. Кроме этого, при обработке результатов ранжирования могут возникать задачи:

• определения зависимости между ранжировками двух экспертов;
• связи между достижением двух различных целей при решении одной и той же совокупности проблем;
• взаимосвязи между признаками (объектами).

В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции. Характеристикой взаимосвязи множества ранжировок будет являться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена [5] и Кендалла [5].