Что такое экспертный метод

Методы экспертных оценок

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

Краткий ликбез

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

Источник

Экспертный метод.

1.4.Пороговые значения определяются на основании мнений групп экспертов.

Достоинство метода – простота и гибкость, так как процедура оценки позволяет анализировать разнородные показатели и в любом количестве.

Однако результаты оценки во многом зависят от квалификации и опыта оценщика. Поэтому определяющим моментом и главной проблемой данного метода является отбор компетентных сотрудников и/или поиск экспертов, которым будет поручена оценка потенциала.

В практической деятельности по изучению и прогнозированию спроса метод экспертных оценок может быть использован для решения следующих задач: 1) Разработка средне- и долгосрочных прогнозов групповой структуры спроса на товары народного потребления. 2) Прогнозирование внутригрупповой (в развернутом ассортименте) структуры спроса на предстоящий хозяйственный год. 3) Определение групп потенциальных потребителей. 4) Оценка величины неудовлетворенного спроса по группам, видам и разновидностям товаров.

Эксперт – это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

Как сформировать группу экспертов? На самом первом этапе отбора в качестве критериев целесообразно использовать два признака: род занятий и стаж работы по интересующему нас профилю. При необходимости учитываются также уровень, характер образования, возраст. Центральный среди критериев отбора экспертов – их компетентность. Для определения применимы, с той или иной степенью точности, два метода: самооценка экспертов и коллективная оценка авторитетности экспертов.

Наиболее простая и удобная форма самооценки экспертов – совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями “высокий”, “средний” и “низкий”. При этом первой позиции присваивается числовое значение “1”, второй – “0,5”, третий – “0”. В таком случае совокупный индекс – коэффициент уровня компетентности эксперта вычисляется по формуле.

Коэффицент уровня компетентности колеблется в интервале от 0 до 1. Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего 0,5 и выше –1.

Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они иеют представление друг о друге как специалисты. Такая ситуация характерна для учёных, творческих деятелей, политииков, эономистов.

Прогноз. В нём наиболее наглядно проявляется отличие экспертной оценки от информации, получаемой в результате массового опроса. Оно заключается в стремлении к согласованности, единообразию суждений и оценок, высказываемых эспертами. Действительно, взможно ли использовать дя пракических целей, скажем, мнение тидцати экспертов, если они включают 5-7 взаимоисключающих прогностических оценок? Далее достоверность данных в массовом опросе как и некоторых среднестатистических показателей тем выше, чем больше совокупность опрошенных. В принципе прогностическая экспертная оценка осуществима для любых социальных процессов и явлений.

В прикладной социологии разработан ряд приёма опросов экспертов, используемых для получения прогностической оценки. При этом уместно заметить, что некоторые технические и методические приёмы, широко используемые в массовых опросах, теряют свою значимость при опросе такой спецефической аудитории, как эксперты. Как правило, массовые опросы носят анонимный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью. Поэтому нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приёмы, имеющие своей целью выявить “скрытые” позиции респондента. Более того, использование таких приёмов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова – активный участник научного исследования. И попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Основной инструментарий экспертного опроса – анкета или бланк-интервью, разработанные по специальной программе.

В отличие от массового опроса, программа прогнозированного опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее прогнозу явление, предусматривается в виде гипотиз возможные варианты его исхода.

Весьма часто применяется в прикладной социологии и такой метод экспертного прогноза, как “дельфинийская техника”. Он заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и обобщения результатов его итоги сообщаются участникам экспертной группы. Затем проводится повторный опрос, в ходе которого эксперты либо подтверждают свою точку зрения, либо изменяют оценку в соответствии с мнением большинства. Такой цикл содержит в себе 3-4 прохода. В ходе подобной процедуры вырабатывается оценка, но при этом исследователь, конечно, не должен игнорировать мнение тех, кто после неоднократных опросов остался на своей точке зрения.

Оценка степени достоверности результатов массовых опросов. В процессе выработки управленческих решений при помощи социологических исследований зачастую возникает вопрос о достоверности массового исследования и соответственно о правомерности сформулированных на их основе выводов. Словом, речь идёт об оценки компетентности мнений, высказанными респондентами.

Для этого составляется анкета эксперта, включающая в основном закрытые вопросы, по структуре идентичные вопросам, сформулированным в анкете репондента. Задача эксперта – с учётом объективной ситуации и интересующих исследователя факторов всказать по поставленным вопросам непредвзятую, весторонне взвешенную оценку.

Аттестация членов коллектива. В последние годы в практике исследования состояния идейно-воспитательной работы широко применяется такая разновидность метода экспертной оценки, как аттестация. При этом в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия.

ЭТАПЫ:

1. Постановка задачи

2. Технология организации экспертного анализа

3. Формирование экспертной комиссии

4. Организация экспертного опроса

5. Формальные методы описания предпочтений объектов

6. Формальные методы определения предпочтений

7. Математические методы обработки результатов экспертизы

8. Оценка согласованности экспертов

В процессе управления производственной системой непрерывно возникают ситуации, когда руководители различных уровней (от мастера до министра) сталкиваются с необходимостью выбора какого-либо одного из нескольких возможных вариантов действий. Выработка и принятие решения – узловая процедура в деятельности руководителя, которая определяет весь дальнейший ход процесса управления, в особенности конечный результат управленческой деятельности.

1.4. Ранжирование как метод коллективных экспертных оценок. Суть процедуры заключается в следующем: экспертам (специалистам в исследуемой области) предлагается провести ранжирование (расположение явлений в порядке возрастания (убывания) значимости) некоторых явлений (ценообразующих факторов). При этом каждому явлению (фактору) присваивается свой ранг (порядковое место явления (фактора) в общей последовательности факторов). Ранги принято обозначать порядковыми числами натурального ряда (1, 2, 3, 4 ……). При этом ранг 1 присваивается наиболее значимому фактору.

Сумма рангов, проставленных экспертом по всем факторам может быть вычислена по следующей формуле:

ri – ранг, поставленный i-ому фактору;

m – число исследуемых явления (факторов).

Суммы рангов проставленных каждым экспертом должны быть равны. Если же эксперт присваивает двум (трем и так далее) различным явлениям одинаковые ранги, т.е. считает два явления (фактора) равнозначными (связанные ранги), то суммы рангов проставленные каждым экспертом не будут совпадать

что в свою очередь не позволить произвести дальнейшие расчеты.

Для избежания нарушения выше представленного равенства, оценщику, проводящему экспертизу, необходимо произвести пересчет таких рангов, в так называемые стандартизированные ранги. Расчет осуществляется путем деления суммы мест, занимаемых связанными рангами, на их число. Пример расчета представлен в таблице 1.

В итоге мы получаем нормальную ранжировку, для которой выполнено основное условия ранжирования (1).

Далее по каждому явлению подсчитывается сумма рангов, проставленных каждым экспертам. Явлению (фактору), который получил наименьшую сумму рангов, присваивается соответственного ранг 1 и т.д. Если на данном этапе для некоторых явления суммы рангов совпадут, то необходимо снова произвести процедуру стандартизации рангов, но уже по рангам, полученным путем суммирования оценок экспертов. Пример ранжирования представлен в таблице 2. Необходимо отметить, что число экспертов (d) должно быть как минимум на 1 больше, чем число исследуемых факторов (m).

Получение рангов позволяет произвести дальнейшие расчеты весовых коэффициентов для каждого ценообразующего фактора при проведении корректировок в квалиметрических моделях и других методах сравнительного подхода. Однако окончательный вывод о возможности использования коллективного мнения экспертов возможно после определения согласованности мнений экспертов. Проверку согласованности мнений осуществляют с помощью коэффициента конкордации (согласия). Расчет коэффициента осуществляет по следующей формуле:

где,
m – количество оцениваемых факторов;
d – число экспертов;
Ri – сумма рангов по i-ому фактору (явлению);

Чем ближе значение коэффициента к 1, тем выше согласованность. Приемлемость полученных экспертных оценок определяется путем сравнения критерия значимости x2факт=d*(m-1)*W с табличным значением x2табл. при степенях свободы (m-1) и заданной вероятностью (например: Pо = 0,05, P=1-Po). Если полученное расчетным путем значение равно или выше табличного, то коэффициент конкордации существенен и с надежностью 0,95, мнения экспертов согласованны. Табличные значения критерия значимости представлены в таблице 3.

x2факт= 44,016 > x2табл.= 12,59

Таким образом, мнения экспертов, приведенные в нашем примере, достаточно согласованны и могут быть использованы в дальнейших расчетах.

Весовой коэффициент каждому фактору может быть присвоен с помощью следующей формулы:

ri – итоговый ранг фактора.
В нашем примере веса распределились бы следующим образом (таблица 4).

Представленный способ распределения весов не претендует на объективность, и обладает рядом недостатков, в частности: распределение весов основано на ранжирование факторов, что в свою очередь позволяет распределить факторы только с заданным интервалом, т.е. метод дает ответ, что фактор «А» важнее чем «Б», а «Б» важнее чем «С». Однако, согласно этому фактор «А» в два раза важнее чем фактор «С», что может не соответствовать действительности.

Источник

Экспертная оценка

Добавлено в закладки: 0

Что такое экспертная оценка? Описание и определение понятия.

Экспертная оценка – это оценка параметров процессов или предметов, которые невозможно непосредственно измерить, либо применить любые точные науки, поэтому оценка проводится на основании профессионального опыта специалиста, как одного, тогда экспертная оценка будет индивидуальной, так и нескольких, тогда экспертная оценка будет коллективной. Экспертная оценка может быть описательная, качественная, приблизительная, количественная и так далее. Помимо констатирования существующих фактов экспертная оценка может содержать прогноз дальнейшего развития или изменения ситуации, процесса, предмета.

Экспертная оценка – это диагностический метод измерения, процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения(выбора).

Виды экспертных оценок

Выделяют две группы экспертных оценок:

Совместное (коллективное) мнение, безусловно, обладает наибольшей точностью, по сравнению с индивидуальным мнением каждого отдельного специалиста.

Этот метод применяется для получения количественных оценок и качественных характеристик и свойств.

Методы экспертных оценок

Существует несколько методов экспертных оценок:

Этапы экспертного оценивания

Выделяют несколько этапов:

Постановка цели исследования

Перед тем как начать экспертное исследование, очень важно четко определить его цель (или проблему) и сформулировать соответствующий вопрос для экспертов.

Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по разным признакам:

Перечислим наиболее известные методы экспертных оценок:

У каждого метода существуют свои сроки проведения, а также потребность в экспертах. После того, как был выбран метод экспертного оценивания можно уже определять затраты на процедуру экспертной оценки – сюда включается оплата услуг экспертов, аренда помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы и так далее, тому подобное.

Подготовка информационных материалов

Эксперты перед вынесением суждения должны тщательно и с разных сторон рассмотреть представленную проблему. Для этого необходимо подготовить информационные материалы с описанием проблемы, уже имеющиеся статистические данные, справочные материалы, бланки анкет, а также инвентарь.

Стоит избегать следующих ошибок: упоминать разработчиков материалов, каким-то образом выделять тот или иной вариант решения или намекать на него, выражать (прямо или косвенно) отношение руководства к ожидаемым результатам. Данные должны быть разносторонние, а мнения и суждения экспертов непредвзятые и нейтральные. Необходимо заранее разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или же в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который обязательно контролирует соблюдение регламента, раздает необходимые материалы и анкеты, но сам своё мнение не высказывает.

Подбор экспертов

Эксперты должны быть компетентными в данных вопросах, а также должны обладать определенным опытом в областях, соответствующих решаемым задачам. При подборе экспертов желательно учитывать момент личной заинтересованности, который может стать очень существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран весь необходимый коллектив. При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов.

Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией.

Обычно к эксперту предъявляются такие требования:

Проведение экспертизы

Проведение экспертизы может отличаться от случая к случаю в зависимости от того, какой метод был выбран для использования. Общие рекомендации по этому вопросу следующие:

Основные этапы обработки экспертных оценок:

Подходы к экспертным оценкам

Основное содержание метода экспертных оценок заключается в рациональной организации работы одного или нескольких специалистов над поставленной проблемой с регистрацией и последующей обработкой полученных данных.

Методы экспертных оценок основаны на использовании экспертной информации. Они помогают установить степень сложности и актуальности проблемы, определить основные цели и критерии, выявить важные факторы и взаимосвязи между ними, выбрать наиболее предпочтительные альтернативы.

Прогнозные экспертные оценки – они отражают индивидуальность суждения каждого из специалистов относительно эффективности, безопасности, расхода ресурсов, а также перспектив развития объекта. Основаны прогнозные экспертные оценки как правило на мобилизации профессионального опыта и интуиции экспертов.

Интуитивные (или экспертные) методы исследований используются для анализа и диагностики состояния, для последующего прогнозирования вариантов развития объектов (особенно в тех случаях, где обьект не поддается предметному описанию или математической формализации;

Также интуитивные методы используются когда нет достаточной и достоверной статистики по характеристикам исследуемого объекта, или в условиях большой неопределенности среды функционирования объекта, например,рыночной среды или в экстремальных ситуациях.

Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями.

Кроме того, известны два подхода к использованию экспертов: индивидуальные оценки и групповые.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения проблемы, которая решается.

Методы получения индивидуального мнения членов экспертной группы основываются на том, что сначала получают предварительную информацию от экспертов, которых опрашивают независимо друг от друга, а потом полученные данные обрабатываются.

Индивидуальные мнения экспертов состоят в том, что каждый из них дает оценку независимо от других, а затем с помощью какого-либо приема эти оценки объединяются в одну общую оценку. Представляются индивидуальные экспертные оценки в виде оценок типа интервью или в виде аналитических записок.

Коллективные методы экспертизы основываются на групповой работе экспертов и получении суммарной оценки от всей группы специалистов в целом. Среди коллективных методов самым распространенным является метод мозговой атаки (это метод коллективной генерации идей или же метод группового рассмотрения с отнесенной оценкой), а также и метод Дельфи.

Следует заметить, что основной задачей экспертной оценки является максимальное приближение к истине. Экспертное оценивание становится способом получения недостоверной информации только в тех случаях, когда плохо подобраны специалисты и некачественно организована их работа.

После того, как эксперты выносят свою оценку, исследователь проверяет индивидуальные суждения экспертов, анализирует совокупности мнений экспертов с целью установления степени согласованности их между собой, а в случае наличия существенных расхождений в оценках выявляет причины разных мнений и определяет влияние компетентности экспертов на содержание их оценок и обоснований.

Экспертные ошибки

Реальность такова, что экспертные ошибки встречаются довольно часто. Но все же стоит помнить, что экспертные ошибки — это результат добросовестного заблуждения эксперта. Причины экспертных ошибок могут быть объективными, то есть не зависящими от эксперта как субъекта экспертного исследования, и субъективными, то есть коренящимися в образе мышления и (или) действиях самого эксперта. Ошибки могут быть обнаружены самим экспертом в ходе работы, комиссией экспертов при обсуждении результатов исследования или руководителем экспертного учреждения.

Характеризуя экспертов, стоит учитывать, что в результате выработки оценок могут иметь место ошибки двух видов:

Повторная экспертная оценка

Если возникает потребность в проведении повторной экспертизы, то стоит учесть некоторые моменты. Например, при повторной экспертизе решаются те же самые вопросы и исследуются те же самые объекты, что и при первичной, но уже другими экспертами. Оценка заключения повторной экспертизы проходит те же этапы, что и оценка первичной экспертной оценки. Причем как само заключение, так и выводы повторной экспертизы не имеют абсолютно никаких преимуществ по отношению к первичной, несмотря на возможные расхождения как в применяемых методах, средствах, методиках, так и в полученных результатах и в сформулированных выводах. И то, и другое заключения должны быть все также оценены с позиций относимости, допустимости, достоверности и достаточности.

Применимость метода экспертных оценок

Экспертные оценки применяются на любом этапе исследования: в определении цели и задачи самого исследования, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации какиех-либо процессов, событий или фактов, для обоснования адекватности используемого инструментария, в процессе выработки рекомендаций и т.д. Экспертные методы оценки применяют в ситуациях, когда выбор, обоснование и оценка решений не могут быть выполнены на основе точных расчетов.

Мы коротко рассмотрели экспертная оценка, ее этапы, методы и виды, а также ошибки

Оставляйте свои комментарии или дополнения к материалу.

Источник