Глава 5. Оценка валидности утверждений

Что говорят свидетели, дающие правдивые показания?


...

Оценки, полученные с помощью ОВУ, носят субъективный характер



Все, что мы здесь говорили об оценивании утверждений с помощью ОВУ, не оставляет ни малейших сомнений в том, что эта процедура носит субъективный характер. Это значит, что они в значительной степени зависят от того, какую интерпретацию в данном случае предложит тот или иной эксперт. Поэтому очень важно понимать, насколько схожие результаты получают разные эксперты при оценке одних и тех же утверждений. Если бы, проанализировав один и тот же материал, эксперты приходили к разным выводам, применение ОВУ было бы неуместным и, следовательно, неоправданным. Существует два типа соглашений между двумя экспертами, проводящими оценку. Во-первых, эксперты могут прийти к соглашению относительно суммарной оценки по методике КАУК по данному утверждению. Во-вторых, эксперты могут вырабатывать единое мнение по поводу наличия или отсутствия в утверждении каждого из выработанных критериев. Результаты исследований показали, что уровень согласия между экспертами по поводу общего показателя по КАУК, как правило, высок и вполне удовлетворителен. Вместе с тем уровень согласия между экспертами по каждому из критериев зачастую весьма низок7.


7 В исследованиях, авторы которых отмечали в своих отчетах общий уровень согласия между экспертами, этот показатель неизменно был высок, но никогда не достигал максимального уровня (Anson, Golding & Gully, 1993; Boychuk, 1986; Hofer, Akehurst & Metzger, 1996; Steller, Weliershaus & Wolf, 1988) (в материалах по этим исследованиям фигурируют показатели согласия между экспертами по выделенным нами критериям). Во многих исследованиях авторы вычисляли уровень согласия между экспертами по каждому выделенному критерию, который зачастую оказывался достаточно низок.


Альтернативный способ оценки надежности заключается в том, чтобы предложить одному и тому же эксперту еще раз оценить утверждение по прошествии некоторого времени и проанализировать уровень сопоставимости этих оценок. Горовиц и его коллеги предложили экспертам проделать такую процедуру. В результате сложилась ситуация, аналогичная той, что была с оценками разных экспертов, — высокий уровень совпадений между оценками одного и того же эксперта наблюдался в тех случаях, когда предметом рассмотрения был общий суммарный показатель по КАУК, но когда исследователи попытались оценить выделенные критерии по отдельности, по некоторым из них уровень согласованности экспертных оценок оказался чрезвычайно низким.

По мнению Хёфера и Кёнкена (Hofer & Kohnken, 1999), такой низкий уровень согласия между экспертами, участвовавшими в исследованиях с применением процедуры КАУК, можно объяснить слабой профессиональной подготовкой экспертов. Они разработали трехнедельную обучающую программу и представили результаты исследования, согласно которым после прохождения трехнедельной подготовки эксперты демонстрировали достаточно высокий уровень согласия, даже при рассмотрении оценок, полученных по отдельным критериям.

Однако до сих пор не было проведено ни одного исследования, направленного на изучение уровня согласия между оценками по ОВУ, — иными словами, которое бы объединяло показатель по КАУК с результатами применения Проверочного листа. Ламерс-Уинкелман (Lamers-Winkelman, 1995) полагает, что вполне вероятно, что далеко не всегда результат будет удовлетворительным. Кён-кен (немецкий профессор, специалист в области судебной психологии, нередко выступающий в Германии в качестве эксперта на судебных разбирательствах по уголовным делам) согласен с Ламерс-Уинкелман и считает, что причиной тому — Проверочный лист. Если в Германии двое экспертов, привлеченных к работе по уголовному делу, расходятся во мнениях по поводу достоверности того или иного утверждения, чаще всего они придерживаются разных точек зрения и относительно влияния внешних факторов на это утверждение (Kohnken, 1997, личное общение).