Кто стоит за экспертизой? Как современные технологии меняют отбор экспертов

Технологии на службе оценки

Тема квалификационного экзамена для практических психологов продолжает вызывать горячие споры. На этот раз в центре внимания оказывается вопрос: кто на самом деле оценивает экспертов? Часто звучит риторическое замечание: А судьи кто?. Эта фраза не только витает в воздухе, но и активно обсуждается как на страницах профессиональной литературы, так и в социальных сетях.

Недавно Елена Ивановна Ярославцева, признанный авторитет в области экспертизы, отметила: Эксперты тоже должны подтверждать свои компетенции. Чем больше экспертов, тем более узкий круг их ответственности, и возникают сомнения в их квалификации. Такой подход действительно требует пересмотра старых стандартов.

Современные методы оценки

Международные стандарты оценки квалификаций серии ISO-1700 исключают возможность оценивания в формате один на один. С внедрением видео-конференц-связи комиссии могут заседать из разных уголков страны, минимизируя влияние на результаты. Однако многие до сих пор не знакомы с основами современных технологий тестирования. Это приводит к тому, что скрытые этапы отбора экспертов остаются вне поля зрения.

В рамках флагманского конкурса Лидеры России осуществляется предварительный отбор экспертов, который проходит в два этапа:

• Создание тестовых заданий: группа экспертов разрабатывает большой банк вопросов, участвуя в создании 300 заданий.
• Анонимная оценка: каждый эксперт оценивает задания коллег, не зная их авторства.

Подчеркивается важность независимого подхода, чтобы оценки одних экспертов не влияли на оценивания других. Результаты согласовываются автоматически, позволяя выявить не только неудачные задания, но и малокомпетентных экспертов. Критерии: не менее 50% успешных заданий и не больше 60% ошибок при оценке.

Обучение и новые перспективы

Мы предлагаем всем заинтересованным познакомиться с этими технологиями в рамках Дистанционной психометрической школы, которая уже седьмой год подряд приглашают участников на обучение в онлайн-формате. В новом зимнем цикле планируется новая лекция о кластерном анализе в тестологии, которая также коснется вопросов отбора экспертов.

Участники смогут участвовать в имитационном эксперименте, где на практике узнают, как проходит процесс оценки экспертов. Эта возможность точно предоставит ценный опыт для профессионалов в данной области, сообщает Психологическая газета.