Решения
Анализ согласованности оценивания
Кампания на стандартизированном материале показывает, одинаково ли инструкторы оценивают один и тот же материал и насколько их оценки соответствуют эталону. Внедрение ICAP.ID для этого не обязательно.
Что мы делаем
Готовим стандартизированный материал и проводим кампанию, в которой инструкторы и экзаменаторы независимо оценивают одни и те же задания, не видя эталона и ответов других участников.
Затем рассчитываем показатели по методологии ICAP.ID без обязательного внедрения продукта.
Согласованность между оценщиками и соответствие эталону оцениваются раздельно. Группа может быть внутренне согласована и одновременно систематически расходиться с эталоном, поэтому эти состояния требуют разных корректирующих действий.
Методика применима не только к EBT, но и к квалификационным проверкам, подготовке на тип, линейной и командирской подготовке и стандартизации инструкторов.
Как работаем
- Данные
- Анализ
- Выводы
- Рекомендации
Форма результата
От вас: участники кампании, действующая модель компетенций и шкала, материал для заданий — записи сессий, описания случаев или готовые видеоматериалы. При необходимости материал может быть подготовлен нами.
Результат: отчёт по кампании с раздельными показателями согласованности и соответствия эталону, анализом расхождений, обезличенными профилями участников и перечнем корректирующих мероприятий.
Приёмка: разбор результатов с участниками кампании как первый этап стандартизации.
Если данных не хватает: вывод о направлении отклонения не формируется. По одному заданию устойчивое смещение не определяется.
Что получает авиакомпания
Авиакомпания получает измеренное состояние системы оценивания: уровень согласованности инструкторского состава, характер расхождений и их направление.
Результат показывает, где требуется стандартизация, где пересмотр эталона или критериев, а где объёма данных пока недостаточно для вывода.
Материалы кампании могут использоваться в программе обеспечения согласованности инструкторов при переходе на компетентностную подготовку.