ICAP.ID

При переходе на компетентностную подготовку эксплуатанту требуется программа обеспечения согласованности инструкторов — Instructor Concordance Assurance Programme.

Надзорный орган может устанавливать минимально допустимый уровень согласованности по парку, группе инструкторов, отдельной компетенции или эксплуатанту с учётом его риска.

Для выполнения такого требования недостаточно таблицы с итоговыми оценками. Нужны стандартизированный материал, независимое оценивание, ослепление и воспроизводимый расчёт.

Практическая задача проста: определить, одинаково ли разные инструкторы оценивают один и тот же материал, в каком направлении расходятся и соответствует ли их оценивание принятому эталону.

ICAP.ID предоставляет оценщикам один и тот же стандартизированный материал и измеряет характеристики их оценивания.

Отдельно рассчитываются межэкспертная согласованность, применение критериев и шкалы, соответствие эталону организации и устойчивость результата во времени.

Эти характеристики не объединяются в один общий балл.

Рабочий цикл состоит из трёх этапов: калибровка измеряет текущее состояние, стандартизация устраняет выявленные расхождения, повторная оценка проверяет результат.

В EBT.ID контур калибровки встроен в программу. Как отдельный продукт ICAP.ID применяется там, где EBT.ID не используется: при квалификационных проверках, подготовке на тип, линейной и командирской подготовке и стандартизации инструкторов.

• Домен как единица настройки и изоляции: собственная методика, критерии и шкалы; поддерживается восемь типов.
• Четыре вида эталона: консенсусный, нормативный, объективный и отсутствие эталона.
• Эталон может задаваться диапазоном или множеством допустимых решений.
• Серверное ослепление: до подписи собственной формы участник не видит эталона и чужих ответов независимо от должности.
• Якорные задания и контроль дрейфа эталона во времени.
• Профиль оценщика, корректирующие мероприятия, повторная проверка и решение о необходимости пересмотра ранее выставленных оценок.

Системе нужны стандартизированные материалы, независимые оценки участников и методика соответствующего домена.

Работа не требует обязательной платформы подготовки, кадровой системы или внешнего хранилища.

Расчётное ядро работает по подготовленному снимку наблюдений и версии методики без обращения к оперативной базе. Один и тот же снимок должен давать один и тот же результат.

В системе используются 11 паспортов мер с указанием источника формулы: AC1 и AC2 Гуэ, порядковая альфа Криппендорфа, коэффициент Жаккара для пересечения наборов, три способа оценки соответствия эталону и объективный бинарный эталон.

Доверительные интервалы рассчитываются методом линеаризации Гуэ.

Согласованность и соответствие эталону оцениваются раздельно. Группа может демонстрировать высокую согласованность и одновременно систематически расходиться с эталоном.

Такое состояние требует отдельного диагноза: необходимо определить, требуется ли стандартизация оценщиков, пересмотр эталона или уточнение методики.

Эталон задаётся диапазоном там, где единственное точечное значение методически необоснованно.

Применение меры к несовместимому типу шкалы блокируется до расчёта.

Сводного рейтинга оценщика и поимённой сортировки по баллу нет. Измеримый рейтинг с последствиями заставляет оценщиков сходиться к середине шкалы, и инструмент перестаёт измерять то, ради чего создан.

Среднее арифметическое порядковой оценки не используется как показатель качества. Направление отклонения представляется долями отклонений в каждую сторону.

По одному заданию вывод об устойчивом смещении не формируется. Пока объём наблюдений меньше методического минимума, направление также не объявляется.

Квалификационные и кадровые решения система не принимает.

ICAP.ID не предназначен для универсального экспертного оценивания вне заявленного авиационного контура. Классификация рисков, аудиты процессов и оценка поставщиков в продукт не входят.