Загрузка…
Не калибровка: комментарий и пометка эталон/антипример живут отдельно от оценок и предназначены менеджеру.
Согласие считается по ПУНКТАМ, не по итоговому баллу: два оценщика дают одинаковые 78% и расходятся в половине пунктов. Пороги: каппа ≥ 0.60 и совпадение ≥ 85% — в премию; 0.40–0.60 — показывать без денег; ниже — переписать формулировку. При базовой частоте выше 90% или ниже 10% каппа вырождается, пункт помечается «не различает» — смотреть долю совпадений, в премию не брать.
Замечания — это то, что делает чек-лист сильнее. Расхождение может быть ошибкой РОПа, а не модели: без третьей категории модель бесконечно подгоняется под одного человека. Правим сначала формулировку пункта, потом промпт.