Загрузка…
Не калибровка: комментарий и пометка эталон/антипример живут отдельно от оценок и предназначены менеджеру.
Согласие считается по ПУНКТАМ, не по итоговому баллу: два оценщика дают одинаковые 78%
и расходятся в половине пунктов. Пороги: каппа ≥ 0.60 и совпадение ≥ 85% — в премию;
0.40–0.60 — показывать без денег; ниже — переписать формулировку.
При базовой частоте выше 90% или ниже 10% каппа вырождается, пункт помечается
«не различает» — смотреть долю совпадений, в премию не брать.
Порог «мало данных» проверяется по ПРИМЕНИМЫМ парам (колонка «прим.»): пара
«не про этот звонок ↔ не про этот звонок» — согласие о неприменимости, о самом
пункте она не говорит ничего.
Обе галочки включены по умолчанию. Без «объединить версии» таблица покажет только
оценки текущей версии чек-листа — сразу после её подъёма там ноль пар, и вкладка
выглядит сломанной. Без «только первые звонки» в счёт идут повторные касания,
где половина пунктов неприменима: в раунде 1 таких было 13 из 30, и они роняли
здоровый пункт t8 с каппы 0.83 до 0.57.
scripts/assistants.json, здесь — только включённость и модель
Замечания — это то, что делает чек-лист сильнее. Расхождение может быть ошибкой РОПа, а не модели: без третьей категории модель бесконечно подгоняется под одного человека. Правим сначала формулировку пункта, потом промпт.
Кто и когда слушал разговор. Записи — персональные данные: ФИО, паспорта, маршруты. Одно прослушивание = одна строка, повторы в течение получаса не дублируются.