4.6 KiB
Анализ ревью
После того как эксперты отправляют свои оценки, система автоматически анализирует их, вычисляет средний балл проекта и определяет, завершена ли экспертиза.
Это происходит при каждом изменении ревью: при завершении, отклонении или отказе от ревью.
Средний балл
Средний балл проекта рассчитывается как среднее арифметическое баллов всех завершённых ревью, округлённое до целого. Незавершённые, отклонённые и удалённые ревью в расчёте не участвуют. Если ни одно ревью ещё не завершено, средний балл не отображается.
Завершение экспертизы
Экспертиза проекта считается завершённой, когда выполнены два условия одновременно:
- Все назначенные эксперты завершили свои ревью (не считая отклонённых и удалённых).
- Количество завершённых ревью не меньше минимально необходимого количества, заданного в настройках номинации.
Спорные оценки
Когда эксперты расходятся во мнениях слишком сильно, система помечает проект как спорный. Это позволяет организатору обратить внимание на такие проекты и при необходимости назначить дополнительных экспертов.
Как определяется спорность
Проверка спорности происходит, когда набрано ровно минимально необходимое количество ревью. Система сравнивает разброс оценок — разницу между максимальным и минимальным баллом среди всех завершённых ревью — с допустимым порогом, заданным в настройках номинации в процентах от шкалы оценки.
- Если разброс превышает порог — проект помечается как спорный и экспертиза не завершается, чтобы организатор мог назначить дополнительного эксперта.
- Если разброс в пределах порога — проект не спорный, экспертиза завершается.
Дополнительные ревью
Когда организатор назначает дополнительного эксперта на спорный проект и тот завершает ревью, количество ревью превышает минимально необходимое. В этом случае:
- Проект остаётся помеченным как спорный (метка не снимается автоматически).
- Экспертиза завершается, когда все назначенные эксперты завершили свои ревью.
- Модератор должен вручную снять метку спорности, если считает, что дополнительное ревью разрешило спор.
При недостатке ревью
Если количество завершённых ревью меньше минимально необходимого (например, ревью было отклонено), метка спорности снимается и экспертиза остаётся незавершённой.
Пересчёт проектов всей номинации
При изменении настроек оценки в номинации запускается пересчёт всех проектов в номинации.
При пересчёте:
- Затрагиваются только проекты с незавершённой или завершённой экспертизой.
- Метка спорности сбрасывается у всех проектов и вычисляется заново.