Inter-Rater Reliability или «сколько людей, столько и мнений»

Как правило, редакторы ориентируются на мнение 1-2, реже 3, рецензентов. Предполагается, что «в среднем» эти рецензенты выдадут похожую оценку рукописи, будь она плоха или хороша. Однако исследования согласованности оценок рецензентов по одним и тем же рукописям демонстрируют, что согласованность практически нулевая.

Что же делать, если двое рецензентов разошлись в оценке рукописи? Звать третьего? А что, если редактор получил близкие (положительные или отрицательные) оценки от разных рецензентов? Стоит ли им доверять?

Я бы посоветовал редакторам оперировать не заключениями рецензентов (печатать/непечатать или достойная/»мусор»), а упомянутыми ими конкретными ошибками. Это может быть куда важнее учета «преимуществ» рецензируемой публикации. Ведь известно, что психологическая «цена» потерь (здесь, пропущенных ошибок) заметно выше, «цены» приобретений. Ну а рецензенты … Сколько людей, столько и мнений 🙂