Альтернативные практики рецензирования* в научных журналах

Странное дело, но традиционное рецензирование, основанное на участии внешних (по отношению к редакции) специалистов, остается одной из самых ненаучных практик в науке. И даже то, что мы знаем об этой практике вызывает недоумение, которое можно выразить простым «как же так?». Известные проблемы рецензирования пытаются преодолеть разными способами, вплоть до отказа от самой процедуры (препринты тому пример). Некоторые из этих способов являются следствием развития новой парадигмы в научной коммуникации, а именно, «сначала dissemination, потом certification» (в противовес парадигме прошлого «certification —>dissemination»).

Ниже вы сможете ознакомиться с теми практиками рецензирования, которые уже нашли свое место в редакционной деятельности научных журналов. Так что, можно попробовать и вам, уважаемый редактор.

Альтернативные практики

Основная цель
  • интеллектуальные методы отбора рецензентов
  • авторы предлагают рецензентов (author-nominated reviewers)
  • профессиональные peer review агентства
Оптимизация выбора рецензентов
  • рецензирование «вне очереди», платное (fast-track peer review)
  • передача рецензий в другой журнал (portable review)
  • передача рецензий в журнал с более низким импакт-фактором в пределах одного издательства (cascade review)
  • 2-этапная система рецензирования (review editor [скрининг] + peer reviewers)
  • рецензирование «под впечатлением» (fast ranking review)
  • «шаблонное» рецензирование (questionnaire-based peer review)
Увеличение скорости рецензирования

 

  • совместное (2 и более рецензента) рецензирование (collaborative peer review, crowd-based peer review, mentoring peer review)
  • рецензирование с маскированием авторов (double-blinded peer review)
  • открытое рецензирование (раскрытие информации о приглашенных рецензентах, открытие рецензий, open peer review)
  • results-free review (сокрытие результатов исследования)
Повышение качества рецензирования

 

  • авторы приглашают рецензентов (author-guided peer review)
  • авторы приносят рецензии (author-directed peer review, pre-submission review)
  • ограничение количества раундов рецензирования (re-review opt-out, «as-is» review)
  • ограничение числа внешних рецензентов (одного достаточно [± editor])
  • отказ от внешнего рецензирования (редактор как рецензент, reviewing editor)
Снижение бремени рецензирования

 

Примечание. * под практикой рецензирования понимается комплекс действий по организации и проведению профессиональной сертификации научного знания.

Редактор как рецензент? Даже лучше …

В традиционной системе рецензирования как-то не принято, чтобы в качестве рецензента выступал редактор. Более того, сами редакторы предпочитают скрывать свое участие в подготовке статей в качестве рецензентов.  Потом разговоров не оберешься … Но, вот что оказалось:  Reviewing Editor делает все так же хорошо, как и внешние рецензенты, но только … быстрее. Спасибо eLife! Еще один камень в стену evidence-based editing и шаг к профессионализации редакторского сообщества.

Inter-Rater Reliability или «сколько людей, столько и мнений»

Как правило, редакторы ориентируются на мнение 1-2, реже 3, рецензентов. Предполагается, что «в среднем» эти рецензенты выдадут похожую оценку рукописи, будь она плоха или хороша. Однако исследования согласованности оценок рецензентов по одним и тем же рукописям демонстрируют, что согласованность практически нулевая.

Что же делать, если двое рецензентов разошлись в оценке рукописи? Звать третьего? А что, если редактор получил близкие (положительные или отрицательные) оценки от разных рецензентов? Стоит ли им доверять?

Я бы посоветовал редакторам оперировать не заключениями рецензентов (печатать/непечатать или достойная/»мусор»), а упомянутыми ими конкретными ошибками. Это может быть куда важнее учета «преимуществ» рецензируемой публикации. Ведь известно, что психологическая «цена» потерь (здесь, пропущенных ошибок) заметно выше, «цены» приобретений. Ну а рецензенты … Сколько людей, столько и мнений 🙂

Open and transparent peer review #9 (принудительная прозрачность)

Размышления навеяны случаем, рассмотренным экспертами COPE (CASE NUMBER: 16-12), и, по-видимому, связанным с этим делом документом Who “owns” peer reviews? Вопрос который я себе задал: «могу ли я (в смысле, не будет ли это плохо), будучи автором, опубликовать/предать огласке рецензию?». Категорически нет? Или при определенных условиях? Для себя ответил, что если никаких обязательств я на себя не брал, то никаких проблем. Я бы, скорее всего, не стал раскрывать имя рецензента. Но в остальном … А что об этом думаете вы? Надо сказать, что в российской действительности публичное обсуждение рецензии (заявки на грант) я уже встречал.