Альтернативные практики рецензирования* в научных журналах

Странное дело, но традиционное рецензирование, основанное на участии внешних (по отношению к редакции) специалистов, остается одной из самых ненаучных практик в науке. И даже то, что мы знаем об этой практике вызывает недоумение, которое можно выразить простым «как же так?». Известные проблемы рецензирования пытаются преодолеть разными способами, вплоть до отказа от самой процедуры (препринты тому пример). Некоторые из этих способов являются следствием развития новой парадигмы в научной коммуникации, а именно, «сначала dissemination, потом certification» (в противовес парадигме прошлого «certification —>dissemination»).

Ниже вы сможете ознакомиться с теми практиками рецензирования, которые уже нашли свое место в редакционной деятельности научных журналов. Так что, можно попробовать и вам, уважаемый редактор.

Альтернативные практики

Основная цель
  • интеллектуальные методы отбора рецензентов
  • авторы предлагают рецензентов (author-nominated reviewers)
  • профессиональные peer review агентства
Оптимизация выбора рецензентов
  • рецензирование «вне очереди», платное (fast-track peer review)
  • передача рецензий в другой журнал (portable review)
  • передача рецензий в журнал с более низким импакт-фактором в пределах одного издательства (cascade review)
  • 2-этапная система рецензирования (review editor [скрининг] + peer reviewers)
  • рецензирование «под впечатлением» (fast ranking review)
  • «шаблонное» рецензирование (questionnaire-based peer review)
Увеличение скорости рецензирования

 

  • совместное (2 и более рецензента) рецензирование (collaborative peer review, crowd-based peer review, mentoring peer review)
  • рецензирование с маскированием авторов (double-blinded peer review)
  • открытое рецензирование (раскрытие информации о приглашенных рецензентах, открытие рецензий, open peer review)
  • results-free review (сокрытие результатов исследования)
Повышение качества рецензирования

 

  • авторы приглашают рецензентов (author-guided peer review)
  • авторы приносят рецензии (author-directed peer review, pre-submission review)
  • ограничение количества раундов рецензирования (re-review opt-out, «as-is» review)
  • ограничение числа внешних рецензентов (одного достаточно [± editor])
  • отказ от внешнего рецензирования (редактор как рецензент, reviewing editor)
Снижение бремени рецензирования

 

Примечание. * под практикой рецензирования понимается комплекс действий по организации и проведению профессиональной сертификации научного знания.

Редактор как рецензент? Даже лучше …

В традиционной системе рецензирования как-то не принято, чтобы в качестве рецензента выступал редактор. Более того, сами редакторы предпочитают скрывать свое участие в подготовке статей в качестве рецензентов.  Потом разговоров не оберешься … Но, вот что оказалось:  Reviewing Editor делает все так же хорошо, как и внешние рецензенты, но только … быстрее. Спасибо eLife! Еще один камень в стену evidence-based editing и шаг к профессионализации редакторского сообщества.

Statement of Principles for Scientific Merit Review

Принципы научного рецензирования заявок на гранты, которые вполне могут быть использованы и в качестве принципов рецензирования в научных журналах. От себя добавлю, что рецензирование заявок на гранты еще больший «черный ящик», чем рецензирование рукописей. Значит, рано или поздно, будут реформировать 🙂

  • Expert Assessment (оценивает специалист)
  • Transparency (прозрачность правил и процедур)
  • Impartiality (беспристрастность, справедливость)
  • Appropriateness (уместность, соответствие условиям конкурса)
  • Confidentiality (неразглашение)
  • Integrity and Ethical Considerations (добросовестность и этические принципы

 

 

Open and transparent peer review #12 (open peer review — что это значит?)

В который раз удивляюсь тому, на что европейцам денег не жалко. А не жалко им было потратиться на это (часть 1), это (часть 2) и еще это (часть 3). И ведь потратились, чтобы понять, что считать open peer review. Кропотливая работа. У нас такое не оценят …

Как и ожидалось, open peer review — это an umbrella term :), который включает, главным образом, 1) раскрытие участников процесса рецензирования (open identities; в первую очередь информации об авторах и рецензентах, в редких случаях — о редакторах), 2) открытие рецензий (open reports; публикация рецензий вместе со статьей, хотя на мой взгяд можно трактовать шире), и 3) обеспечение свободного доступа сообщества к процессу рецензирования (open participation).

Таким образом, если вы используете в дискуссии словосочетание «открытое рецензирование» будьте любезны пояснить, что имеете в виду. Иначе люди знающие вас не поймут 🙂

C учетом этой информации, наверное, в названии рубрики стоило бы оставить только «Open …». Однако, на мой взгляд, под термином open peer review чаще всего понимают именно open identities (т.е. signed). Чтобы не путаться и особо выделить необходимость открытия рецензий и/или исправленных версий рукописи, продолжу как есть.

Open and transparent peer review #11 (эффективность та же, портфель толще: случай с педиатрическими журналами)

Среди журналов, практикующих модель прозрачного рецензирования есть один … педиатрический — BMC pediatrics. Посмотрел, как эта практика повлияла на показатели журнала. Как и в предыдущем случае использовал scimagojr, с помощью которого анализировал журналы предметной категории Pediatrics, Perinatology and Child Health. На этот раз те, что еще в 2006 г. были из числа open access, всего 16. К 2015 г. значения показателей SJR и средней цитируемости одной публикации в течение 2-летнего периода у BMC pediatrics была в пределах линейного тренда (см. рис., треугольник — BMC pediatrics). А вот число опубликованных документов за 10 лет взлетело в 7,3 раза (в журналах сравнения максимум в 1,5 раза). Вывод: технология прозрачного рецензирования не влияет на качество публикуемых рукописей, но «надувает» портфель. Кому-то это очень пригодилось бы 🙂 Опять же, не доказательство, но гипотеза.

%d0%bf%d0%b5%d0%b4%d0%b8%d0%b0%d1%82%d1%80%d0%b8%d1%8f

Open and transparent peer review #10 (эффективность та же, портфель толще)

Благие намерения по повышению прозрачности редакционной деятельности ничего не будут стоить, если после перехода на модель прозрачного рецензирования журнал начнет «худеть» (портфель), «беднеть» (денежные потоки), «портиться» (качество публикуемого). Но вот пока все не так уж и плохо. Проверил на примере Atmospheric Chemistry and Physics (ACP), одного из пионеров истории с прозрачным рецензированием. Взял данные из SCIMAGOJR по журналам, отнесенным к предметной категории Atmospheric Science (к этой категории отнесен и ACP). Для 2006 г.  данные были для 70 журналов, из них по показателю SJR к ACP были близки (+/- 10%) 5 журналов (Global Biogeochemical Cycles, Monthly Weather Review, Journals of the Atmospheric Sciences, Journal of Hydrometeorology, Quarterly Journal of the Royal Meteorological Society). Через 10 лет, к 2015 г. изменение значений SJR во всех журналах было линейным (см. рис. ниже, треугольник — ACP). Аналогичным образом изменились значения такого показателя как «среднее число цитат на 1 документ для 2-летнего периода». Единственное в чем преуспел ACP, так это нескромно увеличил свой портфель (в 2,3  раза в сравнении с увеличением в 1,2-1,9 раза числа опубликованных за год статей у других журналов). И это притом, что в 2006-07 году rejection rate у ACP был одним из самых низких среди журналов этой предметной категории (12% в сравнении с 26-57% в журналах сравнения). Вывод: это конечно еще не доказательство, но вполне подойдет для обоснования гипотезы, а именно «переход научного журнала на модель прозрачного рецензирования при низком уровне отказов позволяет увеличить портфель, сохранив качество публикуемых рукописей». Надеюсь, это первое сравнительное исследование этого вопроса ))

sjr-and-citations

Effectiveness of peer review #1 (у «элитных» другие проблемы)

Элитные научные журналы, конечно же, избалованы судьбой. Лучшие редакторы, армия рецензентов, огромный портфель … Имея такой ресурс элитные журналы как правило эффективно избавляются от «слабых» рукописей. И это не удивительно. Хорошо известно, что peer reviewers дают вполне согласованные оценки, когда их просят «ткнуть пальцем» в плохое: рукопись, заявку на грант. Но вот выделить лучшее — с этим беда-а-а-а. Вот и для Annals of Internal Medicine, British Medical Journal, and The Lancet это показали, а до них и Science под ручку с Nature на том же засветились. Это — проблема как для журналов («сито» настолько крупное, что достаточно крупные «драгоценные камни» смывает), так и для науки — от 200 до 500 дней задержки с публикацией отклоненных и в будущем высоко цитируемых статей. Да-а-а … Вот и мою рукопись недавно Science с Nature отклонили. Беда-а-а-а 🙂