Альтернативные практики рецензирования* в научных журналах

Странное дело, но традиционное рецензирование, основанное на участии внешних (по отношению к редакции) специалистов, остается одной из самых ненаучных практик в науке. И даже то, что мы знаем об этой практике вызывает недоумение, которое можно выразить простым «как же так?». Известные проблемы рецензирования пытаются преодолеть разными способами, вплоть до отказа от самой процедуры (препринты тому пример). Некоторые из этих способов являются следствием развития новой парадигмы в научной коммуникации, а именно, «сначала dissemination, потом certification» (в противовес парадигме прошлого «certification —>dissemination»).

Ниже вы сможете ознакомиться с теми практиками рецензирования, которые уже нашли свое место в редакционной деятельности научных журналов. Так что, можно попробовать и вам, уважаемый редактор.

Альтернативные практики

Основная цель
  • интеллектуальные методы отбора рецензентов
  • авторы предлагают рецензентов (author-nominated reviewers)
  • профессиональные peer review агентства
Оптимизация выбора рецензентов
  • рецензирование «вне очереди», платное (fast-track peer review)
  • передача рецензий в другой журнал (portable review)
  • передача рецензий в журнал с более низким импакт-фактором в пределах одного издательства (cascade review)
  • 2-этапная система рецензирования (review editor [скрининг] + peer reviewers)
  • рецензирование «под впечатлением» (fast ranking review)
  • «шаблонное» рецензирование (questionnaire-based peer review)
Увеличение скорости рецензирования

 

  • совместное (2 и более рецензента) рецензирование (collaborative peer review, crowd-based peer review, mentoring peer review)
  • рецензирование с маскированием авторов (double-blinded peer review)
  • открытое рецензирование (раскрытие информации о приглашенных рецензентах, открытие рецензий, open peer review)
  • results-free review (сокрытие результатов исследования)
Повышение качества рецензирования

 

  • авторы приглашают рецензентов (author-guided peer review)
  • авторы приносят рецензии (author-directed peer review, pre-submission review)
  • ограничение количества раундов рецензирования (re-review opt-out, «as-is» review)
  • ограничение числа внешних рецензентов (одного достаточно [± editor])
  • отказ от внешнего рецензирования (редактор как рецензент, reviewing editor)
Снижение бремени рецензирования

 

Примечание. * под практикой рецензирования понимается комплекс действий по организации и проведению профессиональной сертификации научного знания.

Open and transparent peer review #12 (open peer review — что это значит?)

В который раз удивляюсь тому, на что европейцам денег не жалко. А не жалко им было потратиться на это (часть 1), это (часть 2) и еще это (часть 3). И ведь потратились, чтобы понять, что считать open peer review. Кропотливая работа. У нас такое не оценят …

Как и ожидалось, open peer review — это an umbrella term :), который включает, главным образом, 1) раскрытие участников процесса рецензирования (open identities; в первую очередь информации об авторах и рецензентах, в редких случаях — о редакторах), 2) открытие рецензий (open reports; публикация рецензий вместе со статьей, хотя на мой взгяд можно трактовать шире), и 3) обеспечение свободного доступа сообщества к процессу рецензирования (open participation).

Таким образом, если вы используете в дискуссии словосочетание «открытое рецензирование» будьте любезны пояснить, что имеете в виду. Иначе люди знающие вас не поймут 🙂

C учетом этой информации, наверное, в названии рубрики стоило бы оставить только «Open …». Однако, на мой взгляд, под термином open peer review чаще всего понимают именно open identities (т.е. signed). Чтобы не путаться и особо выделить необходимость открытия рецензий и/или исправленных версий рукописи, продолжу как есть.

Open and transparent peer review #11 (эффективность та же, портфель толще: случай с педиатрическими журналами)

Среди журналов, практикующих модель прозрачного рецензирования есть один … педиатрический — BMC pediatrics. Посмотрел, как эта практика повлияла на показатели журнала. Как и в предыдущем случае использовал scimagojr, с помощью которого анализировал журналы предметной категории Pediatrics, Perinatology and Child Health. На этот раз те, что еще в 2006 г. были из числа open access, всего 16. К 2015 г. значения показателей SJR и средней цитируемости одной публикации в течение 2-летнего периода у BMC pediatrics была в пределах линейного тренда (см. рис., треугольник — BMC pediatrics). А вот число опубликованных документов за 10 лет взлетело в 7,3 раза (в журналах сравнения максимум в 1,5 раза). Вывод: технология прозрачного рецензирования не влияет на качество публикуемых рукописей, но «надувает» портфель. Кому-то это очень пригодилось бы 🙂 Опять же, не доказательство, но гипотеза.

%d0%bf%d0%b5%d0%b4%d0%b8%d0%b0%d1%82%d1%80%d0%b8%d1%8f

Open and transparent peer review #10 (эффективность та же, портфель толще)

Благие намерения по повышению прозрачности редакционной деятельности ничего не будут стоить, если после перехода на модель прозрачного рецензирования журнал начнет «худеть» (портфель), «беднеть» (денежные потоки), «портиться» (качество публикуемого). Но вот пока все не так уж и плохо. Проверил на примере Atmospheric Chemistry and Physics (ACP), одного из пионеров истории с прозрачным рецензированием. Взял данные из SCIMAGOJR по журналам, отнесенным к предметной категории Atmospheric Science (к этой категории отнесен и ACP). Для 2006 г.  данные были для 70 журналов, из них по показателю SJR к ACP были близки (+/- 10%) 5 журналов (Global Biogeochemical Cycles, Monthly Weather Review, Journals of the Atmospheric Sciences, Journal of Hydrometeorology, Quarterly Journal of the Royal Meteorological Society). Через 10 лет, к 2015 г. изменение значений SJR во всех журналах было линейным (см. рис. ниже, треугольник — ACP). Аналогичным образом изменились значения такого показателя как «среднее число цитат на 1 документ для 2-летнего периода». Единственное в чем преуспел ACP, так это нескромно увеличил свой портфель (в 2,3  раза в сравнении с увеличением в 1,2-1,9 раза числа опубликованных за год статей у других журналов). И это притом, что в 2006-07 году rejection rate у ACP был одним из самых низких среди журналов этой предметной категории (12% в сравнении с 26-57% в журналах сравнения). Вывод: это конечно еще не доказательство, но вполне подойдет для обоснования гипотезы, а именно «переход научного журнала на модель прозрачного рецензирования при низком уровне отказов позволяет увеличить портфель, сохранив качество публикуемых рукописей». Надеюсь, это первое сравнительное исследование этого вопроса ))

sjr-and-citations

Open and transparent peer review #9 (принудительная прозрачность)

Размышления навеяны случаем, рассмотренным экспертами COPE (CASE NUMBER: 16-12), и, по-видимому, связанным с этим делом документом Who “owns” peer reviews? Вопрос который я себе задал: «могу ли я (в смысле, не будет ли это плохо), будучи автором, опубликовать/предать огласке рецензию?». Категорически нет? Или при определенных условиях? Для себя ответил, что если никаких обязательств я на себя не брал, то никаких проблем. Я бы, скорее всего, не стал раскрывать имя рецензента. Но в остальном … А что об этом думаете вы? Надо сказать, что в российской действительности публичное обсуждение рецензии (заявки на грант) я уже встречал.

Open and transparent peer review #8 (пионеры)

Список «пионеров» модели прозрачного рецензирования в процессе формирования. Это журналы, которые внедрили эту модель в редакционную деятельность. В одних журналах рецензенты назначались редакторами, в других — это было community + рецензенты. На данный момент (05.11.2016) выглядит он следующим образом:

  1. Journal of Interactive Media in Education — 1996 г. [1]
  2. Electronic Transactions of Artificial Intelligence (ETAI) — 1997 [2]
  3. Atmospheric Chemistry and Physics — 2001 г. [3]
  4. Biology Direct — 2006 г. [4]
  5. EMBO Journal — 2009 г. [5]

И это не считая журналы, в которых были проведены первые исследования эффективности прозрачного рецензирования (Medical Journal of Australia, 1996 и 1998 гг.) или проводилось исследование эффективности предпубликационного публичного обсуждения (Nature, 2006). Nature отказались от модели предпубликационного обсуждения. Причину можно определить как: «it is more difficult to obtain lively discussion when the number of contributed articles increases«. О переходе Medical Journal of Australia на новую модель данных пока нет.

Источники:

  1. Pöschl, U. (2012). Multi-stage open peer review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation. Front. Comput. Neurosci. 6:33. doi:10.3389/fncom.2012.00033
  2. Sandewall E. Maintaining Live Discussion in Two-Stage Open Peer Review. Frontiers in Computational Neuroscience. 2012;6:9. doi:10.3389/fncom.2012.00009. (со ссылкой на Sandewall, E. (1997). Publishing and reviewing in the ETAI. ETAI 1, 1–12)
  3. Pöschl, U. (2004). Interactive journal concept for improved scientific publishing and quality assurance. Learn. Pub. 17, 105–113.
  4. Koonin EV, Landweber LF, Lipman DJ. Biology direct: celebrating 7 years of open, published peer review. Biology Direct. 2013;8:11. doi:10.1186/1745-6150-8-11.
  5. Rørth P. The EMBO Journal 2009: new initiatives. The EMBO Journal. 2009;28(1):1-3. doi:10.1038/emboj.2008.250.

Open and transparent peer review #7 (rejected manuscripts)

Подготовлено по результатам  коллективного «расследования» практики открытия результатов рецензирования рукописей, которым было отказано в публикации (подробнее см. группу Этика науки на ФБ). Вот они, пионеры 🙂 (обновлено 04.11.16)

  1. Atmospheric Chemistry and Physics (см. пункт 7), IF =5,1
  2. Biogeosciences (см. пункт 7), IF =3,7
  3. F1000 Research (см. пункт 12), IF = не имеет, категория Q1 (Scopus) по теме Pharmacology, Toxicology and Pharmaceutics
  4. Research Ideas and Outcomes (здесь), метрик нет (журнал новенький), но свою «печать» поставил Science
  5. Wellcome Open Research (пункт 12), научный и рецензируемый … репозиторий 🙂 а чё, какая разница 🙂
  6. Economics («… Discussion Paper with all comments is permanently archived and remains accessible to the public for documenting the paper’s history«)

Участники группы «Этика науки» в оценке этичности такой практики разделилось  8 согласились, что это «хорошая практика», 9 — что «неэтичная» или «ненужная», 1 — посчитал, что и обсуждать здесь нечего.

А вот теперь личный вопрос. Захотел бы я, чтобы моя статья, которую отвергли, висела на сайте журнала до скончания веков с нелицеприятными выкладками рецензента? Только если я под этим подписался при регистрации рукописи в электронной редакции. Но я бы совсем не возражал, если бы эта судьба постигла мою rejected рукопись, направленную в Nature! Даааа, опять все сложно ))