Open and transparent peer review #12 (open peer review — что это значит?)

В который раз удивляюсь тому, на что европейцам денег не жалко. А не жалко им было потратиться на это (часть 1), это (часть 2) и еще это (часть 3). И ведь потратились, чтобы понять, что считать open peer review. Кропотливая работа. У нас такое не оценят …

Как и ожидалось, open peer review — это an umbrella term :), который включает, главным образом, 1) раскрытие участников процесса рецензирования (open identities; в первую очередь информации об авторах и рецензентах, в редких случаях — о редакторах), 2) открытие рецензий (open reports; публикация рецензий вместе со статьей, хотя на мой взгяд можно трактовать шире), и 3) обеспечение свободного доступа сообщества к процессу рецензирования (open participation).

Таким образом, если вы используете в дискуссии словосочетание «открытое рецензирование» будьте любезны пояснить, что имеете в виду. Иначе люди знающие вас не поймут 🙂

C учетом этой информации, наверное, в названии рубрики стоило бы оставить только «Open …». Однако, на мой взгляд, под термином open peer review чаще всего понимают именно open identities (т.е. signed). Чтобы не путаться и особо выделить необходимость открытия рецензий и/или исправленных версий рукописи, продолжу как есть.

Open and transparent peer review #11 (эффективность та же, портфель толще: случай с педиатрическими журналами)

Среди журналов, практикующих модель прозрачного рецензирования есть один … педиатрический — BMC pediatrics. Посмотрел, как эта практика повлияла на показатели журнала. Как и в предыдущем случае использовал scimagojr, с помощью которого анализировал журналы предметной категории Pediatrics, Perinatology and Child Health. На этот раз те, что еще в 2006 г. были из числа open access, всего 16. К 2015 г. значения показателей SJR и средней цитируемости одной публикации в течение 2-летнего периода у BMC pediatrics была в пределах линейного тренда (см. рис., треугольник — BMC pediatrics). А вот число опубликованных документов за 10 лет взлетело в 7,3 раза (в журналах сравнения максимум в 1,5 раза). Вывод: технология прозрачного рецензирования не влияет на качество публикуемых рукописей, но «надувает» портфель. Кому-то это очень пригодилось бы 🙂 Опять же, не доказательство, но гипотеза.

%d0%bf%d0%b5%d0%b4%d0%b8%d0%b0%d1%82%d1%80%d0%b8%d1%8f

Open and transparent peer review #10 (эффективность та же, портфель толще)

Благие намерения по повышению прозрачности редакционной деятельности ничего не будут стоить, если после перехода на модель прозрачного рецензирования журнал начнет «худеть» (портфель), «беднеть» (денежные потоки), «портиться» (качество публикуемого). Но вот пока все не так уж и плохо. Проверил на примере Atmospheric Chemistry and Physics (ACP), одного из пионеров истории с прозрачным рецензированием. Взял данные из SCIMAGOJR по журналам, отнесенным к предметной категории Atmospheric Science (к этой категории отнесен и ACP). Для 2006 г.  данные были для 70 журналов, из них по показателю SJR к ACP были близки (+/- 10%) 5 журналов (Global Biogeochemical Cycles, Monthly Weather Review, Journals of the Atmospheric Sciences, Journal of Hydrometeorology, Quarterly Journal of the Royal Meteorological Society). Через 10 лет, к 2015 г. изменение значений SJR во всех журналах было линейным (см. рис. ниже, треугольник — ACP). Аналогичным образом изменились значения такого показателя как «среднее число цитат на 1 документ для 2-летнего периода». Единственное в чем преуспел ACP, так это нескромно увеличил свой портфель (в 2,3  раза в сравнении с увеличением в 1,2-1,9 раза числа опубликованных за год статей у других журналов). И это притом, что в 2006-07 году rejection rate у ACP был одним из самых низких среди журналов этой предметной категории (12% в сравнении с 26-57% в журналах сравнения). Вывод: это конечно еще не доказательство, но вполне подойдет для обоснования гипотезы, а именно «переход научного журнала на модель прозрачного рецензирования при низком уровне отказов позволяет увеличить портфель, сохранив качество публикуемых рукописей». Надеюсь, это первое сравнительное исследование этого вопроса ))

sjr-and-citations

Open and transparent peer review #9 (принудительная прозрачность)

Размышления навеяны случаем, рассмотренным экспертами COPE (CASE NUMBER: 16-12), и, по-видимому, связанным с этим делом документом Who “owns” peer reviews? Вопрос который я себе задал: «могу ли я (в смысле, не будет ли это плохо), будучи автором, опубликовать/предать огласке рецензию?». Категорически нет? Или при определенных условиях? Для себя ответил, что если никаких обязательств я на себя не брал, то никаких проблем. Я бы, скорее всего, не стал раскрывать имя рецензента. Но в остальном … А что об этом думаете вы? Надо сказать, что в российской действительности публичное обсуждение рецензии (заявки на грант) я уже встречал.

Open and transparent peer review #8 (пионеры)

Список «пионеров» модели прозрачного рецензирования в процессе формирования. Это журналы, которые внедрили эту модель в редакционную деятельность. В одних журналах рецензенты назначались редакторами, в других — это было community + рецензенты. На данный момент (05.11.2016) выглядит он следующим образом:

  1. Journal of Interactive Media in Education — 1996 г. [1]
  2. Electronic Transactions of Artificial Intelligence (ETAI) — 1997 [2]
  3. Atmospheric Chemistry and Physics — 2001 г. [3]
  4. Biology Direct — 2006 г. [4]
  5. EMBO Journal — 2009 г. [5]

И это не считая журналы, в которых были проведены первые исследования эффективности прозрачного рецензирования (Medical Journal of Australia, 1996 и 1998 гг.) или проводилось исследование эффективности предпубликационного публичного обсуждения (Nature, 2006). Nature отказались от модели предпубликационного обсуждения. Причину можно определить как: «it is more difficult to obtain lively discussion when the number of contributed articles increases«. О переходе Medical Journal of Australia на новую модель данных пока нет.

Источники:

  1. Pöschl, U. (2012). Multi-stage open peer review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation. Front. Comput. Neurosci. 6:33. doi:10.3389/fncom.2012.00033
  2. Sandewall E. Maintaining Live Discussion in Two-Stage Open Peer Review. Frontiers in Computational Neuroscience. 2012;6:9. doi:10.3389/fncom.2012.00009. (со ссылкой на Sandewall, E. (1997). Publishing and reviewing in the ETAI. ETAI 1, 1–12)
  3. Pöschl, U. (2004). Interactive journal concept for improved scientific publishing and quality assurance. Learn. Pub. 17, 105–113.
  4. Koonin EV, Landweber LF, Lipman DJ. Biology direct: celebrating 7 years of open, published peer review. Biology Direct. 2013;8:11. doi:10.1186/1745-6150-8-11.
  5. Rørth P. The EMBO Journal 2009: new initiatives. The EMBO Journal. 2009;28(1):1-3. doi:10.1038/emboj.2008.250.

Open and transparent peer review #7 (rejected manuscripts)

Подготовлено по результатам  коллективного «расследования» практики открытия результатов рецензирования рукописей, которым было отказано в публикации (подробнее см. группу Этика науки на ФБ). Вот они, пионеры 🙂 (обновлено 04.11.16)

  1. Atmospheric Chemistry and Physics (см. пункт 7), IF =5,1
  2. Biogeosciences (см. пункт 7), IF =3,7
  3. F1000 Research (см. пункт 12), IF = не имеет, категория Q1 (Scopus) по теме Pharmacology, Toxicology and Pharmaceutics
  4. Research Ideas and Outcomes (здесь), метрик нет (журнал новенький), но свою «печать» поставил Science
  5. Wellcome Open Research (пункт 12), научный и рецензируемый … репозиторий 🙂 а чё, какая разница 🙂
  6. Economics («… Discussion Paper with all comments is permanently archived and remains accessible to the public for documenting the paper’s history«)

Участники группы «Этика науки» в оценке этичности такой практики разделилось  8 согласились, что это «хорошая практика», 9 — что «неэтичная» или «ненужная», 1 — посчитал, что и обсуждать здесь нечего.

А вот теперь личный вопрос. Захотел бы я, чтобы моя статья, которую отвергли, висела на сайте журнала до скончания веков с нелицеприятными выкладками рецензента? Только если я под этим подписался при регистрации рукописи в электронной редакции. Но я бы совсем не возражал, если бы эта судьба постигла мою rejected рукопись, направленную в Nature! Даааа, опять все сложно ))

Open and transparent peer review #6 (плюсы и минусы)

Думаю, полезно будет  вывести список «за» и «против» модели прозрачного рецензирования. Список будет пополнятся (сейчас версия от 05.11.2016). Список формируется на основании результатов исследований и мнений. Учитывая, что не всегда ясно, плюс это или минус, все «слито» в один список. Цель: помочь заинтересованным редакциям принять решение о целесообразности перехода на новую модель рецензирования (и не только).

С точки зрения редакторов

  • «Soon after the transition [into an interactive open access journal], the journal experienced a substantial increase of submissions, publications, and citations» (о журнале Hydrology and Earth System Sciences до и после перехода на модель прозрачного рецензирования) [8]
  • переход некоторых журналов European Geophysical Society на модель прозрачного рецензирования предопределил их экономический успех за счет внедрения IT решений, сокращения времени и усилий на подготовку рукописей, относительно низкой платы для авторов (в сравнении с журналами, придерживающихся традиционной модели рецензирования) [8]
  • «anticipation of public peer review and discussion deters authors from submitting low-quality manuscripts and, thus, relieves editors and referees from spending too much time on deficient submissions» (мнение редактора журнала Atmospheric Chemistry and Physics) [10]
  • позволяет выявлять случаи misconduct со стороны рецензентов (пример BMJ) [11]
  • «open process is more labor-intensive than a traditional process but that labor can bring real benefits.» (редактор Shakespeare Quarterly) [12]
  • «… the quality of reviews (i.e., contributions to the open review discussion) in the ETAI was in the upper-middle range» (мнение редактора ETAI) [13]
  • 33% редакторов отметили повышение качества рецензий [1]

С точки зрения рецензентов

  • 5% считают, что модель прозрачного рецензирования повлияла на заключение [1]
  • 25% рецензентов считают, что изменились формулировки в тексте рецензии [1] (по данным [2] — «improved the tone and constructiveness», похожее в [4], не изменились в [5])
  • «telling reviewers that prepublication histories might be posted online did not affect the quality of peer review» [3]
  • «reviewers who were asked to look at a paper that was randomised to online prepublication history were moderately more likely to decline the assignment or not to reply»  [3]
  • 58% отказались бы от рецензирования в случае опубликования рецензии вместе со статьей (по причине a fear of retribution from authors) [4]
  • «The rate of acceptance of invitations to review a paper has remained the same (very few invited referees decline)» [5]
  • 17% рецензентов (данные Publons) готовы опубликовать свои рецензии (из них 2/3 анонимно) [6]
  • качество публикуемых рецензий (анонимных или signed) чуть лучше тех, что single-blinded, но при этом скрытых от посторонних глаз; вместе с тем, рекомендации рецензентов (accept, revise, reject) не различаются [7] (любопытно, что «скрытое» signed peer review дает более высокий процент акцепта в сравнении с blinded)
  • 80% дисскутантов при публичном обсуждении рукописи предпочитают скрывать свое имя [8]
  • «a completely open review system would have reviewers’ names published in a footnote to each paper to further encourage reviewers to do a thorough job. When bad science is published, the negligence of reviewers can be as aggravating as the incompetence of authors» [9].
  • «there are typically 0.5 pages of interactive comments per page of original discussion paper» [10]
  • «About three out of four referee comments are posted without the referee’s
    name … however, interesting differences between sub-disciplines: on average about 40% of theoreticians and computer modelers sign their referee comments, while only 10% of the laboratory and field experimentalists do so.» [10]  Или первым выгодно, или вторые боятся или и то и другое ))

С точки зрения авторов/исследователей

  • «did not significantly impact authors’ decisions to submit» (цифр нет) [1]
  • 25-50% (данные по 5 журналам) авторов склонны выбрать именно журнал с прозрачным рецензированием (для остальных, полагаю, не имеет значения)  [1]
  • 25% исследователей (опрос 2009 г., >4 тыс респондентов) считают open and published peer review эффективным (76% считают эффективным двойное слепое  рецензирование) [4]
  • недостатком open and published peer review исследователи сочли «that the reports will be uncritical» по причине «hierarchies in those societies, and others» (суммированное мнение)  [4]
  • 5% авторов отказались от прохождения рукописи через систему «прозрачного рецензирования» [5]
  • большая часть исследователей (число не указано; данные Publons) не видят проблем в публикации рецензий вместе со статьей. 40% отмечают «it would depend on the review» [6]
  • авторы, прошедшие через систему прозрачного рецензирования, чаще давали высокие оценки полезности рецензий, чем их коллеги, прошедшие через традиционное «закрытое» single-blinded review (39 и 30% дали 5 балов по 5-бальной шкале) [7]
  • «transparency of the review process (open-process peer review) is normally sufficient to protect authors from inappropriate referee comments» (мнение) [8]

ИСТОЧНИКИ

  1. Is open peer review the way forward?
  2. van Rooyen S, Godlee F, Evans S, Black N, Smith R. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial. BMJ1999;318:23-7.
  3. van Rooyen S, Delamothe T, Evans SJW. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ2010;341:c5729
  4. Mulligan A, Hall L, Raphael E: Peer review in a changing world: an international study measuring the attitudes of researchers. JASIS&T. 2013, 64: 132-161. 10.1002/asi.22798.
  5. Pulverer, B. (2010). Transparency showcases strength of peer review. Nature, 468(7320), 29-31. doi:10.1038/468029a
  6. Who owns the review?
  7. Kowalczuk MK, Dudbridge F, Nanda S, et al. Retrospective analysis of the quality of reports by authorsuggested and non-authorsuggested reviewers in journals operating on open or single-blind peer review models. BMJ Open 2015;5: e008707. doi:10.1136/bmjopen-2015-008707
  8. Pöschl, U. (2012). Multi-stage open peer review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation. Front. Comput. Neurosci. 6:33. doi:10.3389/fncom.2012.00033
  9. DeСoursey, T. Perspective: The pros and cons of open peer review. Should authors be told who their reviewers are? 2006. http://www.nature.com/nature/peerreview/debate/nature04991.html
  10. Pöschl U. Interactive Open Access Publishing and Peer Review: The Effectiveness and Perspectives of Transparency and Self-Regulation in Scientific Communication and Evaluation. Liber Quarterly Volume 19 Issue 3/4 2010
  11. Ethical Dilemmas in Scientific Publication (WAME, September 17, 2005)
  12. Rowe K. Gentle Numbers
  13. Sandewall E. Maintaining Live Discussion in Two-Stage Open Peer Review. Frontiers in Computational Neuroscience. 2012;6:9. doi:10.3389/fncom.2012.00009.

Open and transparent peer review #5 (издатели пилотируют)

Elsevier решил попробовать с прозрачным рецензированием. Плюс немного цифр. Мое смелое предположение — через год-другой эта модель станет условием для включения в клуб журналов с меткой «рецензируемый». Сейчас это как мишленовская звезда, через n-адцать лет — обязательное условие.

Добавлю только планы самого издательства: «The pilot will continue until August 2017, at which point we hope to be ready to offer an open review option to more journal editors. By the end of 2017, we will be able to make it possible for reviewers to choose to publish their review reports in any Elsevier journal.»

Open and transparent peer review #4 (optional PR transparency)

В сообщении #2 о внедрении модели прозрачного рецензирования в Nature Communications ускользнуло, что речь идет о принятии практики «добровольной прозрачности рецензирования». Порочность такой практики обсудил некто Leonid Schneider здесь. Он же представил интересные данные о принятии авторами этой практики, а также фрагменты переписки с «гигантами» редакционного дела. Richard Smith, например, написал про «добровольную прозрачность» следующее «this is a silly policy and a tiny step into the past not the future.». Хотя для российских мед журналов, полагаю, это был бы «прыжок»  в будущее.

Open and transparent peer review #3 (COPE советует)

COPE не советует торопиться с переходом на новую модель прозрачного рецензирования. Ищет риски и новые идеи. Или ждет, пока Nature присоединится.

Считаю, что переход на эту модель будет таким же прорывом, как и само рецензирование когда-то … Правда, половину российских журналов придется закрыть ))