Думаю, полезно будет  вывести список «за» и «против» модели прозрачного рецензирования. Список будет пополнятся (сейчас версия от 05.11.2016). Список формируется на основании результатов исследований и мнений. Учитывая, что не всегда ясно, плюс это или минус, все «слито» в один список. Цель: помочь заинтересованным редакциям принять решение о целесообразности перехода на новую модель рецензирования (и не только).

С точки зрения редакторов

  • «Soon after the transition [into an interactive open access journal], the journal experienced a substantial increase of submissions, publications, and citations» (о журнале Hydrology and Earth System Sciences до и после перехода на модель прозрачного рецензирования) [8]
  • переход некоторых журналов European Geophysical Society на модель прозрачного рецензирования предопределил их экономический успех за счет внедрения IT решений, сокращения времени и усилий на подготовку рукописей, относительно низкой платы для авторов (в сравнении с журналами, придерживающихся традиционной модели рецензирования) [8]
  • «anticipation of public peer review and discussion deters authors from submitting low-quality manuscripts and, thus, relieves editors and referees from spending too much time on deficient submissions» (мнение редактора журнала Atmospheric Chemistry and Physics) [10]
  • позволяет выявлять случаи misconduct со стороны рецензентов (пример BMJ) [11]
  • «open process is more labor-intensive than a traditional process but that labor can bring real benefits.» (редактор Shakespeare Quarterly) [12]
  • «… the quality of reviews (i.e., contributions to the open review discussion) in the ETAI was in the upper-middle range» (мнение редактора ETAI) [13]
  • 33% редакторов отметили повышение качества рецензий [1]

С точки зрения рецензентов

  • 5% считают, что модель прозрачного рецензирования повлияла на заключение [1]
  • 25% рецензентов считают, что изменились формулировки в тексте рецензии [1] (по данным [2] — «improved the tone and constructiveness», похожее в [4], не изменились в [5])
  • «telling reviewers that prepublication histories might be posted online did not affect the quality of peer review» [3]
  • «reviewers who were asked to look at a paper that was randomised to online prepublication history were moderately more likely to decline the assignment or not to reply»  [3]
  • 58% отказались бы от рецензирования в случае опубликования рецензии вместе со статьей (по причине a fear of retribution from authors) [4]
  • «The rate of acceptance of invitations to review a paper has remained the same (very few invited referees decline)» [5]
  • 17% рецензентов (данные Publons) готовы опубликовать свои рецензии (из них 2/3 анонимно) [6]
  • качество публикуемых рецензий (анонимных или signed) чуть лучше тех, что single-blinded, но при этом скрытых от посторонних глаз; вместе с тем, рекомендации рецензентов (accept, revise, reject) не различаются [7] (любопытно, что «скрытое» signed peer review дает более высокий процент акцепта в сравнении с blinded)
  • 80% дисскутантов при публичном обсуждении рукописи предпочитают скрывать свое имя [8]
  • «a completely open review system would have reviewers’ names published in a footnote to each paper to further encourage reviewers to do a thorough job. When bad science is published, the negligence of reviewers can be as aggravating as the incompetence of authors» [9].
  • «there are typically 0.5 pages of interactive comments per page of original discussion paper» [10]
  • «About three out of four referee comments are posted without the referee’s
    name … however, interesting differences between sub-disciplines: on average about 40% of theoreticians and computer modelers sign their referee comments, while only 10% of the laboratory and field experimentalists do so.» [10]  Или первым выгодно, или вторые боятся или и то и другое ))

С точки зрения авторов/исследователей

  • «did not significantly impact authors’ decisions to submit» (цифр нет) [1]
  • 25-50% (данные по 5 журналам) авторов склонны выбрать именно журнал с прозрачным рецензированием (для остальных, полагаю, не имеет значения)  [1]
  • 25% исследователей (опрос 2009 г., >4 тыс респондентов) считают open and published peer review эффективным (76% считают эффективным двойное слепое  рецензирование) [4]
  • недостатком open and published peer review исследователи сочли «that the reports will be uncritical» по причине «hierarchies in those societies, and others» (суммированное мнение)  [4]
  • 5% авторов отказались от прохождения рукописи через систему «прозрачного рецензирования» [5]
  • большая часть исследователей (число не указано; данные Publons) не видят проблем в публикации рецензий вместе со статьей. 40% отмечают «it would depend on the review» [6]
  • авторы, прошедшие через систему прозрачного рецензирования, чаще давали высокие оценки полезности рецензий, чем их коллеги, прошедшие через традиционное «закрытое» single-blinded review (39 и 30% дали 5 балов по 5-бальной шкале) [7]
  • «transparency of the review process (open-process peer review) is normally sufficient to protect authors from inappropriate referee comments» (мнение) [8]

ИСТОЧНИКИ

  1. Is open peer review the way forward?
  2. van Rooyen S, Godlee F, Evans S, Black N, Smith R. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial. BMJ1999;318:23-7.
  3. van Rooyen S, Delamothe T, Evans SJW. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ2010;341:c5729
  4. Mulligan A, Hall L, Raphael E: Peer review in a changing world: an international study measuring the attitudes of researchers. JASIS&T. 2013, 64: 132-161. 10.1002/asi.22798.
  5. Pulverer, B. (2010). Transparency showcases strength of peer review. Nature, 468(7320), 29-31. doi:10.1038/468029a
  6. Who owns the review?
  7. Kowalczuk MK, Dudbridge F, Nanda S, et al. Retrospective analysis of the quality of reports by authorsuggested and non-authorsuggested reviewers in journals operating on open or single-blind peer review models. BMJ Open 2015;5: e008707. doi:10.1136/bmjopen-2015-008707
  8. Pöschl, U. (2012). Multi-stage open peer review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation. Front. Comput. Neurosci. 6:33. doi:10.3389/fncom.2012.00033
  9. DeСoursey, T. Perspective: The pros and cons of open peer review. Should authors be told who their reviewers are? 2006. http://www.nature.com/nature/peerreview/debate/nature04991.html
  10. Pöschl U. Interactive Open Access Publishing and Peer Review: The Effectiveness and Perspectives of Transparency and Self-Regulation in Scientific Communication and Evaluation. Liber Quarterly Volume 19 Issue 3/4 2010
  11. Ethical Dilemmas in Scientific Publication (WAME, September 17, 2005)
  12. Rowe K. Gentle Numbers
  13. Sandewall E. Maintaining Live Discussion in Two-Stage Open Peer Review. Frontiers in Computational Neuroscience. 2012;6:9. doi:10.3389/fncom.2012.00009.

Open and transparent peer review #6 (плюсы и минусы): 6 комментариев

  1. Это всё отлично, и я, как редактор, не могу не согласиться. Но перенесёмся в РФ-reality. Это за бугром 33% отметили повышение качества рецензий. Я не утверждаю, но попытаюсь прогнозировать эффэкты в России. Эти же 33% (да что там, куда больше) испугаются. Так же, как они боятся конфликт интересов прописать или вообще как-то за своё участие ответить. Чё-то они вообще дофига чего боятся, должна сказать 🙂
    Тот самый момент о российском менталитете, который как-то надо в этом деле учесть. Иначе проиграем 🙂

    1. см. цель этого поста «помочь принять решение». Отказаться от перехода на новую модель — тоже решение. Если редакция не готова, то лучше отказаться «на берегу», чем на середине потока. Иначе «потонем» ))

    2. Анастасия, я, как редактор, «пробовала». Качество рецензирования, на мой взгляд, однозначно выше.

      Страхи были. Например, у автора: «Я не согласен с позицией рецензента. Если вы хотите это опубликовать, то я отзываю рукопись. В моей организации просто никто не будет разбираться в сути дела.» Это по поводу стат рецензирования.
      А тут уж надо смотреть, готовы ли автор и рецензент обосновывать свою точку зрения снова и снова или ограничиваются двумя-тремя раундами. Мой опыт — первым сливается, как правило, рецензент.

      О страхах рецензента мне ничего не известно — эксперимент был слишком коротким.

      В другой редакции с непрозрачным OPR (без опубликования рецензий) рецензент просил скрыть его имя от автора во избежании холивара и обострения отношений (опять же, узок круг). Так как в порядочности рецензента не сомневались, то пошли навстречу.
      Я за многоформатность в рамках одной редакции — главное качество и понимание у всех сторон, что этот процесс призван, прежде всего, улучшить качество рукописи. И пока есть шанс, редактор должен за рукопись бороться вместе с автором — особенно, в реалиях большинства росс журналов, когда работаем с тем, что остается из всего потока.

      Я считаю, что читатели имеют право знать Почему, Как и Кем было принято решение об опубликовании, как шла дискуссия, она сама по себе обучающий инструмент как для авторов, так и для потенциальных рецензентов (неопытных, молодых и т.п.). Ну, и отличным дополнением будет post-pub peer review.

      Что касается конфликта интересов, то опять же — «узок круг». Всё равно всем известно, кто с кем работает, кем финасируется… А вот непрописывание его как раз вызывает дополнительные «подозрения» и у редактора, и у рецензентов, и у читателей.

  2. Про конфликт интересов оффтоп вышло, просто у меня это наболевшее)) Никак пока не получается окончательно достучаться и объяснить, что плохо не его наличие, а его отсутствие при явном наличии.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *