Open and transparent peer review #6 (плюсы и минусы)

Думаю, полезно будет  вывести список «за» и «против» модели прозрачного рецензирования. Список будет пополнятся (сейчас версия от 05.11.2016). Список формируется на основании результатов исследований и мнений. Учитывая, что не всегда ясно, плюс это или минус, все «слито» в один список. Цель: помочь заинтересованным редакциям принять решение о целесообразности перехода на новую модель рецензирования (и не только).

С точки зрения редакторов

  • «Soon after the transition [into an interactive open access journal], the journal experienced a substantial increase of submissions, publications, and citations» (о журнале Hydrology and Earth System Sciences до и после перехода на модель прозрачного рецензирования) [8]
  • переход некоторых журналов European Geophysical Society на модель прозрачного рецензирования предопределил их экономический успех за счет внедрения IT решений, сокращения времени и усилий на подготовку рукописей, относительно низкой платы для авторов (в сравнении с журналами, придерживающихся традиционной модели рецензирования) [8]
  • «anticipation of public peer review and discussion deters authors from submitting low-quality manuscripts and, thus, relieves editors and referees from spending too much time on deficient submissions» (мнение редактора журнала Atmospheric Chemistry and Physics) [10]
  • позволяет выявлять случаи misconduct со стороны рецензентов (пример BMJ) [11]
  • «open process is more labor-intensive than a traditional process but that labor can bring real benefits.» (редактор Shakespeare Quarterly) [12]
  • «… the quality of reviews (i.e., contributions to the open review discussion) in the ETAI was in the upper-middle range» (мнение редактора ETAI) [13]
  • 33% редакторов отметили повышение качества рецензий [1]

С точки зрения рецензентов

  • 5% считают, что модель прозрачного рецензирования повлияла на заключение [1]
  • 25% рецензентов считают, что изменились формулировки в тексте рецензии [1] (по данным [2] — «improved the tone and constructiveness», похожее в [4], не изменились в [5])
  • «telling reviewers that prepublication histories might be posted online did not affect the quality of peer review» [3]
  • «reviewers who were asked to look at a paper that was randomised to online prepublication history were moderately more likely to decline the assignment or not to reply»  [3]
  • 58% отказались бы от рецензирования в случае опубликования рецензии вместе со статьей (по причине a fear of retribution from authors) [4]
  • «The rate of acceptance of invitations to review a paper has remained the same (very few invited referees decline)» [5]
  • 17% рецензентов (данные Publons) готовы опубликовать свои рецензии (из них 2/3 анонимно) [6]
  • качество публикуемых рецензий (анонимных или signed) чуть лучше тех, что single-blinded, но при этом скрытых от посторонних глаз; вместе с тем, рекомендации рецензентов (accept, revise, reject) не различаются [7] (любопытно, что «скрытое» signed peer review дает более высокий процент акцепта в сравнении с blinded)
  • 80% дисскутантов при публичном обсуждении рукописи предпочитают скрывать свое имя [8]
  • «a completely open review system would have reviewers’ names published in a footnote to each paper to further encourage reviewers to do a thorough job. When bad science is published, the negligence of reviewers can be as aggravating as the incompetence of authors» [9].
  • «there are typically 0.5 pages of interactive comments per page of original discussion paper» [10]
  • «About three out of four referee comments are posted without the referee’s
    name … however, interesting differences between sub-disciplines: on average about 40% of theoreticians and computer modelers sign their referee comments, while only 10% of the laboratory and field experimentalists do so.» [10]  Или первым выгодно, или вторые боятся или и то и другое ))

С точки зрения авторов/исследователей

  • «did not significantly impact authors’ decisions to submit» (цифр нет) [1]
  • 25-50% (данные по 5 журналам) авторов склонны выбрать именно журнал с прозрачным рецензированием (для остальных, полагаю, не имеет значения)  [1]
  • 25% исследователей (опрос 2009 г., >4 тыс респондентов) считают open and published peer review эффективным (76% считают эффективным двойное слепое  рецензирование) [4]
  • недостатком open and published peer review исследователи сочли «that the reports will be uncritical» по причине «hierarchies in those societies, and others» (суммированное мнение)  [4]
  • 5% авторов отказались от прохождения рукописи через систему «прозрачного рецензирования» [5]
  • большая часть исследователей (число не указано; данные Publons) не видят проблем в публикации рецензий вместе со статьей. 40% отмечают «it would depend on the review» [6]
  • авторы, прошедшие через систему прозрачного рецензирования, чаще давали высокие оценки полезности рецензий, чем их коллеги, прошедшие через традиционное «закрытое» single-blinded review (39 и 30% дали 5 балов по 5-бальной шкале) [7]
  • «transparency of the review process (open-process peer review) is normally sufficient to protect authors from inappropriate referee comments» (мнение) [8]

ИСТОЧНИКИ

  1. Is open peer review the way forward?
  2. van Rooyen S, Godlee F, Evans S, Black N, Smith R. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial. BMJ1999;318:23-7.
  3. van Rooyen S, Delamothe T, Evans SJW. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ2010;341:c5729
  4. Mulligan A, Hall L, Raphael E: Peer review in a changing world: an international study measuring the attitudes of researchers. JASIS&T. 2013, 64: 132-161. 10.1002/asi.22798.
  5. Pulverer, B. (2010). Transparency showcases strength of peer review. Nature, 468(7320), 29-31. doi:10.1038/468029a
  6. Who owns the review?
  7. Kowalczuk MK, Dudbridge F, Nanda S, et al. Retrospective analysis of the quality of reports by authorsuggested and non-authorsuggested reviewers in journals operating on open or single-blind peer review models. BMJ Open 2015;5: e008707. doi:10.1136/bmjopen-2015-008707
  8. Pöschl, U. (2012). Multi-stage open peer review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation. Front. Comput. Neurosci. 6:33. doi:10.3389/fncom.2012.00033
  9. DeСoursey, T. Perspective: The pros and cons of open peer review. Should authors be told who their reviewers are? 2006. http://www.nature.com/nature/peerreview/debate/nature04991.html
  10. Pöschl U. Interactive Open Access Publishing and Peer Review: The Effectiveness and Perspectives of Transparency and Self-Regulation in Scientific Communication and Evaluation. Liber Quarterly Volume 19 Issue 3/4 2010
  11. Ethical Dilemmas in Scientific Publication (WAME, September 17, 2005)
  12. Rowe K. Gentle Numbers
  13. Sandewall E. Maintaining Live Discussion in Two-Stage Open Peer Review. Frontiers in Computational Neuroscience. 2012;6:9. doi:10.3389/fncom.2012.00009.

Open and transparent peer review #5 (издатели пилотируют)

Elsevier решил попробовать с прозрачным рецензированием. Плюс немного цифр. Мое смелое предположение — через год-другой эта модель станет условием для включения в клуб журналов с меткой «рецензируемый». Сейчас это как мишленовская звезда, через n-адцать лет — обязательное условие.

Добавлю только планы самого издательства: «The pilot will continue until August 2017, at which point we hope to be ready to offer an open review option to more journal editors. By the end of 2017, we will be able to make it possible for reviewers to choose to publish their review reports in any Elsevier journal.»

Data sharing No. 1 (by Nature)

И ещё один мировой тренд. О своём желании поддержать авторов, желающих сделать свои данные открытыми к широкому использованию, заявил Nature — мастодонт в мировой научной периодике.Если конкретно, то в инициативе объединились 5 журналов группы: Nature Physics, который, собственно, и является автором данной публикации, а также Nature Cell Biology, Nature Communications, Nature Geoscience и Nature Neuroscience.

Подробнее об инициативе здесь:

http://www.nature.com/nphys/journal/v12/n10/full/nphys3923.html

Руководство для авторов по этому вопросу — здесь:

http://www.nature.com/authors/policies/data/data-availability-statements-data-citations.pdf

Вообще, нет сил выразить, как это круто. Кроме как словом «круто»))

Events No. 1. Анонс конференции по research integrity в Амстердаме

А меж тем в стране тюльпанов планируется не увеселительное, а чрезвычайно полезное мероприятие. Мечта или отсроченная реальность провести подобное в России?

Подробнее ниже.

Transparency and accountability

An important forum for reflection and debate on ways to improve research practices are the world conferences on research integrity. The next one will be in Amsterdam in May 2017. The 5th World Conference on Research Integrity (WCRI) will be organised around the interlinked themes of transparency and accountability, building on the premise that the honesty and reliability of research are best served by openly sharing all aspects of research and by taking personal responsibility for it.

The conference program will explore the challenges of promoting transparency and accountability and the consequences of the failure to do so, with the overall goal of developing an evidence-based agenda for addressing the various lapses of integrity that seem to have become an endemic problem in research today.

Previously, the world conferences on research integrity have produced two consensus documents: the Singapore Statement on Research Integrity and the Montreal Statement on Research Integrity in Cross-Boundary Research Collaborations.

One goal of 5th WCRI will be to develop the Amsterdam Agenda for Promoting Transparency and Accountability. This is initially envisioned as an action-oriented one-page statement drawing attention to the urgent need to fight questionable research practices. Next to the above-mentioned actions that funders and journals can take, the Amsterdam Agenda will recommend what research institutes, professional organisations and international governments can do. Early 2017 a web-based survey will be conducted among 5th WCRI participants. A draft of the Amsterdam Agenda will be made available during the months before the conference. And there will be ample opportunity for discussion and debate with a view to improving and focusing the final document.

European scientists, funding agencies and journals have a responsibility to improve the relevance, quality and integrity of research. I very much hope to welcome you to the 5th World Conference on Research Integrity.

Read more: http://www.euroscientist.com/what-funding-agencies-and-journals-can-do-to-prevent-sloppy-science/#ixzz4MoFJtRlK
Follow us: @euroscientist on Twitter | Euroscientist on Facebook