Statement of Principles for Scientific Merit Review

Принципы научного рецензирования заявок на гранты, которые вполне могут быть использованы и в качестве принципов рецензирования в научных журналах. От себя добавлю, что рецензирование заявок на гранты еще больший «черный ящик», чем рецензирование рукописей. Значит, рано или поздно, будут реформировать 🙂

  • Expert Assessment (оценивает специалист)
  • Transparency (прозрачность правил и процедур)
  • Impartiality (беспристрастность, справедливость)
  • Appropriateness (уместность, соответствие условиям конкурса)
  • Confidentiality (неразглашение)
  • Integrity and Ethical Considerations (добросовестность и этические принципы

 

 

О предварительной редакционной оценке рукописи и качестве рецензирования

One way to relieve the reviewer load within a specific journal is to have stronger editorial process, where expert editors reject more manuscripts without review (perhaps because the subject matter is outside the journal remit, has obvious design flaws and statistical errors, or does not make a significant advance in the field; Leather et al., 2014) rather than assigning reviewers to relatively low-quality papers that have little chance of eventually being accepted.
This is particularly pertinent given the increasingly pervasive practice of ‘over-shooting’ on the quality of the target journal for first submission. Much has been written about the relative merits of editorial review versus peer review as different approaches to evaluating scientific literature (e.g. Steinhauser et al., 2012).
We believe there is strong merit in using both in a complementary approach to balance the ‘gatekeeper’ role of good Editors in rejecting obviously flawed work, and the ‘facilitator’ role’ of good Editors in weighing up a consensus of reviewer criticisms and author responses.
Yes, there will always be issues raised about subjectivity, but this has been balanced to some extent at ICD by having a broader team of seven Senior Editors who can make final decisions on manuscripts, rather than just the Editor-in-Chief making all decisions. Ultimately it is important to remember that good Editors are selected for their skills and perceived objectivity in the first place, and that there is a constant ebb and flow in the dynamics of editorial boards which means that weak Editors are quickly weeded out, while good Editors rise to the top (Editors are not shy about giving their opinion if someone is not working out in the role!)

Don’t be a zero-sum reviewer

Действующая система рецензирования ограничивается просьбой о мнении двух экспертов. Этого недостаточно

«Где-то между 65 и 90% результатов исследований, опубликованных в биомедицинской литературе, считаются невоспроизводимыми. Это означает, что если вы попытаетесь воссоздать эксперимент, описанный в  статье, в 65-90% случаев вы не получите тех результатов, которые в ней опубликованы. Это называют кризисом воспроизводимости».

65-90! Подумать только (даже если не в контексте рецензирования)! После этого, честно говоря, сложно сфокусироваться уже именно на рецензировании)) Но не будем о крамольном.

Среди причин авторы перечисляют сложность восприятия методологии исследования ввиду недостаточно грамотного её описания и недостаточности данных (ахиллесова пята большинства российских биомедисследований), а также недостаточный «стимул» авторов исследования к тому, чтобы их результаты оказались воспроизводимыми (что, конечно, может быть и случайностью). Следующей причиной недостаточного высокого уровня рукописи авторы цитируемой статьи считают состояние нынешней системы рецензирования, а именно — число участников процесса рецензирования, которое в лучшем случае составляет два человека. По их мнению, этого недостаточно.

Авторы утверждают, что существует способ устранить проблему кризиса воспроизводимости, и он заключается в создании новой системы экспертной оценки рукописей. Поспособствовать улучшению должны две вещи. Первая — каждый специалист, которого просят прочитать рукопись (или который впоследствии прочитал статью), должен высказать мнение по ней. Второе — в системе рецензирования должна быть предусмотрена опция выдачи неких «кредитов» тем учёным, которые предоставляют доступ к своим данным, качественно описывают методологию и проч. необходимые для воспроизводимости инструменты (которые не публикуются в журнале).

Как тут не вспомнить о насущном вопросе «премирования» рецензентов. Наверное, без этих самых кредитов всё же не обойтись. Все нуждаются в поощрении за хорошее поведение))

И да, это всё снова возвращает нас к вопросу об открытом прозрачном рецензировании (65-90%, вы помните?!).

Подробнее см. здесь: http://www.wired.co.uk/article/science-academic-papers-review