О предварительной редакционной оценке рукописи и качестве рецензирования

One way to relieve the reviewer load within a specific journal is to have stronger editorial process, where expert editors reject more manuscripts without review (perhaps because the subject matter is outside the journal remit, has obvious design flaws and statistical errors, or does not make a significant advance in the field; Leather et al., 2014) rather than assigning reviewers to relatively low-quality papers that have little chance of eventually being accepted.
This is particularly pertinent given the increasingly pervasive practice of ‘over-shooting’ on the quality of the target journal for first submission. Much has been written about the relative merits of editorial review versus peer review as different approaches to evaluating scientific literature (e.g. Steinhauser et al., 2012).
We believe there is strong merit in using both in a complementary approach to balance the ‘gatekeeper’ role of good Editors in rejecting obviously flawed work, and the ‘facilitator’ role’ of good Editors in weighing up a consensus of reviewer criticisms and author responses.
Yes, there will always be issues raised about subjectivity, but this has been balanced to some extent at ICD by having a broader team of seven Senior Editors who can make final decisions on manuscripts, rather than just the Editor-in-Chief making all decisions. Ultimately it is important to remember that good Editors are selected for their skills and perceived objectivity in the first place, and that there is a constant ebb and flow in the dynamics of editorial boards which means that weak Editors are quickly weeded out, while good Editors rise to the top (Editors are not shy about giving their opinion if someone is not working out in the role!)

Don’t be a zero-sum reviewer

Open and transparent peer review #11 (эффективность та же, портфель толще: случай с педиатрическими журналами)

Среди журналов, практикующих модель прозрачного рецензирования есть один … педиатрический — BMC pediatrics. Посмотрел, как эта практика повлияла на показатели журнала. Как и в предыдущем случае использовал scimagojr, с помощью которого анализировал журналы предметной категории Pediatrics, Perinatology and Child Health. На этот раз те, что еще в 2006 г. были из числа open access, всего 16. К 2015 г. значения показателей SJR и средней цитируемости одной публикации в течение 2-летнего периода у BMC pediatrics была в пределах линейного тренда (см. рис., треугольник — BMC pediatrics). А вот число опубликованных документов за 10 лет взлетело в 7,3 раза (в журналах сравнения максимум в 1,5 раза). Вывод: технология прозрачного рецензирования не влияет на качество публикуемых рукописей, но «надувает» портфель. Кому-то это очень пригодилось бы 🙂 Опять же, не доказательство, но гипотеза.

%d0%bf%d0%b5%d0%b4%d0%b8%d0%b0%d1%82%d1%80%d0%b8%d1%8f

Open and transparent peer review #10 (эффективность та же, портфель толще)

Благие намерения по повышению прозрачности редакционной деятельности ничего не будут стоить, если после перехода на модель прозрачного рецензирования журнал начнет «худеть» (портфель), «беднеть» (денежные потоки), «портиться» (качество публикуемого). Но вот пока все не так уж и плохо. Проверил на примере Atmospheric Chemistry and Physics (ACP), одного из пионеров истории с прозрачным рецензированием. Взял данные из SCIMAGOJR по журналам, отнесенным к предметной категории Atmospheric Science (к этой категории отнесен и ACP). Для 2006 г.  данные были для 70 журналов, из них по показателю SJR к ACP были близки (+/- 10%) 5 журналов (Global Biogeochemical Cycles, Monthly Weather Review, Journals of the Atmospheric Sciences, Journal of Hydrometeorology, Quarterly Journal of the Royal Meteorological Society). Через 10 лет, к 2015 г. изменение значений SJR во всех журналах было линейным (см. рис. ниже, треугольник — ACP). Аналогичным образом изменились значения такого показателя как «среднее число цитат на 1 документ для 2-летнего периода». Единственное в чем преуспел ACP, так это нескромно увеличил свой портфель (в 2,3  раза в сравнении с увеличением в 1,2-1,9 раза числа опубликованных за год статей у других журналов). И это притом, что в 2006-07 году rejection rate у ACP был одним из самых низких среди журналов этой предметной категории (12% в сравнении с 26-57% в журналах сравнения). Вывод: это конечно еще не доказательство, но вполне подойдет для обоснования гипотезы, а именно «переход научного журнала на модель прозрачного рецензирования при низком уровне отказов позволяет увеличить портфель, сохранив качество публикуемых рукописей». Надеюсь, это первое сравнительное исследование этого вопроса ))

sjr-and-citations

Effectiveness of peer review #1 (у «элитных» другие проблемы)

Элитные научные журналы, конечно же, избалованы судьбой. Лучшие редакторы, армия рецензентов, огромный портфель … Имея такой ресурс элитные журналы как правило эффективно избавляются от «слабых» рукописей. И это не удивительно. Хорошо известно, что peer reviewers дают вполне согласованные оценки, когда их просят «ткнуть пальцем» в плохое: рукопись, заявку на грант. Но вот выделить лучшее — с этим беда-а-а-а. Вот и для Annals of Internal Medicine, British Medical Journal, and The Lancet это показали, а до них и Science под ручку с Nature на том же засветились. Это — проблема как для журналов («сито» настолько крупное, что достаточно крупные «драгоценные камни» смывает), так и для науки — от 200 до 500 дней задержки с публикацией отклоненных и в будущем высоко цитируемых статей. Да-а-а … Вот и мою рукопись недавно Science с Nature отклонили. Беда-а-а-а 🙂