Open and transparent peer review #11 (эффективность та же, портфель толще: случай с педиатрическими журналами)

Среди журналов, практикующих модель прозрачного рецензирования есть один … педиатрический — BMC pediatrics. Посмотрел, как эта практика повлияла на показатели журнала. Как и в предыдущем случае использовал scimagojr, с помощью которого анализировал журналы предметной категории Pediatrics, Perinatology and Child Health. На этот раз те, что еще в 2006 г. были из числа open access, всего 16. К 2015 г. значения показателей SJR и средней цитируемости одной публикации в течение 2-летнего периода у BMC pediatrics была в пределах линейного тренда (см. рис., треугольник — BMC pediatrics). А вот число опубликованных документов за 10 лет взлетело в 7,3 раза (в журналах сравнения максимум в 1,5 раза). Вывод: технология прозрачного рецензирования не влияет на качество публикуемых рукописей, но «надувает» портфель. Кому-то это очень пригодилось бы 🙂 Опять же, не доказательство, но гипотеза.

%d0%bf%d0%b5%d0%b4%d0%b8%d0%b0%d1%82%d1%80%d0%b8%d1%8f

Open and transparent peer review #10 (эффективность та же, портфель толще)

Благие намерения по повышению прозрачности редакционной деятельности ничего не будут стоить, если после перехода на модель прозрачного рецензирования журнал начнет «худеть» (портфель), «беднеть» (денежные потоки), «портиться» (качество публикуемого). Но вот пока все не так уж и плохо. Проверил на примере Atmospheric Chemistry and Physics (ACP), одного из пионеров истории с прозрачным рецензированием. Взял данные из SCIMAGOJR по журналам, отнесенным к предметной категории Atmospheric Science (к этой категории отнесен и ACP). Для 2006 г.  данные были для 70 журналов, из них по показателю SJR к ACP были близки (+/- 10%) 5 журналов (Global Biogeochemical Cycles, Monthly Weather Review, Journals of the Atmospheric Sciences, Journal of Hydrometeorology, Quarterly Journal of the Royal Meteorological Society). Через 10 лет, к 2015 г. изменение значений SJR во всех журналах было линейным (см. рис. ниже, треугольник — ACP). Аналогичным образом изменились значения такого показателя как «среднее число цитат на 1 документ для 2-летнего периода». Единственное в чем преуспел ACP, так это нескромно увеличил свой портфель (в 2,3  раза в сравнении с увеличением в 1,2-1,9 раза числа опубликованных за год статей у других журналов). И это притом, что в 2006-07 году rejection rate у ACP был одним из самых низких среди журналов этой предметной категории (12% в сравнении с 26-57% в журналах сравнения). Вывод: это конечно еще не доказательство, но вполне подойдет для обоснования гипотезы, а именно «переход научного журнала на модель прозрачного рецензирования при низком уровне отказов позволяет увеличить портфель, сохранив качество публикуемых рукописей». Надеюсь, это первое сравнительное исследование этого вопроса ))

sjr-and-citations

А Скопус не так благосклонен))

Нашим читателям внутри редакций. Просим иметь в виду, что не так сложно попасть в Скопус, как в нём удержаться. И тому способствует ряд показателей журнала, которые должны находиться на уровне.

Список — в качестве примера: https://www.elsevier.com/__data/assets/excel_doc/0019/212275/Discontinued-sources-from-Scopus_Nov11_2016.xlsx

Open and transparent peer review #9 (принудительная прозрачность)

Размышления навеяны случаем, рассмотренным экспертами COPE (CASE NUMBER: 16-12), и, по-видимому, связанным с этим делом документом Who “owns” peer reviews? Вопрос который я себе задал: «могу ли я (в смысле, не будет ли это плохо), будучи автором, опубликовать/предать огласке рецензию?». Категорически нет? Или при определенных условиях? Для себя ответил, что если никаких обязательств я на себя не брал, то никаких проблем. Я бы, скорее всего, не стал раскрывать имя рецензента. Но в остальном … А что об этом думаете вы? Надо сказать, что в российской действительности публичное обсуждение рецензии (заявки на грант) я уже встречал.

Effectiveness of peer review #1 (у «элитных» другие проблемы)

Элитные научные журналы, конечно же, избалованы судьбой. Лучшие редакторы, армия рецензентов, огромный портфель … Имея такой ресурс элитные журналы как правило эффективно избавляются от «слабых» рукописей. И это не удивительно. Хорошо известно, что peer reviewers дают вполне согласованные оценки, когда их просят «ткнуть пальцем» в плохое: рукопись, заявку на грант. Но вот выделить лучшее — с этим беда-а-а-а. Вот и для Annals of Internal Medicine, British Medical Journal, and The Lancet это показали, а до них и Science под ручку с Nature на том же засветились. Это — проблема как для журналов («сито» настолько крупное, что достаточно крупные «драгоценные камни» смывает), так и для науки — от 200 до 500 дней задержки с публикацией отклоненных и в будущем высоко цитируемых статей. Да-а-а … Вот и мою рукопись недавно Science с Nature отклонили. Беда-а-а-а 🙂

Research Misconduct #3 (retracted articles: russian cases)

Есть ли случаи ретракции статей российских авторов? В PubMed метку «retracted article» имеют 3 рукописи, первая (год ретракции 2009), вторая (2009) и третья (2013). Все — из российских журналов. Последняя за плагиат, а вот первые две с неожиданной формулировкой «published without approval of the team». Неожиданна она потому, что один из авторов — директор центра, в котором собственно и было выполнено исследование. Здесь я уже додумываю, но видимо инициатива того самого автора. Ожидать инициативу от редактора журнала после истории с «крысиными душами» не приходится, хотя на сайте Springer сказано «this article was retracted by the editors«. Вот такой вот публикационный детектив ))

P.S. Любопытно, но в сводной страновой аналитике по ретракциям наша страна вообще не числится, хотя период охвата для первых 2 случаев подходящий (2008-2012). Так что, в международном информационном поле мы — оплот честности и просвещения (с легкой иронией)

P.S. (2) Набрел еще на 3 случая ретракции в российском журнале Вопросы общей химии, здесьздесь и здесь. Странно, но обе статьи из одного номера.

Research Misconduct #2 (duplicate impact myth)

(версия от 11.11.16) В продолжение дискуссии о влиянии повторяющихся публикаций на что-либо. В документе Avoiding plagiarism, self-plagiarism, and other questionable writing practices: A guide to ethical writing, размещенном на сайте  Office of Research Integrity (США), есть подраздел «Why duplication and other forms of redundancy must be avoided». Основные тезисы:

  1. «may have robbed other authors of the opportunity to publish their worthwhile original work» [нет ссылок на исследования, которые бы подтверждали это утверждение]
  2. «journal referees often must volunteer their valuable time to review others’ work in the service of science and scholarship» [нет ссылок]
  3. «places undue time and limited resource constraints on the editorial and peer review system» [нет ссылок]
  4. «result in readers being misled as to the true nature of a given phenomenon or process» (ссылка на смещение результатов мета-анализа с опорой на мнение Wheeler [[1]]) [нет ссылок]
  5. «can distort the conclusions of literature reviews» (еще раз ссылка на смещение результатов мета-анализа с опорой на исследование Tramer и соавт. [[2]]), а также «some meta-analytic studies have been contaminated by duplicate data» (ссылка на Choi и соавт. [[3]])
  6. can result in wrong health policy recommendations that could place the public at risk [нет ссылок]

Странно, но автор не утруждал себя доказательствами. Очевидно, что выше перечисленное (пункты 1-4, 6) — лишь допущения и только при хорошем раскладе — гипотезы. Что с пунктом 5?

В исследовании Tramer и соавт. показано, что если проводить мета-анализ вслепую, то duplicate дает смещение в сторону положительного результата. Не знаю, кто и когда выполнял мета-анализ не фильтруя оригинальные/повторяющиеся данные, но если выполнял, вот уж где махровый misconduct!

Далее, в исследовании Choi и соавт. показано, что в реально опубликованных мета-анализах доля duplicate статей исчезающе мала — 0,5%. Очевидно, что глобально, роль таких ошибок при проведении мета-анализа ничтожна мала. Но даже в тех мета-анализах, которые содержали duplicate статьи, итоговая оценка лишь незначительно отличалась от истинной (без duplicate): размер эффекта без duplicate 2,01, с duplicate — 2,14.

Похожий предыдущему случай описан Murphy and Wyllie. Товарищи показали, что в мета-анализ Kuti EL и соавт. были включены duplicate data. Однако, “Visual inspection of the Forrest plot suggests that exclusion of these data is unlikely to change the overall conclusion of the study, but the confidence intervals would likely be altered.”. Kuti EL с критикой согласился (указывая на трудности коммуникации с авторами оригинальных исследований), в том числе и с тем, что, “… the inclusion of these data does not change the conclusion of the meta-analysis, … as well as our own subanalyses—only the confidence intervals are slightly wider”.

К чему я все это? А к тому, что может не стоит делать из мухи слона? ))

P.S. Любопытная деталь. Посмотрите рисунок в статье Tramer и соавт. Чем отличаются исследования, результаты которых повторно публикуются? Огромным эффектом! ))  Плохо или хорошо пиарить такие результаты? Авторы таких исследований считают, что пиарить надо.

Еще одна любопытная деталь: большинство duplicate статей размещают уже в течение 1 года после выхода «родительской» статьи (по данным Choi и соавт., все — в течение 2 лет). Теперь сопоставим два эти факта и получим … Додумывать предлагаю самостоятельно ))

Источники

[1] Wheeler, A. G. (1989). The pressure to publish promotes disreputable science. The Scientist, 3 (14): 11. Retrieved March 6, 2003 from http://www.the-scientist.com/yr1989/jul/opin_890710.html.

[2] Tramer, M. R., Reynolds, D. J., Moore, R. A., & McQuay, H. J. (1997). Impact of covert duplicate publication on meta-analysis: a case study. British Medical Journal, 315(7109), 635–640. согласно Google цитируется 581 раз!

[3] Choi, W.-S., Song, S.-W., Ock, S.-M., Kim, C.-M., Lee, J.-B, Chang, W.-J., & Kim, S.-H. (2014). Duplicate publication of articles used in meta-analysis in Korea. SpringerPlus, 3, 182, 1-6.

Research Misconduct #1 (prevalence of duplicate)

Повторяющиеся публикации — хорошо это или плохо? Ища ответы на этот вроде бы очевидный вопрос, наткнулся на данные по распространенности (спасибо Larivière V., Gingras Y.). Итак, у тех, кто прочесывал базы данных, получилось следующее

  • 0,05% (WoS)
  • 0.2%-0.5% (ArXiv)
  • 0,7-1,35% (Medline)

у тех кто прочесывал «ручками»,результаты были чуть «хуже»:

  • 1,8-8,5% (otolaryngology)
  • 1,4% (ophthalmology)
  • <1% (plastic surgery)
  • отличились медсестры — 28% (!)
  • 8,3% (систематические обзоры)

Вопрос, который остается открытым (не считая технических вопросов о том, что есть «duplicate»), — сколько этого «добра» у нас? И что делать редакторам, когда пойдет волна «разоблачений»?.

Дополнительно буду выкладывать другие данные по распространенности повторяющихся публикаций:

All Research Study Registration #2 (researchregistry.com)

Пока я думал об этом, «оно» («for registering all types of research studies«) уже оказывается есть («was launched in February 2015«). За 9 мес существования — 500 зарегистрированных протоколов. Для сравнения, за первые 10 мес «жизни» (март — декабрь 2000 г.) на ClinicalTrials было зарегистрировано почти 4 тыс. протоколов, за 2015 г. — около 25 тыс. протоколов. Есть к чему стремиться ))