Open science: pro et contra

Небольшой ликбез по вопросу, что же есть open science, и зачем «оно нам надо» (или не надо). С примерами.

Вообще, мне подумалось, что научное сообщество развивается как-то по синусоиде, что ли. Если в каком-нибудь XVIII-XIX в. никому бы не пришло в голову скрывать данные, потому что никому особо не приходило в голову их воровать (хотя не смею утверждать, поскольку специально этот вопрос не изучала), то теперь, намыкавшись с плагиатом, фальсификацией и нездоровой конкуренцией, мы устали сами же от себя и…снова хотим быть честными и открытыми ребятами 🙂 И чё было время терять? И ещё любопытно, куда науку забросит лет через 100-200.

Подробности тут: http://ivory.idyll.org/blog/2016-what-is-open-science.html

Principles of publication ethics #2 (научным журналистам посвящается)

Ломоносов М.В. Обязанности журналистов при изложении произведений, имеющие целью обеспечить свободу научного суждения. Nouvelle Bibliotheque Germanique, 1755 г. (вариант: «Рассуждение об обязанностях журналистов при изложении ими сочинений, предназначенных для поддержания свободы философии»)

«… критикам необходимо предписать точные границы в которых им следует оставаться, не переступая их ни под каким видом». Ломоносов предложил 7 правил:

  1. «Кто берется сообщать публике содержание новых сочинений, должен наперед взвесить свои силы …»
  2. «Чтоб быть произнести приговор искренний и справедливый, надобно освободить свой ум от всякого предрасудка, от всякого предубеждения и не требовать чтобы авторы, которых мы беремся судить, рабски подчинялись идеям, господствующим над нами, считая и без того этих писателей нашими истинными врагами, с которыми мы призваны вести открытую войну».
  3. «… нет такого сочинения, которое не требовало бы соблюдения естественных законов справедливости и приличия … нужно вдвойне более осторожности, когда дело идет о сочинениях, … просмотренных и признанных достойными издания от лиц, которые совокупные знания естественно превосходят сведения журналиста, и прежде нежели он решиться указывать недостатки и осуждать, он должен неоднократно взвесить то, что намерен сказать, для того, чтоб быть в состоянии поддержать и оправдать свои слова, если в том встретиться надобность».
  4. «Журналист не должен торопиться порицать гипотезы. Они позволительны в предметах философских, и это даже единственный путь, которым величайшие люди успели открыть истины самые важные …».
  5. «Особенно же пусть журналист запомнит, что всего бесчестнее для него красть у кого-либо из своих собратьев высказываемые им мысли и суждения и присвоивать их себе … тогда как ему едва известны заглавия книг, которые он уничтожает. Так бывает часто с наглым рецензентом, который отваживается делать извлечения из сочинений физических или медицинских».

Вот кто в действительности праотец Дисернета 🙂 И про плагиат … 250 лет назад … Ломоносов — сила!

6. «Журналисту позволяется опровергать то, что по его мнению заслуживает того в новых сочинениях, хотя это вовсе не настоящее его дело и не прямое его призвание. Но кто уже раз берется за то, должен вполне ознакомиться с мыслями автора, разобрать все его доказательства и противопоставить им действительные возражения и основательные доводы, прежде нежели он присвоит себе право осуждать другого. Одни сомнения и произвольные вопросы не дают этого права ибо нет такого невежды, который не мог бы предложить гораздо более вопросов, сколько самый сведующий человек в состоянии разрешить. Журналист не должен особенно воображать, что непонятное и необъяснимое для него, такого же и для автора, который мог иметь свои причины к тому, чтобы сократить или опустить некоторые обстоятельства».

7. «… он [журналист] никогда не должен иметь слишком высокого мнения о своем превосходстве, о своем авторитете и о достоинстве своих суждений. Выполняемое им дело само по себе уже неприятно для самолюбия тех, кого он затрагивает: было бы с его стороны очень неблагоразумно оскорблять их намеренно и вынуждать к обнаружению его бессилия».

История рецензирования в российских научных журналах

Можно немало прочитать об истории рецензирования англоязычных научных журналов. Когда была написана первая рецензия, в каком журнале, кто, да как … О российском опыте удалось выяснить совсем немного, а жаль … Итак, вот, что удалось «откопать»у Акопова (низкий поклон ему)

  • «Ф. Миллер, первый редактор российского журнала «Ежемесячные сочинения, к пользе и увеселению служащих» (1755-1764 г.), по всей видимости был первым, кто ввел процедуру редакционного рецензирования. Читаем: «Вначале Г. Ф. Миллер сам решал судьбу рукописей, редактировал их, иногда делал переводы и даже правил корректуру. Однако на третий год издания журнала, в 1757 г., с началом работы М.В. Ломоносова как члена канцелярии, Миллера стали ограничивать в самостоятельной редакционной деятельности: он должен был докладывать канцелярии об авторах, давать список материалов для предварительного согласования. Иногда статьи снимались против желания редактора. Жалобы Миллера на притеснения успеха не имели. Эти мероприятия, направленные на большую объективность в подборе и редактировании научных материалов, можно считать первой попыткой создания научной редколлегии.»
  • Там же ««Несмотря на скудность в произведениях оригинальных, Миллер, однако не печатал подряд всего, что ему доставлялось для помещения в «Ежемесячные сочинения» (например, отказывал Тредьяковскому в печати 10 его литературных сочинений). При этом на требование автора о разъяснениях заявлял «что не должен мне [Тредьяковскому] ничего сказать, сколько бы я не спрашивал»». Ха-ха 🙂

А теперь внимание, о первом (вероятно, в мире) случае слепого (single-blinded) рецензирования:

  • «Полагая, что Миллер не печатает его произведения исходя из личной неприязни, Тредьяковский предложил Андрею Нартову («усердному вкладчику статей») передать статьи редактору от имени неизвестного (подписано В.Т., т.е. Василий Тредьяковский). Результат – ода была расхвалена и напечатана. По словам автора: «сей самый успех низверг меня почитай в отчаяние: ибо увидел подлинно, что презрение стремится токмо на меня, а не на труды мои»».

Почему, мы не кричим об этом на весь мир?!

Аааааааа! И даже open peer review было

  • «На второй год существования  журнала (12 июля 1755 г.) на академической конференции было решено опубликовать эпистолу Сумарокова, в котором последний опровергал рассуждение Тредьяковского об истории стихосложения. Тредьяковскому предлагалось подготовить и свой ответ на «рецензию». Тредьковский (19 июля) зачитал свои возражения мнению Сумарокова. В результате обсуждения было определено: «для прекращения дальнейших распрей запретить и эпистолу, и ответ на нее» [Пекарский, 41]. Впрочем, эпистола Сумарокова все же была опубликована в августовском номере журнала. Ответ Тредьяковского напечатан при этом не был». Но в те времена был своего рода ВАК России по всем вопроса, а именно Священный синод. Тредьяковский «… придумал иной способ отомстить ему», написав доношение в синод о вольном использовании текста Священного Писания [Пекарский, 42]. Узнав об этом письме, Сумароков просил членов академической конференции: «… о недопущении его [Тредьяковского] судить на будущее время произведения рассерженного поэта [Сумарокова]» [Пекарский, 43]. В последствии, синод требовал проведения разбирательств с целью серьезного наказания провинившихся [Пекарский, 44], однако без последствий.» Браво синод, office of research integrity 18-го века ))))
  • «Следующий эпизод с рецензирование относится к марту 1757 года, когда М.В. Ломоносов стал настаивать на добавлении в статью Григория Полетики «О начале, возобновлении и распространении учения и училищ в России и о нынешнем оных состоянии» информации о школах якобы существовавших в России в прежние времена, но о которых автором упомянуто не было («… были-де … архитекторы, зачалсь-де типография». Кроме того, Ломоносов отмечал, что Полетики упомянул: «что-де все надлежало было описать, и упомянуто-де только о киевских школах, а не о московских». Возражал этому Миллер, подчеркивая свою уверенность в том, что в летописях, которые изучал автор статьи, подтверждений мнению Ломоносова нет. Миллер отмечал: «иное есть архитектура, или практика архитектурная, иное архитектурная школа. Были-де … и медики, токмо не было медицинской школы». Несмотря на доводы Миллера канцелярия Академии (членов которой был Ломоносов) запретила публиковать статью Полетики, а также эпиграмму Сумарокова, присланную Миллером на предварительное рассмотрение. В этих пререканиях граф Разумовский принял сторону Ломоносова: статья Полетики была признана изобилующей «многими непристойностями», а Миллеру сделано внушение о необходимости полного подчинения канцелярии (и это несмотря на первоначальное определение президента, что журнал должен издаваться без вмешательства канцелярии)»

А теперь, о предпубликационном рецензировании, но правда в этот раз, о неудачной попытке:

  • «На заседании [Академии наук] М.В. Ломоносов высказал мысль о необходимости представления принятых статей на академическое собрание, на что было высказано возражение (Тредьяковского) «… представление статей на предварительный просмотр может подать повод к пререканиям и напрасной трате времени»». В результате «Предложение Ломоносова … «о предварительной цензуре» в окончательно заключении заседания Академии наук не было отражено (от 12 декабря 1754 г.).». Ломоносов — сила!

 

Principles of publication ethics #1 (наша история)

Немного об этике в первых российских научных журналах. По мере обнаружения, буду обновлять

  • Из текста заседания Академии наук относительно нового журнала «Ежемесячные сочинения, к пользе и увеселению служащих» (1755-1764 г.): «исключить вовсе изъ журнала статьи богословские и вообще все, касающиеся веры, а равным образом статьи критические и такие, которыми мог бы кто-нибудь оскорбиться».
  • Публикации «Ежемесячных сочинений» (в их числе, много переводных статей) обычно не подписывались! Вот уж где идеальная академическая наука 🙂 Хотя нет … журнал был скорее научно-популярным (девиз издания «Для всех»).
  • Из высказываний Ломоносова о работах Миллера (первый редактор «Ежемесячных сочинений»): «Он больше всего высматривает пятна на одежде российского тела, проходя многие истинные ее украшения… из чего иностранные народы худые будут выводить следствия о нашей славе. Или нет других известий и дел российских, где бы по последней мере и добро с худом в равновесии видеть можно было?». Даааа, будь Ломоносов сейчас живым, Диссернету не жить 🙂

 

Об открытом доступе к результатам КИ и прозрачности регуляторных данных в сфере обращения ЛС

«Впервые в истории регулирования обращения лекарственных препаратов Европейское агентство по лекарственным средствам (EMA) открыло доступ к отчетам о клинических исследованиях.
Агентство начало выкладывать в открытый доступ отчеты о клинических исследованиях лекарственных препаратов, заявление о регистрации которых подано, начиная с 1 января 2015 г. Кроме того, в открытый доступ будут выложены отчеты в связи с внесением изменений, заявления о которых поданы, начиная с 1 июля 2015 г.
А с 2018 г. доступ будет открыт ко всем клиническим исследованиям, результаты которых будут использоваться для регистрации лекарственных препаратов в ЕС.
Пока выложена клиническая часть досье на 2 лекарственных препарата. Доступ открыт к модулям 2.5 (клинический обзор) и 2.7 (клинические резюме), а также ко всему модулю 5 (отчеты о клинических исследованиях). В отношении отчетов: доступ открыт к телу отчета, к протоколу исследования (включая все поправки), образцу индивидуальной регистрационной карты и плану статистического анализа.
Это большая победа пациентов и медицинских работников. Данный шаг, несомненно, повысит безопасность и эффективность лекарственных препаратов, а также усилит научность разработки, анализа и интерпретации данных. Кроме того, это позволит быстрее перенимать передовые практики и в других странах, включая нашу.
Подобная мера будет введена и в США. Доступ к американским исследованиям откроется 18 января 2017 г.»
Равиль Ниязов

«Российские компании уже в течение двух лет настаивают на публичном доступе к отчетам о клинических исследованиях и к экспертным заключениям ФГБУ НЦЭСМП, являющимся основанием для регистрации лекарственных препаратов. А также на публичном декларировании конфликта интересов экспертов и ответственности за его сокрытие. AIPM резко против. Отдельные должностные лица тоже не в восторге. Как вы думаете — почему?
Эти предложения подавались во все дорожные карты по развитию регуляторной среды и развитию конкуренции на фармрынке. Против те, кому выгодно поддерживать мнение о том, что в российской фармотрасли ничего не изменилось. И те, кому нужна возможность применения двойных стандартов.»
Р. Иванов BIOCAD

http://elibrary.ru/download/21576516.pdf

Open and transparent peer review #8 (пионеры)

Список «пионеров» модели прозрачного рецензирования в процессе формирования. Это журналы, которые внедрили эту модель в редакционную деятельность. В одних журналах рецензенты назначались редакторами, в других — это было community + рецензенты. На данный момент (05.11.2016) выглядит он следующим образом:

  1. Journal of Interactive Media in Education — 1996 г. [1]
  2. Electronic Transactions of Artificial Intelligence (ETAI) — 1997 [2]
  3. Atmospheric Chemistry and Physics — 2001 г. [3]
  4. Biology Direct — 2006 г. [4]
  5. EMBO Journal — 2009 г. [5]

И это не считая журналы, в которых были проведены первые исследования эффективности прозрачного рецензирования (Medical Journal of Australia, 1996 и 1998 гг.) или проводилось исследование эффективности предпубликационного публичного обсуждения (Nature, 2006). Nature отказались от модели предпубликационного обсуждения. Причину можно определить как: «it is more difficult to obtain lively discussion when the number of contributed articles increases«. О переходе Medical Journal of Australia на новую модель данных пока нет.

Источники:

  1. Pöschl, U. (2012). Multi-stage open peer review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation. Front. Comput. Neurosci. 6:33. doi:10.3389/fncom.2012.00033
  2. Sandewall E. Maintaining Live Discussion in Two-Stage Open Peer Review. Frontiers in Computational Neuroscience. 2012;6:9. doi:10.3389/fncom.2012.00009. (со ссылкой на Sandewall, E. (1997). Publishing and reviewing in the ETAI. ETAI 1, 1–12)
  3. Pöschl, U. (2004). Interactive journal concept for improved scientific publishing and quality assurance. Learn. Pub. 17, 105–113.
  4. Koonin EV, Landweber LF, Lipman DJ. Biology direct: celebrating 7 years of open, published peer review. Biology Direct. 2013;8:11. doi:10.1186/1745-6150-8-11.
  5. Rørth P. The EMBO Journal 2009: new initiatives. The EMBO Journal. 2009;28(1):1-3. doi:10.1038/emboj.2008.250.

Open and transparent peer review #7 (rejected manuscripts)

Подготовлено по результатам  коллективного «расследования» практики открытия результатов рецензирования рукописей, которым было отказано в публикации (подробнее см. группу Этика науки на ФБ). Вот они, пионеры 🙂 (обновлено 04.11.16)

  1. Atmospheric Chemistry and Physics (см. пункт 7), IF =5,1
  2. Biogeosciences (см. пункт 7), IF =3,7
  3. F1000 Research (см. пункт 12), IF = не имеет, категория Q1 (Scopus) по теме Pharmacology, Toxicology and Pharmaceutics
  4. Research Ideas and Outcomes (здесь), метрик нет (журнал новенький), но свою «печать» поставил Science
  5. Wellcome Open Research (пункт 12), научный и рецензируемый … репозиторий 🙂 а чё, какая разница 🙂
  6. Economics («… Discussion Paper with all comments is permanently archived and remains accessible to the public for documenting the paper’s history«)

Участники группы «Этика науки» в оценке этичности такой практики разделилось  8 согласились, что это «хорошая практика», 9 — что «неэтичная» или «ненужная», 1 — посчитал, что и обсуждать здесь нечего.

А вот теперь личный вопрос. Захотел бы я, чтобы моя статья, которую отвергли, висела на сайте журнала до скончания веков с нелицеприятными выкладками рецензента? Только если я под этим подписался при регистрации рукописи в электронной редакции. Но я бы совсем не возражал, если бы эта судьба постигла мою rejected рукопись, направленную в Nature! Даааа, опять все сложно ))

Data sharing No. 2 (by BMJ)

Ещё одни законодатели мод — British Medical Journal —  о преимуществах data sharing. Совсем свеженькое, недельной давности.

Авторы рассуждают о преимуществах предоставления доступа к данным, а также приводят несколько примеров из практики, когда отказ от этой инициативы мог бы нанести реальный вред.

Подробности здесь:

http://www.bmj.com/content/355/bmj.i5295

Open and transparent peer review #6 (плюсы и минусы)

Думаю, полезно будет  вывести список «за» и «против» модели прозрачного рецензирования. Список будет пополнятся (сейчас версия от 05.11.2016). Список формируется на основании результатов исследований и мнений. Учитывая, что не всегда ясно, плюс это или минус, все «слито» в один список. Цель: помочь заинтересованным редакциям принять решение о целесообразности перехода на новую модель рецензирования (и не только).

С точки зрения редакторов

  • «Soon after the transition [into an interactive open access journal], the journal experienced a substantial increase of submissions, publications, and citations» (о журнале Hydrology and Earth System Sciences до и после перехода на модель прозрачного рецензирования) [8]
  • переход некоторых журналов European Geophysical Society на модель прозрачного рецензирования предопределил их экономический успех за счет внедрения IT решений, сокращения времени и усилий на подготовку рукописей, относительно низкой платы для авторов (в сравнении с журналами, придерживающихся традиционной модели рецензирования) [8]
  • «anticipation of public peer review and discussion deters authors from submitting low-quality manuscripts and, thus, relieves editors and referees from spending too much time on deficient submissions» (мнение редактора журнала Atmospheric Chemistry and Physics) [10]
  • позволяет выявлять случаи misconduct со стороны рецензентов (пример BMJ) [11]
  • «open process is more labor-intensive than a traditional process but that labor can bring real benefits.» (редактор Shakespeare Quarterly) [12]
  • «… the quality of reviews (i.e., contributions to the open review discussion) in the ETAI was in the upper-middle range» (мнение редактора ETAI) [13]
  • 33% редакторов отметили повышение качества рецензий [1]

С точки зрения рецензентов

  • 5% считают, что модель прозрачного рецензирования повлияла на заключение [1]
  • 25% рецензентов считают, что изменились формулировки в тексте рецензии [1] (по данным [2] — «improved the tone and constructiveness», похожее в [4], не изменились в [5])
  • «telling reviewers that prepublication histories might be posted online did not affect the quality of peer review» [3]
  • «reviewers who were asked to look at a paper that was randomised to online prepublication history were moderately more likely to decline the assignment or not to reply»  [3]
  • 58% отказались бы от рецензирования в случае опубликования рецензии вместе со статьей (по причине a fear of retribution from authors) [4]
  • «The rate of acceptance of invitations to review a paper has remained the same (very few invited referees decline)» [5]
  • 17% рецензентов (данные Publons) готовы опубликовать свои рецензии (из них 2/3 анонимно) [6]
  • качество публикуемых рецензий (анонимных или signed) чуть лучше тех, что single-blinded, но при этом скрытых от посторонних глаз; вместе с тем, рекомендации рецензентов (accept, revise, reject) не различаются [7] (любопытно, что «скрытое» signed peer review дает более высокий процент акцепта в сравнении с blinded)
  • 80% дисскутантов при публичном обсуждении рукописи предпочитают скрывать свое имя [8]
  • «a completely open review system would have reviewers’ names published in a footnote to each paper to further encourage reviewers to do a thorough job. When bad science is published, the negligence of reviewers can be as aggravating as the incompetence of authors» [9].
  • «there are typically 0.5 pages of interactive comments per page of original discussion paper» [10]
  • «About three out of four referee comments are posted without the referee’s
    name … however, interesting differences between sub-disciplines: on average about 40% of theoreticians and computer modelers sign their referee comments, while only 10% of the laboratory and field experimentalists do so.» [10]  Или первым выгодно, или вторые боятся или и то и другое ))

С точки зрения авторов/исследователей

  • «did not significantly impact authors’ decisions to submit» (цифр нет) [1]
  • 25-50% (данные по 5 журналам) авторов склонны выбрать именно журнал с прозрачным рецензированием (для остальных, полагаю, не имеет значения)  [1]
  • 25% исследователей (опрос 2009 г., >4 тыс респондентов) считают open and published peer review эффективным (76% считают эффективным двойное слепое  рецензирование) [4]
  • недостатком open and published peer review исследователи сочли «that the reports will be uncritical» по причине «hierarchies in those societies, and others» (суммированное мнение)  [4]
  • 5% авторов отказались от прохождения рукописи через систему «прозрачного рецензирования» [5]
  • большая часть исследователей (число не указано; данные Publons) не видят проблем в публикации рецензий вместе со статьей. 40% отмечают «it would depend on the review» [6]
  • авторы, прошедшие через систему прозрачного рецензирования, чаще давали высокие оценки полезности рецензий, чем их коллеги, прошедшие через традиционное «закрытое» single-blinded review (39 и 30% дали 5 балов по 5-бальной шкале) [7]
  • «transparency of the review process (open-process peer review) is normally sufficient to protect authors from inappropriate referee comments» (мнение) [8]

ИСТОЧНИКИ

  1. Is open peer review the way forward?
  2. van Rooyen S, Godlee F, Evans S, Black N, Smith R. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial. BMJ1999;318:23-7.
  3. van Rooyen S, Delamothe T, Evans SJW. Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial. BMJ2010;341:c5729
  4. Mulligan A, Hall L, Raphael E: Peer review in a changing world: an international study measuring the attitudes of researchers. JASIS&T. 2013, 64: 132-161. 10.1002/asi.22798.
  5. Pulverer, B. (2010). Transparency showcases strength of peer review. Nature, 468(7320), 29-31. doi:10.1038/468029a
  6. Who owns the review?
  7. Kowalczuk MK, Dudbridge F, Nanda S, et al. Retrospective analysis of the quality of reports by authorsuggested and non-authorsuggested reviewers in journals operating on open or single-blind peer review models. BMJ Open 2015;5: e008707. doi:10.1136/bmjopen-2015-008707
  8. Pöschl, U. (2012). Multi-stage open peer review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation. Front. Comput. Neurosci. 6:33. doi:10.3389/fncom.2012.00033
  9. DeСoursey, T. Perspective: The pros and cons of open peer review. Should authors be told who their reviewers are? 2006. http://www.nature.com/nature/peerreview/debate/nature04991.html
  10. Pöschl U. Interactive Open Access Publishing and Peer Review: The Effectiveness and Perspectives of Transparency and Self-Regulation in Scientific Communication and Evaluation. Liber Quarterly Volume 19 Issue 3/4 2010
  11. Ethical Dilemmas in Scientific Publication (WAME, September 17, 2005)
  12. Rowe K. Gentle Numbers
  13. Sandewall E. Maintaining Live Discussion in Two-Stage Open Peer Review. Frontiers in Computational Neuroscience. 2012;6:9. doi:10.3389/fncom.2012.00009.

Open and transparent peer review #5 (издатели пилотируют)

Elsevier решил попробовать с прозрачным рецензированием. Плюс немного цифр. Мое смелое предположение — через год-другой эта модель станет условием для включения в клуб журналов с меткой «рецензируемый». Сейчас это как мишленовская звезда, через n-адцать лет — обязательное условие.

Добавлю только планы самого издательства: «The pilot will continue until August 2017, at which point we hope to be ready to offer an open review option to more journal editors. By the end of 2017, we will be able to make it possible for reviewers to choose to publish their review reports in any Elsevier journal.»