Школа научного письма

Периодически ко мне обращаются с просьбой написать статью в помощь начинающим авторам. Я, как правило, соглашаюсь, хоть и понимаю, что толку от этой затеи будет мало: для изменений нужны более системные усилия. Например, организовать школу научного письма: такой формат с успехом практикуется во многих развитых странах. С недавних пор, и в некоторых российских ВУЗах пытаются обучать студентов и аспирантов академическому письму; обычно этим занимаются продвинутые преподаватели английского языка. Редакторы российских научных журналов, насколько мне известно, не занимаются обучением своих авторов, хотя, казалось бы, они более других пригодны к этой роли. Научные редакторы нуждаются в поддержке руководителей своих научных/образовательных/общественных организаций и издателей журналов, чтобы появилась мотивация к обучению авторов и собственному профессиональному росту. До недавнего времени было затруднительно объяснить руководителям НИИ, в чем заключается профессионализм научного редактора, и чему редакторы могли бы обучать молодых ученых. Осенью этого года был опубликован международный консенсус редакторов по набору профессиональных компетенций, важнейшие из которых представлены в таблице.

Таблица. Список компетенций научных редакторов, по которым был достигнут консенсус более 80% экспертов. 

Galipeau J, Cobey KD, Barbour V et al. An international survey and modified Delphi process revealed editors’ perceptions, training needs, and ratings of competency-related statements for the development of core competencies for scientific editors of biomedical journals [version 1; referees: 2 approved] F1000Research 2017, 6:1634 (doi: 10.12688/f1000research.12400.1)

Item % Rating the Perceived Importance of Expertise Highly % Rating the Perceived Possession of Expertise Highly
Expertise in research methods 85.4% 72,1 %
Expertise in dealing with publication ethics including conflicts of interest of authors, reviewers, and editors and the editorial board 80.4% 70,6 %
Behaving with integrity/professionalism 94.4% 90.2%
Using good judgment in decision-making 93.7% 87.5%
Language/writing skills 90.1% 81.5%
Author and peer reviewer correspondence; how to evaluate peer reviews, draft a revision letter and evaluate an author response letter and revision 86.6% 77,9 %

К этому списку я бы добавил еще и участие в обучении начинающих авторов (по-настоящему совершенствоваться можно только обучая других).

Еще мне точно известно о готовности некоторых руководителей научных организаций поддерживать на своей базе школу научного письма.

Но с чего начать, если большинство российских редакторов не имеет ни методики, ни материалов для проведения школ? За основу можно взять материалы наиболее успешных англоязычных курсов — Стэнфордского и Nature Publishing Group продолжительностью 24-32 часа. Эти материалы нуждаются в адаптации, поскольку примеры и задания нужно брать из русскоязычных публикаций. Работа по адаптации трудоемкая, но если объединить усилия 4-5 редакторов, ее можно выполнить за 3-4 месяца. В результате, будет подготовлен «флагманский курс» дистанционный курс, с проверкой знаний и выдачей сертификата от имени АНРИ или ОСДМ. Материалы курса могут быть использованы редакторами в дальнейшей образовательной работе (при условии участия в составлении курса или его успешного прохождения).

Список материалов для подготовки курса вывешен здесь.

Кто хотел бы принять участие в составлении курса, откликнитесь, пожалуйста, в этой ветке или пишите личное сообщение.

 

Самоплагиат: рекомендации по формулированию редакционной политики

ВВЕДЕНИЕ

С проблемой плагиата в рукописях редакции научных журналов сталкиваются регулярно. По нашим данным, неоформленные заимствования текстов[1] в том или ином объеме содержат до 90% присылаемых работ. Возражения редакторов журнала в случае обнаружения заимствований чужих текстов как правило не вызывают вопросов у авторов. Вместе с тем, обращение редакторов к авторам с просьбой «избавиться» от заимствований собственных текстов или отказ от рассмотрения рукописей на этом основании, как правило, приводят к конфликтам и обвинениям в непрофессионализме. Отсылка авторов к англоязычным источникам пользы не приносят. В ответ, авторы демонстрируют русскоязычные материалы о допустимости самоплагиата, на наш взгляд, сомнительного качества. Ниже представлен краткий анализ терминологии и рекомендаций по формированию редакционной политики в отношении случаев обнаружения в рукописях, направляемых на рассмотрение в научный журнал, заимствований собственных (ранее опубликованных) текстов.

 

ТЕРМИНОЛОГИЯ

АНРИ

Позиция профессионального сообщества российских редакторов (АНРИ) в отношении самоплагиата изложена в методических рекомендациях, утвержденных Минобрнауки России [[2]]. В этом документе рассматриваемое явление определено следующим образом: «Самоплагиат (автоплагиат) – использование частей своих предыдущих работ без какой-либо переработки для «клонирования» публикаций. … Плагиат … может применяться к случаям дублирования собственных работ исследователя, которые были опубликованы прежде, без ссылки на них (иногда это называют самоплагиатом или повторной публикацией)». При всей очевидности  негативной коннотации определения, важно другое – заимствования собственных текстов предлагается считать плагиатом при отсутствии ссылок на первичные, собственные с точки зрения авторства, источники[3]. Подтверждает последний тезис и разъяснения относительно самоцитирования, которое «позволит избежать дублирования информации и самоплагиата». Другими словами само по себе наличие ссылки на собственную ранее опубликованную работу является достаточным условием для «снятия» вопроса. Без такой ссылки самоплагиат должен быть квалифицирован как недобросовестная публикационная практика («К недобросовестным практикам относятся … 8) недопустимый повтор[4]  публикации (самоплагиат и дублирующие публикации)»). И, наконец, в Методических рекомендациях самоплагиат отнесен к признакам хищнических изданий (в основу положены критерии Д. Билла[5]).

COPE

В текстах на сайте COPE используются разные варианты написания термина «самоплагиат»: “self-plagiarism”, “text recycling”, «redundant publication”. Но в рекомендациях и, в частности, при описании алгоритма действий при обнаружении повторов в подаваемых на рассмотрение рукописях используются термины «redundancy”, «redundant publication” и “overlap” [[6]].

COPE предлагает считать, что «redundancy” есть “copying from author’s own work» или «копирование из прошлых работ автора» [там же], «redundant publication” – “… a published work (or substantial sections from a published work) is/are published more than once (in the same or another language) without adequate[7] acknowledgment of the source/cross-referencing/justification, …” [[8]]. Отличия «redundancy» от «overlap» дополнительно не разъясняются. Можно только предположить, что “without adequateотносится и к термину «overlap». В пользу этого свидетельствует то обстоятельство, что алгоритм действий при обнаружении в рукописях «minor overlap», предложенный COPE, во многом сводится к добавлению ссылки на первоисточник (“Request missing reference to original”).

КОММЕНТАРИИ

  1. Ни российские, ни международные рекомендации не устанавливают требований к объему заимствований собственных текстов. Также отсутствуют требования к источникам заимствований (диссертации, их рефераты, тезисы конференций, нерецензируемые источники и др.). Следовательно, заимствование любого объема текста из любого источника, вплоть до полного копирования, при наличии соответствующей ссылки на первичную работу, – допустимая (этичная) публикационная практика. По своему усмотрению редакции могут усилить свое отношение к этому вопросу, обязав авторов не только цитировать первоисточник, но и давать необходимые разъяснения относительно источника, объема и пр. (“citation is not enough” [[9]]).
  2. COPE допускает в отношении незначительных заимствований («minor overlap») следующие действия со стороны редактора – «запросить отсутствующую ссылку на оригинальный источник и[10]/или удалить заимствования». Никаких разъяснений о действиях в отношении самого текста COPE не предлагает. Однако в числе документов, размещенных на сайте COPE, представлены рекомендации Text Recycling Guidelines (издательство BioMed Central), согласно которым допустима рекомендация, адресованная авторам, переписать заимствованный текст и представить ссылку на первичный источник (“Where overlap is considered to be minor, authors may be asked to rewrite overlapping sections, and cite their previous article(s)“ [[11]]).
  3. Допустимой является также и редакционная практика, базирующаяся на принципе «нулевой толерантности» по отношению к любым случаям заимствования, включая самоплагиат с цитированием. Другими словами, где ставить запятую в «казнить нельзя помиловать» решает именно редакция. Эта позиция, равно как и разъяснения понятия «оригинальные данные» (часто встречающаяся формулировка), должны быть зафиксированы в редакционной политике научного журнала. Если такая позиция не зафиксирована, отношение редакторов журнала к самоплагиату должно определяться его допустимостью (см. пункт 1). Достаточно ли ограничиться ссылкой на рекомендации COPE и в любой конфликтной ситуации ограничиваться отсылкой авторов к англоязычным документам? Такой вариант не вызывает возражений, но, по моему мнению, в российских условиях (и не только) является примером «недружелюбной» редакционной практики.
  4. Обсуждение допустимости повторных (копирующих) публикаций с точки зрения целостности научных данных представлено здесь [[12]]. Показано, что в основе распространенного суждения о неэтичности таких публикаций лежат предположения (ничем не обоснованные мнения) и/или неверная интерпретация результатов некоторых исследований.
  5. Ни в российских рекомендациях, ни в рекомендациях COPE проблема самоплагиата не рассматривается в фокусе юридических рисков, связанных с перепубликацией (полной или частичной) текстов, принадлежащих третьей стороне. Однако при рассмотрении советами COPE некоторых кейсов эти риски упоминаются (“There may be a question of breach of copyright and the editor might want to remind the author of copyright law.” [[13]]).
  6. Ни в российских рекомендациях, ни в рекомендациях COPE проблема самоплагиата не рассматривается в фокусе репутационных рисков.

 

ЗАКЛЮЧЕНИЕ

Как российские, так и международные правила квалифицируют заимствования собственного текста (самоплагиат) как допустимую (при соответствующем цитировании первоисточника) публикационную практику. Вместе с тем, редакции могут ограничивать (вплоть до полного запрета) присутствие таких заимствований в тексте рукописей. Соответствующие ограничения (запреты) должны быть четко и ясно сформулированы и отражены в редакционной политике издания. Использование с целью разъяснения позиции редакции относительно самоплагиата ссылок на англоязычные документы COPE или иных международных организаций, нежелательно. Редакциям научных журналов следует информировать своих читателей и потенциальных авторов о политике издания в отношении случаев самоплагиата.

При обнаружении заимствований собственных текстов в рукописях без цитирования первичного источника редакторы могут предпринять следующие действия (если редакционная политика допускает наличие таких заимствований или не предусмотрены иные действия):

а) просить автора указать ссылку на первичную статью (обязательно!),

б) просить автора переписать незначительные по объему заимствования собственного текста (на усмотрение редакции; необходимость определяется значимостью для издания репутационных и/или юридических рисков).

 

Литература и разъяснения 

[1] Здесь и далее (с целью упрощения) обсуждается заимствование именно текста, но не данных, описания программных продуктов и др. форм презентации результатов научной работы.

[2] Методические рекомендации по подготовке и оформлению научных статей в журналах, индексируемых в международных наукометрических базах данных. https://www.asu.ru/files/documents/00017094.pdf

[3] В Методических рекомендациях не обсуждается допустимость заимствований из других источников (диссертация, ее автореферат, тезисы конференций, нерецензируемые источники и пр.).

[4] Здесь разъяснение термина «недопустимый повтор» отсутствует. С учетом других разъяснений можно предположить, что недопустимым является повтор текста (любого объема) без ссылки на первоисточник (собственную работу, опубликованную ранее).

[5] «Критерии для определения хищных издательств  открытого доступа …- Издательство не использует достаточно ресурсов для предотвращения и устранения неправомерных действий автора, поэтому в журналах часто встречается плагиат, самоплагиат, манипуляции с изображениями и т.д.».

[6] COPE flowchart for suspected redundant publication in a submitted manuscript. https://publicationethics.org/files/redundant%20publication%20A_0.pdf

[7] Что есть “adequateв тексте не разъясняется.

[8] Более широкое (без учета авторства) определение термина «redundant publication” следующее: «When a published work (or substantial sections from a published work) is/are published more than once (in the same or another language) without adequate acknowledgment of the source/cross-referencing/justification, …” https://publicationethics.org/category/keywords/redundant-publication

[9] Plagiarism or redundant publication? https://publicationethics.org/case/plagiarism-or-redundant-publication

[10] Союз «и» здесь лишний (в оригинальном тексте присутствует), ибо невозможно сделать и то, и другое.

[11] Text Recycling Guidelines. https://publicationethics.org/text-recycling-guidelines.

[12] Research Misconduct #2 (duplicate impact myth). https://publicationethic.wordpress.com/2016/11/10/research-misconduct-2-duplicate-impact-myth/

[13] Plagiarism or redundant publication? https://publicationethics.org/case/plagiarism-or-redundant-publication

Альтернативные практики рецензирования* в научных журналах

Странное дело, но традиционное рецензирование, основанное на участии внешних (по отношению к редакции) специалистов, остается одной из самых ненаучных практик в науке. И даже то, что мы знаем об этой практике вызывает недоумение, которое можно выразить простым «как же так?». Известные проблемы рецензирования пытаются преодолеть разными способами, вплоть до отказа от самой процедуры (препринты тому пример). Некоторые из этих способов являются следствием развития новой парадигмы в научной коммуникации, а именно, «сначала dissemination, потом certification» (в противовес парадигме прошлого «certification —>dissemination»).

Ниже вы сможете ознакомиться с теми практиками рецензирования, которые уже нашли свое место в редакционной деятельности научных журналов. Так что, можно попробовать и вам, уважаемый редактор.

Альтернативные практики

Основная цель
  • интеллектуальные методы отбора рецензентов
  • авторы предлагают рецензентов (author-nominated reviewers)
  • профессиональные peer review агентства
Оптимизация выбора рецензентов
  • рецензирование «вне очереди», платное (fast-track peer review)
  • передача рецензий в другой журнал (portable review)
  • передача рецензий в журнал с более низким импакт-фактором в пределах одного издательства (cascade review)
  • 2-этапная система рецензирования (review editor [скрининг] + peer reviewers)
  • рецензирование «под впечатлением» (fast ranking review)
  • «шаблонное» рецензирование (questionnaire-based peer review)
Увеличение скорости рецензирования

 

  • совместное (2 и более рецензента) рецензирование (collaborative peer review, crowd-based peer review, mentoring peer review)
  • рецензирование с маскированием авторов (double-blinded peer review)
  • открытое рецензирование (раскрытие информации о приглашенных рецензентах, открытие рецензий, open peer review)
  • results-free review (сокрытие результатов исследования)
Повышение качества рецензирования

 

  • авторы приглашают рецензентов (author-guided peer review)
  • авторы приносят рецензии (author-directed peer review, pre-submission review)
  • ограничение количества раундов рецензирования (re-review opt-out, «as-is» review)
  • ограничение числа внешних рецензентов (одного достаточно [± editor])
  • отказ от внешнего рецензирования (редактор как рецензент, reviewing editor)
Снижение бремени рецензирования

 

Примечание. * под практикой рецензирования понимается комплекс действий по организации и проведению профессиональной сертификации научного знания.

Признаки «мутные» журналы или казнить нельзя …

Данная рецензия адресована не только авторам списка и объяснений признаков некорректной редакционной политики (далее Список), но и все тем, кто занимается составлением «черных» перечней на основании каких-либо критериев («белые» списки, как ни странно, мало кто составляет).

С самого начала адресую всех читателей к рекомендациям the Standards for the Reporting of Diagnostic Accuracy Studies (STARD) в версии 2015 г. Цель этих широко принятых в среде (био)медицинской науки рекомендаций: “To assist in the completeness and transparency of reporting diagnostic accuracy studies …”. Авторы рекомендаций надеются, что этот свод правил (по сути, стандарт) поможет “… readers to judge the potential for bias in the study, and to appraise the applicability of the study findings and the validity of the authors’ conclusions and recommendations.”

Позволю себе несколько выдержек из этого документа (перевод смысловой, цитаты – из оригинального документа). При этом я намеренно не использовал медицинскую терминологию: замена слова «больные» на «журналы» сути не меняет. В основе диагностики лежат универсальные принципы, подходящие, в том числе, и для выявления «больных» журналов. И в этой связи, вполне универсальным можно признать следующее определение диагностического теста: “Any method for collecting additional information about the current or future … status of a …  [здесь вполне подойдет слово «журнал»].

Итак, вот основные тезисы, изложенные в разделе «Введение» STARD 2015.

  1. Исследователи сообщают о результатах своих исследований не только с целью поделиться своими впечатлениями (успехами и/или разочарованиями), но также и для:
  • to allow others to appreciate the validity of our methods,
  • to enable our colleagues to replicate what we did, and
  • to disclose our findings to [заинтересованные лица].
  1. К числу ключевых проблем современной науки можно с уверенностью отнести следующие:
  • неполнота представляемых данных/результатов (incomplete reporting),
  • выборочное представление данных/результатов (selective reporting),
  • необоснованный оптимизм исследователей (unwarranted optimism).

Второе может отличаться от первого наличием намерения. Как бы там ни было, все эти проблемы ограничивают (а в некоторых случаях аннулируют) ценность как самих исследований (т.н. оригинальных), так и результатов их обобщения.

  1. Диагностические исследования постигли три болезни (впрочем, как и другие типы исследований):
  • систематические смещения/ошибки (bias),
  • недостаточное/ошибочное статистическое описание результатов,
  • малое (отсутствие) прикладное значение результатов (applicability),

Систематические смещения, приводящие к ошибкам в интерпретации результатов, вызваны использованием «неправильных» (нетипичных) выборок, наблюдаемых в необычных условиях с использованием невалидированных инструментов, а также использование «неправильных» (невалидированных) терминов/определений тех или иных состояний (“… many authors also fail to report completely the clinical context, and when, where and how they identified and recruited eligible study participants.”).

Недостаточное/ошибочное статистическое описание результатов диагностических исследований в худшем сценарии сводится к представлению только примеров т.н. истинно положительных случаев диагностируемого состояния. В «среднем» сценарии – это представление оценок чувствительности (доля истинно положительных случаев) и специфичности (доля истинно отрицательных случаев). Однако для  качественного представления результатов диагностического исследования не обойтись без значений площади под кривой, а также вероятности положительных/отрицательных результатов. Представление пороговых значений требует дополнительных обоснований, часто связанных с контекстом и целью диагностики (“For continuous tests, dichotomization into test positives and negatives may not always be indicated.”).

Малое (отсутствие) прикладное значение результатов диагностических исследований может быть обусловлено как указанными выше систематическими смещениями, так и низкой «добавленной стоимостью» предлагаемых диагностических критериев (incremental accuracy), а также использованием необоснованно сложных диагностических конструкций.

Для чего это длинное вступление? Чтобы подчеркнуть, что авторы Списка проигнорировали ВСЕ правила научного обоснования результатов диагностического исследования, претендующего на достоверность, а также допустили ВСЕ ошибки, типичные для «обычных» диагностических исследований, публикуемых в «обычных» (можно «российских») научных журналах. По этой причине, применимость этих результатов (здесь, Списка), их прикладное значение, адекватно оценить невозможно. Вместе с тем, большое число этих критериев, а также неопределенность относительно того, какая комбинация этих критериев является диагностической, заставляет сомневаться в их практической пользе. Заявление  «В «Диссеропедии» использовалось два основных критерия некорректной редакционной политики …» (авторецензирование и наличие в журнале статей с массовыми некорректными заимствованиями) ясности не добавляет (это обязательные критерии?). А тезисы типа «… каждый признак по отдельности не бесспорен, поэтому признаков должно быть много, и тогда в совокупности они могут сыграть роль проявителя» указывают на эмпирический подход авторов при составлении списка, нежели научный.

Считаю, что этих доводов достаточно для рекомендации удалить этот список из публичного обозрения. Хочу подчеркнуть недопустимость оценок научности журналов, основанных на ненаучных подходах (точнее, на подходах, научность которых подтвердить/опровергнуть невозможно). Мы либо верим этим результатам («Список работает»), либо нет. Они нам либо «нравятся», либо нет. Но считать их научно обоснованными … нет никаких оснований. Иначе, эти признаки могут быть причислены к «мусорным» с такой же легкостью, как и журналы, которые они подобным образом квалифицируют. И эта оценка будет справедлива до тех пор, пока авторы явным образом не изложат свою методологию. Первой попытке навести порядок в сфере научной коммуникации, явно недостает прозрачности.

P.S. Тем, кто желает пойти дальше и дать еще более взвешенную оценку Списка и, в первую очередь, его оснований, предлагаю погрузиться в изучение такого аналитического инструмента как QUADASE-2 (Quality Assessment of Diagnostic Accuracy Studies). Если бы кто-то попытался оценить качество оснований Списка, полагаю, он бы получил по всем оцениваемым характеристикам оценку “high, or unclear risk of bias” и/или “low, or unclear applicability”.

P.P.S. В качестве примера научного обоснования признаков «мусорных» журналов вполне подойдет исследование Shamseer L. и соавт. (2017). Однако у результатов этого исследования есть 3 существенных ограничения. Два указаны самими авторами. Это немаскированная оценка показателей с потенциальной диагностической значимостью и не проведение многофакторного анализа для выявления признаков с независимой диагностической ролью. Но, есть и третий. Касается он используемых категорий «мусорный/немусорный». Согласно исследованию Bohannon J. (2013) оценка категории «мусорный» на основании Beall’s List может быть ошибочной для 20% журналов из этого списка. Равно как и оценка «немусорный» для журналов, работающих по принципу Open Access, может быть ошибочной в 40% случаев (доля мусорных журналов среди гибридных журналов — 3-я группа в исследовании Shamseer L. и соавт., — не известна). Таким образом применимость (практическая ценность) предложенных  Shamseer L. и соавт. критериев остается под большим вопросом.

Международный дистанционный курс по практике рецензирования

Академия  Publons  запускает 2 мая дистанционный курс по рецензированию в научных журналах.

Планируется выдача сертификатов о прохождении курсов. Мы рекомендуем всем авторам, редакторам и рецензентам (в том числе потенциальным) записаться на этот курс.

Почему это важно, можно прочитать здесь.