Сан-Францискская декларация по оценке научных исследований

Print PDF

В продолжение анализа проблем неолиберальных реформ в организации науки, в том числе с внедрением индексов цитирования как главной оценки продуктивности работы исследователей. Также как с другими реформами, базирующимися на данной идеологии, у нас тотально  и безоглядно (в режиме библиометрического джихада) внедряют метод, от которого на Западе хотят отказываться, поскольку вполне прояснились его недостатки. О чём см.подробнее документ и другие материалы с сайта авторов декларации.

«Сан-Францискская декларация по оценке научных исследований

Научный подход к оценке исследований

Существует настоятельная необходимость в улучшении способов, которыми выход научных исследований оценивается финансирующими учреждениями, академическими институтами и другими сторонами.

Для решения этого вопроса группа редакторов и издателей научных журналов  встретилась во время ежегодного собрания Американского общества клеточной биологии (ASCB) в Сан-Франциско, 16 декабря 2012 г. Группа разработала набор рекомендаций, упоминаемых как Сан-францисская декларация по оценке научных исследований. Мы приглашаем заинтересованных представителей всех научных дисциплин заявить о своей поддержке, добавив свои имена к этой декларации.

Выход научных исследований может быть многочисленным и разнообразным, включая: научные статьи, сообщающие новые знания, данные, реагенты, программные продукты, интеллектуальную собственность и подготовку высококвалифицированных молодых учёных. И финансирующие учреждения, и институты, использующие учёных, и сами учёные, все они желают и имеют потребность оценивать качество научных результатов и выход исследований. Таким образом, важно, чтобы научный выход измерялся точно и оценивался мудро.

The Journal Impact Factor часто используется в качестве основного параметра, применяемого при сравнении научного выхода персоналий и учреждений. The Journal Impact Factor, как полагает Thomson Reuters, изначально был создан как инструмент для помощи библиотекарям, чтобы они могли определить закупаемые журналы, а не как мера качества научных исследований в статье. Имея это в виду, важно понимать, что Journal Impact Factor обладает рядом хорошо документированных недостатков в качестве инструмента для оценки научной деятельности. Его ограничения включают следующее: A) распределение цитирования по журналам является крайне неравномерным [1-3], В) свойства Journal Impact Factor зависят от области, на него влияют различные типы статей, в том числе первичные исследования и обзоры [1, 4], С) Journal Impact Factor’ом можно манипулировать с помощью редакционной политики [5], D) данные, используемые для подсчёта Journal Impact Factor’а, не являются ни прозрачными, ни открытыми для общественности [4, 6, 7].

Ниже мы дадим ряд рекомендаций по улучшению способа оценки качества научной продукции. Иные, чем появление исследовательских статей, типы научного выхода будут приобретать всё большее значение в оценке эффективности научных исследований, но первичные исследования будут оставаться основным продуктом, который свидетельствует о качестве работы.  Поэтому наши рекомендации ориентированы на исследовательские статьи, размещаемые в журналах для публикации  первичных данных, но могут и должны быть расширены  за счёт признания значимыми и дополнительных продуктов, таких, как базы данных, являющиеся важным выходом научных исследований. Эти рекомендации нацелены на финансирующие учреждения, академические институты, журналы, наукометрические учреждения и индивидуальных исследователей. В них затронут ряд тем:

• Необходимость исключить использование метрик, базирующихся на журнальных показателях, таких, как Journal Impact Factor, при рассмотрении вопросов финансирования, обеспечения и продвижения,
• Необходимость оценки работы сообразно достоинствам её самой, а не журнала, в котором она опубликована,
• Необходимость воспользоваться возможностями онлайн-публикаций (такими, как потеря нужды в ограничениях на число слов, рисунков и ссылок в статье, а также возможность исследовать новые показатели значимости и влияния).

Мы признаём, что многие фонды, учреждения, издатели и исследователи уже совершенствуют практику оценки научных исследований.  Такие шаги стимулируют поворот к более сложным и осмысленным подходам к их оценке, которые теперь могут быть выстроены и приняты основными организациями, вовлечёнными в этот процесс.

Подписавшие Сан-Францисскую декларацию по оценке научных исследований поддерживают принятие следующих практик в оценке исследований:

Общая рекомендация:

1. Не использовать базирующиеся на журнальных характеристиках показатели, такие как Journal Impact Factor как суррогатный показатель качества конкретных научных статей, чтобы оценить вклад отдельного учёного, а также для принятия решений о найме, продвижении или финансировании.

Для фондов:

1. При оценке научной продуктивности грантополучателей  должно быть чётко указано, что научное содержание статьи является существенно более важным, чем наукометрические показатели публикации или журнал, в котором она опубликована, особенно для начинающих исследователей.
2. Для целей оценки исследовательской деятельности должны быть учтены значение и влияние всех результатов исследования (включая базы данных и программное обеспечение) в дополнение к самой публикации , и должен рассматриваться широкий спектр мер его влияния, включая качественные показатели его воздействия, такие, как влияние на политику и практику.

Для учреждений

1. При определении критериев, используемых для принятия решений о найме, его сроках, продвижении работника, должно быть чётко указано, что научное содержание статьи является существенно более важным, чем наукометрические показатели публикации или журнал, в котором она опубликована, особенно для начинающих исследователей.
2. Для целей оценки исследовательской деятельности должны быть учтены значение и влияние всех результатов исследования (включая базы данных и программное обеспечение) в дополнение к самой публикации , и должен рассматриваться широкий спектр мер его влияния, включая качественные показатели его воздействия, такие, как влияние на политику и практику.

Для издателей

1. Значительно уменьшить акцент на импакт-факторе журнала в качестве рекламного инструмента, в идеале – перестав указывать импакт-фактор или указывая его в контексте более широкого спектра журнальных показателей (таких как 5-year impact factor, EigenFactor [8], SCImago [9], h-index, сроки редактирования и публикации), что обеспечивает более широкий взгляд на характеристики журнала.
2. Обеспечить доступность ряда метрик, основывающихся на статье, чтобы содействовать переходу, базирующемуся на оценке содержания статьи, а не метрики публикаций журнала, в котором она была размещена.
3. Поощрять практику ответственного авторства и предоставление информации о конкретных вкладах каждого автора.
4. Независимо от того, находится ли журнал в открытом доступе или доступен на основе подписки, следует удалить все ограничения на повторное использование в списках литературы в научно-исследовательских статьях и сделать их доступными согласно Creative Commons Public Domain Dedication [10].
5. Устранить или уменьшить ограничения на число ссылок в научных статьях и, там где это уместно, отдавать предпочтение цитированию исходной литературы перед цитированием обзоров  с целью отдать должное тем исследовательским группам, которые первыми сообщили об открытиях.

Для организаторов наукометрии

1. Быть открытыми и прозрачными, предоставляя данные, используемые для расчёта всех метрик.
2. Предоставлять данные в соответствие с лицензией, которая позволяет неограниченное повторное использование, и предоставлять доступ к вычислительной обработке данных, когда это возможно.
3. Быть твёрдо уверенными в недопустимости несоответствующих манипуляций с метриками, ясно понимать, какие манипуляции являются несоответствующими, и какие меры должны приниматься для борьбы с ними.
4. Оценки для однотипных научных статей (например, обзоров vs исследовательские работы) и для статей из определённой предметной области в тех случаях, когда используется метрика, должны даваться отдельно или сравниваться с таковыми для других типов статей.

Для исследователей

1. Когда вы участвуете в комитетах, принимающих решения о финансировании, найме, сроках найма и продвижении по службе, давайте оценке на основании научного содержания, а не публикационной метрики.
2. Везде, где это уместно, цитируйте первоисточники, в которых открытия были впервые изложены, а не обзоры, с целью дать преимущество исследователям.
3. Используйте широкий диапазон метрик и индикаторы индивидуального вклада  как свидетельство влияния конкретных публикаций и других видов научного выхода [11].
4. Следует бросить вызов практикам оценок исследования, которые полагаются на Journal Impact Factor и стимулировать использование окружающими и обучать их лучшей практике, которая основывается на ценности и влиянии научного исследования.

 

Ссылки

1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.

www.mathunion.org/publications/report/citationstatistics0

2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.

3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.

4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.

5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.

6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.

7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.

8. http://www.eigenfactor.org/

9. http://www.scimagojr.com/

10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers

11. http://altmetrics.org/tools/

Оригинал