Ещё про индексы цитирования-2

Print PDF

в продолжение темы негативных последствий реформ в организации науки, навязываемых Минобром вместе с  «либеральной общественностью»

Пора отказаться от показателя, который ранжирует учёных

Научные работники, как и другие профессионалы, нуждаются в способах оценки себя и своих коллег. Эта оценка необходима для лучшего повседневного менеджмента: найма, продвижения по службе, предоставления грантов. Один основной показатель доминирует при принятии подобных решений, и это приносит больше дурного, чем доброго.

Этот показатель носит название journal impact factor или просто impact factor  и подсчитывается ежегодно с определением того, как часто определённые журнальные статьи цитируются другими авторами в их последующих публикациях за определённый период. В результате возникает иерархия журналов, и исследователи соперничают за то, чтобы отдать статью для публикации в журнал, имеющий наибольший импакт-фактор, желая продвинуться в своей карьере.

Проблема состоит в том, что импакт-фактор журналов, где исследователи публикуют свои работы, это некачественный суррогат меры достижений отдельного исследователя. Поскольку разброс цитируемости разных работ в каждом журнале очень велик, импакт-фактор в журнала плох для прогноза цитируемости конкретной индивидуальной работы. Этот показатель обладает общепризнанными недостатками – ему не хватает прозрачности – и это, прежде всего, имеет непредвиденные последствия для того, как делается наука.

В недавнем исследовании была сделана попытка измерить степень, в которой публикация в журналах с высоким импакт-фактором коррелирует с успешностью академической карьеры, и оно показывает, насколько этот показатель интегрирован в систему. Хотя другие переменные тоже коррелируют с продвижением к верхушке академической лестницы, импакт-фактор и академическое происхождение вознаграждаются более всего и сверх качества публикаций. В исследовании также получены доказательства дискриминации женщин в карьерном росте, и подчёркивается настоятельная необходимость реформ при оценке значимости исследовательских работ.

Оценка учёных по их способности публиковать статьи в журналах с наиболее высоким импакт-фактором означает, что научные работники тратят драгоценное время для того, чтобы поднять шум вокруг своей работы или, что ещё хуже, чтобы сохранить своё место в привилегированных журналах. Кроме того, они не получают заслуженного вознаграждения за обмен данными, программным обеспечением и ресурсами, необходимый для научного прогресса.

Именно поэтому после выхода год назад Сан-Францисской декларации по оценке научных исследований (DORA), поставившей своей целью освобождение науки от власти импакт-фактора, его подписали уже более 10 000 членов научного сообщества. Появилась надежда способствовать использованию иных и более эффективных способов оценки научно-исследовательской деятельности, которые принесут пользу не только научно-исследовательскому сообществу, но и обществу в целом.

Подписавшиеся по DORA происходят из разных стран и представляют практически всех участников сложной научной экосистемы, включая финансирующие организации, научно-исследовательские институты, издательства, политиков, профессиональные организации, технологов и, конечно, отдельных исследователей. DORA – ‘это попытка трансформировать их критический настрой в реальную реформу оценки исследовательской деятельности так, чтобы найм, решения о профессиональном продвижении и финансировании принимались взвешенно и с учётом научных оснований.

Мы можем быть обнадёжены относительно реального прогресса в нескольких областях. Одной из самых влиятельных организаций, которая делает шаги по направлению к улучшению практики оценивания является американский Национальный Институт Здравоохранения. В этом концерне произошли конкретные изменения в требуемом формате СV и “biosketch” для грантовых заявок. Чтобы избежать концентрации рецензентов на журналах, в которых были опубликованы предыдущие исследования, институт помогает их работе, вставив в “biosketch” короткий фрагмент, где заявитель лаконично описывает свои самые значительные научные достижения.

С другой стороны, столь же важно найти людей, которые принимают новые методы и подходы для доказательства своего научного вклада. Одним из таких примеров является Стивен Петтифер, специалист по computer science из Манчестерского Университета, который собирает метрики и показатели, комбинирующие цитируемость в научных журналах с освещением в социальных сетях его статей, чтобы обеспечить более полную картину значения и влияния своих работ.

Другим примером, как сообщается в журнале Science, является одна из авторов DORA Сандра Шмид из Университета Техаса Юго-Западного Медицинского Центра. Она проводит отбор на новые факультетские позиции, задавая соискателям вопросы об их ключевом вкладе на разных этапах карьеры вместо требования традиционного CV со списком публикаций. Аналогичный подход был принят также при выдвижении на престижную Kaluza Prize для аспирантов.

Эти примеры подчёркивает, что участвовать в реформе оценки научных исследований сейчас может любой человек и организация, внеся свой вклад в развитие науки.

Общей чертой финансирующих учреждений с новым подходом в оценке исследований является то, что заявителей часто просят ограничить число свидетельств своего научного вклада. Таким образом подчёркивается большая значимость качества по сравнению с количеством. Когда рассматривается меньшее количество работ, оценивающим легче сосредоточиться на научном содержании статьи, а не на журнале, в котором она была опубликована.  Поощряется также рассмотрение иных форм вклада, чем публикации – баз данных, ресурсов, программного обеспечения – такие изменения были сделаны Национальным Научным Фондом США в январе 2013 года. В конце концов, достижения учёных не могут быть измерены только в научных статьях.

С новыми инициативами, концентрирующимися на методах и показателях на уровне статьи, выступили агентство по американским стандартам NISO и корпус высшего образования Великобритании HEFCE. Хотя переход к значительному вкладу таких показателей пока преждевременен, и понятие «импакт-фактор статьи» вызывает ряд трудностей, с развитием подобных стандартов, прозрачности и улучшением понимания они станут ценным источником для свидетельства об индивидуальном вкладе исследователя и дадут новые средства для ориентировки в научной литературе.

По мере того, как будет появляется всё больше и больше примеров отказа от того, чтобы полагаться на импакт-фактор и названия журналов, учёные поймут, что они могут не оставаться в ловушке единственного показателя. Реформа поможет исследователям сосредоточиться на научной работе и помочь обществу, повысив отдачу государственных инвестиций в науку.

Иcточник The Conversation

Один из весомых доводов против либеральных «инноваций» в науке (хотя и не главный), состоит в том, что в качестве спасительного лекарства нам навязывают всё, на чём  сильно обожглись западные коллеги. Скажем, вот аналогичный случай с рейтингом университетов, ставящим наши ВУЗы в хвост университетам » третьего мира», хотя их ваыпускники вполне востребованы в мировых технологических компаниях, причём предлагается расходовать большие деньги на попадание в «мировой рейтинг», а не на собственно науку и образование. Другой момент, что и «деловые люди» Запада, руководители компаний, формирующих экономическую и технологическую повестку дня, дают высшие баллы в рейтингах одним университетам, а вот работников предпочитают брать из других, так что это не злонамеренность, а системная ошибка «рыночной идеологии», что существенно хуже. Именно поэтому уже 25 лет как либеральные реформы идут по одному и тому же сценарию — цикл реформирования обрывается лишь уничтожением объекта реформ. И если их не остановить, никого «инновационного развития» не будет — только зависимое. Что и видим в реальности.