Вот как конкуренция делает рецензирование менее справедливым

Print PDF

 

в продолжение темы минусов конкурентной организации науки

Стефано Бальетти

Ученый может потратить несколько месяцев, во многих случаях, даже лет, напряженно изучая один-единственный исследовательский вопрос, чтобы в конечном итоге сделать вклад – маленький или большой – в прогресс человеческого знания. Успех в этой трудной задаче требует специализированного, многолетнего обучения, интуиции, креативности, глубокого знания современных и устаревших теорий и, в первую очередь, — огромного количества терпения.

Как член научного сообщества, я могу сказать, что иногда найти интересный и новый результат также трудно, как убедить твоих коллег в том, что твоя работа действительно новая и интересная. А именно, что твоя работа заслуживает публикации в научном журнале.

Но до публикации любое исследование должно пройти отбор в виде «рецензирования». Это наиболее важная часть процесса – только после рецензирования работу можно считать частью научной литературы.

И только рецензируемая публикация будет иметь значение во время приема на работу и оценки кандидата, как ценный результат. Каковы последствия существующей системы публикаций – основанной на рецензировании – для прогресса науки в то время, когда конкуренция между учеными растет?

Индекс цитирования и критерий успеха

В отличие от математики, не все научные публикации равноценны. На самом деле, по крайней мере первоначально, в глазах комиссии, которая принимает вас на работу, вес публикации в первую очередь определяется «индексом цитирования» журнала, в котором она опубликована.

Индекс цитирования – это критерий успеха, который считает среднее количество прошлых «цитирований» статей, опубликованных в журнале за предыдущие годы. А именно, как часто на статью ссылались в других опубликованных статьях в любом другом научном журнале. Индекс – это приблизительный показатель престижа журнала и индикатор ожидаемых будущих цитирований статьи, которая будет в нем опубликована.

Например, согласно Google Scholar Metrics 2016, журналом с наибольшим индексом цитирования был Nature. Для молодого ученого публикация в журналах типа Nature может стать поворотным пунктом в карьере, переходом от траты неопределенного количества дополнительных лет на более или менее шаткой академической должности к получению постоянной ставки в университете.

Учитывая такую значимость, опубликоваться в топовых журналах крайне сложно, и уровень отвергнутых публикаций колеблется от 80 до 98 процентов. Такой высокий уровень подразумевает, что качественные исследования могут также не попасть в топовые журналы. Часто, ценные исследования, отвергнутые топовыми журналами, оказываются в итоге в менее престижных журналах.

Большие открытия тоже отвергают

У нас нет оценки количества потенциально прорывных открытий, которые мы упустили, но зато у нас есть факты о нескольких показательно ошибочных отказах.

Например, судьбоносная работа экономиста Джорджа А. Акерлофа «Рынок для лимонов», в которой он ввел концепцию «ассиметричной информации» (о том, что на решения влияет та группа, у которой больше информации), была отвергнута несколько раз, перед тем как ее смогли опубликовать. Акерлоф потом получил Нобелевскую премию за эту и другие работы.

И это еще не все. Только за последний год, как было показано, три топовых медицинских журнала отвергли 14 из 14 наиболее цитируемых статей за все время в их дисциплине.  Вопрос в том, каким образом это могло произойти?

Проблемы с рецензированием

Тем, кто находится за пределами академического мира, это может показаться удивительным, но до настоящего времени в области эмпирического исследования того института, который одобряет или отвергает все научные открытия, мало что было сделано.

Некоторые ученые даже жаловались, что само рецензирование не было научно обосновано. Главная причина недостатка эмпирических исследований рецензирования – это труднодоступность данных. На самом деле, рецензирование считается очень чувствительной сферой, и очень редко выносится на суд публики, даже в анонимной форме.

Итак, в чем же проблема с рецензированием? Во-первых, оценка качества научной работы – это трудная задача, даже для квалифицированных ученых, и особенно в области инновационных исследований. По этой причине, рецензенты могут часто не соглашаться по поводу достоинств статьи. В таких случаях, редактор высокопрофильного журнала обычно принимает консервативное решение и отвергает ее.

Более того, найти компетентных рецензентов может быть кошмарной задачей для редактора журнала. Дело в том, что рецензенты сами являются учеными, что означает, что они обычно крайне заняты другими делами – преподаванием, обучением студентов и работой над своими собственными исследованиями. Рецензия для журнала должна быть написана помимо обычных академических дел, что часто подразумевает, что ученый может затратить на нее меньше времени, чем она заслуживает.

В некоторых случаях, журналы поощряют авторов к тому, чтобы они сами выбрали себе рецензентов. Однако, такой порядок, первоначально введенный для того, чтобы помочь редакторам, к сожалению, деградировал в создание групп рецензентов, в которых предполагаемые рецензенты были сообщниками авторов, или даже самими авторами с секретными аккаунтами.

Более того, у рецензентов нет прямого стимула написать качественную рецензию. Им за это не платят, и их имена не появятся в опубликованной статье.

Конкуренция в науке

Наконец, есть еще одна проблема, которая стала более серьезной в последние 15-20 лет, когда академическая конкуренция за финансирование, рабочие места, возможность публикации и кредиты увеличилась вместе с ростом количества исследователей.

Наука – это бизнес по типу «победитель получает все», где тот, кто первым совершает решающее открытие, получает всю славу и лавры, тогда как о других исследователях забывают. [Часто ещё хуже, цена проигрыша — вылет из любимой профессии, или обслуживание научных интересов других, не говоря о «подвешенности» и потерях в зарплате. Прим.публикатора]  Конкуренция может быть яростной и ставки высокими.

В такой настолько конкурентной среде, одна отвергнутая или просто поздно опубликованная статья, может стоить очень многого. Вот почему некоторые лауреаты Нобелевской премии больше не стесняются публиковать результаты своих исследований в журналах с низким индексом цитирования.

Изучение конкуренции и рецензирования

Мои соавторы и я хотели узнать, как такая конкуренция влияет на рецензирование. Мы решили провести поведенческий эксперимент. Мы пригласили 144 участника эксперимента в лабораторию и попросили их сыграть в игру «Выставка искусства», упрощенную версию академической системы публикаций, переведенную в контекст искусства.

Вместо того, чтобы писать академические статьи, участники игры рисовали рисунки с помощью специального компьютерного интерфейса. И вместо того, чтобы выбирать журнал для публикации, они выбирали одну из доступных выставок для демонстрации своего рисунка.

Решение о том, достаточно ли хорош рисунок для демонстрации, затем принималось по правилу «двойного слепого рецензирования», что означает, что рецензенты были анонимны по отношению к авторам и наоборот. Это та же самая процедура, которую использует большинство академических журналов.

Рисунки, которые получили высокие оценки рецензентов, должны были демонстрироваться на выбранной выставке. Автор также получал за них финансовое вознаграждение.

Эксперимент позволил нам впервые отследить одновременно как поведение рецензентов, так и поведение авторов в творческой задаче. Исследование дало новые результаты о совместной эволюции двух ролей и о том, как они реагировали на увеличение уровня конкуренции, которым мы манипулировали экспериментально.

При одном условии, все выставленные рисунки давали одинаковое финансовое вознаграждение. При другом условии – «условии конкуренции» — вознаграждение за выставленные рисунки распределялось между всеми победившими авторами.

Такая ситуация была создана для того, чтобы воспроизвести рост конкуренции за преподавательские должности, финансирование и внимание, которое получает исследователь, переживаемый наукой в последние 15-20 лет.

Мы хотели изучить три фундаментальных аспекта конкуренции:

1) способствует ли конкуренция инновации или уменьшает ее?

2) уменьшает или увеличивает конкуренция непредвзятость рецензентов?

3) содействует ли конкуренция способности рецензентов распознать ценные работы, или препятствует ей?

Вот что мы получили

Наши результаты показали, что конкуренция по отношению к рецензированию играет роль обоюдоострого меча. С одной стороны, она со временем увеличивает разнообразие и инновационность рисунков. Но, с другой стороны, конкуренция обостряет конфликт интересов между рецензентами и авторами.

Наш эксперимент был устроен таким образом, чтобы в каждом его раунде рецензент оценивал три рисунка по шкале от 0 до 10 (оценивать себя было запрещено). Поэтому, если рецензент и автор (рецензируемый) выбирали одну выставку, то они находились в прямой конкуренции.

Мы выяснили, что устойчивое количество рецензентов, зная об этой конкуренции, намеренно занижало оценки своим конкурентам, чтобы получить личное преимущество. В свою очередь, такое поведение вело к низкому уровню согласия между рецензентами.

Наконец, мы попросили выборку из 620 внешних оценщиков, набранную при помощи Amazon Mechanical Turk, оценить рисунки независимо. Мы выяснили, что конкуренция не улучшила средний уровень креативности рисунков. На самом деле, в условиях конкуренции многие работы хорошего качества были отвергнуты, тогда как в неконкурентной среде было принято больше работ низкого качества. Это применимо и к издержкам существующей системы публикаций.

Что мы узнали

Эксперимент подтвердил, что существует необходимость реформы существующей системы публикаций. Одним способом достичь этой цели было бы разрешить оценивать ученых в долгосрочной перспективе, что в свою очередь сократило бы конфликт интересов между авторами и рецензентами.

Такая политика могла бы быть воплощена в жизнь путем предоставления долгосрочного финансирования ученым, уменьшая страстное желание преждевременно опубликовать инновационные работы и давая им время подкрепить свои результаты перед лицом рецензирования. Другим способом могло бы быть устранение требования «актуальности» научной работы, как некоторые журналы, например PLoS ONE, уже сделали. Это повысило бы шансы для более инновационных работ пройти фильтр рецензирования.

Открытое обсуждение проблем рецензирования – это первый шаг в направлении их решения. Иметь мужество экспериментировать с альтернативными решениями – второй шаг.

Источник the Conversation

P.S. Описанное в статье называется социальное расслоение, с пролетаризацией проигрывающих в конкуренции, и превращением в своего рода «научных предпринимателей» выигравших, при росте проблем с добыванием знания в системе в целом. Некогда такой путь прошли ремесленники города и крестьяне деревни; чем быстрее исследователи сделают те же выводы, что некогда фабрично-заводские рабочие, тем лучше. Тем более что в их руках сила не менее мощная, чем производства, и вызывающая куда большую эмоциональную привязанность.

Перевод Николая Лысенкова