Социальные предпосылки "плохой науки"

В продолжение темы сегодняшних вариантов лысенковщины

«Все мы сталкивались при прочтении разных новостных ресурсов — да и по ТВ, ежели кто смотрит — с регулярными околомедицинскими открытиями. От рака, гриппа, заикания и импотенции человечество успешно спасают чуть не каждую неделю. Вскрытие исходных публикаций при этом часто показывает, что работа и впрямь была проделана интересная и разумная, но журналисты всё, как водится переврали. Учёные и научные журналисты в ярости и раздражении, обыватели (налогоплательщики, кстати!) в результате перестают доверять исследованиям вообще — «то у этих учёных кофе вреден, то полезен, нет никакого толку от вашей науки, только на шее у государства сидите и денег клянчите». Далеко не безобидные последствия.

Авторы статьи из PLOS Medicine утверждают, что в такой ситуации виноваты не только «ненаучные журналисты». И в официальных пресс-релизах, и в резюме исходных публикаций с разной степенью выраженности встречается накручивание необоснованно громких фраз, которое в «ненаучной» прессе потом просто переходит границы разумного. Авторы ещё в предыдущей работе ввели понятие «spin» для приёмов, позволяющих «красиво упаковать» результаты работы и замести под ковёр «мелкие подробности». Утверждается, что безобразия прорастают ещё в аннотации и расцветают в пресс-релизах.

Приведём пример (см. рис.4 исходной работы):
__The real study__: acupuncture tested on breast cancer patients and hot flashes frequency was estimated. No statistically significant difference in primary outcome. Sample size is small (50) and 34% of patients were excluded from analyses at 12 months.
__Abstract__: «both groups exhibited significant decreases in hot flashes …», «acupuncture appears to be equivalent to drug therapy in these patients. It is safe, effective and durable treatment for vasomotor symptoms…» (authors focus on within-group comparison! between-group there’s no statistically significant differences; focus on outcome is not reported anywhere, just mentioned in the discussion).
__Press-release__: «Study results show that acupuncture, when compared to drug therapy, has a longer-lasting effect on the reduction of hot flashes…» (again, focus on within-group results, and saying nothing about between-group comparison; also nothing about an outcome (e.g. sex drive) besides discussion.
__News item__: «ACUPUNCTURE not only reduces hot flashes of breast cancer patients but it also perks up their sex drive and sense of well-being. … has a longer-lasting positive effect on women receiving hormone therapy for breast cancer. They also reported improvement in energy levels and clarity of thought» (the same idea of silence about between-groups comparison; all words on outcome are not based on statistically significant results).

Медицинские исследования, особенно серьёзные клиническим испытания с их жёстким регламентом, двойным слепым контролем и пр., штука ужасно длительная, дорогая и обременённая массой требовательных начальников. Неудивительно, что результаты работ, даже качественно проведённых, хочется «красиво упаковать». А пациенты… Ну при чём тут пациенты?»

Источник eager_chromatin

См.также тут и «Теневую науку» Юревича

Причина вышеописанного состоит в том, что при капитализме между политикой, наукой и бизнесом нет непроходимой Китайской стены, но скорее вращающаяся дверь. Эффективные способы убеждения оппонентов, представления своих результатов и прочие техники репрезентации исследований сообществу быстро заимствуются учёными из «экономической жизни / социальных отношений «большого общества».

Особенно быстро этот процесс пошёл в последние 40-50 лет, при переводе исследований с госфинансирования на грантовую систему и от постоянных позиций научных сотрудников — к «подвешенному состоянию». «Стеклянная чашка риса» в неолиберальной академии, в отличие от «железной» в классической (или советской), неотвратимо побуждает исследовательские группы и научное сообщество в целом поддерживать такое заимствование, ибо оно эффективно в каждом отдельном случае в плане конкуренции, а что контрпродуктивно для развития науки в целом – так это ж будет потом…

Это поддерживает стремление к успеху больше, чем к истине, что портит самых талантливых (как минимум по оценке коллег). См. описанное генетиком растений из ФРГ Ruslana Radchuk:

«я тут за увлекательной историей в растительной эпигенетике слежу. Больше десятка статей с рисунками с потолка, как соавторы вмазаны едва ли не все растительные звезды на всех континентах и все лучшие джорналы. Да жуткая на самом деле история. Этот парень ого-го звездища, взлетел быстро и уверенно. Я не раз слушала его доклады. Теперь перебрасывают, как горячую картофелину».

Источник

Герой рассказа представляет свои исследования, ещё до этой истории

Но это экстраординарное явление, а обычное — порождение этими социальными влияниями «ложных практик» в полевой биологии, в биомедицинских (и лабораторных биологических) исследованиях:

«Among research trainees in biomedical sciences at the University of California San Diego, 4.9% said they had modified research results in the past, but 81% were “willing to select, omit or fabricate data to win a grant or publish a paper»

«Как много учёных фальсифицируют данные (или фабрикуют результаты)»?

Думаю, то же самое происходит в других областях, чем средний исследователь постоянно подталкивается к краю научности.

Собственно, чем дальше, тем больше капитализм делает исследователя полностью аналогичным предпринимателю: он ищет грантовую поддержку также, как тот ищет кредит и, соответственно, вынужден рекламировать своё «дело» также, как тот рекламирует свою продукцию, чтобы вкладывались именно в него, а не в конкурента. Развитие и усиление этих тенденций естественным образом уменьшает возможность установления, какая из сталкивающихся теорий лучше соответствует фактам, потому что при сильном неравенстве числа исследований, развивающих одну и другую теорию, и разности в финансировании той и другой школы их различие оказывается увидеть всё труднее и труднее.

Одновременно увеличивается риск ошибок оценивания первого и второго рода: устойчиво держатся теории, не очень соответствующие фактам или вовсе не соответствующие, в силу их «идеологической верности» и, наоборот, слишком долго не появляются теории, способные привести в систему факты, «не укладывающиеся» в господствующие концепции – мало кто идёт развивать немайнстримные (т.е. не грантоёмкие) теории. Неслучайно «плохая наука» быстро растёт - настолько, что говорят о кризисе воспроизводимости исследований. В мета-анализе 2009 года, посвящённом этой проблеме, было показано, что когда речь идёт о самих учёных, примерно 2% фальсифицируют исследования, и около 33% используют иные проблемные практики. Когда же их спрашивали, кто из коллег делает так, цифры подскакивали до 14% и 72%, причём это — консервативная оценка.

Причём в силу всеобщности действия вышеописанные стимулы как пули на фронте — сразить могут каждого, отнюдь не только «по природе нечестных» или «неспособных» к настоящей науке (см. пример Марка Хаузера, ранее публиковавшего качественные — в смысле воспроизводимые — исследования по коммуникации приматов).

Дидерик Стапель, антиучёный 2011 года

Впрочем, я оптимист: пока ещё ситуацию можно изменить отказом от экономических методов оценивания научных исследований и исследовательских групп («библиометрический джихад«, контрпродуктивность которого уже общеизвестна), и грантовой системы, распределяющей средства на основании этих оценок. Поскольку пока ещё защитные механизмы, связанные с коллективным характером научного поиска, эффективно работают и отсеивают научное враньё. Качественный результат, опровергающий «модную» теорию, может быть опубликован и принят сообществом, с отвержением менее качественных результатов, полученных в её рамках.