Когда экспертная интуиция работает, а когда нет?

Print PDF

Насколько эксперт, скажем, квалифицированный киновед, отлично оценивающий уже вышедшие и обсуждённые произведения, может оценить произведения потенциальные, существующие только в виде сценария? Или потенциальные научные исследования, представленные заявкой на грант? Обычно мы верим, что он может — известный специалист в своей области, у него опыт и интуиция, применяя которую он выберет «лучшие» произведения много точней, чем, например, аналитическая формула, выведенная на основании «больших данных». На деле наоборот — точность его оценок не поднимается над случайным уровнем, выбранные произведения не лучше и не хуже отвергнутых:

«Заслужены ли поощрения (и наказания) в голливудской игре, играет ли удача в случае с огромными (или скудными) кассовыми сборами куда как большую роль, чем это кажется?

Все мы понимаем: один только факт гениальности еще не гарантирует успеха, однако сам собой напрашивается вывод: успех всегда гениален. И все же тревожная мысль о том, что никто не может знать заранее, попадет фильм «в яблочко» или нет, витает в Голливуде по крайней мере с тех времен, когда романист и сценарист Уильям Голдман четко обозначил ее в своей ставшей классической книге 1983 г. «Приключения в кинематографическом бизнесе».

Голдман повторяет слова бывшего продюсера Дэвида Пикера: «Если бы я сказал «да» всем проектам, которые отверг, и «нет» всем тем, которые принял, итог оказался бы примерно таким же, что и сейчас». Что тут говорить, когда снятый на домашнюю видеокамеру, с постоянно дрожащей картинкой фильм ужасов может стать хитом так же запросто, как профессионально сделанная картина «Изгоняющий дьявола: Начало» с бюджетом в 80 млн. долларов.

Что, кстати, и произошло несколько лет назад с фильмом «Ведьма из Блэр: Курсовая с того света» — съемки обошлись в 60 тыс. долларов, а кассовые сборы по Америке составили 140 млн. — в три раза больше, чем у «Изгоняющего дьявола». Но все же Голдман говорил не об этом. Он имел в виду только профессиональные голливудские картины, чьи достоинства вполне позволяют выйти на солидного дистрибьютора. К тому же Голдман не отрицал, что основания для больших кассовых сборов существуют. Однако он убежден, что основания эти насколько сложны, а путь от решения снимать до приготовлений к презентации полон стольких препятствий — непредвиденных и не поддающихся контролю — что подкрепленным солидной базой рассуждениям о потенциале еще не снятого фильма стоит доверять не больше, чем гаданиям на кофейной гуще.

За примерами непредсказуемости успеха или неуспеха голливудской картины далеко ходить не нужно. Киноманы вспомнят, какие ожидания возлагали студии на обещавший миллионные сборы фильм «Иштар» (Уоррен Битти + Дастин Хоффман + + бюджет в 55 млн долларов = 14 млн доходов от кассовых сборов) и фильм «Последний киногерой» (Арнольд Шварценеггер + 85 млн долларов = 50 млн долларов). С другой стороны, можно вспомнить и о серьезных сомнениях руководства «Юниверсал Студиос» в отношении молодого Джорджа Лукаса с его «Американскими граффити», снятыми менее чем за миллион долларов. Показы принесли 115 млн, но несмотря на это руководство киностудии восприняло следующий проект Лукаса с еще большим недоверием. Лукас дал сценарию рабочее название: «Приключения Люка Старкиллера из «Журнала Уиллов». Кинокомпания сочла, что по такому сценарию фильм снять невозможно. В конечном счете фильм сняли на студии «XX век Фокс», однако и там в Лукаса не очень-то верили: за сценарий и съемки ему заплатили всего 200 тыс. долларов, взамен он получил права на постановку сиквелов и коммерческое использование. На съемки «Звездных войн» потратили всего 13 млн долларов, фильм же принес 461 млн, а Лукас стал владельцем целой империи.

Принимая во внимание тот факт, что «добро» на съемки дается за несколько лет до того, как фильм будет снят и что судьба фильма зависит от многих непредвиденных моментов, возникающих в процессе производства картины и ее реализации, а еще от вкуса зрителей, который невозможно предугадать, теория Голдмана не кажется притянутой за уши (в ее пользу говорят и недавние экономические исследования).

Тем не менее руководство студии судят не за управленческие способности, основу всех основ, которыми в равной степени должны обладать и глава американской сталелитейной компании, и глава «Парамаунт Пикчерз». Наоборот, его ценят за умение выбирать из множества сценариев будущие хиты. И если Голдман прав, то умение это не более чем иллюзия, и как бы глава студии ни пыжился, его заслуга в подписании контракта на 25 млн. долларов невелика.

Рассчитать, в какой степени результат зависит от умений и в какой от удачи, элементарно. Случайные события зачастую происходят с такой же частотностью, с какой в коробке овсянки встречаются изюминки — группами, слоями, слипшимися комочками.

И хотя Судьба справедлива, предоставляя потенциальные возможности, она ничуть не справедлива в том, что касается результата. К примеру, 10 человек из руководства голливудской киностудии подбросят 10 монет. У каждого равные шансы выиграть или проиграть, но в конечном счете обязательно будут как выигравшие, так и проигравшие. Если брать данный пример, то вероятность того, что хотя бы у одного из руководителей выпадет 8 или более орлов или решек, равна 2 из 3.

Представьте, что Джордж Лукас снимает новые «Звездные войны» и решается на безумный эксперимент. Он выпускает один фильм под ДВУМЯ названиями: «Звездные войны: Эпизод А» и «Звездные войны: Эпизод В». У каждого фильма будет своя маркетинговая кампания, свое прокатное расписание, но все остальное — одинаковое, за исключением того, что в рекламных роликах-анонсах и на афишах в одном случае будет упоминаться «Эпизод А», в другом — «Эпизод В».

И вот между этими двумя фильмами идет соревнование. Какой окажется популярней? Возьмем первых 20 тыс. зрителей и отметим, какой из фильмов они выбрали (при этом не будем учитывать тех отъявленных фанатов, которые пойдут на оба фильма, а потом будут с пеной у рта доказывать, что заметили тонкие, едва уловимые различия). Поскольку сами фильмы и рекламные кампании вокруг них одинаковы, можно смоделировать ситуацию, прибегнув к математическим построениям. Положим, все зрители выстроятся в очередь, каждый подбросит монету. Если выпадет орел, зритель смотрит «Эпизод А», если решка — «Эпизод В». Шансы, что выпадет орел или решка, равны, и можно подумать, что в этом состязании касс за зрителя каждый фильм получит примерно по половине зрителей.

Однако согласно подсчетам математики случайного выходит иначе: наиболее вероятным количеством изменений лидирующей позиции будет 0, и в 88 раз больше будет вероятность того, что один из двух фильмов посмотрят все 20 тыс. зрителей, нежели что лидирующая позиция будет постоянно переходить то к одному фильму, то к другому. Это говорит не о том, что между фильмами нет никакой разницы, а о том, что некоторые кинокартины посмотрит большее количество зрителей, даже если все фильмы одинаковы.

Подобные вопросы не обсуждаются ни в зале заседаний правления, ни в Голливуде, ни где-либо еще, поэтому типичные случайные последовательности типа очевидных «черных» или «белых полос» или «одного к одному» (сбивания в кучу неких разрозненных данных) обыкновенно истолковываются неверно, а то и вообще считаются новой тенденцией и руководством к действию.

Одним из наиболее ярких примеров взлетов и падений в современном Голливуде можно считать карьеру Шерри Лансинг, которая много лет успешно руководила кинокомпанией «Парамаунт». Во время ее управления кинокомпания получила «Лучший фильм» за «Форрест Гамп», «Храброе сердце», «Титаник» и два года приносила самые высокие доходы за всю историю своего существования. Затем слава Лансинг вдруг потускнела, и бывшую главу кинокомпании отстранили от управления после того, как, по словам журнала «Вэрайети», «наступила череда недостаточно высоких кассовых сборов».

Случай с Лансинг можно объяснить в двух словах, а можно и подробнее. Взгляните на ряд процентов: 11.4, 10.6, 11.3, 7.4, 7.1, 6.7. Ничего не замечаете? Самнер Редстоун, начальник Лансинг, заметил, и для него тенденция выглядела существенной: эти шесть цифр представляли собой удельный вес «Парамаунт» в обороте рынка за последние шесть лет управления под руководством Лансинг. Тенденция заставила «Бизнесуик» поразмышлять на тему: Лансинг «может и потерять сопутствующую ей в Голливуде удачу». Вскоре Лансинг объявила об уходе, а несколько месяцев спустя в компанию взяли толкового управляющего Бреда Грея.

Как может несомненно гениальный управляющий успешно руководить компанией целых семь лет, а затем вдруг сплоховать? Существует множество теорий, объясняющих ранний успех Лансинг. Пока дела «Парамаунт» шли хорошо, Лансинг превозносили за то, что при ней кинокомпания стала одной из наиболее толково управляемых в Голливуде, что ей удавалось превращать заурядные сценарии в успешные кинокартины, приносившие 100 млн долларов. Когда судьба от Лансинг отвернулась, верх взяли скептики. То, что было коньком Лансинг — успешные римейки и сиквелы — вменили ей в вину. И, возможно, неприятнее всего было то, что ее неудачу объяснили усредненными вкусами. Теперь ее попрекали тем, что она дала отмашку на съемки провальных в плане кассовых сборов картин «В ловушке времени» и «Лара Крофт — расхитительница гробниц: Колыбель жизни». Со всех сторон понеслось: Лансинг боялась рисковать, ее вкусы старомодны, она не следила за новыми веяниями. Но действительно ли ее вина в том, что она решила: из бестселлера Майкла Крайтона получится отличная картина? И где были критиковавшие «Лару Крофт», когда первая «Расхитительница гробниц» принесла 131 млн. кассовых сборов?

Даже если Лансинг и впрямь не лишена недостатков, ее звезда закатилась слишком внезапно. Неужели боязнь риска и небрежение тенденциями случились в одночасье? Потом)’ как акции кинокомпании обвалились именно так. То Лансинг преуспевала, а то вдруг стала мишенью для комиков в ночных передачах. Такое резкое невезение можно было бы понять, если бы, подобно другим голливудским персонажам, она пережила тяжелый бракоразводный процесс, ее обвинили бы в растратах или увлекли в религиозную секту. Но ничего этого не было. И уж конечно, Лансинг не повредилась в уме. Единственным свидетельством внезапного провала Лансинг критики могли назвать только… внезапный провал.

Как говорится, вскрытие показало, что причина увольнения Лансинг в неправильном истолковании киноиндустрией случайностей, а вовсе не в ее якобы неверных решениях: на момент ухода Лансинг из «Парамаунт» фильмы будущего года уже были в работе. Так что если мы попытаемся представить себе Лансинг в так называемом параллельном мире, где она осталась бы на своем месте, нам стоит лишь глянуть данные за год после ее ухода. «Парамаунт» выпустила «Войну миров», «Все или ничего», выручив за лето показов столько, сколько не выручала последние десять лет, а ее акции на рынке подскочили почти на 10%. И это не просто ирония судьбы, это все то же влияние случайности, «регрессия к среднему».

В «Варьете» напечатали следующий заголовок: «Прощальные дары: картины старого режима поднимают акции «Парамаунт»».Так и вертится в голове мысль: наберись корпорация «Виаком» (владелец «Парамаунт») терпения, заголовок мог быть и таким: «Рекордный год возвращает „Парамаунт» и Лансинг на прежние позиции».

Шерри Лансинг повезло в начале и не повезло в конце, но могло выйти и хуже. Могло случиться так, что ей не повезло бы в самом начале. Как директору киностудии «Коламбия Пикчерз» Марку Кантону. Вскоре после вступления в должность он прослыл мастером по части выбора прибыльных фильмов, однако когда в последующие несколько лет кассовые сборы оставались невысокими, его уволили. Один коллега упрекнул Кантона в том, что тот «не способен распознать фильм удачный и неудачный», а другой поставил ему в вину то, что он «слишком увлекся размахиванием руками», однако когда этот впавший в немилость директор оставил пост, кинокомпания готовила к показу такие фильмы, как «Люди в черном» (589 млн долларов прибыли от кассовых сборов по всему миру), «Самолет президента» (315 млн), «Пятый элемент» (264 млн), «Джерри Магуайр» (274 млн), «Анаконда» (137 млн). Как писал «Вэрайети», картины, доставшиеся по наследству еще от Кантона, «принесли успех, и успех немалый».

Что ж, таков Голливуд, городок, где Майкл Овиц чуть больше года президентствовал в «Компании Уолта Диснея», а затем оставил место с выходным пособием в 140 млн. долларов, где главу студии Дэйвида Бегелмана руководство «Коламбия Пикчерз» уволило за подлог и растрату, а несколькими годами позднее он уже был главным управляющим студией «Метро-Голдвин-Майер». Однако, как станет ясно из следующих глав, подобные ошибочные суждения, от которых страдают в Голливуде, свойственны людям не только из мира кинематографа.

Один из парадоксов нашей жизни заключается в том, что хотя измерения всегда несут в себе некоторую погрешность, когда речь заходит об измерениях, реже всего говорят именно о погрешности. Если въедливый полицейский докладывает судье, что его радиолокатор показал, будто бы вы ехали со скоростью 62 км в час в зоне, где допустимый предел скорости — 56, то штрафа вам не избежать, хотя в показаниях прибора возможны отклонения на несколько км в час.

И хотя большинство школьников (не говоря уже об их родителях) согласились бы даже спрыгнуть с крыши, если бы это увеличило балл на выпускном тесте по математике с 598 до 625, исследования, о которых вам расскажет редкий работник в области образования, показывают: достаточно высока вероятность получить лишние баллы, если пройти тест еще разок-другой.

А иногда малозначащие различия попадают в выпуски новостей. Некоторое время тому назад в августе Статистическое управление министерства труда США сообщило, что безработица находится на уровне 4,7%. В июле управление сообщало о показателе 4,8%. Изменение показателя немедленно нашло отражение в газетных заголовках; к примеру, вот что напечатала на первой странице «Нью-Йорк Тайме»: «Количество рабочих мест и уровень заработной платы за прошлый месяц несколько выросли». Однако, как замечает Джин Эпштейн, редактор отдела экономики «Barron’s», «из того, что изменилась цифра, совершенно не обязательно следует, что изменилось положение дел. Например, всякий раз, когда показатель безработицы изменяется на десятую долю процента… изменение это столь незначительно, что никоим образом нельзя утверждать, будто бы оно вообще имело место». Иными словами, если Статистическое управление измерит показатель безработицы в августе и повторит измерение через час, то лишь благодаря случайной ошибке второе измерение будет с высокой вероятностью отличаться от первого по меньшей мере на десятую долю процента. И что, неужели мы прочитаем в «Нью-Йорк Тайме»: «Количество рабочих мест и уровень заработной платы к двум часам пополудни несколько выросли»?

Погрешность измерения становится еще более серьезной проблемой, когда количественные показатели приписываются субъективно, как в случае с сочинением Алексея. Например, группа исследователей в Пенсильванском университете Клэрион собрала 120 курсовых работ и проверила их с таким тщанием, с каким работы вашего ребенка не будут проверяться никогда: каждую курсовую независимо друг от друга оценивали восемь сотрудников факультета. Итоговые оценки (по шкале от А до F) иногда различались на два и более деления шкалы. В среднем различие между ними составило около одного деления шкалы).

Поскольку будущее студентов очень часто зависит от подобного рода оценок, столь высокая погрешность — факт довольно печальный. Однако ее можно понять, если учесть, что взгляды и философия профессоров любого факультета в любом из университетов охватывают весь диапазон от Карла Маркса до Граучо Маркса.

Можно ли подвергнуть этот фактор контролю? Например, дать экзаменаторам четкие критерии оценивания и потребовать следования этим критериям? Исследователь в университете штата Айова предъявил около 100 студенческих работ группе аспирантов, специалистов в области риторики и коммуникации, которых заранее обучил применению подобных критериев). Каждую работу оценивали по шкале от 1 до 4 два независимых «экзаменатора». При сопоставлении оценок выяснилось, что мнения экзаменаторов совпали лишь примерно в половине случаев. Аналогичные результаты были получены в Техасском университете при анализе оценок за вступительное сочинение!. Даже почтенная Центральная приемная комиссия признается, что в случае двух экзаменаторов, согласно ее ожиданиям, «92% сочинений получат оценки, различающиеся в пределах ±1 балла по шестибалльной шкале для сочинений».

Леонард Млодинов. (Не)совершенная случайность . Как случай управляет нашей жизнью. М.: Livebook/Гаятри: 2010. 352 с.

То же самое верно при оценке заявок на гранты для проведения исследований экспертами — коллегами подавших заявки. В общем случае отвергнутые проекты не хуже одобренных, поэтому при отказе стоит, изменив лишь словесное оформление (роль которого, увы, не меньше, чем содержания) подавать в следующие годы, или сразу в несколько фондов… и стучащему отворят. Этот эффект усиливается той особенностью научного творчества, которая у него общая со, скажем, писательством, и отличается от репродуктивных работ студентов — фундаментальной неопределённостью в «выдаче« научной продукции.

Если квалифицированный рабочий, хороший врач, инженер, бизнесмен и пр. просто будут работать в «рутинном режиме« сообразно инструкции с квалификацией, они в подавляющем большинстве случаев — процентах в 95-ти, думаю — выдадут продукт, ожидаемый и одобряемый обществом. Учёного же в новых исследованиях ничто не гарантирует от честной ошибки или стойкого отрицательного результата, даже самых квалифицированных и много сделавших раньше, примерно как лорд Кельвин ошибся в разы с определением возраста Земли, ибо был не пророк и не мог предсказать новый источник теплоты в виде радиоактивности.

А положительный результат, ценимый коллегами и ожидаемый обществом, при самой качественной работе будет процентах в 10-20 где-то. Особенно в зоологии и ботанике, которые «науки медленные«, один полевой сезон — одна повторность наблюдений и пр. «Поэзия — та же добыча радия// в грамм добыча, в год труды// изводишь, единого слова ради// тысячи тонн словесной руды« — и в науке аналогично. Неопределённость же тяжела и нам, и животным, особенно когда касается не среды а результатов предпринятых действий.См. про профессиональные риски исследователей.

Поэтому замечания коллег исключительно ценны применительно к уже выполненной работе, как относительно качества, так и необходимых изменений, но преимущественно «в молоко» при оценке заявок на будущие исследования.

Так, исследовали, от чего больше отдачи — дать много небольших грантов или мегагранты «лучшим»? Оказалось, первое: точнее, зависимость отдачи от суммы — колокол с сильным левым смещением. Фактически это довод против грантовой системы как таковой, и за «железную чашку риса» для всех действующих учёных, вместо «стеклянной» для «лучших» — поскольку все их темы и направления нужны для полночленного развития соответствующей научной дисциплины, ничего нельзя отсечь без ущерба для неё.

Продолжим тему оценивания экспертами. «Еще одна область субъективных измерений, которым доверяют больше, чем следовало бы — оценка вин. В 1970-х гг. винный бизнес явно не переживал расцвета, а если и развивался, то преимущественно в сфере продаж дешевого столового вина. Однако в 1978 г. произошло событие, с которым часто связывают последующее стремительное развитие отрасли: некий юрист, Роберт М. Паркер-младший, объявил себя экспертом в области вин и решил, что вдобавок к своим публикуемым в прессе критическим обзорам будет давать винам количественную оценку по стобалльной шкале. Со временем большинство изданий, печатавших материалы о винах, последовали его примеру. На сегодняшний день американцы ежегодно выкладывают за винную продукцию более 20 млрд. долларов, однако же среди миллионов любителей спиртных напитков редко когда найдется простак, который согласится раскошелиться, не взглянув  предварительно на рейтинг приглянувшегося ему вина.

Поэтому, когда журнал «Вайн Спектейтор» выставил, скажем, аргентинскому каберне-совиньону «Валентин Бьянки» 2004 г. не 89, а 90 баллов, этот единственный балл привел к огромному увеличению объема продаж «Валентин Бьянки». В самом деле, заглянув в местную винную лавку, американец обнаружит, что вина, выставленные на распродажу со скидкой, как правило, получают оценки на один или несколько баллов ниже 90. Но какова вероятность того, что аргентинское каберне «Валентин Бьянки» 2004 г., удостоенное 90 баллов, не получило бы 89, если бы процесс оценивания был повторен, предположим, час спустя?

В увидевшей свет в 1890 г. книге «Принципы психологии» Уильям Джеймс выдвинул предположение: умение разбираться в винах может дойти до способности различить вкус старой мадеры из верхней и нижней части бутылки!. Во время дегустаций вин. на которых мне нередко доводилось бывать, я заметил, что если бородач слева от меня бормочет: «Прекрасный букет!», его поддерживает целый хор голосов. Но если оценивать предлагается самостоятельно и без обсуждений, то зачастую оказывается, что бородач написал «Прекрасный букет», его бритоголовый сосед нацарапал «Вообще никакого букета», а блондинка с перманентом пометила: «Интересный букет с оттенками петрушки и свежевыдубленной кожи».

С теоретической точки зрения, есть множество оснований поставить под сомнение результаты оценивания вин. Для начала скажем, что вкусовые ощущения определяются сложным взаимодействием между вкусовыми и обонятельными стимулами. Строго говоря, любое вкусовое ощущение определяется пятью типами рецепторов, располагающихся на поверхности языка: рецепторами соленого, сладкого, кислого, горького и «мясного» (ощущение умами — вкус белковых веществ, «пятый вкус», традиционно используемый в японской и других культурах Дальнего Востока. Его создают глутамат и другие аминокислоты).

Последняя группа рецепторов соотносится с определенными аминокислотами (преобладающими, например, в соевом соусе). Но если бы этим все и ограничивалось, то вкус любой пищи -например, вашего любимого бифштекса, жареной картошки, праздничного яблочного пирога и изысканных спагетти по-болонски — можно было бы имитировать, используя лишь столовую соль, сахар, уксус, хинин и глутамат натрия. К счастью, этим дело не обходится, и на помощь приходит обоняние. Именно оно объясняет, почему, если взять два стакана с одинаковым раствором сахара и добавить в один из них клубничную эссенцию (не содержащую сахара), жидкость в этом стакане покажется вам слаще. Вкус вина определяется воздействием от 600 до 800 изменчивых органических составляющих на рецепторы как языка, так и носа. И что с этим делать — непонятно, ведь исследования показывают: даже профессиональные дегустаторы редко могут с уверенностью определить более 3-4 компонентов в смеси.

На восприятие вкуса влияют и ожидания. В 1963 г. трое исследователей тайком добавили в белое вино немного красного пищевого красителя, что придало вину розоватый оттенок. После этого группу экспертов попросили оценить сладость этого вина по сравнению с неподкрашенным. Эксперты, сообразно своим ожиданиям, оценили подкрашенное розовое вино как более сладкое. Другая группа исследователей предъявляла два образца вина будущим виноделам. Это были совершенно одинаковые образцы белого вина, но в один была добавлена капля безвкусного красителя — виноградного антоциана, в результате чего вино стало выглядеть как красное. Ученики-виноделы также сообщили о различиях во вкусе вин в соответствии со своими ожиданиями.

А в 2008 г. группа добровольцев, которых попросили оценить пять бутылок вина, оценила бутылку с этикеткой «90 долларов» выше, чем бутылку с этикеткой «10 долларов», хотя хитрые ученые налили в обе бутылки одно и то же вино. Более того, во время этого опыта с помощью функционального магнитно-резонансного томографа регистрировалась активность мозга испытуемых. Обнаружилось, что зона мозга, активация которой обычно соотносится с переживанием удовольствия, действительно активируется в большей степени, когда испытуемые пьют вино, которое считают более дорогим.

Но прежде чем осудить этих горе-ценителей, примите к сведению следующий факт: когда исследователи выяснили у 30 любителей колы, предпочитают ли они «Пепси-колу» или «Кока-колу», а потом попросили проверить свои предпочтения, продегустировав оба напитка, стоящие бок о бок, 21 человек из 30 сообщили, что проверка подтвердила их выбор, хотя коварные исследователи налили «Кока-колу» в бутылки от «Пепси-колы», и наоборот.

Когда мы оцениваем или измеряем, наш мозг полагается отнюдь не только на непосредственно воспринимаемое, но использует и другие источники информации -например, ожидания. Дегустаторов вин часто сбивает с толку и оборотная сторона ошибки ожидания — недостаток контекста.

Поднося к носу корень хрена, вы едва ли перепутаете его с зубчиком чеснока, а запах чеснока не спутаете с запахом, скажем, стелек из ваших ношеных кроссовок. Но если вам приходится иметь дело с ароматом прозрачных жидкостей, оттолкнуться не от чего. В отсутствие контекста высока вероятность того, что ароматы будут перепутаны. Именно это случилось, когда исследователи предъявили экспертам набор из шестнадцати случайно отобранных запахов: эксперты неверно определили в среднем каждый четвертый запах.

Имея все основания для скептицизма, ученые разработали методы прямой оценки различения вкусов экспертами. Один из таких методов — использование «треугольника вин». Это не собственно треугольник, скорее метафора: каждому эксперту предъявляется три сорта вина, два из которых идентичны. Задача состоит в том, чтобы выявить отличающийся от остальных сорт вина. В исследовании 1990 г. эксперты успешно справились с этой задачей только в 2/3 случаев, то есть на каждые три пробы приходилась одна, в которой эти гуру не могли отличить пино нуар, допустим, «с роскошным букетом земляники, сочной ежевики и малины», от пино «с выраженным ароматом сушеного чернослива, желтой черешни и бархатистой черной смородины».

В том же исследовании группу экспертов попросили оценить ряд вин по 12 параметрам: таким, как содержание алкоголя, присутствие танинов, сладость и фруктовый запах. Эксперты существенно разошлись в своих оценках по 9 из 12 параметров. Наконец, когда их попросили подобрать вина, подходящие под описания, данные другими экспертами, испытуемые выполнили задачу правильно только в 70% случаев.

Сами дегустаторы в курсе всех этих трудностей. «Во многих планах… [система оценивания] лишена смысла», — говорит редактор журнала «Уайн энд спирит мэгэзин». А по мнению бывшего редактора «Уайн Энтузиаст», «чем глубже ты во все это погружаешься, тем больше понимаешь, насколько оно ошибочно и обманчиво».

Тем не менее система оценивания процветает. Почему? Сами дегустаторы говорят, что когда они пытаются определить качество вина, используя систему звездочек или простейшие словесные ярлыки наподобие «хорошее», «плохое», «безобразное», их мнение звучит неубедительно. Но стоит перейти к использованию цифр, как покупатели начинают относиться к оценкам словно к божественному откровению. Как бы ни были сомнительны количественные оценки, именно они дают покупателям уверенность, что среди многообразия марок, производителей и урожаев им, словно в стоге сена, удастся отыскать золотую иголку (или хотя бы серебряную, если бюджет не позволяет)».

Л.Млодинов, op.cit.

В книге «Думай медленно, решай быстро» Дэниэль Канеман рассказывает о наиболее мощной критике его идей со стороны психолога Гэри Кляйна. Напомню, что один из коньков его исследований, удостоенных Нобелевской премии по экономике, — доказательство, что выводы эксперта о предпочтительности реализации одной идеи, а не другой (из его профессиональной области!), что надо выбрать и поддержать первую, а не вторую, в большинстве случаев будут ошибочны. Или точнее, он окажется прав лишь случайно. Не потому что он плохой эксперт, а потому что при реализации в реальности власть ситуации и случайные факторы, вроде регрессии к среднему, влияют на результат намного сильней плюсов и минусов самой идеи, как это показано в книге Млодинова выше. Кляйн же предполагал, что интуиция эксперта крайне эффективна, опора на неё позволяет решать задачи, недоступные уму, Канеман зря возводит напраслину на экспертов.

«Психолог Гэри Кляйн приводит рассказ о пожарных, которые вошли в дом, где горела кухня. Они начали заливать помещение водой, как вдруг начальник пожарной команды закричал: «Уходим отсюда!» Едва пожарные выбежали с кухни, провалился пол. Брандмейстер лишь потом осознал, что огонь был необычно тихим, а уши невероятно обжигало. Эти ощущения, по словам пожарного, задействовали «шестое чувство опасности». Он знал, что есть опасность, но не знал, какая именно. Впоследствии выяснилось, что пожар разгорелся не в самой кухне, а в подвале, под тем местом, где с тояли пожарные. Всем знакомы сходные истории об интуиции экспертов: гроссмейстер, проходя мимо игроков в парке, объявляет, что черных ждет мат в три хода; врач с одного взгляда ставит пациенту сложный диагноз.

Быстрые автоматические оценки и выборы, совершаемые гроссмейстерами, пожарными и врачами, которые описал Гэри Кляйн в «Источниках силы» и других работах, иллюстрируют профессиональную интуицию: решение текущей проблемы быстро приходит в голову, поскольку обусловлено знакомыми подсказками…»

«…Споры на профессиональные темы заставляют ученых проявлять себя с худшей стороны. Научные журналы периодически документируют подобные перепалки – начинается все часто с критических отзывов на чужую работу, за которыми следует встречная критика, и так далее. Если же первый отзыв написан резко, последующие часто становятся упражнениями в сарказме разных уровней мастерства. В ответах почти никогда не звучат признания ошибок; да и автор разгромной статьи почти никогда не соглашается, что его критика была чересчур резкой или необоснованной. В редких случаях я отвечал на критику, которую считал несообразной и ошибочной, поскольку отсутствие ответа в таком случае приравнивает ся к признанию неправоты. Однако ни разу враждебные выпады не заставили меня пересмотреть свои позиции. В поисках альтернативных методов борьбы с разногласиями я несколько раз вступал в так называемые «союзы противников», где ученые спорщики договариваются написать совместную статью, рассматривая вопрос с разных точек зрения, или даже провести совместное исследование. В особенно напряженных ситуациях за процессом следит арбитр. Самый памятный и продуктивный «союз противников» у меня был с Гэри Кляйном, интеллектуальным лидером группы ученых и практиков, которым не нравилась моя работа.

Упомянутая группа называет себя исследователями «естественного принятия решений», или ЕПР. В большинстве своем они служат в организациях, занятых изучением работы экспертов. Члены ЕПР решительно отвергают тот факт, что концепция методов эвристики и искажений в основном рассматривает эти самые искажения. Они также утверждают, что в данной модели ошибкам уделено слишком много внимания и что она строится на результатах умозрительных экспериментов вместо изучения людей, занятых важным делом. Далее, они сомневаются в применимости жестких алгоритмов как замены экспертного мнения и не считают Пола Мила героем.

Гэри Кляйн много лет красноречиво отстаивал эту позицию. Последний факт едва ли можно считать основанием для дружбы, однако на этом история не заканчивается. Я никогда не считал, что интуиция постоянно ведет к заблуждениям. Кляйн заинтересовал меня с тех пор, как я увидел написанный в 1970-е годы черновик его статьи о профессиональных умениях пожарных. Потом меня поразила его книга «Источники власти», где рассматривается, как опытные профессионалы развивают интуитивные навыки. Я пригласил его сообща определить, где заканчиваются чудеса интуиции и начинаются ее ошибки. Он увлекся идеей совместных исследований, и мы с головой ушли в проект, не зная заранее, чем все закончится.

Наша задача свелась к поиску ответа на частный вопрос: в каких случаях можно доверять профессионалу, твердящему о своей развитой интуиции? Было очевидно, что Кляйн скорее проявит доверие к эксперту, тогда как я скорее усомнюсь. Однако сможем ли мы согласиться в теории ради ответа на главный вопрос? За семь-восемь лет мы много раз спорили и преодолевали разногласия, несколько раз чуть не разругались, написали уйму черновых статей, подружились и в конце концов опубликовали общую статью с красноречивым названием: «Условия для интуитивной экспертизы: спор без победителей». Мы действительно так и не нашли ни одной реальной ситуации, которая заставила бы нас спорить, но и настоящего согласия не достигли.

Чудеса и ошибки

Бестселлер Малькольма Гладуэлла «Озарение» вышел в свет, когда мы с Кляйном работали над совместным проектом. Приятно было узнать, что мы сходимся во мнениях по поводу книги. В первой главе Гладуэлл упомянул известную историю о том, как в руки искусствоведам попал древнегреческий курос – мраморная статуя обнаженного юноши-атлета. Нескольким экспертам чутье подсказало: что-то не так, экспонат – подделка. Однако они не знали, как это доказать, и потому нервничали. Всякий, кто прочел «Озарение» (а таких были миллионы), наверняка запомнил эту историю, рассказ о победе интуиции. Эксперты согласились, что скульптура – новодел, не зная, чем это аргументировать (интуиция в чистом виде). По-видимому, автор книги подразумевал, что систематический поиск того, что именно натолкнуло экспертов на мысль о фальшивке, завел бы в тупик, но мы с Кляйном единодушно отвергли эту мысль. С нашей точки зрения, если бы эксперты не успокоились и провели бы расследование по всей форме (Кляйн рассказал бы, как именно), соответствующий аргумент наверняка нашелся бы.

Многих читателей в этом отрывке наверняка привлекла та магия, которой Гладуэлл наделил интуицию экспертов. Однако автор не рассуждает однобоко: уже в следующей главе дан пример грандиозного интуитивного провала – выборы президента Хардинга, который только внешне подходил на должность главы государства. Его высокий рост, осанка и квадратный подбородок создавали образ сильного и решительного лидера. В результате народ проголосовал за образ, хотя его ничто не подкрепляло. Интуитивное предвидение того, насколько Хардинг пригоден для роли президента, возникло от подмены одного вопроса другим. Читатель этой книги наверняка догадается, что подобная интуиция связана с верой.

У нас с Кляйном был совершенно разный опыт формирования взглядов на интуицию. Мое отношение к ней сложилось, когда я открыл в себе подверженность когнитивной иллюзии значимости, а затем прочел работу Пола Мила о несовершенстве клинического прогноза. Взгляды Кляйна сформировались в процессе его ранних исследований (он изучал работу командиров пожарных бригад, наблюдал за тушением пожаров и интересовался ходом мыслей командиров по мере принятия решений). В нашей совместной статье Кляйн отметил, что он и его коллеги исследовали, каким образом командиры составляли план действий, не сравнивая альтернативы.

«Первоначальная гипотеза о том, что командир сводит выбор лишь к двум вариантам, не подтвердилась. На самом деле командиры сразу вырабатывали одно-единственное решение, которого оказывалось достаточно. Многолетний опыт – свой и чужой – позволял им определить вероятный вариант выхода из ситуации. Его они и рассматривали, мысленно прокручивая сцену в голове: подойдет ли он в данном случае, сработает ли… Если „увиденное“ их удовлетворяло, если план казался подходящим, его претворяли в жизнь. Обнаружив изъян, командиры вносили в план необходимые изменения. Если это требовало больших усилий, они переходили к другому подходящему сценарию и повторяли процесс до тех пор, пока не получали приемлемую схему действий».

На основе этого описания Кляйн разработал теорию и создал модель принятия решений на основе распознавания, применимую не только к действиям пожарных, но и к другим видам профессиональной деятельности, включая игру в шахматы. В процессе участвуют как Система 1, так и Система 2 [о них — см. «Забавный парадокс эвристик доступности«]. На первом этапе, благодаря автоматической работе ассоциативной памяти, в уме возникает пробный план действий (Система 1). Затем, в ходе целенаправленного процесса мышления, план подвергается проверке на пригодность (действует Система 2). В модели интуитивного принятия решений (посредством распознавания образцов поведения) нашли развитие идеи Герберта Саймона – возможно, единственного ученого, признанного и прославляемого как герой-первопроходец всеми, кто соперничает, изучая процесс принятия решений.

Я уже цитировал Саймоново определение интуиции во введении к этой книге, но, думаю, будет разумнее повторить его еще раз: «Ситуация дала подсказку, подсказка дала эксперту доступ к информации, хранящейся в памяти, а информация дала ответ. Интуиция – это не что иное, как узнавание». Это заявление срывает с интуиции магический покров и превращает ее в будничный процесс работы с памятью. Мы с восторгом внимаем истории о пожарном, который, повинуясь внезапному порыву, выскочил из горящего дома за миг до обвала; пожарный интуитивно чувствует опасность, «сам не зная как». Однако мы сами не можем объяснить, каким образом узнаем в толпе старого приятеля. Мораль Саймонова афоризма состоит в том, что загадка «знания без понимания» – не исключительная черта интуиции, а норма жизни мыслящего существа.

Мы с Кляйном быстро обнаружили, что сходимся во мнениях по поводу природы интуитивного умения и того, каким образом оно приобретается. Однако нам предстояло достичь согласия еще в одном ключевом вопросе: когда можно доверять эксперту с развитой, по его словам, интуицией? Спустя какое-то время мы сообразили, что имеем в виду разных экспертов. Кляйн долгое время работал с командирами пожарных бригад, медсестрами и другими профессионалами – обладателями практического опыта. Я же провел больше времени, следя за тем, как психологи, финансовые аналитики и политологи пытаются составлять необоснованные долгосрочные прогнозы. Неудивительно, что Кляйн испытывал уважение и доверие к экспертам, а я был настроен скептически. Он был более склонен прислушиваться к интуитивным суждениям экспертов, поскольку, по его словам, настоящий профессионал осознает пределы своих возможностей. Однако я сталкивался со многими псевдоэкспертами, которые не замечали собственного невежества (иллюзия значимости), и считал, что субъективная уверенность часто бывает неоправданно высока и не основывается на информации.

В предыдущих главах я показал, что твердая уверенность возникает из двух родственных ощущений: когнитивной легкости и когерентности. Мы обретаем уверенность, когда найденное нами объяснение легко всплывает в памяти и не содержит внутренних противоречий. Однако легкость и связность вовсе не означают истинности суждения, в которое мы верим. Ассоциативный механизм настроен таким образом, чтобы подавлять сомнения и вытаскивать на свет идеи и факты, совместимые с главенствующей в данный момент историей. Следуя правилу «что ты видишь, то и есть», наше сознание достигает высокой убежденности в чем-либо, часто игнорируя неизвестное. Поэтому неудивительно, что многие из нас склонны верить голословным заявлениям интуиции. Мы с Кляйном пришли к согласию относительно следующего важного принципа: уверенность в собственной интуиции не является свидетельством ее значимости.

Другими словами, не поддавайтесь на «авторитетные» уговоры и заверения (даже если пытаетесь уговорить сами себя). Однако если субъективная вера может подвести, как тогда оценивать вероятную значимость интуитивного суждения? Когда такие суждения отражают истинный опыт и профессионализм и когда они – лишь пример иллюзии значимости? Ответ можно получить исходя из двух основных условий приобретения мастерства:

• наличия контекста, причем достаточно постоянного, чтобы стать предсказуемым;

• возможности изучить упомянутые постоянства контекста посредством длительной практики.

Когда оба эти условия удовлетворяются, интуиция приобретается как навык. Шахматы – крайний пример неизменного контекста или среды, хотя в бридже и покере тоже присутствуют стойкие статистические закономерности, позволяющие оттачивать умения. Врачи, медсестры, спортсмены и пожарные также имеют дело со сложными, но внутренне закономерными ситуациями. Точные интуитивные суждения, описанные Гэри Кляйном, возникли благодаря крайне значимым сигналам, которые научилась использовать Система 1 эксперта, даже если Система 2 не нашла им наименования. В случае с финансовыми аналитиками и политологами произошло обратное: они действуют в контексте с нулевой достоверностью. Их неудачи отражают изначальную непредсказуемость событий, которые эти эксперты пытаются предсказать.

Некоторые контексты даже хуже непостоянных. Робин Хогарт описывает так называемые «порочные» среды, в которых профессионалы чаще усваивают ложные истины. Он приводит пример из работ Льюиса Томаса – историю о враче начала ХХ века, который часто диагностировал склонность к заболеванию тифом у своих пациентов. К несчастью, для постановки диагноза врач пальпировал язык пациента и не мыл рук между приемами. Если пациент впоследствии заболевал, это подогревало веру врача в безошибочность своей диагностики. Его прогнозы были точны, но не за счет профессиональной интуиции.

Клиницисты Мила не были некомпетентными, а их промахи не означали отсутствия таланта. Если им что-то не удалось, то лишь потому, что поставленные задачи не имели простого решения. Медицинский прогноз – менее крайний случай в сравнении с долгосрочным политическим прогнозом при нулевой достоверности контекста, однако малодостоверный контекст также не способствует высокой точности предсказаний. Мы знаем, что дело именно в этом, поскольку даже самые лучшие статистические программы не дают в этих условиях точных результатов, не говоря уже об экспертах. В опытах Мила и его последователей ни разу не возникало эффекта «поимки с поличным», когда бы специалист не учел какую-нибудь значимую подсказку среды, учитываемую алгоритмом. Ошибка подобного рода маловероятна, поскольку человек обычно учится такое замечать.

Если существует крайне значимый для построения прогноза сигнал среды, человек-наблюдатель его заметит при соответствующей возможности. В шумных средах статистические алгоритмы дают лучшие результаты по двум причинам: они более успешно распознают слабые значимые сигналы и еще успешнее поддерживают средний уровень точности прогноза при постоянном шуме. Нельзя винить кого-то за плохой прогноз в непредсказуемом мире. Вместо этого стоило бы обвинить профессионалов за веру в то, что эта непосильная задача им по плечу. Превозношение собственных догадок касательно непредсказуемых ситуаций – в лучшем случае самообман. В отсутствие значимых сигналов среды такие «озарения» – либо удача, либо фальшь. Если этот вывод показался вам неожиданным, значит, вы все еще верите в волшебство интуиции. Запомните: нельзя полагаться на интуицию в контексте, лишенном стабильных закономерностей.

В конце нашего сотрудничества мы с Гэри Кляйном все же пришли к согласию, отвечая на основной поставленный вопрос: в каких случаях стоит доверять интуиции эксперта? У нас сложилось мнение, что отличить значимые интуитивные заявления от пустопорожних все же возможно. Это можно сравнить с анализом подлинности предмета искусства (для точного результата лучше начинать его не с осмотра объекта, а с изучения прилагающихся документов). При относительной неизменности контекста и возможности выявить его закономерности ассоциативный механизм распознает ситуацию и быстро вырабатывает точный прогноз (решение). Если эти условия удовлетворяются, интуиции эксперта можно доверять. К сожалению, ассоциативная память также порождает субъективно веские, но ложные интуиции. Всякий, кто следил за развитием юного шахматного таланта, знает, что умения приобретаются не сразу и что некоторые ошибки на этом пути делаются при полной уверенности в своей правоте.

Оценивая интуицию эксперта, всегда следует проверить, было ли у него достаточно шансов изучить сигналы среды – даже при неизменном контексте. При менее устойчивом, малодостоверном контексте активируется эвристика суждения. Система 1 может давать скорые ответы на трудные вопросы, подменяя понятия и обеспечивая когерентность там, где ее не должно быть. В результате мы получаем ответ на вопрос, которого не задавали, зато быстрый и достаточно правдоподобный, а потому способный проскочить снисходительный и ленивый контроль Системы 2. Допустим, вы хотите спрогнозировать коммерческий успех компании и считаете, что оцениваете именно это, тогда как на самом деле ваша оценка складывается под впечатлением от энергичности и компетентности руководства фирмы.

Подмена происходит автоматически – вы даже не понимаете, откуда берутся суждения, которые принимает и подтверждает ваша Система 2. Если в уме рождается единственное суждение, его бывает невозможно субъективно отличить от значимого суждения, сделанного с профессиональной уверенностью. Вот почему субъективную убежденность нельзя считать показателем точности прогноза: с такой же убежденностью высказываются суждения-ответы на другие вопросы. Должно быть, вы удивитесь: как же мы с Гэри Кляйном сразу не додумались оценивать экспертную интуицию в зависимости от постоянства среды и опыта обучения эксперта, не оглядываясь на его веру в свои слова? Почему сразу не нашли ответ? Это было бы дельное замечание, ведь решение с самого начала маячило перед нами.

Мы заранее знали, что значимые интуитивные предчувствия командиров пожарных бригад и медицинских сестер отличны от значимых предчувствий биржевых аналитиков и специалистов, чью работу изучал Мил. Теперь уже трудно воссоздать то, чему мы посвятили годы труда и долгие часы дискуссий, бесконечные обмены черновиками и сотни электронных писем. Несколько раз каждый из нас был готов все бросить. Однако, как всегда случается с успешными проектами, стоило нам понять основной вывод, и он стал казаться очевидным изначально. Как следует из названия нашей статьи, мы с Кляйном спорили реже, чем ожидали, и почти по всем важным пунктам приняли совместные решения. Тем не менее мы также выяснили, что наши ранние разногласия носили не только интеллектуальный характер. У нас были разные чувства, вкусы и взгляды применительно к одним и тем же вещам, и с годами они на удивление мало изменились.

Это наглядно проявляется в том, что каждому из нас кажется занятным и интересным. Кляйн до сих пор морщится при слове «искажение» и радуется, узнав, что некий алгоритм или формальная методика выдают бредовый результат. Я же склонен видеть в редких ошибках алгоритмов шанс их усовершенствовать. Опять-таки я радуюсь, когда так называемый эксперт изрекает прогнозы в контексте с нулевой достоверностью и получает заслуженную взбучку. Впрочем, для нас в конечном итоге стало важнее интеллектуальное согласие, а не эмоции, нас разделяющие».

Даниэль Канеман, 2014. Думай медленно…решай быстро.

Иными словами, в споре правы оба. Канеман пишет о сравнении и  оценке идей и предложений, ещё не реализованных, когда условия реализации эксперту неподконтрольны и неизвестны (или известны «в среднем и общем», но не конкретно) — это сомнительно и неточно. Кляйн — об интуиции специалиста, действующего в той же ситуации, в какой проявляется его интуиция и он принимает решения.

Причём и оценка ситуации, и принятие решения происходят автоматически, помимо сознания, как у шахматистов (хороших, но не посредственных) или боксёров в бою, или приёмщицы обувной мастерской из примера, зачем нужна хорошая литература. Чем подтверждается известное марксистское положение, что орган мышления и вместилище знания — не мозг, а действующее тело. Мозг лишь обслуживает соответствующие практики деятельности — частью созданием гипотез, большая часть которых отсекается жизнью, о чём Канеман, частью — осознанием «автоматических» действий, устойчиво повторяемых индивидом в рамках «социального бессознательного».