Будет ли событие M? Считаем предвестники по методичке ЦРУ

Есть вопросы, обсуждение которых удивительным образом превращает взрослых разумных людей в гадалок.

Будет событие M или не будет? Произойдёт оно до события V или после? В сентябре? В октябре? Или вообще никогда?

Дальше появляются люди с особыми источниками: «У меня знакомый работает там, и он точно знает». Потом приходит другой, у которого знакомый работает ещё ближе к тому самому «там» и знает прямо противоположное. Через пятнадцать минут вместо анализа у нас спиритический сеанс с привлечением инсайдеров.

Мне кажется, сам вопрос поставлен неправильно.

В сложных системах полезнее спрашивать не «случится ли событие», а по-другому: какова сейчас вероятность события, какие наблюдаемые признаки должны появиться перед его наступлением и сколько из них мы уже увидели.

Этому меня научили ещё в 1998 году, причём совершенно неожиданно.

Катя, ГКО и мой первый урок прогнозирования

В начале 1998 года я работал на фондовом рынке. Была у нас аналитик Катя Иванова, очень умная девушка, которую я потом потерял из виду и до сих пор не знаю, где она.

Где-то в январе она сказала примерно следующее. Мы можем сколько угодно спорить, рухнет рынок или нет, будет ли государство девальвировать рубль, замораживать обязательства по ГКО или придумывать ещё какой-нибудь чрезвычайный механизм. Но если государству действительно придётся пойти на чрезвычайные меры, оно не сможет сделать это мгновенно. Сначала ему придётся совершить множество других действий: поменять нормативные документы, перестроить механизмы, подготовить банки, перераспределить ресурсы, начать защищать одни участки системы и бросать другие. Каждое из этих действий по отдельности ничего не доказывает, но вместе они складываются в картину.

Катя составила список таких событий. Причём список был двойной: одни меры государство должно было предпринимать, чтобы не допустить плохого сценария, другие, чтобы быть готовым к нему, если избежать всё-таки не получится.

И мы начали не гадать, а наблюдать.

В марте произошло одно. Потом другое. Где-то приняли решение, где-то изменили механизм, где-то повели себя иначе, чем раньше. Катя доставала свой список и говорила: смотрите, ещё одна галочка.

К началу лета её позиция стала простой: почти всё, что должно было произойти перед большим системным событием, уже произошло. Как именно оно будет выглядеть, не знает никто, но готовиться к серьёзному трындецу уже пора. Руководство, как это часто бывает, услышало не всё. Но услышало достаточно, чтобы часть денег перевести в доллары.

Что было дальше, мы знаем.

Хроника подтверждает: августовский кризис не возник из ясного неба. Уже 27 мая 1998 года Банк России поднял ставку рефинансирования с 50 до 150% годовых, пытаясь удержать финансовую систему. 20 июля МВФ утвердил экстренный пакет поддержки России. А 17 августа власти объявили чрезвычайные меры, включая реструктуризацию значительной части внутреннего государственного долга.

Для огромного количества людей 17 августа стало громом среди ясного неба. Но сама система кричала о неблагополучии за несколько месяцев до того.

Осторожнее с Талебом

Тут очень хочется достать с полки «Чёрного лебедя» Нассима Талеба и сказать: вот видите, лебедь долго копился, а потом прилетел. Значит, чёрных лебедей можно предсказывать, надо только внимательно смотреть.

Если читать Талеба буквально, так говорить нельзя.

У него определение строже. Чёрный лебедь у Талеба: событие, которое лежит за пределами обычных ожиданий наблюдателя, имеет огромные последствия, а после наступления обрастает объяснениями, из-за которых начинает казаться вполне предсказуемым. Редкость, масштаб и предсказуемость задним числом, но не наперёд. Более того, Талеб прямо пишет: раз настоящие чёрные лебеди непредсказуемы, правильная стратегия не в том, чтобы прогнозировать их всё точнее, а в том, чтобы строить системы, устойчивые к ошибкам прогноза.

Но у Талеба есть другая идея, которая стыкуется с историей Кати почти идеально: чёрный лебедь зависит от наблюдателя. Это не объективное свойство события, а свойство вашего знания о нём. Его знаменитая индейка ровно об этом: индейку кормят тысячу дней подряд, и с каждым днём её уверенность в доброте людей только растёт, а потом наступает День благодарения. Для индейки это катастрофа за пределами всякого опыта. Для фермера никакой неожиданности нет. В прологе книги есть пример ещё жёстче: 11 сентября было чёрным лебедем для жертв, но не для тех, кто готовил нападение.

И вот здесь появляется формулировка, ради которой стоило во всём этом разбираться.

Задача аналитика не в том, чтобы научиться предсказывать всех чёрных лебедей. Задача в том, чтобы по возможности перестать быть индейкой.

Для этого необязательно знать, что именно произойдёт. Иногда достаточно раньше других заметить, что система стала хрупкой, или что кто-то уже начал готовиться к определённому классу событий. Мы не умеем предсказать спичку, от которой начнётся пожар. Но вполне можем заметить, что комната постепенно заполняется бензиновыми парами.

Поздний Талеб, уже автор «Антихрупкости», говорит ровно об этом: сосредоточьтесь не на вычислении вероятности редкого удара, а на обнаружении собственной хрупкости. То есть на понимании того, насколько катастрофичными окажутся для вас ошибки и колебания, если они всё-таки случатся.

Катя, сама того не зная, работала по методичке ЦРУ

Самое забавное я обнаружил недавно, когда решил проверить эту историю.

Метод, который Катя придумала для себя в 1998 году, давно существует как формальная аналитическая технология и применяется в разведке и стратегическом планировании. Называется он Signposts and Indicators, «сигнальные признаки и индикаторы». Традиция идёт от Ричардса Хойера и его классической книги «Психология разведывательного анализа», которую ЦРУ издало для собственных аналитиков.

Суть такая. Заранее сформулируйте несколько возможных сценариев будущего. Для каждого выпишите наблюдаемые события, которые вы ожидали бы увидеть, если именно этот сценарий начинает реализовываться. А дальше не спорьте бесконечно о мнениях, а регулярно проверяйте список: какие признаки появились. Полезно выписывать и обратные сигналы: что мы должны увидеть, если сценарий, наоборот, становится менее вероятным.

Корпорация RAND в своей методологии Assumption-Based Planning идёт ещё дальше и делит происходящее почти в точности как Катя. Есть signposts, признаки того, что исходное предположение начинает разрушаться. Есть shaping actions, действия, которыми мы снижаем вероятность нежелательного сценария. И есть hedging actions, действия, которые заранее уменьшают ущерб, если плохой сценарий всё-таки реализуется.

Предвестники. Действия по предотвращению. Действия по подготовке.

Мой урок 1998 года, который четверть века существовал у меня в виде просто хорошей истории, оказался страницей из учебника.

Человек, который «там работает», знает не то, что вам кажется

Теперь вернёмся к событию M.

Кто-нибудь говорит:

— Я точно знаю, M будет. У меня человек работает прямо там, и им уже дали команду готовиться.

На первый взгляд, мощнейший инсайд. Но если аккуратно расспросить, обычно выясняется, что источник сообщил совсем другое. Не «принято решение провести M», а, например, «нашему подразделению поручили быть готовыми к M». Это две совершенно разные фразы.

Организация, которая отвечает за последствия события, обязана готовиться к нему ещё до того, как решение принято. Больше того, она может готовиться именно потому, что руководство хочет иметь на столе несколько вариантов. Поэтому сам факт подготовки, безусловно, сигнал. Но сигнал не равен доказательству: он повышает вероятность сценария M, а не переводит её в 100%.

Почему нас так убеждают подобные рассказы, хорошо объяснил Даниэль Канеман в книге «Думай медленно… решай быстро»: живая история от одного знакомого весит в голове больше, чем любая скучная статистика. Мозг требует связного сюжета, а не распределения вероятностей.

Не «будет или не будет», а 20%, 40%, 70%

Как разговаривать о будущем по-взрослому, лучше всех, на мой взгляд, показали Филип Тетлок и Дэн Гарднер в «Суперпрогнозировании».

Тетлок десятилетиями исследовал качество экспертных прогнозов. Ещё в ранней работе Expert Political Judgment он описал знаменитое деление на ежей и лис. Ёж знает одну большую идею и уверенно подгоняет под неё мир. Лиса знает много маленьких вещей и осторожно сшивает из них оценку. Так вот, ежи в среднем прогнозируют заметно хуже лис, хотя по телевизору выглядят гораздо убедительнее.

Потом Тетлок участвовал в турнирах американской программы IARPA, где прогнозисты давали не пророчества вида «режим падёт», а проверяемые вероятностные оценки конкретных событий с конкретными сроками. Оценки затем сравнивали с реальностью и считали точность.

Отсюда самое сильное изменение мышления. Не «M будет в сентябре», а «на сегодня я оцениваю вероятность M до 30 сентября в 35%». Произошёл новый значимый факт: 45%. Появился ещё один признак: 55%. Случилось событие, несовместимое с нашим сценарием: обратно 30%.

Лучшие прогнозисты Тетлока отличаются в том числе тем, что часто обновляют оценки небольшими шагами по мере появления информации, вместо того чтобы однажды произнести пророчество и потом защищать его до последнего, как честь семьи. Данные прогнозных турниров это подтверждают: инкрементальное обновление связано с более высокой точностью.

Тут есть одна языковая тонкость. Я бы не говорил, что «вероятность накапливается». Накапливаются свидетельства. А уже они заставляют пересматривать оценку вероятности. Это почти дословно логика Байеса: было первоначальное мнение, пришла новая информация, и мы спрашиваем себя, насколько сильно она должна это мнение изменить.

Почему простой подсчёт галочек не работает

Представим, что у нас двадцать признаков события M и семь уже появились. Значит ли это, что сценарий реализован на 35%?

Разумеется, нет. Один сигнал может быть важнее десяти других.

Если десять телеграм-каналов написали один и тот же слух, у нас не десять независимых подтверждений. У нас по-прежнему один слух, который десять раз перепечатали. Если три ведомства одновременно начинают выполнять процедуру, предписанную одним и тем же документом, это тоже не три сигнала, а три следствия одной причины.

А вот если появляется действие дорогое, трудно обратимое и почти бессмысленное при отсутствии сценария M, его диагностическая ценность может быть очень высокой.

Поэтому хороший аналитик задаёт по поводу каждого предвестника неприятный вопрос из арсенала Хойера: насколько чаще я ожидал бы увидеть этот факт в мире, где M произойдёт, чем в мире, где M не произойдёт? Признак, одинаково вероятный в обоих мирах, не стоит ничего, каким бы зловещим он ни выглядел.

Компании тоже оставляют следы

С государствами спорить интереснее, но для бизнеса вся эта логика даже полезнее.

Все любят внезапные новости. «Компания X перестала платить поставщикам». «Компания Y закрывает магазины». «Компания Z неожиданно подала на банкротство». А действительно ли неожиданно?

До формального события компания месяцами взаимодействует с тысячами людей и десятками информационных систем. Она перестаёт нанимать. Сотрудники начинают обновлять резюме. Уходят руководители. Меняются условия для поставщиков, сокращается ассортимент, начинаются задержки, появляются странные распродажи, гаснет реклама, ползут вниз отзывы. По отдельности каждый факт почти ничего не значит, но из цифрового выхлопа бизнеса можно строить систему ранних индикаторов.

И это уже не просто красивая идея. Исследования показывают, что динамика онлайн-вакансий работает опережающим индикатором операционных результатов компании, а данные интернет-трафика добавляют информацию о будущих продажах. Альтернативные данные давно стали отдельным направлением финансовой аналитики.

Правило, впрочем, то же. Падение трафика не означает банкротства, исчезновение вакансий не означает закрытия, а обновивший резюме коммерческий директор не эквивалентен аудиторскому заключению. Нас интересуют не отдельные признаки, а конфигурация признаков и её изменение во времени.

Как построить такую систему: пять шагов

Если отжать из всей красивой теории практику, сегодня я делал бы это так.

1. Точно определить событие и срок. Не «будет ли кризис», а «произойдёт ли M до 30 сентября». Без срока вероятность почти бессмысленна: вероятность того, что когда-нибудь пойдёт дождь, как правило, довольно высока.

2. Выписать альтернативные сценарии. Не только «M» и «не M», а, скажем, полный M, ограниченный M, отложенный M и отсутствие M. Это заставляет искать не только подтверждения любимой гипотезы.

3. Для каждого сценария составить список предвестников. Отдельно признаки общей возможности, признаки подготовки, дорогие подготовительные действия, почти необратимые действия и признаки непосредственного исполнения. Рядом обязательно контрпризнаки, снижающие вероятность сценария.

4. Поставить первоначальную вероятность и регулярно её пересматривать. Скажем, 25%; после нового сигнала 35%; после сильного контрсигнала 22%. Менять мнение не страшно. Человек, который год не меняет прогноз при изменившемся мире, скорее всего, не принципиален, а просто не смотрит в окно.

5. Заранее привязать вероятность к действиям, а не к разговорам. При каком уровне риска мы начинаем дешёвую подготовку? Когда страхуем валютную позицию, наращиваем запас ликвидности, останавливаем инвестиции, готовим резервного поставщика? И отдельно: что можно сделать, чтобы снизить вероятность плохого сценария, и что, чтобы уменьшить последствия, если он всё-таки наступит?

Последний пункт важнее всех. Смысл прогнозирования не в том, чтобы угадать будущее. Смысл прогнозирования в том, чтобы раньше принять другое решение.

Катя была права, даже если бы ошиблась

Самое интересное в истории 1998 года для меня сейчас не то, насколько точно Катя предсказала кризис.

Допустим, кризиса бы не случилось. Правительство нашло бы другое решение, рынок стабилизировался. Было бы решение перевести часть денег в доллары ошибкой?

Профессиональная покеристка Энни Дьюк в книге «Принцип ставок» называет привычку оценивать решение по результату словом resulting и считает её одной из главных болезней мышления. Хорошее решение может закончиться плохо, а плохое хорошо, потому что между решением и результатом стоит случайность. Качество решения оценивается по информации и вероятностям на момент, когда оно принималось.

Если вероятность тяжёлого события стала достаточно высокой, а цена страховки относительно невелика, хеджирование рационально даже тогда, когда опасность миновала. Никто ведь не жалеет о купленном полисе только потому, что квартира в этом году так и не сгорела.

И здесь Талеб снова полезнее прорицателей. Если ставка в игре выживание, точная цифра вероятности иногда менее важна, чем размер потенциального ущерба и степень вашей хрупкости к нему. Грубо говоря, если при событии с вероятностью 10% вы теряете всё, вопрос «а точно 10% или всё-таки 7,3%?» не самый умный вопрос дня. Лучше спросить, почему одно-единственное событие вообще способно вас убить.

Чёрный лебедь становится серым

Главную мысль я сформулировал бы так. Большинство людей смотрят на катастрофу в момент её наступления. Аналитик смотрит на изменение системы до катастрофы.

Он может не знать, какой именно удар произойдёт, но способен увидеть рост хрупкости. Он может не знать, принято ли окончательное решение о событии M, но видит, какие условия создаются для его возможности, какие структуры начали готовиться, какие необратимые действия уже совершены и какие альтернативные объяснения этих действий остаются.

После этого вопрос «будет или не будет?» становится почти бессмысленным. Появляется гораздо более взрослый разговор:

«Месяц назад мы оценивали вероятность M до события V в 20%. За две недели реализовались три независимых предвестника, один из них сильный. Ожидавшийся контрпризнак не появился. Сейчас наша оценка 35–45%. Если произойдут события А и Б, поднимем её выше 60%. Если случится С, снизим обратно».

Никакой мистики. Никаких знакомых, которые «точно знают». Никакого требования обязательно оказаться правым. Только гипотезы, наблюдаемые признаки, вероятность и её пересмотр. А главное — заранее определённые действия.

Может быть, именно в этом практическая польза идеи чёрных лебедей. Не в том, что мы научимся видеть всех птиц за горизонтом. А в том, что однажды перестанем удивлённо кричать «Кто бы мог подумать?!» в тот момент, когда половина предвестников уже несколько месяцев сидит у нас на подоконнике.

Настоящий навык работы с неопределённостью не в умении предсказывать будущее.

Он в умении достаточно рано заметить, что будущее изменилось.