Ошибка техасского стрелка

Что это. Сначала стреляем, потом рисуем мишень вокруг попаданий. Закономерность находится перебором данных, а выдаётся за проверенную гипотезу. Стивен Пинкер в «Рациональности» объясняет ошибку через знаменатель: вероятность события имеет смысл, только если число всех возможностей посчитано независимо от числа интересных нам случаев. Если перебрать достаточно срезов, какой-нибудь из них обязательно даст яркий результат, и этот результат ничего не значит. Той же ошибкой Пинкер объясняет часть кризиса воспроизводимости, который потряс в 2010-х годах несколько научных дисциплин.

В мебели. Маркетолог сети салонов хочет понять, откуда приходят дорогие заказы, и режет выгрузку CRM по всем признакам сразу: источник, день недели, район, тип квартиры, возраст, время звонка. После сорока срезов находка готова: клиенты, пришедшие из соцсети в среду, покупают на тридцать процентов дороже остальных. Среды усиливают рекламой, креатив делают специально под них. Через квартал разница исчезает. Из сорока срезов хотя бы один должен был случайно выстрелить, и он выстрелил.

Покупателю. Цифры в рекламе вроде «девять из десяти клиентов рекомендуют нас друзьям» проверяются одним вопросом: что ещё спрашивали и почему в рекламу попал именно этот ответ? Опрос из двадцати вопросов почти всегда содержит один, на который ответили хорошо.

Мебельщику. Формулируйте, что ищете, до того как открыть данные, и записывайте формулировку. Находку, сделанную перебором, считайте гипотезой и проверяйте на следующем квартале, прежде чем тратить на неё бюджет.

Тест на раскрытие: проходит частично. Проверенная находка объясняется клиенту и партнёру без потерь. Цифра, выбранная из двадцати ответов и поданная как «исследование показало», раскрытия не выдерживает: «мы взяли лучший ответ из опроса» — такого не скажут.