«Есть три вида лжи: ложь, наглая ложь и статистика»
фраза, которую часто приписывают Бенджамину Дизраэли
Недавно читал главу «НЕ ВЕРЬ ПРАВДЕ» из книги Кита Йейтса «Математика жизни и смерти» и вспомнил классику Даррелла Хаффа «Как лгать при помощи статистики». Обе книги учат одному: статистика в новостях, рекламе и бизнесе редко бывает полностью ложной, но почти всегда рассказывает не всю историю
Хафф прямо говорит: статистика — это «искусство не меньше, чем наука». И как любое искусство, она может служить разным целям 🎨 А Йейтс добавляет: доверять стоит только тогда, когда показан контекст и выстроена понятная цепочка рассуждений
Почему консультанты любят «оценивать эффект» там, где компания сама не готова считать
В реальной жизни данные у компаний часто фрагментарны, а решения принимать надо прямо сейчас. Поэтому на сцену выходят рыночные модели, TAM/SAM/SOM и «быстрые» оценки экономического эффекта
Любая такая оценка неизбежно начинается с assumptions (предположений): темпы роста рынка, скорость внедрения, коэффициенты удержания, поведение конкурентов и чувствительность маржи к изменениям цен и затрат. В продуктовой практике это даже вынесено в отдельный подход — проверку самых рискованных предпосылок (Riskiest Assumption Test)
Это честно признает главное: слабое место модели — не формулы, а то, что в них подставляют 📊
Пять показательных кейсов, где «все считали правильно», но лучше было бы не принимать решение
1) Мобильники и AT&T: когда консерватизм дорого обошелся
Модель спроса была математически корректной, но базировалась на предположении, что дороговизна, слабые батареи и плохое покрытие сохранят барьеры дольше, чем случилось в реальности. Потенциал сетевых эффектов, эффекты масштаба и технологические кривые оказались кардинально занижены
Формулы не ошибались — ошиблись значения входных параметров. Качественное управленческое решение было отложено до момента, когда рынок уже убежал вперед.
2) Enron и Arthur Andersen: когда assumptions скрывают реальность
Скандал с Enron — это история про то, как сложные финансовые модели и «агрессивное использование стандартов» могут создать иллюзию успеха при полном отсутствии реальной прибыли. Arthur Andersen, получая $27 миллионов консалтинговых гонораров (против $25 миллионов аудиторских), закрывал глаза на сомнительные предпосылки в расчетах
Особенно показательны были специальные юридические лица (SPE), которые Enron использовал для сокрытия убытков. Формально все расчеты были «правильными», но assumptions о жизнеспособности контрагентов, процентных ставках и регулировании оказались полностью оторванными от реальности
3) Theranos: когда «революционная технология» существует только в презентациях
Элизабет Холмс привлекла $700+ миллионов инвестиций, обещая провести сотни анализов крови из одной капли. Оценка в $10 миллиардов строилась на предположении, что технология Edison действительно работает
На деле большинство тестов проводилось на обычном оборудовании третьих фирм, а результаты часто были неточными. Но инвесторы верили не технологии, а financial projections, основанным на совершенно нереалистичных assumptions о скорости масштабирования и точности тестов
4) WeWork и «Community Adjusted EBITDA»: творчество в метриках
Adam Neumann довел искусство «креативного учета» до абсурда, придумав метрику «Community Adjusted EBITDA» — по сути, выручка минус аренда, но без учета маркетинга, административных расходов и затрат на развитие
«Я никогда в жизни не видел фразы ‘community adjusted EBITDA’», — сказал эксперт по облигациям, когда WeWork попытались привлечь финансирование. Компания с убытком в $1.9 миллиарда при выручке $1.8 миллиарда пыталась убедить инвесторов в прибыльности через «правильные» assumptions
5) Национальная программа NHS: когда предпосылки об интеграции не сбываются
Британская NPfIT (National Programme for IT) — классический пример того, как технически правильные расчеты ROI разбиваются о реальность внедрения. Амбициозная программа информатизации здравоохранения строилась на assumptions о скорости поставок, готовности пользователей и простоте интеграции.
Аудиторы прямо фиксировали «нечеткий учет выгод», «перепроданные обещания поставщиков» и «неконтролируемые сдвиги сроков». Формально процессы закупок выглядели корректно, но решение строилось на предпосылках, которые последовательно не сбывались
Главная мысль: логике можно верить, цифрам — только с оговорками
Когда консультанты «подменяют» отсутствие данных оценками, они фактически торгуют предпосылками, а не числами. И это нормально, если эти предпосылки вывернуты наизнанку и проверены на хрупкость.
Именно этот призыв к полноте картины и прозрачности выводов делает Йейтс: требовать контекст, источники и рассуждения, а не только красивый график и «итоговую» метрику. Парадокс в том, что к механике расчета верить можно — и часто именно она дает лучший из доступных ориентиров, если прогнать чувствительность и честно показать диапазон, а не «точную» цифру.
Как «лгут» цифрами без явной лжи: топовые трюки из консультантских презентаций
Выбор удобной метрики: среднее вместо медианы (скрывает выбросы), относительные проценты вместо абсолютов (93% роста звучит лучше, чем +3 клиента), агрегирование по периоду, который сглаживает волатильность.
«Нормальные» формулы на «ненормальных» данных: несопоставимые выборки (сравнение 2019 с 2020 без учета пандемии), неучтенные сезонности, смешанные когорты и «обрезанные хвосты» распределений
Косметика визуализации: урезанные оси (рост с 100 до 103 выглядит как взлет при оси от 99), круговые диаграммы вместо временных рядов, разное масштабирование для разных серий данных
Скрытые гипотезы в калькуляторе эффекта: экономия «по бумаге» за счет сокращения FTE без учета компенсационных издержек на переобучение, падение качества и рост текучести. Или прогноз синергий M&A без учета cultural fit и сложности интеграции
Манипуляции с базой сравнения: «Наш продукт на 300% эффективнее!» (по сравнению с чем? с отсутствием продукта?), выбор референтного периода, который выгодно подсвечивает тренд, замалчивание контекстных факторов.
Почему это все равно полезно (но опасно для принятия решений)
Консультантские оценки — это приглашение к разговору про гипотезы, а не про истину. Они дают лучшую на сегодня карту территории, которая обязательно обновится после первых шагов по ней.
Кейсы с мобильной связью, Enron, Theranos, WeWork и NHS показывают: строить проектную судьбу на единственной оценке рискованно, даже если она математически безупречна. Но если консультанты честно показывают предпосылки, чувствительность и сценарии — их цифры становятся полезным инструментом, хотя и не заменой управленческому суждению.
Что требовать у консультантов вместо «поверьте нам на слово»
Полный список assumptions с диапазонами и источниками, плюс карта чувствительности результата к каждой ключевой гипотезе. Если консультант не может объяснить, как изменится ROI при пессимистичном сценарии по 2-3 главным предпосылкам — это красный флаг 🚩
Вопросы в духе Хаффа: кто это говорит, откуда он это знает, чего не хватает в картине, не подменен ли объект исследования, и есть ли в этом вообще смысл. Классические вопросы, которые работают уже 70 лет.
Сценарное планирование: базовый, оптимистичный, пессимистичный сценарии с четкими триггерами перехода между ними и планом пересмотра assumptions. Если есть только одна цифра — это не прогноз, а гадание на кофейной гуще ☕
«Тест самой рискованной гипотезы» до масштабирования: сначала валидируем самое хрупкое место модели пилотом или экспериментом, а уже затем дорабатываем «краску» в расчетах. Лучше потратить месяц на проверку ключевой гипотезы, чем год на реализацию проекта, построенного на песке.
Связка с книгами и главный вывод
И Йейтс, и Хафф учат одному ремеслу — смотреть не на яркость цифр, а на ткань аргумента: контекст, выборку, причинность, дизайн «эксперимента» и полноту картины. Как только на эту ткань кладут слишком много «если», любые итоги должны восприниматься как черновики решений, а не как готовые «ответы вселенной».
Дружеский совет напоследок 😊
Относитесь к консультантским оценкам как к лучшей карте на сегодня, которая точно потребует обновления после первых шагов. Если вам показывают assumptions, чувствительность и сценарии — отлично, это полезный инструмент для размышлений. Если выдают одну «точную» цифру и просят поверить — лучше найти другого консультанта 🎯
Помните: статистика может лгать, но хуже всего, когда она лжет честно — через правильные формулы, примененные к неправильным предпосылкам. Именно поэтому самое важное в любом расчете — не результат, а assumptions, на которых он построен
Комментарии