Разбор вглубь закона Гудхарта ru en
Нашёл отличный разбор вглубь закона Гудхарта (когда мера становится целью, она перестает быть хорошей мерой).
Cedric Chin раскладывает закон на составляющие и приводит примеры из практики Амазона, как они работают с ними.
Кратко: всё не так однозначно и не так плохо.
Когда люди оказываются под давлением целевой метрики, у них есть три стратегии поведения:
- Они могут работать, чтобы улучшить систему.
- Они могут саботировать/исказить работу системы.
- Они могут саботировать/исказить данные.
Например, если у вас есть фабрика, производящая штуки и план по производству штук.
Тогда возможные стратегии ваших сотрудников:
- Улучшать технологии и процессы, чтобы выполнять план.
- Скрывать излишки производства в одном месяце, чтобы приписывать их в другом (саботирование производства).
- Забирать готовую продукцию со склада, чтобы повторно положить на конвейер и накрутить счётчик (подделка данных).
Соответственно, задачи руководителя:
- Создавать условия, чтобы улучшать систему было возможно, комфортно и выгодно. Например, задавать реальные объективные строки и планы.
- Делать сложным подрыв производства.
- Делать сложным подделку данных.
В оригинальном посте есть интересные примеры адаптации Амазон под эти принципы.
Например, они переключились с оптимизации результирующих метрик на оптимизацию входящих метрик через эволюционное уточнение эвристик о них. Потому что входящими метриками сложнее манипулировать, а их влияние на результирующие можно оценить эмпирически.
Утрируя, вместо оптимизации метрики «количество продаж», можно оптимизировать «количество холодных звонков», «количество рекламы», итерационно уточняя формулировки на основе данных о бизнесе.
Для примера вот эволюция метрики для одной из команд Амазона:
- Количество страниц с информацией о товарах
- Количество просмотров страниц с информацией о товарах (вы не получаете очки за создание страниц ненужных вещей)
- Процент просмотров страниц товаров с товарами на складе (вы не получаете очки, если товара нет в доступности)
- Процент просмотров страниц товаров с товарами на складе и готовыми быть доставленными за 1-2 дня
За подробностями рекомендую идти в оригинальный пост.