Эссе о разработке игр, мышлении и книгах

Разбор вглубь закона гудхарта en ru

Нашёл отличный разбор вглубь закона Гудхарта (когда мера становится целью, она перестает быть хорошей мерой).

Cedric Chin раскладывает закон на составляющие и приводит примеры из практики Амазона, как они работают с ними.

Кратко: всё не так однозначно и не так плохо.

Когда люди оказываются под давлением целевой метрики, у них есть три стратегии поведения:

  1. Они могут работать, чтобы улучшить систему.
  2. Они могут саботировать/исказить работу системы.
  3. Они могут саботировать/исказить данные.

Например, если у вас есть фабрика, производящая штуки и план по производству штук.

Тогда возможные стратегии ваших сотрудников:

  1. Улучшать технологии и процессы, чтобы выполнять план.
  2. Скрывать излишки производства в одном месяце, чтобы приписывать их в другом (саботирование производства).
  3. Забирать готовую продукцию со склада, чтобы повторно положить на конвейер и накрутить счётчик (подделка данных).

Соответственно, задачи руководителя:

  1. Создавать условия, чтобы улучшать систему было возможно, комфортно и выгодно. Например, задавать реальные объективные строки и планы.
  2. Делать сложным подрыв производства.
  3. Делать сложным подделку данных.

В оригинальном посте есть интересные примеры адаптации Амазон под эти принципы.

Например, они переключились с оптимизации результирующих метрик на оптимизацию входящих метрик через эволюционное уточнение эвристик о них. Потому что входящими метриками сложнее манипулировать, а их влияние на результирующие можно оценить эмпирически.

Утрируя, вместо оптимизации метрики «количество продаж», можно оптимизировать «количество холодных звонков», «количество рекламы», итерационно уточняя формулировки на основе данных о бизнесе.

Для примера вот эволюция метрики для одной из команд Амазона:

  • Количество страниц с информацией о товарах
  • Количество просмотров страниц с информацией о товарах (вы не получаете очки за создание страниц ненужных вещей)
  • Процент просмотров страниц товаров с товарами на складе (вы не получаете очки, если товара нет в доступности)
  • Процент просмотров страниц товаров с товарами на складе и готовыми быть доставленными за 1-2 дня

За подробностями рекомендую идти в оригинальный пост.