Перемога, якої не було
Ось незручна частина експериментів, яку ніхто не ставить на слайд: тест може обійти контроль за цільовою метрикою і все одно зробити вас біднішими. Лист зі знижкою дає більше замовлень цього тижня. І водночас привчає частину ваших найкращих клієнтів, що про ціну можна торгуватися, — тож наступного місяця вони чекають. Агресивне push-повідомлення піднімає відкриття. І водночас підштовхує тихий сегмент до відписки — а це люди, які і так заплатили б.
Гонитва за приростом робить із цільової цифри всю історію. Зрілі експерименти рахують і ризик втрат. Питання не в тому, чи варіант обійшов контроль. Питання в тому, чи переміг він, не зламавши того, що важить більше.
Метрики, за якими стежать саме тому, що їх бояться
Тому кожен тест має запобіжні метрики — показники, за якими ви стежите не тому, що чекаєте зміни, а тому, що якщо вони зрушать, тест треба зупинити. Рівень відписок. Рівень скарг. Маржа на замовлення, а не лише кількість замовлень. Відтік у наступні тижні. Довгострокове утримання, яке читають на holdout через місяці.
Запобіжник — це сигнал тривоги, а не графік для самолюбства. Поріг ви ставите до запуску — якщо скарги підростуть хоча б на волосину, перемога не рахується — і тримаєте слово, навіть коли цільова метрика світиться зеленим. У цьому й сенс: звʼязати руки майбутньому собі, який дуже захоче викотити зелену цифру.
Ви питаєте не про те, чи переміг варіант. Ви питаєте, чи переміг він, не зламавши того, що важить більше.
Контрольна група — актив, не формальність
Контрольна група — єдине місце, де ваші запобіжники можна прочитати чесно. Тому це один із найцінніших активів, які у вас є. Але команди ставляться до неї як до похибки округлення: урізають її, бо тримати людей осторонь здається втраченими грошима; пропускають у неї той самий варіант через інший канал; використовують її знову й знову в тестах, що накладаються один на одного, доки вона вже нічого не означає.
Захищайте її як актив. Тримайте чистою — без перетікання між групами, без тихих листів, які все одно доходять до holdout-групи. Тримайте її достатньо великою, а тест — достатньо довгим, щоб запобіжники встигли проявитися, бо шкода, якої ви найбільше боїтеся — відтік, втома, привчання полювати на знижки — зʼявляється через тижні після кліку, який ви вимірювали.
Розрахуйте вибірку під чистий сигнал — або не запускайте
Останній запобіжник — чесність щодо статистичної потужності. Тест, замалий, щоб помітити шкоду, не безпечний — він сліпий. Якщо ви не можете розрахувати його так, щоб отримати надійний сигнал і за ціллю, і за запобіжниками, ви не експериментуєте; ви граєте в азартну гру й називаєте шум результатом. Краще запускати менше тестів — але кожен достатньо великий, щоб сказати правду.
Перед наступним запуском випишіть запобіжники поруч із цільовою метрикою і задайте поріг зупинки для кожного. Якщо ви не можете назвати, що змусить вас відмовитися від варіанта, який «переміг», ви ще не готові його запускати. Дисципліна не в тому, щоб гнатися за приростом. Дисципліна в тому, щоб уміти від нього відмовитися.