Міряйте активацію проти holdout

Активаційні сценарії оцінюють не за тією цифрою. Open rate росте, click rate росте, дашборд зеленіє — і всі вирішують, що онбординг працює. Але відкриття міряє лише одне: чи тема листа змусила на себе глянути. Активація міряє інше: чи дійшов новий користувач до моменту, коли цінність продукту стала очевидною. Це різні події: перша регулярно росте, поки друга стоїть на місці.

Та сама плутанина стоїть за половиною CRM-звітності: ви рахуєте власну активність замість результату клієнта. 60% open rate для вітального листа здається доказом. Це доказ лише того, що лист відкрили. Питання, від якого залежить виручка: чи ті, хто його відкрив, насправді кудись дійшли. І на нього не відповісти, втупившись у статистику самого листа.

Лікується це тим самим інструментом, який я використав би будь-де: holdout. Візьміть випадковий зріз нових реєстрацій — пʼять-десять відсотків — і не надсилайте їм жодних онбординг-повідомлень. Усі інші отримують сценарій. Потім порівняйте частку кожної групи, що дійшла до активаційної точки, а не частку тих, хто відкрив лист. Різниця між двома групами — єдина цифра, яка показує, що ваш онбординг справді змінив.

У більшості продуктів частина користувачів і так сама доходить до першої цінності; дехто активувався б узагалі без жодного листа. Без holdout ваш сценарій приписує собі їх усіх. Із ним ви бачите, скількох насправді зрушили, — і це майже завжди менше, ніж показує атрибуція, зате значно краща основа для рішення, що виправляти.

Holdout чесний рівно настільки, наскільки чесна контрольна точка, на яку ви його наводите, — тож спершу назвіть її. Не «відкрив», не «увійшов» — конкретна дія, яка надійно передбачає, що користувач лишиться: друге замовлення, перший створений проєкт, запрошений колега в команду. Виберіть її, подивившись, що ваші утримані користувачі зробили рано, а ті, що відпали, — ні, і зробіть саме це подією активації, за якою оцінюватимете holdout.

Зробіть це правильно — і весь сценарій переорієнтується. Ви перестаєте оптимізувати теми листів заради відкриттів і починаєте оптимізувати шлях до контрольної точки: прибирати зайві кроки, переносити поштовх раніше, знімати тертя між реєстрацією і моментом, коли продукт уперше доводить свою цінність. Метрика, за якою ви міряєте, тихо вирішує, що ви будуєте.

Визначте одну контрольну точку активації, яка справді прогнозує утримання. Відкладіть у holdout 5–10% нових реєстрацій, нічого їм не надсилайте й проведіть одну чисту когорту. Покажіть поруч дві цифри: open rate та інкрементальну активацію. Подивіться, на яку з них ваша команда тримала курс, — і яка з них рухає виручку.

Далі оцінюйте сценарій за другою цифрою. Відкриття дають гарний графік; інкрементальна активація показує, чи онбординг заслужив своє місце. Коли вперше поміряєте це чесно, зазвичай виявиться: частина сценарію, якою ви пишалися найбільше, просто реагувала на людей, які й так рухалися далі, — а справжня робота лежить раніше, у кроках до того, як вони взагалі щось відкрили.