Показник, який вам лестить
Відкрийте більшість CRM-дашбордів — і побачите велику впевнену цифру: дохід, який дашборд приписує lifecycle. Вона схожа на доказ, що програма працює. Зазвичай це не так. Значна частина цього доходу зʼявилася б і без вас: клієнт уже повертався, уже збирався продовжити підписку, уже мав товар у кошику. Атрибуція рахує те, що сталося після відправки; вона не скаже, чого не сталося б без неї.
Так головна цифра тихо записує приплив на свій рахунок. Єдиний спосіб відділити вашу роботу від погоди — залишити групу людей, які не отримали нічого, і подивитися, наскільки краще насправді спрацювали інші.
Holdout — це колонка, а не проєкт
Тут люди зазвичай напружуються, бо чекають великого аналітичного проєкту. Дарма. Holdout — це випадково вибраний зріз аудиторії, 5–10%, якому ви свідомо нічого не надсилаєте. Програму запускаєте для всіх інших, потім порівнюєте. Різниця між двома групами — це те, що ви справді створили. Ця різниця — єдина чесна цифра.
Складна частина не в математиці, а в дисципліні. Це означає щоразу навмисно стримувати частину доходу й не піддаватися бажанню «цього разу просто надіслати всім». Зробіть це постійною колонкою в дашборді, а не разовим експериментом — і інкрементальність перестане бути суперечкою.
Атрибуція показує, поруч із чим стоїть ваш CRM. Holdout показує, чого він вартий.
Що holdout дає вам насправді
Коли ви міряєте інкрементальний ефект, розмова змінюється повністю. CRM перестає бути статтею витрат, яку треба захищати на бюджетній зустрічі, і стає рядком P&L, якому можна поставити ціну. Ви можете закрити програми, що створюють рух, але нічого не зрушують; перелити бюджет у ті кілька, які справді дають приріст; і — головне — сказати «ні» розсилці, яка не дає більше, ніж нічого не робити.
Це ще й найдешевша страховка, яку можна купити. Крива кампанія може мати відʼємну інкрементальну цінність — відштовхнути людей, які й так би конвертувалися. Без holdout ви цього не побачите: атрибутована цифра все одно виглядатиме нормально, поки програма тихо коштуватиме вам грошей.
Почніть у понеділок
Виберіть одну найважливішу програму — вітальний сценарій, повернення клієнтів, флагманську розсилку. Виділіть випадковий holdout на 5–10%, не надсилайте цій групі нічого й дайте програмі пройти один чистий квартал. Дивіться на інкрементальний дохід, а не на атрибутований. Першого разу чесна цифра зазвичай менша, ніж обіцяв дашборд, — і значно корисніша.
Потім зробіть це стандартом. Кожна програма, яку варто запускати, варта колонки holdout; усе інше — здогад із графіком зверху. Коли керівництво бачить цифру, якій можна довіряти, CRM перестає бути тим, що ніхто не може довести, і стає тим, із чим ніхто не може сперечатися.