Безкоштовний інструмент · без реєстрації · рахує у вашому браузері

Holdout-калькулятор.

Чотири числа, які у вас уже є: розмір основної групи, розмір holdout-групи і дві конверсії. На виході — правда: реальний інкрементальний приріст, інкрементальний дохід, статистична значущість — і скільки ваш дашборд тихенько собі приписує.

Спробуйте типовий сценарій:

—

Атрибутовані конверсії

—

Інкрементальний (реальний) приріст

—

Дашборд приписує зайвого

—

—

Уся математика — у вашому браузері, нікуди нічого не надсилається.

Як це читати

Атрибутоване число — те, що дашборд показує вже зараз: скільки людей з основної групи конвертувало. Інкрементальне — мінус базова конверсія holdout-групи, тобто мінус ті конверсії, які сталися б і без програми взагалі. Розрив між ними — саме те, що дашборд тихенько записує собі в заслуги.

Рядок значущості запускає z-тест для двох часток на ваших обсягах. Великий приріст на крихітному holdout — це історія, а не результат; тест каже, що саме у вас в руках.

Якщо приписка мала — програма робить справжню роботу. Якщо велика — ви фінансуєте канал, який здебільшого їде на хвилі. У будь-якому разі тепер ви знаєте, а не вгадуєте.

Що таке holdout-група?

Holdout (контрольна) група — частина аудиторії, яка навмисно не отримує нічого: ні листа, ні пуша, ні знижки, — поки решта сегмента отримує кампанію. Її конверсія — ваша база: те, що сталося б і так. На цьому тримається будь-яке серйозне вимірювання інкрементальності в CRM і lifecycle-маркетингу; без цього «атрибутований дохід» — скриншот, а не факт.

  1. 01Діліть випадково до відправлення — той самий сегмент, той самий період, те саме вікно вимірювання. Holdout, зібраний заднім числом, — це вже інша популяція.
  2. 02Тримайте в holdout 5–10% сегмента і майже ніколи не опускайтеся нижче ~1 000 людей — менші групи не здатні зловити однознакові прирости, які реально дають більшість програм.
  3. 03Міряйте однакову конверсію для обох груп і читайте різницю, а не конверсію основної групи. Ця різниця — і тільки вона — дохід вашої програми.

Повний стандарт за цією математикою — «Колонка Holdout» → Як я будую вимірювання — Метод →

Питання, які цьому інструменту ставлять найчастіше

Що таке holdout-група в маркетингу?
Частина аудиторії, яку навмисно виключають із кампанії, щоб побачити, що сталося б без неї. Її конверсія — база; усе понад базу в основній групі — реальний (інкрементальний) ефект кампанії.
Якою має бути holdout-група?
Робочий діапазон — 5–10% сегмента, практичний мінімум — близько 1 000 людей. Нижче цього математика не здатна надійно зловити приріст в 1–3 відсоткові пункти, який дає більшість lifecycle-програм, — рядок значущості в калькуляторі покаже це чесно.
Чому дашборд приписує собі зайве?
Бо більшість атрибуцій рахує кожного покупця, якого кампанія торкнулася, а не кожну конверсію, яку вона спричинила. Клієнти, що купили б і так, зараховуються як перемоги кампанії. Віднімання бази holdout прибирає рівно цю інфляцію.
Який інкрементальний приріст вважати добрим?
Залежить від програми: зрілі email-промо часто додають 0,3–1 відсотковий пункт понад базу; добре збудовані lifecycle-ланцюжки — кілька. Чесна відповідь — та, яку дає цей калькулятор: приріст, що переживає і віднімання holdout, і тест значущості на ваших обсягах.
Мій результат статистично значущий?
Введіть свої числа вище — інструмент запустить z-тест для двох часток і скаже простими словами. Правило: малі прирости потребують великих holdout-груп; якщо p тримається вище 0,05 — подовжте вікно або збільште holdout, перш ніж показувати число керівництву.

Хочете, щоб це порахували на вашому реальному стеку, а не на прикидці?

Це та сама арифметика, яку я запускаю на кожній lifecycle-програмі, якою володію: з вашими вивантаженнями, вашими holdout-групами, вашим P&L. Ex-Uber; кожне число на цьому сайті несе спосіб вимірювання.

Запланувати дзвінок-знайомство або почніть із Діагностики за €2 900