Как оградиться от внешних факторов при A/B-тестировании?
Чтобы получить надежные данные при A/B-тестировании, очень важно правильно определиться с выборкой. Но как это сделать? Будет ли выборка в 200 человек достаточной, а в 300, 400? Чтобы правильно выбрать размер выборки, и, следовательно, продолжительность самого теста, необходимо ответить на следующие вопросы:
- текущий уровень конверсии исследуемой страницы;
- среднее число посетителей страницы в день;
- количество вариаций, которые тестируются;
- насколько точные вам нужны результаты (обычно используется доверительный интервал 95%) и т.д.
Также не забывайте, что на результатах теста могут сказаться события внешней среды, такие как государственные праздники, промоакции компаний, открытие новых магазинов и пр. Подробнее про другие факторы, оказывающие значительное влияние на A/B-тестирование, а также о том, как с ними бороться, в статье Аманды Далла.
A/B and Multivariate Test Validity: Beware of Bad Data!
Поделиться:
Есть интересная ссылка? Пришли ее нам!
