Чтобы говорить про объемы и тайминги А/B тестирования, давайте вспомним, что это такое и для чего оно выполняется.
А/B тесты – один из методов проведения исследований в сфере маркетинга. Суть данного теста заключается в следующем.
- Есть контрольная группа элементов.
- Есть набор тестовых групп, где несколько элементов (1-2) меняются.
- Происходит сравнение 1 и 2 групп (А и В);
- По итогам сравнения проводится анализ и делаются выводы о том, что именно улучшило целевые показатели.
Сравниваться могут объявления, лэндинги, элементы сайта и так далее. Благодаря тестированию можно наглядно увидеть и понять, что привлекает клиентов, что приносит большую конверсию.
У каждого исследования всегда есть параметры в виде длительности его проведения и объема материала для исследования. Что делать в данной ситуации? Давайте разбираться, что к чему и как работает.
Эм.. а что мы будем исследовать?
Хороший, нет, даже не так - лучший вопрос, который вы можете задать себе. Чтобы что-то проверять, нужно придумать, что именно. Это называется – гипотеза.
С чего надо начинать придумывать гипотезу для тестов:
- Выделите проблемные моменты в компании. Это может быть нехватка конверсии, подписчиков и так далее;
- Превратите этот недостаток в цель;
- Теперь вспоминаем про образ «идеального покупателя». Нету? Тогда настало время его сделать.
Чтобы вам было легче составить для себя гипотезу. Мы сделали небольшое напоминание. Оно точно поможет.
Только не тяните с этим. Чем дольше вы будете задавать вопросы, тем большие проблемы с формулировкой будут возникать. Составление гипотезы не занимает много времени. Можно даже устроить небольшой брейншторминга с командой.
Объемы
Тот случай, когда фраза «размер имеет значение» актуальна и раскрывается во всей красе. Если выборка слишком мала, то есть риск получить неверные статистические данные. Есть ли какой-то ориентир в проведении исследований? Да, их целых 2. Причем цифры сильно отличаются.
Одни говорят, что достаточно 1000, а другие 5000. К чему это относится? К любой из метрик, которая будет исследована: посещения, конверсии, клиентов и прочее.
В случае с A/B тестами вы будете делить общее число пользователей на 2 группы: по 500 и 2 500 человек соответственно. Создавать группу менее, чем из 500 человек, не имеет смысла.
Ах да, не забудьте, что группы должны состоять из всех типов пользователей, которые вам нужны. В противном случае, снова получите неверные результаты.
Не забываем и про «гаджет-загрязнение». Да, пользователи могут посещать ваши ресурсы с разных устройств. Чтобы этого избежать, запускайте тестирование для разных устройств и браузеров отдельно. Да, это сложно. Но результат оправдывает средства.
Время
Спешка тут ни к чему. Как показывает статистика, большой процент маркетологов слишком рано все бросает. Суть в том, что спешка в исследовании приводит к ошибкам и ложным результатам. Маркетологи, которые не уделяют достаточное количество времени исследованию, всегда получают неверный результат. Так сколько времени потребуется?
2 недели или 14 полных дней. Но не спешите закрывать страницу и бежать тестировать. Нужно же еще и рассказать почему именно 2 недели, а не 3.
А вот вам немного наглядности. Смотрите, что получается. В процессе тестирования мы имеем следующие показатели.
- Колонка с днем недели.
- Коэффициент кликабельности по нашим объявлениям.
- Коэффициент конверсии сайта.
- Окупаемость проекта.
Что вы видите? Первое, что бросается в глаза – вторник и среда имеют самый большой интент посетителя к совершению покупки.
Па па па пам! И вот первый показатель того, что минимальный срок тестов должен составлять минимум неделю+. Допустим, какой-то маркетолог тестировал 5 дней и не «захватил» в тестовый период именно четверг. Все. Его результаты просто неверны.
Именно поэтому, нужно всегда давать тесту достаточное количество времени на проведения и объема на исследование. Некоторые компании проводят его месяцами. Никто не запрещает этого делать. В результате, они получают прирост к показателю конверсии +10%-150%.
Да-да, мы знаем, что вы можете спросить. Если ваши два варианта идут вот ровненько, вот процент в процент, что делать? Переделывать. Да, звучит не радужно, зато правдиво. Вам нужен результат, а не «галочка»? Тогда нужно начинать разработку альтернативных вариантов и проводить новые тесты для достижения желаемого результата.
Уделите должное внимание тестированию, созданию гипотезы и прочим мелочам. Они обязательно скажутся на итоговом результате. Если вы работаете на результат, то это окупится со временем.
