A/B-тестирование — эксперимент, в котором пользователей случайно распределяют между двумя вариантами продукта или страницы. Вариант A служит для сравнения, вариант B содержит изменение. Результат оценивают по заранее выбранной метрике: например, доле посетителей, которые оставили подходящую заявку.
Что определить до запуска
Сформулируйте гипотезу: какое препятствие убирает изменение и какое поведение должно измениться. Затем определите единицу распределения, доли трафика, основную метрику, необходимый объём наблюдений и правило завершения. Для повторных посещений важно сохранять назначенный вариант.
Основная метрика отвечает на вопрос эксперимента. Например, квалифицированные заявки на посетителя.
Контрольные показатели помогают заметить побочный ущерб: ошибки формы, скорость страницы, долю нецелевых обращений.
Проверка качества данных нужна до сравнения вариантов: события должны считаться одинаково, распределение трафика — соответствовать плану.
Пример: форма расчёта стоимости
Предположим, посетители не понимают, что произойдёт после отправки формы. В варианте B добавляют короткое объяснение следующего шага. Проверяют, изменится ли доля подходящих заявок на посетителя. Если заявок стало больше, но выросла доля обращений без нужной услуги, одной общей конверсии для решения недостаточно. Это пример постановки теста, а не обещание выигрыша варианта B.
Когда заканчивать тест
Нельзя выбирать победителя только потому, что при очередном просмотре впервые появилось значимое различие. Повторные проверки и досрочная остановка требуют соответствующего статистического метода. При фиксированном плане анализ проводят по заранее заданному правилу. Аварийную остановку из-за поломки или ущерба пользователям отделяют от вывода о победителе.
Что можно заключить из результата
Статистическая значимость не означает, что эффект достаточно велик для бизнеса. Оцените величину эффекта, неопределённость и затраты на внедрение. Отсутствие значимого различия не доказывает равенство вариантов: данных может не хватать для обнаружения интересующего эффекта.
Вопросы об A/B-тестах
Обязательно ли делить трафик пополам?
Нет. Доли задают в плане эксперимента. Распределение 50/50 часто удобно, но выбранная схема должна учитываться в расчёте объёма и анализе.
Можно ли поменять несколько элементов?
Да, если проверяется весь новый вариант. Но из результата такого теста нельзя отдельно установить вклад каждого изменения.
Что делать при небольшом трафике?
Оценить, хватит ли наблюдений на нужный эффект в приемлемый срок. Интервью и проверка сценария могут обнаружить явные препятствия, но не заменяют количественный вывод A/B-теста.