AB тестирование писем — это контролируемое сравнение двух (или более) вариантов рассылки на случайных сегментах аудитории для выбора лучшего по целевой метрике. Запускайте сплит тест email с одной чёткой гипотезой, достаточной выборкой и фиксированной длительностью, затем применяйте победителя на остальную базу.
Как устроен A/B-тест рассылки
A/B-тест рассылки (сплит тест email) делит аудиторию случайно и равномерно, отправляя вариант A одной группе, вариант B — другой. Далее сравнивается заранее выбранная основная метрика (например, конверсия в заказ), а не второстепенные показатели. Важно обеспечить:
- рандомизацию и равные условия доставки;
- фиксированный период сбора данных без «подглядываний»;
- достаточную статистическую мощность (размер выборки);
- одну проверяемую гипотезу за тест.
Что тестировать в письмах
Элементы рассылки до открытия для A/B-тестирования
- Тема письма и предпросмотр (preheader) — влияют на Open Rate; тестируйте смысл и длину, не только эмодзи.
- Имя и адрес отправителя — «бренд» vs «человек от бренда», единое или сегментированное имя.
- Время и день отправки — особенно для триггерных цепочек с «окном» допуска.
Элементы рассылки после открытия для A/B-тестирования
- Главный оффер и структура письма — один фокус vs «всё сразу».
- Формулировка и расположение CTA — текст кнопки, цвет, размер, количество CTA.
- Креатив и формат контента — изображение vs текст, короткая vs длинная версия.
- Персонализация — динамические блоки, рекомендации, обращение по имени.
- Длина и стиль копирайта — прямой «выгода-срок» vs сторителлинг.
- Посадочная страница (если цель — переход/конверсия) — согласуйте сообщение письма и LP.
Технические и поведенческие факторы рассылки
- Рендеринг на мобильных и в тёмной теме — макет, контраст, ALT-тексты.
- Вложенность трекингов и UTM — корректная атрибуция конверсий.
- Сегментация — новые vs лояльные; аккуратно: это уже разные популяции.
Размер выборки и длительность A/B-теста рассылки
Выбирайте размер тестовой аудитории исходя из базовой метрики и минимально значимого эффекта (MDE), который хотите надёжно заметить.
- Определите базовый уровень: например, конверсия в заказ = 2%.
- Назовите MDE: например, хотим обнаружить +15% относительного прироста (2.0% → 2.3%).
- Задайте уровень значимости 5% и мощность 80% (дефолт для маркетинга).
Приближённое правило для долей: чем ниже базовая конверсия и чем меньше желаемый прирост, тем больше нужна выборка. Ориентиры на группу (A и B отдельно):
| Базовая конверсия | Желаемый относит. прирост | Нужные уникальные получатели/группа |
|---|---|---|
| 2% | +10% | ≈ 80–100 тыс. |
| 2% | +20% | ≈ 25–40 тыс. |
| 5% | +10% | ≈ 30–45 тыс. |
| 5% | +20% | ≈ 10–18 тыс. |
Если база меньше — тестируйте метрику «ближе к верху воронки» (например, CTR вместо покупок) или объединяйте несколько однотипных отправок в один эксперимент с одинаковыми вариантами.
Длительность: фиксируйте окно наблюдения заранее (например, 48–72 часа для массовой рассылки, 7 дней для конверсий с лагом). Не продлевайте по факту — это размывает значимость.
Одна гипотеза за раз в A/B-тестировании рассылки
Меняйте один причинно значимый фактор на тест. «Тема + креатив + CTA» одновременно создают неинтерпретируемую смесь. Если нужно проверить несколько вещей:
- Постройте очередь тестов по ожидаемому влиянию на целевую метрику.
- Или используйте многофакторный план (A/B/n) с корректировкой на множественные сравнения — но всё равно следите, чтобы варианты различались по одному принципу.
- Для серийных рассылок применяйте метод «итеративной лестницы»: закрепляйте победителя и двигайтесь к следующему фактору.
Чтение результатов A/B-теста рассылки: что считать «победой»
Выберите одну основную метрику для A/B-тестирования рассылки
- Для прогрева базы: уникальный CTR к кликабельному элементу.
- Для продаж: конверсия в заказ/доход на получателя (RPR).
- Открытия годятся лишь как вспомогательная метрика из-за ограничений отслеживания.
Интерпретация результатов A/B-теста рассылки
- Смотрите относительный uplift и доверительный интервал. Победитель — тот, чья прибавка статистически значима и бизнес-существенна.
- Проверяйте согласованность: вариант лучше по основной метрике и не хуже по второстепенным (жалобы, отписки, блок-рейт).
- Избегайте «p-хаккинга»: не останавливайте тест рано из-за временных всплесков.
| Метрика | Вариант A | Вариант B | Разница | Стат. вывод |
|---|---|---|---|---|
| CTR, уник. | 3.8% | 4.4% | +15.8% | Значимо (p<0.05) |
| Отписки | 0.14% | 0.13% | -7.1% | Не значимо |
| RPR | 12.1 ₽ | 13.6 ₽ | +12.4% | Гранично, проверить повтором |
Если итог «граничный», зафиксируйте «мягкую победу» и повторите тест на следующей отправке или увеличьте выборку.
Типичные ошибки в A/B-тестировании рассылки и как их избежать
- Тестирование ради любопытства. Решение: формулируйте бизнес-гипотезу в формате «Если…, то… потому что…» и привяжите к метрике.
- Слишком маленькая выборка. Решение: укрупняйте эксперимент или поднимайте MDE.
- Множественные правки между отправками. Решение: фиксируйте протокол теста и не меняйте настройки MTA, сегменты и трекинг на лету.
- Смена целевой метрики «задним числом». Решение: метрика фиксируется до запуска.
- Победа по открытиям при провале по деньгам. Решение: оптимизируйте метрику, которая двигает P&L.
- Смещённые группы (нерандомное распределение). Решение: используйте встроенную рандомизацию ESP; проверяйте баланс по ключевым атрибутам.
- Каннибализация из-за частоты. Решение: контролируйте контакт-политику; не пересекайте эксперименты в одних и тех же окнах.
- Игнор технических факторов доставки. Решение: следите за доставляемостью, доменом, аутентификацией и спам-фидбеком — иначе сравниваете не креатив, а инбокс-рейт.
Процесс и чек-лист A/B-теста рассылки
- Сформулировать гипотезу и выбрать одну основную метрику.
- Оценить базовые показатели и рассчитать/оценить выборку и длительность.
- Подготовить варианты и обеспечить идентичные условия отправки.
- Случайно разделить аудиторию A/B (или A/B/n), зафиксировать дату/время.
- Запустить, не вмешиваться до конца окна наблюдения.
- Проанализировать uplift, значимость, вторичные риски (жалобы/отписки).
- Задокументировать решение, внедрить победителя, спланировать следующий тест.
Практика в ESP: как настроить сплит-тест рассылки
Почти любой ESP поддерживает сплит тест email «из коробки». Базовые шаги одинаковы:
- Создайте кампанию и выберите тип A/B.
- Задайте объект теста: тема, контент, имя отправителя, время.
- Укажите долю тестовой выборки (например, 20–50% базы) и метрику победителя.
- Определите длительность сбора данных (например, 24–72 часа).
- Включите автоматическое применение победителя на оставшуюся аудиторию — только если уверены в достаточной выборке за выбранное окно.
Для триггеров используйте «постоянные» A/B-слоты (сплит по пользователю) и копите данные до статистической уверенности, затем закрепляйте лучший вариант.
Как выбирать метрики рассылки под цель
- Новые продукты/идеи: CTR и клики по ключевому блоку как быстрый прокси-сигнал.
- Промо с понятной воронкой: конверсия в заказ/доход на получателя.
- Редакционные письма: глубина скролла/клики на внутренние ссылки (если трекаете) и удержание подписчиков (отписки/жалобы).
Всегда измеряйте «стоимость победы»: если вариант увеличил доход, но в 2 раза поднял спам-жалобы — пересмотрите риск-профиль.