«Шахматка» — сплит-тесты в Яндекс.Директе

Чтобы сделать нормальную рекламу в Яндекс.Директе, достаточно придерживаться стандартных рекомендаций. Чтобы сделать хорошую рекламу, нужно проводить сплит-тесты разных вариантов объявлений, настроек, стратегий управления ставками. Есть три способа это сделать. Два из них неправильные.

Первая идея — изменить что-то в кампании и сравнить показатели до и после

Многие так делают и совершают ошибку. Вспомните, как показатели рекламной кампании сами собой скачут на 10–20 % от недели к неделе. Если после изменений в рекламной кампании показатели выросли на 20 %, то непонятно: это эффект от изменений или обычный уровень колебаний. А если после изменений в рекламной кампании показатели не изменились, то непонятно: это изменения ни на что не повлияли, или повлияли, но мы этого не видим из-за скачка показателей в другую сторону.

По показателям до и после изменений делать выводы можно, только если эффект от изменений в несколько раз превышает естественные скачки от недели к неделе. Обычно это не так.

Вторая идея — сделать группу из несколько вариантов объявлений по одному запросу

В этом случае Яндекс начнёт показывать все объявления по очереди и через несколько сотен показов оставит из них лучшее по CTR. Обычно побеждает объявление в стиле «Продам слона дешевле всех». У такого объявления CTR выше, а конверсия может быть ниже. Сравнивать объявления надо по цене конверсии, а не по цене клика. Но остальные варианты объявлений из группы Яндекс практически не показывает — кликов по ним мало, статистика по конверсии не наберётся никогда. Кроме того, настройки и ставки так не протестируешь.

Группы объявлений подходят только для теста объявлений на лучший CTR и больше ни для чего.Чтобы сделать нормальную рекламу в Яндекс.Директе, достаточно придерживаться стандартных рекомендаций. Чтобы сделать хорошую рекламу, нужно проводить сплит-тесты разных вариантов объявлений, настроек, стратегий управления ставками. Есть три способа это сделать. Два из них неправильные.

Правильный способ — настроить 2 кампании на показ «шахматкой» час через час

Порядок действий

1. Создаём 2 новые кампании. Можно попросить вашего менеджера в Яндексе создать копии оригинальной кампании с сохранением CTR.
2. Настраиваем показ объявлений «час через час», как на картинке выше.
3. Настраиваем импорт целей в Яндекс.Директ из Яндекс.Метрики и/или добавляем в URL разные значения метки utm_content, например, utm_content=main и utm_content=test.
4. Отключаем старую кампанию с конца дня и включаем новые кампании со следующего дня.
5. Ждём ровно одну неделю, две или больше. Важно, чтобы срок теста был кратен неделе. Останавливать тест можно, когда наберётся достаточно данных. Достаточно — это когда один вариант статистически значимо превосходит другой. Для простоты можно считать, что у каждой кампании должно быть не меньше 40 конверсий.

Итак, у нас есть статистика по расходам, показам и кликам из Директа и статистика по достижениям целей. Можно приклеить данные из CRM через utm_content. Соберём всё в одну таблицу:

Новое объявление оказалось хуже по CTR, цена клика, соответственно, больше, зато выше и конверсия, стоимость заказа ниже. Оставляем вариант-победитель, готовим следующий тест.

Важные замечания

Всегда создавайте новые кампании для теста

Если есть действующая кампания, и хочется протестировать новый вариант объявлений или настроек, нужно всегда создавать две новые кампании. Если этого не сделать и запустить тест новой кампании с той, которая уже давно работает, они окажутся в неравных условиях. В старой кампании уже будет накоплена статистика по CTR объявлений — это сильно влияет на стоимость клика. Плюс в старой кампании будет больше конверсий за счёт «эха lastclick» с прошлого времени.

Если вы не перешли на общий счёт, следите, чтобы на кампаниях не заканчивались деньги во время теста

Если у одной из кампаний деньги будут каждый раз заканчиваться к вечеру, результаты окажутся некорректными.

Недостатки «шахматки»

Проблема 40 часов 

Яндекс не даёт создавать кампании со временем работы в настройках менее 40 часов в неделю. Если вы показываетесь только в рабочее время, это становится проблемой.

Решение № 1: использовать одну из автоматических систем управления контекстом для отключения кампаний по их таймеру.

Решение № 2: включить обеим кампаниям работу в выходные, чтобы добить общее время до 40 часов, но на выходные выключать их вручную. А чтобы забывчивость не привела к серьёзным потерям, там же в графике работы можно установить на выходные ставку в 10 % от нормальной. Этот вариант подойдёт, чтобы протестировать технологию в первый раз, а потом уже можно будет продумывать промышленное решение.

P.S. Проверяйте показатели по всей цепочке 

Если есть техническая возможность, всегда лучше проверять разницу в показателях до самой последней цели. Иногда в тестируемом варианте растёт и CTR, и конверсия в заказы, но падает конверсия в оплату или средний чек. Если заказы передаются в CRM, надо туда же передавать и рекламные метки, включая utm_content, а потом делать выгрузку и проверять итоги.

P.P.S. По запросу менеджер Яндекса может включить функцию АБ-тестер

Эта функция автоматически настраивает время показа тестируемых кампаний, запускает и останавливает тест в нужный час, контролирует отсутствие изменений в кампаниях в период теста и по итогам присылает отчёт до целей из Метрики на почту. Запросите презентацию и инструкцию у своего менеджера в Яндексе.