Что такое эксперименты в яндекс директе

Что такое эксперименты в яндекс директе

В Директе появилась возможность тестировать не только разные варианты объявлений или посадочных страниц — мы запустили эксперименты, которые позволяют на основе статистики сравнивать между собой любые настройки, типы кампаний и даже медиапланы. Новый инструмент А/В-тестирования доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой, накопили в кампаниях достаточно данных и готовы тестировать разные сценарии работы с рекламой.

UPD: с марта 2020 года эксперименты доступны всем рекламодателям без запроса.

Сравнить эффективность автостратегии и ручного управления ставками, измерить результаты рекламной кампании с показами только на поиске и с размещением на поиске и в сетях — для таких и более сложных тестов в Директе появился специальный инструмент. Для корректной работы потребуются данные — мы рекомендуем проводить эксперимент, если в рекламной кампании не меньше 200 конверсий в месяц. Поэтому открываем доступ к новым экспериментам в Аудиториях и Директе по запросу — пожалуйста, обратитесь к своему менеджеру в Яндексе.

С помощью новых сегментов в Аудиториях и новых отчётов в Директе и Метрике можно узнать, какая реклама эффективнее. Например, эксперименты помогут понять, как размещение в Рекламной сети Яндекса или выбор стратегии влияет на результат размещения, оценить, как влияют показы медийной рекламы на конверсии на сайте, и так далее.

Как устроены эксперименты в Директе

Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории вы определяете самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми.

Нацелить показы определённых кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18-25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадёт 20% женщин 18-25 лет из вашей аудитории.

Как запустить эксперимент

Для правильного эксперимента вам потребуются:

Зайдите в Аудитории под тем же логином, что и в Директе, и создайте новый эксперимент:

В Директе заведите кампании для эксперимента, к каждой из них подключите счётчик Метрики, привяжите к каждой экспериментальный сегмент и нацельте кампании на них.

В примере с тестированием стратегий нужно создать 2 клона первоначальной кампании и поменять стратегии. Тестовые кампании привязываем каждую к своему сегменту. Исходную кампанию останавливаем, а 2 новые кампании — запускаем. Эксперимент заработал!

Подробнее шаги настройки экспериментов описаны в помощи Директа и Аудиторий. Освоить их поможет и обучающее видео.

Важно:

Какие данные анализировать

Переходим к самому интересному. Для анализа понадобятся затраты из Мастера отчётов в Директе и конверсии из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели — скажем, клики, показы или CTR — в рассмотрении не участвуют.

Выбираем эксперименты в качестве условия фильтрации в Директе:

И смотрим расходы по сегментам из эксперимента:

В отчётах Метрики нужно кликнуть на «Группировки», выбрать нужный эксперимент, а затем в окне кликнуть «Метрики» и выбрать конверсии (то есть достижение целей или Ecommerce действие) в интересующей вас воронке. Например, добавление в корзину, посещение карточки продукта или оформление заказа:

Если экспериментальные кампании занимают малую долю рекламного бюджета (менее 50%) — стоит в фильтрах Метрики указать кампании, участвующие в эксперименте.

Пример: сравнение стратегий

Один из рекламодателей Директа решил сравнить, какая стратегия в кампаниях со смарт-баннерами выгоднее. Для этого аудиторию разделили на две части:

Сегмент A — оптимизация количества кликов.

Сегмент B — средняя рентабельность инвестиций.

Вывод: при том же бюджете вариант с автостратегией принёс на 150% (± 29%) больше конверсий, чем стратегия на сохранение CPС, при этом CPA уменьшился на 60% (± 5%).

Что ещё можно проверять с помощью экспериментов

Сценариев для экспериментов бесконечное множество — всё зависит от ваших задач. Один из самых простых кейсов — тестирование новых продуктов или функциональностей Директа. Чтобы посмотреть, как новый тип объявлений или стратегия работает в вашей тематике, заведите экспериментальную кампанию с новинкой только на небольшую долю аудитории.

Или вы хотите привлечь больше конверсий и рассматриваете два варианта решения этой задачи: поднять ставки на поиске или включить дополнительную кампанию в Рекламной сети Яндекса. Тут тоже поможет эксперимент в Директе.

Третья распространенная задача: у вас есть два медиаплана, которые хочется сравнить, прежде чем направлять бюджет на один из них.

Какой бы сценарий для эксперимента вы ни выбрали, важно соблюдать простые условия:

Придумывайте свои гипотезы, проверяйте их, пробуйте опции, в которых сомневались или с которыми просто пока не знакомы. Эксперименты позволят вам на основе данных оценить, какой вклад в общие результаты размещения даёт брендовая или видеореклама, объявления в РСЯ и на поиске и многое другое — теперь возможности для разных сценариев практически неограничены. О том, как анализировать результаты экспериментов, мы скоро расскажем в продолжении этого материала. Оставайтесь на связи!

Источник

Эксперименты

Эксперименты позволяют протестировать различные предположения о работе рекламы, комбинации настроек кампаний, типы кампаний и даже медиапланы.

Чтобы провести тестирование, создайте эксперимент в Аудиториях. На том же Яндекс ID настройте рекламные кампании для эксперимента в Яндекс.Директе. Статистику можно будет посмотреть в отчетах Яндекс.Директа или Яндекс.Метрики.

Подробнее о том, как проводить эксперименты, читайте в Справке Яндекс.Директа.

Как создать эксперимент

Например, вы хотите узнать, принесет ли рост конверсий на сайте включение показов в сетях. Для этого можно половине пользователей показывать объявления на поиске и в сетях, а остальным — только на поиске. Соответственно, аудиторию нужно разделить пополам.

Доли могут быть неравными. Например, если вы боитесь сильного увеличения расходов из-за подключения сетей, можно показывать рекламу в них только 30% вашей аудитории, а остальным 70% — только на поиске.

Всего можно создать не более 200 экспериментов. Эксперименты можно использовать в Яндекс.Директе сразу же после создания.

После окончания эксперимента, вы можете проанализировать его статистику. Чтобы просмотреть статистику по сайту, нажмите кнопку Результаты рядом с нужным счетчиком. Вы будете перенаправлены к отчету по соответствующему эксперименту в Яндекс.Метрике. Подробнее об отчете смотрите в Справке Яндекс.Метрики. Статистику по кампаниям вы сможете посмотреть в Яндекс.Директе.

Редактирование и удаление экспериментов

После создания вы можете отредактировать только названия эксперимента или сегментов. Невозможно удалить счетчики Яндекс.Метрики, заданные на этапе создания эксперимента, но можно добавить новые.

В созданном эксперименте невозможно удалить сегмент или добавить новый. Удалить можно только эксперимент, который не используется в рекламной кампании в Яндекс.Директе.

Эксперименты

Эксперименты позволяют протестировать различные предположения о работе рекламы, комбинации настроек кампаний, типы кампаний и даже медиапланы.

Чтобы провести тестирование, создайте эксперимент в Аудиториях. На том же Яндекс ID настройте рекламные кампании для эксперимента в Яндекс.Директе. Статистику можно будет посмотреть в отчетах Яндекс.Директа или Яндекс.Метрики.

Подробнее о том, как проводить эксперименты, читайте в Справке Яндекс.Директа.

Как создать эксперимент

Например, вы хотите узнать, принесет ли рост конверсий на сайте включение показов в сетях. Для этого можно половине пользователей показывать объявления на поиске и в сетях, а остальным — только на поиске. Соответственно, аудиторию нужно разделить пополам.

Доли могут быть неравными. Например, если вы боитесь сильного увеличения расходов из-за подключения сетей, можно показывать рекламу в них только 30% вашей аудитории, а остальным 70% — только на поиске.

Всего можно создать не более 200 экспериментов. Эксперименты можно использовать в Яндекс.Директе сразу же после создания.

После окончания эксперимента, вы можете проанализировать его статистику. Чтобы просмотреть статистику по сайту, нажмите кнопку Результаты рядом с нужным счетчиком. Вы будете перенаправлены к отчету по соответствующему эксперименту в Яндекс.Метрике. Подробнее об отчете смотрите в Справке Яндекс.Метрики. Статистику по кампаниям вы сможете посмотреть в Яндекс.Директе.

Редактирование и удаление экспериментов

После создания вы можете отредактировать только названия эксперимента или сегментов. Невозможно удалить счетчики Яндекс.Метрики, заданные на этапе создания эксперимента, но можно добавить новые.

В созданном эксперименте невозможно удалить сегмент или добавить новый. Удалить можно только эксперимент, который не используется в рекламной кампании в Яндекс.Директе.

Источник

Эксперименты в Яндекс.Директе: запускаем первый А/Б-тест

Зимой Яндекс запустил новый инструмент для сплит-тестирования рекламы в Яндекс Директе — Эксперименты. Специалисты WebCanape поделились опытом применения этого инструмента на своих проектах. В кейсе подробная инструкция по подключению, настройке и анализу.

Не бывает одного правильного способа настроить объявление. Делать ставку на единственный вариант настроек, текст, аудиторию — провальная стратегия. Для успеха рекламной кампании необходимо экспериментировать. В незапамятные времена (в прошлом году) мы все тестировали различные сеты настроек вручную, теперь же в Яндекс.Директе появился инструмент, который позволяет автоматизировать процесс A/Б-тестирования. Называется этот волшебный инструмент «Эксперименты».

Когда вы запускаете тест, система случайным образом разделяет аудиторию на сегменты. Количество и размер сегментов вы определяете самостоятельно. При этом выборки могут быть разными — можно установить размер каждой группы от 1% до 99%, чтобы в сумме получилось 100%. Сейчас «Эксперименты» доступны по запросу, и подключают их за пару дней.

Экспериментировать на старте новой кампании обязательно. Мы же запустили этот инструмент на старом проекте с небольшим бюджетом — чтобы попробовать и дальше использовать его на других проектах. Рассказываем, что из этого вышло.

Клиент: «Займ Гарант» — компания выдает микрозаймы физическим лицам.

Регион: Республика Хакасия.

Бюджет: 15 000 рублей (на рекламу в месяц).

Проблема: мы крутим рекламу с 06:00 до 24:00, но в этом промежутке есть временные периоды, которые не приносят конверсии, расходуя бюджет без отдачи. До запуска «Экспериментов» нам приходилось ковыряться в Метрике и разбираться, есть ли эффект от ночных показов. Вручную мы выявили, что крутить рекламу по ночам неэффективно, а теперь задача состоит в том, чтобы определить в диапазоне с 6 до 24 часов периоды, когда реклама не дает желаемых результатов, и перераспределить бюджет.

Решение: подключили «Эксперименты», чтобы провести A/Б-тестирование на день и вечер. Новый новый инструмент Директа упрощает анализ.

Мы сотрудничаем с компанией «Займ-Гарант» c 2015 года. За годы работы мы провели всевозможные виды оптимизации. Проект рекламируется по 150 фразам и получает около 300 переходов из рекламы в месяц при средней цене клика 52,47 рубля. Семантическое ядро не требует большого бюджета, потому что трафик по ключевым словам в регионе не такой большой.

Инструмент сравнительно новый, поэтому в нашем аккаунте он подключен не был. Чтобы получить к нему доступ, нужно связаться с менеджером Яндекса или оставить заявку на подключение инструмента через форму в разделе «Контекстная реклама». Сейчас сплит-тестирование подключается в экспериментальном режиме для каждого клиента отдельно, на агентском аккаунте подключить инструмент пока нельзя.

В заявке надо обязательно указать логин, домен клиента и примерный план эксперимента (это такая формальность, что можно особенно ничего не расписывать — мы просто написали, что хотим протестировать новый инструмент). Такая заявка попадет к менеджеру, и он откроет доступ к новому инструменту. Но не сразу. Пару дней придется подождать. После подключения в Яндекс.Аудиториях появится вкладка «Эксперименты». С ней мы и будем работать.

Прежде чем приступить к настройке, продумайте гипотезу, которую будете проверять с помощью сплит-тестов. Кто-то скажет, что гипотезы ограничиваются лишь вашей фантазией, но лучше все-таки отталкиваться от реальной проблемы. Например, наша гипотеза была в том, что в конкретное время суток одно и то же объявление будет приносить больше конверсий, чем в другое. Чтобы ее проверить и выяснить, когда все-таки лучше крутить рекламу микрофинансовой организации, мы решили сравнить эффективность объявлений в разные временные периоды:

Чтобы отключить период с 00:00 до 06:00, нам пришлось потратить время на анализ данных в Метрике. Теперь же, после завершения эксперимента, всю информацию можно будет увидеть в одном отчете.

Первым делом необходимо создать новый эксперимент: придумываем ему название, выбираем счетчик и делим на сегменты (на два и больше).

Важно! Сегменты Экспериментов и сегменты Метрики — это не одно и то же. Это разные сегменты, не связанные между собой.

Нажимаем «Создать эксперимент». Доступ настраивать не нужно, потому что мы все делаем не в агентском аккаунте. Инструмент пока не подключают в аккаунтах агентств.

Эксперимент для A/Б-тестирования готов и выглядит так:

Если нажать на кнопку «Результаты», откроется Яндекс.Метрика с новым отчетом, в котором подсчет сегментов будет по всем кампаниям. Мы же будем проводить тестирование в рамках одной поисковой кампании, а смотреть результат будет удобнее в Мастере отчетов Яндекс.Директа.

Для эксперимента взяли рекламную кампанию на поиске. Перед подключением настроенных сегментов необходимо сделать две копии исходной кампании (по количеству тестовых сегментов).

На скриншоте видны исходная кампания и две ее копии с пометками — в нашем случае добавлены названия сегментов.

Дальше нужно установить все необходимые настройки для кампаний исходя из определенных нами условий для сегментов. То есть мы настраиваем в каждой кампании нужный временной таргетинг: для сегмента A выставляем время с 06:00 до 15:00.

Важно! Временной таргетинг не может охватывать меньше 40 часов в рабочие дни.

Источник

Что такое эксперименты в яндекс директе

Возможность запускать эксперименты в Яндекс.Директе и сравнивать самые разные настройки кампаний стала доступна для всех рекламодателей. А в Яндекс.Метрике появился специальный отчёт, который поможет оценить результаты теста, даже если у вас небольшой опыт веб-аналитики. Рассказываем, как с ними работать.

Эксперименты в Директе позволяют сравнивать на основе статистики любые настройки рекламы: в том числе, стратегии управления ставками, любые типы кампаний и даже медиапланы разных рекламных агентств. Проще говоря, эксперименты — это А/Б-тесты с широкими возможностями.

Прежде этот инструмент был доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой. С появлением нового отчёта в Метрике для проведения теста больше не нужны специальные навыки, и провести эксперимент сможет бизнес любого размера. Сделать выводы теперь несложно: система автоматически проверит, накопилось ли достаточно данных для анализа, и выделит более выигрышные значения показателей зелёным, а менее удачные — красным. Но не будем забегать вперёд и расскажем обо всём по порядку.

Как это работает

Для начала нужно запустить эксперимент. Например, с помощью этого инструмента можно:

Запуская эксперимент, важно иметь ввиду несколько важных моментов:

О том, как устроены эксперименты в Директе, как их запустить, и о самых распространенных сценариях мы рассказывали в отдельной статье. Подробное руководство можно найти также в Помощи Яндекс.Аудиторий и Директа.

Где оценивать результат

Новый отчёт появится в интерфейсе Метрики в разделе «Источники → Директ» сразу после создания эксперимента. Чтобы оценить статистику по эксперименту, переключите отчёт в режим сравнения:

Обычно после запуска тестирования нужно подождать около двух недель, чтобы накопилось достаточно статистики. Если данных окажется слишком мало, невозможно будет уверенно сделать вывод о том, какой из вариантов оказался лучше. Как с подкидыванием монетки: если из десяти бросков «орёл» выпал два раза, а «решка» — восемь, это вовсе не значит, что «орёл» всегда выпадает гораздо реже.

Как понять, что данных достаточно

Чтобы узнать, достаточно ли данных для сравнения, нужно оценить их статистическую значимость. Иными словами, убедиться, что текущий результат будет незначительно отличаться от того, который мы бы получили, если бы подкидывали монетку бесконечно много раз.

Вручную считать ничего не придётся — Метрика рассчитывает статистическую значимость эксперимента автоматически.

Данных достаточно, когда показатели, по которым вы решили оценивать эксперимент, выделены в отчёте цветом:

Отсутствие цвета может означать две вещи:

Вместе с отчётом в Метрике можно использовать калькулятор проверки достоверности теста

Отчёт в Метрике даёт быстрый ответ на вопрос «достаточно ли данных для оценки», а ещё позволяет сравнить конверсионные метрики контрольных и экспериментальных кампаний. Например, если вы тестируете разные варианты лендингов, отчёт в Метрике покажет, какой из них показывает более высокую конверсию. Сравнение конверсии также пригодится, если вы проверяете разные аудиторные таргетинги: например, хотите понять, кто лучше откликается на ваш контент — мужчины или женщины.

Если с помощью эксперимента вы хотите проверить, какой из вариантов покажет лучший показатель CPA (стоимость целевого действия), поможет наш новый Калькулятор достоверности теста. Например, если вы сравниваете разную величину корректировок ставок, в калькуляторе можете вручную ввести расходы по каждому из вариантов, количество конверсий и кликов — а система сама рассчитает CPA, проверит, достаточно ли данных, и покажет более выгодный вариант.

Чтобы вам было проще проводить эксперименты, мы составили небольшую шпаргалку:

Подробности о работе с отчётом Метрики по экспериментам Директа есть в Помощи Метрики. А если у вас останутся вопросы, пожалуйста, напишите в отдел клиентского сервиса. Будем рады помочь!

Источник

Эксперименты в Яндекс.Директе: запускаем первый А/Б-тест

Менеджер проектов по контекстной рекламе в WebCanape Артем Артемов рассказал, как настроить эксперимент в Директе с помощью Яндекс.Аудиторий и проанализировать его работу.

Не бывает одного правильного способа настроить объявление. Делать ставку на единственный вариант настроек, текст, аудиторию — провальная стратегия. Для успеха рекламной кампании необходимо экспериментировать. В незапамятные времена (в прошлом году) мы все тестировали различные сеты настроек вручную, теперь же в Яндекс.Директе появился инструмент, который позволяет автоматизировать процесс A/Б-тестирования. Называется этот волшебный инструмент «Эксперименты».

Когда вы запускаете тест, система случайным образом разделяет аудиторию на сегменты. Количество и размер сегментов вы определяете самостоятельно. При этом выборки могут быть разными — можно установить размер каждой группы от 1% до 99%, чтобы в сумме получилось 100%. Сейчас «Эксперименты» доступны по запросу, и подключают их за пару дней.

Экспериментировать на старте новой кампании обязательно. Мы же запустили этот инструмент на старом проекте с небольшим бюджетом — чтобы попробовать и дальше использовать его на других проектах. Рассказываем, что из этого вышло.

Клиент: «Займ Гарант» — компания выдает микрозаймы физическим лицам.

Регион: Республика Хакасия.

Бюджет: 15 000 рублей (на рекламу в месяц).

Проблема: мы крутим рекламу с 06:00 до 24:00, но в этом промежутке есть временные периоды, которые не приносят конверсии, расходуя бюджет без отдачи. До запуска «Экспериментов» нам приходилось ковыряться в Метрике и разбираться, есть ли эффект от ночных показов. Вручную мы выявили, что крутить рекламу по ночам неэффективно, а теперь задача состоит в том, чтобы определить в диапазоне с 6 до 24 часов периоды, когда реклама не дает желаемых результатов, и перераспределить бюджет.

Решение: подключили «Эксперименты», чтобы провести A/Б-тестирование на день и вечер. Новый новый инструмент Директа упрощает анализ.

Вводная информация о проекте

Мы сотрудничаем с компанией «Займ-Гарант» c 2015 года. За годы работы мы провели всевозможные виды оптимизации. Проект рекламируется по 150 фразам и получает около 300 переходов из рекламы в месяц при средней цене клика 52,47 рубля. Семантическое ядро не требует большого бюджета, потому что трафик по ключевым словам в регионе не такой большой.

Подключение инструмента «Эксперименты» в аккаунте

Инструмент сравнительно новый, поэтому в нашем аккаунте он подключен не был. Чтобы получить к нему доступ, нужно связаться с менеджером Яндекса или оставить заявку на подключение инструмента через форму в разделе «Контекстная реклама». Сейчас сплит-тестирование подключается в экспериментальном режиме для каждого клиента отдельно, на агентском аккаунте подключить инструмент пока нельзя.

В заявке надо обязательно указать логин, домен клиента и примерный план эксперимента (это такая формальность, что можно особенно ничего не расписывать — мы просто написали, что хотим протестировать новый инструмент). Такая заявка попадет к менеджеру, и он откроет доступ к новому инструменту. Но не сразу. Пару дней придется подождать. После подключения в Яндекс.Аудиториях появится вкладка «Эксперименты». С ней мы и будем работать.

Настройка экспериментов

Прежде чем приступить к настройке, продумайте гипотезу, которую будете проверять с помощью сплит-тестов. Кто-то скажет, что гипотезы ограничиваются лишь вашей фантазией, но лучше все-таки отталкиваться от реальной проблемы. Например, наша гипотеза была в том, что в конкретное время суток одно и то же объявление будет приносить больше конверсий, чем в другое. Чтобы ее проверить и выяснить, когда все-таки лучше крутить рекламу микрофинансовой организации, мы решили сравнить эффективность объявлений в разные временные периоды:

Чтобы отключить период с 00:00 до 06:00, нам пришлось потратить время на анализ данных в Метрике. Теперь же, после завершения эксперимента, всю информацию можно будет увидеть в одном отчете.

Первым делом необходимо создать новый эксперимент: придумываем ему название, выбираем счетчик и делим на сегменты (на два и больше).

Важно! Сегменты Экспериментов и сегменты Метрики — это не одно и то же. Это разные сегменты, не связанные между собой.

Нажимаем «Создать эксперимент». Доступ настраивать не нужно, потому что мы все делаем не в агентстком аккаунте. Инструмент пока не подключают в аккаунтах агентств.

Эксперимент для A/Б-тестирования готов и выглядит так:

Если нажать на кнопку «Результаты», откроется Яндекс.Метрика с новым отчетом, в котором подсчет сегментов будет по всем кампаниям. Мы же будем проводить тестирование в рамках одной поисковой кампании, а смотреть результат будет удобнее в Мастере отчетов Яндекс.Директа.

Подготовка кампании для эксперимента и запуск

Для эксперимента взяли рекламную кампанию на поиске. Перед подключением настроенных сегментов необходимо сделать две копии исходной кампании (по количеству тестовых сегментов).

На скриншоте видны исходная кампания и две ее копии с пометками — в нашем случае добавлены названия сегментов.

Дальше нужно установить все необходимые настройки для кампаний исходя из определенных нами условий для сегментов. То есть мы настраиваем в каждой кампании нужный временной таргетинг: для сегмента A выставляем время с 06:00 до 15:00.

Важно! Временной таргетинг не может охватывать меньше 40 часов в рабочие дни.

Когда таргетинги установлены, листаем настройки вниз, пока не увидим раздел «Эксперименты». В нем выбираем нужный эксперимент и сегмент:

Остальные настройки оставляем прежними. Не забудьте сохранить.

Для другой кампании повторяем ту же последовательность действий, но уже используем сегмент B с другим временным таргетингом.

Перед запуском новых кампаний нужно установить в настройках исходной РК дату завершения — день, в который планируется запустить две новые кампании. Ну а в новых кампаниях необходимо установить дату запуска. Для чистоты эксперимента важно, чтобы новые кампании были запущены в один день. На скриншоте выше видно, что исходная кампания завершилась 24 июня 2019 года, и в этот же день запущены две ее копии с экспериментальными сегментами.

Анализ результатов в Мастере отчетов

Мы покрутили объявления три недели, после чего решили посмотреть результаты. За это время должна накопиться статистика, достаточная, чтобы делать выводы об эффективности рекламной кампании.

Чтобы посмотреть результаты, выбираем кампании, в которых проводили A/Б-тестирование и смотрим. Нужно построить отчет во вкладке «Мастер отчетов». Для этого указываем следующие значения:

Затем отмечаем параметры, которые будем сравнивать.

Ниже отмечаем условие фильтрации «Эксперименты» и выбираем нужный эксперимент (если у вас их несколько).

Кампания с сегментом A (время показа — с 06:00 до 15:00) ушла в серьезный отрыв:

При всем этом ставки в обеих кампаниях одинаковые и запущены они были в одно и то же время.

Неограниченные возможности для Экспериментов

Эксперименты от Яндекса — простой в освоении инструмент, позволяющий формировать удобные для анализа отчеты. Раньше при проведении сплит-тестов, чтобы узнать результаты, приходилось перелопачивать всю Метрику, а теперь можно сформировать один отчет, и в нем будут отражены все важные данные по нужным кампаниям.

Удобно, что Эксперименты универсальны. Можно построить любую гипотезу и проверить ее на A/Б-тестах. Здесь удобно сравнивать медийные кампании, разные медиапланы, кампании в РСЯ и на поиске, автоматические стратегии и ручные (если нужно протестировать три стратегии, то потребуется настроить три сегмента) и прочее.

Мы работали с кампаниями на поиске и проверяли эффективность в зависимости от разных временных таргетингов. За три с лишним недели мы накопили достаточно статистики, чтобы понять, в каком сегменте показатели интереснее, и перенаправить бюджеты на более эффективную кампанию. Сейчас, протестировав «Эксперименты» на небольшом проекте, мы запускаем инструмент на крупных клиентах с бюджетом от 100 000 рублей.

Источник