Журнал

Три маркетолога о том, как проверять гипотезы

5 правил тестирования в маркетинге.

cov.marketing-5f2bbb93a5d63695428147.jpg

Правильный цвет кнопки на лендинге может повысить конверсию в несколько раз. А если добавить в шапку сайта email и телефон, вырастет количество целевых обращений. Раньше это были гипотезы. Но после A/B тестирования они стали рабочим инструментом.

Попросили 3-х экспертов рассказать, как они строят и проверяют гипотезы в маркетинге.

В беседе принимали участие:

Элина Медынская, Senior Marketing Consultant в GlobalLogic Ukraine

Артем Товстенко, digital-маркетолог в LABA

Маргарита Кашуба, Chief marketing officer в OWOX BI

Что такое гипотеза в маркетинге

Элина: Тестирование гипотез напоминает подбор отмычки к закрытой двери — нужно постоянно менять вопросы (отмычки) и измерять данные (проверять, насколько они влияют на замок). Так получается прийти к обоснованным доказательствам и максимальному результату (открытой двери).

Артем: Гипотеза — это всегда предположение. Чаще всего она формируется благодаря фразе «А что, если…», и на основе анализа данных.

Маркетолог может интуитивно почувствовать, что можно заменить определенную деталь на сайте. Чем больше опыт, тем реже подводит интуиция. Бывает, все работает и так хорошо, но интуиция подсказывает, что можно сделать еще лучше.

Элина: Если у вас меняются аудитории, инструменты, продукты или вы запускаете новые проекты — не забывайте об интуиции (вы же маркетолог). Но важно научиться задавать правильные вопросы, формулировать гипотезы, разрабатывать к ним тесты, делать выводы и корректировать свои коммуникации.

#1. Правильно сформулируйте гипотезу

Элина: 

Есть четыре критерия для выбора гипотезы:

Вопрос «Привлечет ли картинка в лендинге вакансии больше кандидатов?» — еще не гипотеза. Нужно добавить конкретики и понять, какие данные могут это доказать.

«Увеличит ли добавление картинок на лендинг с вакансией отклик кандидатов на 10%?» — это уже гипотеза.

Артем: Тестировать можно все, но всегда логически оценивайте гипотезу и придерживайтесь tone of voice. Не стоит тестировать абсурдные идеи, которые могут навредить бренду.

Например, у вас есть сайт для образованной бизнес-аудитории. И возникла идея добавить что-то некорректное на лендинг. Например, существует мнение, что в рекламе хорошо работают изображения женского тела. Но добавлять такое фото на бизнес-сайт — неуместно.

#2. Определите время на тестирование

Артем: На тестирование в среднем уходит одна-две недели. Этого достаточно, чтобы понять, насколько хорошо сработала гипотеза. Но бывают исключения.

Недавно мы тестировали один элемент на лендинге и закончили тест раньше. Мы ежедневно отслеживали конверсию и увидели, что новый лендинг был в 1,5 раза лучше. Он побеждал каждый день. На третий день мы решили отключить тест и поставили этот лендинг основным.

Бывает, тестирование длится дольше. Однажды мы проводили A/B тест лендинга с целью повысить конверсию в лид (заполнение формы регистрации). Конверсия не улучшилась, но во время теста мы заметили, что у нового лендинга намного выше конверсия в продажу. Это более существенный для нас показатель.

Мы решили продлить тест еще на две недели, чтобы собрать больше данных. В итоге, конверсия в лид снизилась, а конверсия в продажу и ROI — повысились.

Элина: Время на тестирование зависит от самой гипотезы. Но не стоит растягивать тест на несколько месяцев, потому что на него начнет влиять сезонность.

Оптимально измерять результат в недельных циклах. Маркетологи знают, что рассылки на рабочие почты в пятницу вечером открывают меньше, чем в понедельник утром или в обед. Поэтому недельный цикл позволяет собрать данные, обработать их и подготовиться к следующему циклу проверки гипотезы. При анализе данных важно использовать цифры за одинаковый промежуток времени.

Рекомендуем почитать:

1563087698-analytical-marketer-oct-2016-5ee9fb7c56b1c644945176.jpg

«Если ищете маркетологов, нанимайте ученых, а не творцов»

Читать

#3. Выберите оптимальный метод тестирования

Популярные методы — A/B тест и мультивариантное тестирование (MVT).

Маргарита: A/B тестирование креативов в рекламе, разного оформления сайта, рассылок — это процесс, поставленный на поток.

Иногда простые гипотезы могут приносить много пользы. Например, недавно у нас была гипотеза: если поменять email отправителя новостной рассылки на новый, то больше писем попадет в Inbox. Она подтвердилась.

Или гипотеза, что если добавить в шапку сайта email и телефон, количество целевых обращений вырастет. К нам действительно стало приходить больше заявок.

Элина: «Отклик на вакансии увеличится на 100500%, если добавить картинки, изменить заголовок и увеличить текст» — это многоуровневая гипотеза.

Можно разделить ее на три отдельные гипотезы для А/В тестирования или использовать мультивариантные тесты.

#4. Проанализируйте результаты

Маргарита: Наша компания занимается маркетинг-аналитикой, поэтому мы считаем все. У нас за гипотезу отвечает один человек, который на время проверки считается руководителем проекта. Он следит за метриками и результатом. После проверки делаем выводы на основе таких вопросов:

Артем: Мы используем Google Optimize для тестирования. Запускаем эксперименты и следим за результатами каждый день.

Однажды мы хотели узнать, как изменится конверсия лендинга, если поменять цвет кнопки регистрации с красного на зеленый. Выбрали продукты для разных сегментов: финансистов, эйчаров и управленцев. Для последних зеленая кнопка сработала лучше — конверсия повысилась на 65%.

Мы пришли к выводу, что управленцы — это бизнес-аудитория. После этого решили протестировать новый цвет еще на трех лендингах для бизнес-аудитории — и везде он срабатывал лучше. Инсайт: разная аудитория по-разному реагирует на цвета.

Весь бизнес-контент в удобном формате. Интервью, кейсы, лайфхаки корп. мира — в нашем телеграм-канале. Присоединяйтесь!

#5. Проведите работу над ошибками и тестируйте новые гипотезы

Артем: Ошибки чаще всего возникают, когда:

Чем больше гипотез тестирует компания, тем больше будет успешных результатов. Не стоит бояться тестов — это процесс роста.

Чаще всего гипотеза проваливается, но это нормально. Если 4 из 10 гипотез будут удачными, мы в 4-х случаях продвинемся дальше — и точно узнаем, что работает, а что — нет.