AB test: как его проводить и что для этого нужно. AB test: как его проводить и что для этого нужно Что можно протестировать с помощью аб тестирования

“Не принимайте ничего на веру. Только решения из практических результатов, то есть - результатов тестирования. Тестировать надлежит все и вся. Я постоянно этим занимаюсь”. (с) Гари Хелберт.

И в этом с Королем продающих текстов (проще говоря, самым известным копирайтером современности) я полностью согласен.

A/Б тестирование - вот именно то, что необходимо, чтобы принять правильное решение, а не только основанное на собственных ощущениях. Что это такое и как его провести мы и поговорим в этой статье.

Дальние дали

Стандартно, A/B testing произошло от английского. Где его ещё называет split-testing или сплит-тестирование. Но самое интересное, это перевод.

A/Б тест (или сплит тест) - это один из методов маркетинга, когда одна группа элементов сравнивается с другой группой элементов с разными данными.

Цель действий - выяснить у какой группы элементов конверсия или показатели будут больше.

То есть все довольно просто. Вы создаете 2 различных варианта рекламной продукции (пусть это будут электронные письма продающие ваши услуги) и в конце этих писем делаете разный .

И просто считаете конверсия какого письма была выше. Именно это и есть суть а/б теста.

Вот наглядный пример на уровне сайтов, где мы определяем как влияет на результат изменённое расположение блоков. А именно поднятый наверх модельный ряд.

A/Б тест

А вот если Вы тестируете, к примеру, 2 посадочных страницы, в которых изменены заголовки, кнопки призыва к действию разной формы и разного размера, то это уже не просто а/b test, а многовариативное тестирование или A/B/N-test.

Так почему же про этот тест так много сейчас говорят? Все очень просто. Маркетологи любят показывать свою экспертность за счёт разного рода фишек, к которым тестирование можно отнести.

А владельцы компаний мечтают найти волшебную таблетку и считают, что сплит-тестирование - просто панацея для их рекламных материалов (в частности при ).

Что вам даст этот тест?

На самом деле не все так плохо и сплит тестирование сайта реально даёт пользу для компаний, и может за короткий промежуток времени изменить ситуацию, а именно:

1. . Самый простой и при этом самый желаемый показатель любого владельца, особенно в сайтах.
2. Изменение поведенческих факторов. Не самые очевидный, но опять же влияющий на увеличение продаж фактор.
3. Увеличение среднего чека. Это добавление разного рода call to action или на примере сайтов, всем знакомый блок “с этим товаром покупают”.

Если обобщить, все сводится к увеличению продаж. И определённо это стоит вашего внимания.

Но есть одно “НО”. И уже возможно на этом этапе Вы поймёте, что Вам это не нужно.

Это “НО” говорит о том, что добиться взрывных продаж с помощью замены одного элемента если и можно, то очень редко.

Примерные шансы 1 к 1000. Так как идёт замена небольших составляющих, которые редко когда отличаются кардинально друг от друга.

А когда для Вас это капля в море, то лучше сфокусировать своё внимание на более важных составляющих.

К тому же, пока у Вас нет устоявшегося трафика, пока Вы только тестируете разные каналы и способы рекламы в интернете, то можете даже не начинать тестировать.

Так как показатели будут не верны, ведь трафик не однородный, а, как известно, разные люди действуют по-разному.

Если у Вас нет опыта в проведении а/б тестов (иначе вас бы тут не было), то крайне рекомендую Вам предварительно прочитать кейсы.

И особенно обратите внимание на кейсы людей, добившихся увеличения конверсии/изменения поведения в рунете. Так Вы поймете что лучше тестировать.

Либо Вы можете пойти другим путем. Составьте предварительный список (план) того, что Вы будете тестировать на сайте.

Это нужно делать исходя из своих предположений, обратной связи фокус группы (наихудший вариант) или на основе данных из . Это для того, чтобы Вас не кидало из стороны в сторону.

Важно. Забудьте про многовариативность и делайте только один тест за раз. На нашем опыте лучше всего работает связка - 1 тест = 1 изменение.

Иначе Вы не поймёте что на самом деле дало результат. А ещё интереснее будет, когда одно изменение даст +0,5, а другое изменение на этой же странице -0,5 к конверсии.

Что в результате 0 и упущенный из виду положительно влияющий элемент. Поэтому не допускайте такой ошибки.

Важно. Забудьте про расплывчатые теории. Из серии “надо что-то изменить в сайте, сделав его более продающим”.

Нормальная теория для тестирования - на одной странице кнопка красная, на другой синяя.

На одной странице есть цена, на другой нет цен. Только тогда Вы будете уверены в результатах. Четкие критерии = понятные результаты.

Важно. Результат, полученный за очень короткий срок = плохой результат.

Особенно, если за короткий срок на Ваших сайтах побывало от силы 20 человек.

Поэтому перед тем как броситься в тестирование сайта, Вам нужно понимать сколько человек его посещает ежедневно и сколько дней тестирование должно длиться.

Калькулятор времени тестирования

Чтобы Вам было не скучно, я нашел калькулятор, благодаря которому Вы сможете рассчитать оптимальную продолжительность для тестирования сайта - vwo.com/ab-split-test-duration/

Калькулятор

Он на английском языке, поэтому на всякий случай я перевел и расшифровал строчки, которые Вам необходимо будет заполнить:

1. Конверсия Вашей страницы на данный момент. Как считать, читайте здесь - .
2. Процент, на который Вы хотите увеличить существующую конверсию.
3. Необходимое число комбинаций. Если Вы, к примеру, хотите узнать какой заголовок на сайте лучше конвертирует, то тогда это одна комбинация.

   Если Вы хотите поменять заголовок, но при этом изменить его текст и размер, то это будет две комбинации.

4. Число посетителей в день на Вашем сайт (естественно, усредненное).
5. Число посетителей, которые будут принимать участие в тестах.

Поэтому это ещё один камень в “огород” a/б теста, касаемо его не актуальности для взрывного роста продаж.

НАС УЖЕ БОЛЕЕ 29 000 чел.
ВКЛЮЧАЙТЕСЬ

Как делать?

Теперь расскажу как сделать все правильно. Заголовок письма, кнопка призыва к действию, наличие цен в , всё это можно реализовать как вручную, так и с помощью специальных сервисов.

И сразу, без долгих объяснений в любви, вручную делать это запрещено, потому что времени займёт массу.

А если у Вас времени все-таки много, то лучше и полезнее будет вам внедрить любой канал из статьи.

Сергей Гудков , специалист по разработке и продвижению сайтов (более 160 сайтов и 250 сплит-тестов), руководитель Сonversion42

Андрей Осипов , сертифицированный тренер Google, практикующий веб-аналитик, автор блога «Веб-аналитика и результат»

Мы часто получаем запросы на тексты для А/В-тестирования. Для каких целей есть смысл его проводить?

А/В-тест можно проводить практически для любых изменений на сайте. Ведь тест – это возможность достоверно узнать, насколько они эффективны.

Если у вас страница с описанием услуги, то основной продающий контент – это именно текст. Посетители на основании текста принимают решение оставить заявку или нет. В данном случае текст является основным объектом тестирования:

• какие характеристики указывать в тексте, а какие нет;
• какие призывы использовать в тексте;
• в каком стиле должен быть написан текст и т.д.

Запрос «текст для А/В-тестирования» звучит не очень. Лучше заказывать просто новый, более продающий текст. А измерять продающие характеристики текста можно с помощью тестирования.

A/B-тестирование для сайтов: нужно тестировать текст, дизайн, страницу в целом, «продающесть» текста или страницы?

Тестировать можно что угодно.

Если вы думаете, что кнопка «Купить» незаметна, тестируйте только изменение кнопки. Если вы сделали новый дизайн страницы, можно протестировать разницу между двумя дизайнами.

Иногда в тесте сравнивают два сайта. Это очень спорное занятие – если вам интересно, предлагаем обсудить этот вопрос на вебинаре более конкретно.

Можно тестировать и по одному элементу за раз, и сразу целые страницы. От чего это зависит? Всё очень просто. Если у вас есть 10/30/100 мелких изменений, и вы уверены, что каждое из них увеличит конверсию, совмещайте это всё в один тест. Если запускать их по отдельности, то делать даже 30 тестов – это может быть очень долго и не слишком эффективно. И наоборот. Если есть одно важное изменение, и вы сомневаетесь насчет реакции посетителей сайта на него, запускайте один тест на одно изменение.

Какие данные (максимум) можно получить при А/В-тестировании?

Смысл А/В-тестов крайне прост: делим посетителей на две группы – одной из них показываем вариант А, другой – вариант В.

Основным результатом теста считается разница между поведением пользователей. Например, мы хотим узнать, как изменится конверсия интернет-магазина.

Также при интеграции А/В-теста с системами веб-аналитики, в частности с Google Analytics, можно увидеть разницу в поведении по всем параметрам: глубина и время посещения, посещение конкретных страниц, показатели отказов, достижение всех целей и т.д.

Какие сервисы могут помочь правильно провести A/B-тест?

Правильность запуска всегда зависит от вас. Сервисы – это инструмент. Как молоток. Если вы умеете им пользоваться, то у вас всё получится. ☺

Самые распространённые сервисы для запуска А/В-тестов:

• Google Analytics (бесплатный);
• VWO (платный, https://vwo.com/ );
• Optimizely (платный, https://www.optimizely.com/ ).

Для большинства потребностей хватает Google Analytics. Мы сами его часто используем и вам рекомендуем.

Сколько элементов можно тестировать за один раз? Правильно ли сравнивать 2 текста, в которых отличается более 1–2 элементов?

Да, можно. Самое главное, нужно понимать, как эти элементы повлияют на конверсию и почему. У вас должна быть рабочая гипотеза.

Когда вы проводите очень-очень много тестов, бывают моменты, когда идей и гипотез нет. Такой себе провал. В такие моменты можно тестировать по принципу «А давайте сделаем и поглядим… Интересно же». ☺

В А/В-тестировании самое ценное – это время и объем трафика. Иными словами, вы можете провести ограниченное количество тестов в ограниченное время. Поэтому простой сайта без теста – это растрата бесценного ресурса.

Какие условия должны соблюдаться для правильного А/В-тестирования? Какой минимум просмотров/визитов/уников?

Чтобы тест получился хорошим, должно соблюдаться достаточно много условий. Назовем основные из них:

1. Должен быть целевой показатель, например, общая конверсия интернет-магазина или лендинга, показатель отказов какой-то группы страниц, кликабельность кнопки «Купить» и т.д.
2. Тест должен завершиться победой одного из вариантов со статистической достоверностью. Это означает, что данный вариант с очень большой вероятностью действительно лучше.
3. Тест должен продолжаться ~2 цикла принятия решения о покупке. Например, известно, что девушки выбирают украшения около недели. Значит, минимальный срок теста составит 2 недели. В целом мы рекомендуем держать тесты от 1 до 3 недель.

Вопрос «А сколько надо трафика?» не совсем корректный. Длительность теста зависит от количества трафика и дельты целевого показателя. Например, тест с увеличением конверсии с 1% до 2% завершится быстрее, чем тест, где рост будет с 1% до 1,2%. Также тест на сайте с посещаемостью 1000 человек в сутки будет идти дольше, чем на сайте с 5000 посетителей.

Как интерпретировать полученные результаты для дальнейшей проверки гипотез?

Интерпретация результатов довольно проста. Выигравший вариант надо внедрить. ☺

В любом случае, независимо от результатов теста, вы обязаны оценить поведение людей на новом варианте. Это даст вам новые идеи для новых гипотез.

Какие главные ошибки допускаются при А/В-тестировании?

Ошибок много. ТОП-3 из них:

1. Тесты заканчивают раньше достижения статистической достоверности. Это может очень дорого стоить бизнесу. Внедряя изменения после таких тестов, вы не знаете, сделали вы лучше или хуже.
2. Тестируются необоснованные идеи, подсказанные уборщицей из соседнего офиса. По сути, впустую тратятся бесценное время сайта и ресурсы компании на подготовку и реализацию теста.
3. Не отслеживаются показатели во время теста. Часто бывает, что при запуске программисты ошиблись, и одна вариация работает с ошибкой. Если не контролировать тест, то узнать об этом можно через недели 2–3. Это пустая трата времени и ресурсов.

(сплит-тестирование, A/B testing, Split testing) на сайте - это маркетинговый метод, который заключается в наблюдении за контрольной (А) и тестовыми (В) группами элементов - страницами сайта, отличающимися лишь некоторыми показателями, с целью увеличения конверсии сайта. Страницы показываются посетителям поочередно в равных долях, и после достижения нужного числа показов по полученным данным определяется наиболее конверсионный вариант.

Этапы A/B-тестирования

В целом весь процесс A/B-тестирования можно представить в виде 5 шагов:

Шаг 1. Постановка цели (бизнес-цели, конверсия, цели на сайте)

Шаг 2. Фиксирование исходных статистических данных

Шаг 3. Настройка тестирования и сам процесс

Шаг 4. Оценка результатов и внедрение наилучшего варианта

Шаг 5. Повторение эксперимента на других страницах или с другими элементами при необходимости

Продолжительность тестирования

Длительность проведения эксперимента зависит от имеющегося трафика на сайте. Показателя конверсии, а также различий в тестируемых вариантах. Многие сервисы автоматически определяют продолжительность. В среднем, достаточно 100 конверсионных действий на сайте и занимает порядка 2-4 недель.

Страницы для тестирования

Для тестирования можно выбрать любую страницу сайта, важную с точки зрения конверсии. Чаще всего это главная, страницы регистрации/авторизации, страницы воронки продаж. При этом лучше обратить внимание на следующие моменты:

1. Самые посещаемые страницы сайта
2. Страницы с дорогими визитами
3. Страницы с отказами

Первое необходимо для чистоты эксперимента, второе и третье для выявления слабых мест на сайте.

Чаще всего для тестирования выбирают кнопки, текст, слоган-призыв к действию и layout страницы в целом. Для выбора элемента можно воспользоваться следующим алгоритмом действий:

• Выдвигается гипотеза о поведении посетителя
• Предлагается решение по изменению элементов (лучше брать 1-2, не более)

1. Добавить слово «Бесплатно»
2. Разместить объясняющее видео
3. Приклеить кнопку регистрации к верху страницы
4. Сократить количество полей в заявке
5. Добавить счетчик специального предложения
6. Добавить бесплатную пробную версию
7. Изменить цвета кнопок или текст на них

Автоматизация тестирования

Существует несколько платных и бесплатных инструментов для автоматизации процесса тестирования с различным набором функций. Большой список можно посмотреть . Наиболее популярным можно назвать эксперименты в Google Analytics . Он является бесплатным, русифицирован, легок в освоении, и если на сайте установлен счетчик, то не потребуется ждать сбора начальных данных и запустить эксперимент можно всего в пару кликов.

A/B-тестирование средствами Google Analytics

Рассмотрим процесс создания теста в Google Analytics. Для этого необходимо зайти на вкладку Отчеты->Поведение->Эксперименты. Введите урл тестируемой страницы и нажмите «Начать эксперимент».

Следующим шагом потребуется заполнить поля: название эксперимента, цель (можно выбрать из настроенных целей для сайта), охват посетителей сайта для эксперимента (лучше ставить 100%).

На втором шаге потребуется указать адреса основной (контрольной) страницы и ее вариантов.

Если все выполнено корректно, то система даст зеленый свет на запуск тестирования.

Результат эксперимента очень наглядный и может выглядеть так:

Вопреки общепринятому мнению (ведь создаются дубли страниц), негативного влияние на позиции сайта такое тестирование не оказывает. Достаточно на альтернативных страницах прописать rel=”canonical”.

Важное об A/B-тестировании

1. Тестовые варианты страниц не должны отличаться более, чем 2-мя элементами
2. Трафик между страницами должен распределяться равновероятно
3. Делая настройки, выберите новых посетителей сайта
4. О результатах можно судить лишь по широкой выборке, желательно не меньше 1000 человек
5. Делайте оценку результатов в одно время
6. Не стоит доверять себе, не все пользователи думают так, как вы, поэтому ваш предпочтительный вариант может оказаться далеко не выигрышным.
7. Результаты A/B-тестирования не всегда могут приносить желаемых результатов по увеличению конверсии. Значит надо экспериментировать с другими элементами.

A/B-тестирование, также известное как сплит-тестирование, является одним из наиболее эффективных способов прийти к измеримым (и научно обоснованным) улучшениям вашего сайта. На практике это выглядит так: разрабатываются две версии контента - например, для посадочной страницы - и две таких страницы одновременно запускаются для одинаковых по размеру аудиторий, чтобы выяснить, какая из них работает лучше. Такой тест, выполненный должным образом, показывает, какие изменения помогут увеличить конверсию.

Вопросы о том, как запустить и успешно провести A/B-тестирование, возникают у многих. Здесь собраны наиболее популярные вопросы и ответы на них.

1. Когда А/В-тестирование является хорошей/плохой идеей?

Чаще всего такие тестирования проваливаются потому, что за ними нет четких целей, - поэтому нужно знать, что вы тестируете. Например, используйте такой тест для проверки теории: поможет ли эта картинка увеличить конверсию, если добавить ее на посадочную страницу? Люди более склонны нажимать на синюю или на красную кнопку? Что будет, если поменять заголовок, подчеркнув, что срок действия предложения ограничен? Эффект от всех этих изменений вполне можно измерить.

Люди сталкиваются с большими проблемами при запуске А/В-тестирований, когда цель их слишком расплывчата, - к примеру, таким может оказаться тестирование двух вариантов дизайна со множеством отличий. Это может тянуться долго, пока не определится безоговорочный победитель, и при этом могут быть сделаны неточные выводы, появится неуверенность насчет того, что же все-таки вызвало увеличение конверсии.

2. Сколько вариантов должно быть в A/B-тестировании?

Предположим, вы хорошо поработали, и у вас есть четыре невероятных идеи дизайна для посадочной страницы. Конечно, хотелось бы запустить все четыре варианта сразу и определить победителя, но подобный одновременный запуск уже никак нельзя будет считать А/В-тестированием. Ряд факторов из каждого варианта может замусорить прозрачные воды результатов, если так можно выразиться. Прелесть правильного А/В-тестирования в том, что его результат достоверен и конкретен.

3. Что такое нулевая гипотеза?

Нулевая гипотеза - это гипотеза о том, что разница в результатах является следствием ошибки выборки или стандартных колебаний. Подумайте о подбрасывании монетки. Хотя шансы, что она приземлится на «орла», равны 50/50, иногда на практике они составляют 51/49 или еще какое-то зависящее от случая отношение. Однако чем больше вы подбрасываете монетку, тем ближе вы в итоге подходите к результату 50/50.

В статистике правильность или неправильность идеи доказывается оспариванием нулевой гипотезы. В нашем случае оспаривание этой гипотезы - проведение тестирования в течение достаточно продолжительного времени для исключения случайных результатов. Это также называют достижением статистической значимости.

4. Сколько посещений страницы нужно для хорошего результата А/В-тестирования?

Перед проверкой результатов А/В-теста, вам следует убедиться, что он достиг статистической значимости - некоторой точки, после которой можно быть на 95 и более процентов уверенным, что результат верный.

Хорошо, что во многие инструменты для тестирования уже встроен счетчик статистической значимости: с его помощью вам будет дан сигнал, когда результаты теста будут готовы для интерпретации. Если же такого счетчика нет, можно воспользоваться одним из множества бесплатных калькуляторов и инструментов для вычисления статистической значимости.

5. Что такое многомерное тестирование и чем оно отличается от A/B-тестирования?

A/B-тесты обычно применяются для определения одного эффективного решения при редизайне для достижения определенной цели (например, увеличения конверсии). Многомерное тестирование, как правило, используется для проверки небольших изменений в течение более длительного периода времени. Оно охватывает несколько элементов сайта и проверяет все возможные комбинации этих элементов для непрерывной оптимизации. Эксперт компании HubSpot Кори Эридон (Corey Eridon) объясняет различия в использовании того или иного тестирования:

«A/B тестирование - замечательный метод, если вам нужны быстрые значимые результаты. Поскольку изменения от страницы к странице отчетливо видны, будет легче сказать, какая страница наиболее эффективна. Это также правильный выбор, если у вашего сайта небольшой трафик.

А вот для корректных результатов в многомерном тестировании вам нужен сайт с высокой посещаемостью, так как в таком тестировании проверяются несколько различных изменяющихся элементов.

Если же трафика для многомерного тестирования у вас достаточно (хотя даже при этом вы можете воспользоваться А/В-тестами для проверки новых дизайнов и макетов), лучше всего проводить его тогда, когда вы хотите сделать на странице едва уловимые изменения, понять, как определённые элементы взаимодействуют друг с другом и постепенно усовершенствовать существующий дизайн».

6. Правда ли, что A/B-тестирование негативно влияет на SEO?

Существует миф, что А/В-тесты снижают рейтинг сайта в поисковых системах, поскольку могут классифицироваться как дублированный контент (а на него поисковики, как известно, реагируют не очень дружелюбно). Однако это совершенно не так - при правильном подходе к тестированию. На самом деле Мэтт Каттс (Matt Cutts) из Google советует запускать сплит-тестирования для улучшения функциональности вашего сайта. У Website Optimizer также есть хорошее опровержение этого мифа, например.

Если вы все еще убеждены в обратном, вы всегда можете добавить тег noindex на один из вариантов страницы. Ознакомьтесь с подробной инструкцией по добавлению такого тега.

Примечание главного редактора. Недавно Google опубликовала по предотвращению отрицательного влияния A/B-тестов на позиции сайта в результатах поиска Google.

7. Как и когда мне можно интерпретировать результаты сплит-теста?

Тест запускается. Начинают накапливаться данные. И вы хотите выяснить, кто же становится победителем. Но ранние стадии - неподходящее время для интерпретации результатов тестирования. Подождите, пока ваш тест достигнет статистической значимости (см. п. 4) и затем вернитесь к вашей первоначальной гипотезе. Окончательно ли тест подтвердил или опроверг ваши предположения? Если да, вы можете делать некоторые выводы. Анализируя тестирование, не спешите приписывать его результаты конкретным изменениям. Убедитесь, что между изменениями и результатом прослеживается четкая связь и что здесь не примешивается влияние каких-либо факторов.

8. Сколько изменяющихся элементов следует тестировать?

Вам нужен тест с убедительными результатами, вы тратите на него свое время и поэтому, наверняка, хотите получить в итоге четкий ответ. Проблема одновременного тестирования нескольких изменений в том, что вы не сможете точно определить, какое из них принесло больше пользы. То есть вы, конечно, можете сказать, какая из страниц в целом работает лучше, но если на каждой из них тестируются три или четыре изменяющихся элемента, вы не узнаете, какой именно элемент вредит странице, и не сможете внедрить полезные элементы на другие страницы. Наш совет: проведите серию базовых тестов, каждый раз внося какое-то одно изменение, чтобы путем перебора постепенно прийти к наиболее эффективному варианту страницы.

9. Что мне следует тестировать?

• Призывы к действию. Даже рассматривая один этот элемент, можно протестировать несколько разных вещей. Просто убедитесь, что вы понимаете, какой конкретно аспект призыва к действию хотите проверить. Можно тестировать сам текст призыва: к чему он подталкивает того, кто его просматривает? Можно тестировать расположение: где на странице лучше всего разместить призыв? Можно тестировать также форму и стиль: как это смотрится?
• Заголовок. Это обычно первое, что посетитель читает на вашем сайте, так что потенциал для воздействия здесь значительный. Попробуйте разные стили заголовков в вашем A/B-тестировании. Убедитесь в том, что разница между каждым заголовком ясна, и что это не просто бездумная переделка одного и того же. Это нужно для того, чтобы точно знать, что именно вызвало изменения.
• Изображение. Что более эффективно? Изображение человека, использующего ваш продукт, или продукта самого по себе? Испробуйте различные варианты страниц с разными вспомогательными изображениями и понаблюдайте, будет ли разница в действии.
• Длина текста. Поможет ли его сокращение сделать сообщение более ясным? Или вам наоборот нужно больше текста, чтобы объяснить суть предложения? Пробуя различные версии основного текста, вы можете определить, какое количество разъяснений необходимо читателю перед конверсией. Чтобы этот тест работал, старайтесь использовать тексты примерно одинакового содержания, изменяя лишь их объем.

10. Можно ли с помощью A/B-тестирования проверять что-то кроме веб-страниц?

Конечно! В дополнение к посадочным страницам и веб-страницам многие маркетологи применяют А/В-тесты для электронных почтовых ящиков, PPC-кампаний (pay per click) и призывов к действию.

• Электронная почта. Здесь тестируемыми изменяющимися элементами могут быть тема письма, приемы персонализации, имя отправителя.
• PPC-кампании. Во время таких кампаний можно применить А/В-тестирование к заголовку, основному тексту, тексту ссылок и ключевым словам.
• Призыв к действию. Здесь можно поэкспериментировать с текстом призыва, его формой, цветовым оформлением и расположением на странице.

11. Как мне найти примеры A/B-тестирования от аналогичных компаний?

Есть ряд сайтов, на которых собраны примеры и результаты А/В-тестирований. Некоторые позволяют выполнять поиск по типу компании и большинство предоставляют подробную информацию о том, как компания интерпретировала результаты теста. Если вы только начинаете заниматься A/B-тестами, вам будет полезно почитать информацию на некоторых из этих сайтов, чтобы понять, что необходимо протестировать именно вашей компании.

• WhichTestWon.com. На этом сайте есть несколько примеров, а также проводятся некоторые ежегодные конкурсы, на которых вы можете представить и свои тестирования.
• Visual Website Optimizer предлагает программное обеспечение для А/В-тестирования. В блоге компании есть несколько примеров, на которых вы могли бы поучиться.
• ABTests.com. Этот сайт больше не обновляется, но там есть хороший архив A/B-тестов.

12. Что мне делать, если я не доверяю результатам?

Если вы действительно не доверяете итогам и исключили любые ошибки или проблемы, связанные с валидностью теста, лучшее, что можно сделать, - запустить тот же тест снова. Относитесь к нему как совершенно отдельному тестированию и понаблюдайте, сможете ли вы повторить результат. Если он повторяется снова и снова, вероятно, ему можно доверять.

13. Как часто следует запускать A/B-тестирование?

На вашем сайте всегда есть возможность что-то тестировать. Просто убедитесь, что каждый тест имеет четкую цель и приводит к появлению более функционального сайта для ваших посетителей и компании. Если вы запускаете много тестов, а в результате имеете минимальный эффект и незначительные победы, пересмотрите свою стратегию тестирования.

14. Что нужно, чтобы начать A/B-тестирование на сайте?

Лучший способ запустить A/B-тестирование - использовать специальное программное обеспечение: например, Visual Website Optimizer , HubSpot , Unbounce . Если вы не против повозиться немного с кодом, у Google также имеется бесплатный инструмент под названием Content Experiments в Google Analytics. Это немного отличается от традиционного A/B-тестирования, но если вы технически продвинуты, стоит попробовать этот инструмент.

15. Какие существуют ловушки в плане валидности помимо размера выборки?

В прошлом году компания MECLABS составила коллекцию угроз валидности теста. Здесь доктор Флинт Макглафлин (Flint McGlaughlin) рассматривает ошибки тестирований и то, как снизить риск столкновения с ними в ваших тестах. Рекомендуем читать полный текст , но все же приведем пару ошибок из списка:

• Во внешнем мире происходит что-то, что вызывает негативные смещения в результатах теста.
• Ошибка в программном обеспечении для тестирования подрывает его результаты.

16. Нужно ли проводить А/B-тестирование главной страницы сайта?

Задача разработки действенного теста для испытания главной страницы может оказаться очень трудной. Трафик на этой странице очень переменчив, ведь туда заходят все - от случайных посетителей до потенциальных клиентов и реальных покупателей. Кроме того, на главной странице обычно присутствует огромное количество контента, так что может быть сложно на протяжении одного теста определить, что заставляет посетителей действовать или не действовать.

Наконец из-за того, что на вашу домашнюю страницу заходят совершенно разные посетители, определить конкретную цель теста и страницы может быть проблематично. Вы можете, предположим, задаться целью протестировать конверсии, но если тестовый вариант страницы будут больше посещать не потенциальные, а реальные покупатели, ваши цели для этой группы могут измениться.

Если вы все-таки хотите тестировать домашнюю страницу, займитесь тестами призывов к действию.

17. Что если у меня нет контрольной версии страницы?

Контрольная версия - это существующий вариант веб-страницы, в противововес которому вы обычно выдвигаете новые варианты. Возможно, вы также захотите протестировать две версии страницы, ранее не существовавшие. И это вполне нормально. Просто назовите одну из них контрольной. Постарайтесь выбрать ту, которая по дизайну наиболее похожа на уже имеющуюся страницу, а другую используйте в качестве варианта.

18. Почему результат A/B-тестирования не всегда равен 50/50?

Иногда при проведении А/В-теста вы можете заметить, что на разных версиях страниц неодинаковый трафик. Это не означает, что с тестом что-то не так, просто случайные отклонения проявляются случайно. Вспомните о подкидывании монетки. Шансы орла и решки равны 50/50, но иногда решка, например, выпадает 3 раза подряд. Однако, чем выше посещаемость вашей страницы, тем ближе должны быть результаты теста к 50/50.

Оригинальная публикация: http://quality-lab.ru/a-b-testing/

Введение

Эмоции управляют людьми, а управление эмоциями людей – мечта каждого маркетолога. Как правило, все нововведения основаны на субъективном «мне кажется, что так будет красивее/удобнее». Гораздо реже под конкретное изменение проводится анализ мнения клиентов. Надеяться на субъективную оценку маркетолога можно, но рискованно. Собирать фокус-группу – затратно. Просто ввести изменение и посмотреть, что же произойдет по прошествии определенного времени, – не научно.

Так как же все-таки определить пользу изменений без потери клиентов и времени? Этот вопрос решает A/B тестирование. Его использование ведет к увеличению трафика клиентов и степени конверсии сайта, к росту количества продаж, кликов и лайков.

Что это такое?

Определение из Wiki:
A/B-тестирование (англ. A/B testing, Split testing) – метод маркетингового исследования. Суть метода заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп (в которых один или несколько показателей были изменены) для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Разновидностью A/B-тестирования является многовариантное тестирование. В этом случае тестируются не два целостных варианта, а сразу несколько элементов продукта или составных частей исследуемого объекта в различных сочетаниях, при которых каждый тестируемый элемент может быть двух видов (A или B).

Проще говоря, весь поток людей на сайте разбивается на две группы. Одной группе отображается главная страница, к примеру, с кнопкой Sign up (Вариант А). Второй группе – та же страница, но с кнопкой Sign up for free (Вариант В). Тестирование проводится сессионно. В конце каждой сессии подводится итог и вычисляется вариант-победитель. Пример же многовариантного A/B тестирования приведен на схеме:

Как тестировать?

Представим себе ситуацию: онлайн-банку нужно было увеличить количество заявок на кредитование физических лиц. На сайте уже существовал баннер с призывом заполнить заявку, но маркетологи предложили его доработать. В отдел тестирования были переданы два макета для проведения A/B тестирования:

Прежде всего, в отделе тестирования определились с инструментами, позволяющими зафиксировать статистику и проанализировать результат. В сети можно найти с десяток платформ для проведения A/B тестирования, среди которых наиболее популярны следующие:

Все они по-своему удобны и содержат достаточное количество функций для того, чтобы стать незаменимым помощником при проведении А/В тестирования. Выбор наших тестировщиков пал на бесплатный Google Content Experiment (данное решение входит в состав Google Analytics и умеет самостоятельно определять победителя).

С помощью данной платформы был создан эксперимент для тестирования на сайте банка. Для получения корректных результатов необходимо было провести несколько сессий тестирования длительностью в две недели. В первую сессию тестировщики получили неоднозначный результат (конверсия в двух вариантах была почти равна, поэтому определить победителя A/B тестирования не удалось). После серии подобных экспериментов, тестировщикам все-таки удалось получить четкий результат тестирования: победил второй вариант баннера (с фотографией семьи). Возможно, это было связано с тем, что последняя сессия пришлась на новогодние каникулы: ЦА была лояльнее и дружелюбнее.

Итог истории: если раньше заявку на кредит подавали 2 из 10 просмотревших баннер, то теперь – 4 из 10.

Возвратимся к инструментам A/B тестирования. Для инструментов, которые не умеют определять победителя, итоги сессии А/В тестирования можно обработать вручную или при помощи калькулятора. При ручной обработке необходимо учесть соотношение конверсии к числу посещений сайта. Это трудоемкий процесс, который потребует от вас сосредоточенности и точности; он может затянуться на несколько часов. Намного удобнее воспользоваться готовым решением – калькулятором: вам достаточно будет ввести результаты тестирования и получить вариант-победитель. Почти все калькуляторы для A/B тестирования англоязычные, но есть и