Второй вариант потребует больше ресурсов и ограничит творческие идеи, но и в этом случае вам стоит не забывать о том, что необходимо больше трафика, дабы проверить кроме того оставшиеся. Сейчас представьте многовариантный тест с десятками вариаций. Чтобы избежать все возрастающей погрешности, приходится «загонять» больше трафика, дабы обеспечивать, что полученные результаты не сгенерированы случайным образом, а вправду имеют сокровище. Запомните данный пример, мы будем применять его потом при разборе изюминок мультивариантного тестирования.
Подождите того момента, когда тестирование достигнет статистической значимости (смотрите вопрос №4) и затем вернитесь к исходной гипотезе. При анализе теста, старайтесь остаться беспристрастны, соотнося полученные результаты с конкретными изменениями. Убедитесь, что существуют четкие связи между внесенными изменениями и результатом, а также, что на него не повлияли никакие сторонние силы. Мультивариативные тесты (иногда их называют мультивариантными тестами) позволяют протестировать изменения сразу в нескольких разделах одной страницы. Чтобы понять принцип, проведите мультивариативный тест на одном из своих лендингов, а потому поменяйте на нем пару элементов.
Почему большинство сплит-тестов бесполезны?
Самая большая ошибка – это начинать тесты, не зная, чего вы от них ожидаете от них.
- «Другой подход к сокращению потребности в посетителях при мультивариантном тесте — исследовать меньше взаимодействий (например, только двухсторонние взаимодействия).
- Мультивариантное тестирование рассчитано на то, что его будут использовать для проверки малых изменений на протяжение долгого периода времени.
- Этот кейс демонстрирует, как использовать MVT и каких результатов можно добиться.
- Таким образом, сначала определяемся с лучшим вариантом при помощи A/B-теста.
Кроме того, полнофакторный MVT-тест заберет огромную часть вашего трафика (даже если его объем внушителен и без того). Поэтому мультивариантные тесты станут большим испытанием для маркетингового бюджета — из-за времени, людей, ресурсов, и внутреннего обслуживания процесса». Из-за множества дополнительных вариаций MVT-тесты требуют большого объема трафика. Например, 3х2 тест (то есть, проверка 2 разных версий трех элементов дизайна) потребует такого же трафика, как и сплит-тест на 9 вариаций.
Когда моя версия выигрывает A/B тестирование, могу ли я ткнуть коллегам результатами в лицо?
Сплит-тесты в большинстве случаев содержат меньше вариаций, чем MVT, но с более радикальными трансформациями. Тогда как мультивариантные кампании запускаются на внушительное число предположений, но с маленькими различиями. Клэр Во (Claire Vo), сооснователь Experiment Engine, также утверждает, что MVT-тесты сложнее из-за дополнительного трафика и ресурсов, требующихся для них. Сплит-тесты обычно содержат меньше вариаций, чем MVT, но с более радикальными изменениями. В то время как мультивариантные кампании запускаются на внушительное число версий, но с небольшими различиями.
Знай мы совершенно верно, что добавление знаков безопасности было самым значимым для пользователей, то имели возможность улучшить показатели конверсии, разместив их и на вторых страницах. Любой тест, A/B либо многовариантный, имеет встроенную плату за проведение опыта. В совершенстве, мы желали бы, дабы все проигрышные варианты «отваливались» своим чередом. Но статистически имеется шанс, что любой из вариантов станет победителем, пока не достигнут уровень статистической значимости. Одним из самые популярных элементов для тестирования по праву считается заголовок страницы. Если он будет релевантным вашим целям и запросам аудитории, то вы сможете существенно расширить коэффициент конверсии лендинга.
Что мне тестировать?
Сайты электронной коммерции чаще всего используют оптимизацию показателей конверсии, при этом 27,5% компаний используют AB-тестирование для увеличения дополнительной прибыли. Казалось бы, все ходы и эти запросы очень обоснованы для вебмагазинов, но время от времени они смогут трудиться против вас. Единственный метод выяснить, что же как раз уводит визитёров со страницы — совершить тест. Мы меняем только один элемент (одна переменная), но предоставляем последовательность разных вариантов этого элемента.
Как было сообщено выше, пока у вас нет огромных количеств трафика, кроме того вспоминать о мультивариантных тестах преждевременно. «Мультивариантное тестирование — это выговор на небольших элементах, слабо воздействующих на остальные либо не воздействующих вовсе. Вместо этого маркетологи должны сосредоточиться на ведении программных и динамичных сплит-тестов, разрешающих взять сегментированный опыт нескольких целевых групп по всему сайту. Допустим, 100% трафика попадает на первый вариант в течение недели, а в течение следующей недели 100% трафика попадает на второй вариант.
Полный факторный эксперимент
Не стоит рассматривать тестирование лишь как источник дополнительных доходов. Каждый тест способен дать вам ценную информацию для понимания ваших посетителей. Многовариантный тест предполагает проверку всех возможных комбинаций и вариантов с учетом одной или нескольких переменных.
Хотя в теории шанс выпадения орла или решки равняется 50\50, но на практике иногда вероятность составляет 51\49 или нечто другое в зависимости от шанса. Однако, чем больше раз вы подкинете Мультивариантное тестирование монету, тем ближе вы подойдете к вероятности 50\50. В статистике, способ с помощью которого вы пытаетесь доказать верность или неверность теории называется оспариванием нулевой гипотезы.
Какой тест применить в зависимости от ситуации
Для проведения экспериментов мы настоятельно рекомендуем инструмент «Эксперименты» (бывший Google Website-Optimizer), который сейчас плотно интегрирован в функционал Analytics. Он позволяет проводить тесты как с единичными страницами (допустим, для теста Landing Page), так и с шаблонами (например, для теста карточек товаров в Интернет магазинах). Иногда во время A/B тестирования вы можете заметить, что количество трафика на каждой из переменных не идентично.
Исходя из этого мультивариантные тесты станут громадным опробованием для маркетингового бюджета — из-за времени, людей, ресурсов, и внутреннего обслуживания процесса». MVT — прекрасный инструмент для последующей оптимизации победившего в сплит-тесте варианта. В то время как А/В не дает существенной информации о взаимодействии переменных на одной странице, MVT делает это.