Опростено многовариантно тестване и A / B тестване: Как да тествате техниките за оптимизиране на уеб страници

multivariate testing

Въведение:

Има много уебсайтове и приложения, които често използваме. Докато ги използваме, вероятно не обръщаме много внимание на това как уебсайтът е станал текущата му версия - от друга страна, ако нещо не изглежда правилно, вероятно никога няма да посетим сайта / приложението отново.

Въпросът е - какво е необходимо, за да се получи „то“ правилно?

Какво ще научите:

• Многовариантно тестване и A / B тестване
• Какво е многовариантно тестване?
• Видове MVT тестване:
• Как да направите многовариантно тестване
• Грешки, които трябва да се избягват
• Какво да правим и какво не
• Предимства и недостатъци
• A / B тестване
• Плюсове и минуси на A / B тестове:
• A / B тестване срещу многовариантно тестване срещу тестване на разделяне
• Многовариантно тестване
• A / B / Split / Многовариантни инструменти за тестване
• Препоръчително четене

Многовариантно тестване и A / B тестване

„То“ най-често е функционалността - която имаме солидни QA процеси за тестване и оценка. Но и „то“ се състои от дизайн, комбинация от елементи, разположение на съдържанието на страница, понякога дори цвят, ориентация и т.н., които играят видна роля в цялостно приемане на продукта от крайния потребител.

Клон на тестване, който може да помогне много в тази област, е Многовариантно тестване и A / B тестване .

В днешната статия ще обсъдим Многовариантно (MVT) тестване и A / B тестване видове в детайли.

И двете са насочени към оптимизиране на уеб страници и подобряване на процента на конверсия (скоростта, с която посетителите стават клиенти или завръщащите се посетители - от своя страна, бизнес) за уебсайт.

Какво е многовариантно тестване?

Нека започнем с Пример .

Ако даден уебсайт работи по проектиране / препроектиране / определяне на ефективността на страница, която трябва да има изображение и съответния текст - След внимателно обмисляне и обсъждане дали компанията включва в списъка следните две изображения и две изречения - възможните комбинации от тях биха могли да бъде както следва:

1) Изображение 1

2) Изображение 2

3) Заглавие / Изречение 1: „Целта трябва да е НУЛИ ЗЛОТИ

4) Заглавие / Изречение 2: „НАШАТА ЦЕЛ: НЯМА ЗЛАТА“

Комбинации:

В горния пример тествахме вариации на комбинациите от полетата, за да видим кое е подходящо. Просто казано, това е многовариантното тестване.

как да инсталирам appium на windows

По-технически и конкретно, формулата по-долу се използва за определяне на не. на възможните комбинации, които са необходими за тестване на различните комбинации и това е:

(# Вариации на елемент А) X (# вариации на елемент Б) ... .. = (Общо # вариации)

В горния пример има 2 варианта за заглавието, както и 2 варианта за изображението.

По този начин, съгласно формулата, има общо 4 комбинации от вариациите, които трябва да бъдат тествани едновременно, за да се намери най-добрата комбинация от вариации.

• Основната цел на извършването на многовариантно тестване е да се измери и определи ефективността на всяка комбинация от вариации в крайната система.
• След финализирането на комбинациите от вариации се започва тестване за определяне на най-успешния дизайн, след като сайтът получи достатъчно трафик.
• Резултатите, получени с всяка комбинация от варианти, се сравняват с останалите, за да се установи кой дизайн е най-подходящ за постигане на крайната цел (в повечето случаи е Продажби ).
• Тези статистически данни дават ясна представа дали конкретната промяна е била полезна или не.
• Също така може да се анализира положително или отрицателно въздействие върху взаимодействието на потребителя

Целият този процес на непрекъснато многовариантно тестване, подобряване на дизайна въз основа на получените резултати и постигане на бизнес целите поради това ( Пример: по-дълго време за ангажиране на потребител на определена страница) Оптимизация на целевата страница - чиято цел е да привлече повече потребители и да ги ангажира на определена страница.

Този процес до голяма степен включва тестване с множество вариации, събиране на статистически данни и извършване на промени въз основа на получените стойности / резултати.

Не само ограничени до уебсайтове, но и многовариантно тестване е необходимо за мобилни приложения. Уебсайтовете и мобилните приложения са съставени от комбинации от променливи елементи и следователно се прави многовариантно тестване, за да се разбере коя комбинация от вариации работи най-добре.

Това играе решаваща роля в стратегията за интернет маркетинг.

Видове MVT тестване:

Въз основа на разпределението на трафика към множество варианти на вариация, има многократни видове многовариантно тестване които могат да бъдат извършени:

а) Пълно факториално тестване:

Това е най-предпочитаната форма на MVT тестване, при която всяка възможна комбинация от варианти на елементи се тества еднакво, като се пренасочва трафикът към уебсайта към нея, докато се намери победител. На всички възможни комбинации е дадена еднаква вероятност. Най-хубавото при този метод е, че няма предположения и той се основава на твърди цифри / статистики, което го прави много надежден и най-препоръчителен.

Единственият недостатък е трафикът. С увеличаването на броя на различни комбинации е необходим много трафик на уебсайта, за да се анализират данните и да се определи победителят.

б) Фракционно или частично факториално изпитване:

Тъй като името показва, че само малка част от всички версии на комбинации от варианти са изложени на трафика на уебсайта. За останалите комбинации се правят статични математически изчисления, за да се намери най-добрият процент на конверсия.

Метод Тагучи е най-популярният метод за дробно факториално многомерно тестване. Този метод дава по-малко точен резултат, тъй като се тества само проба от вариациите, а не всички. Въпреки че този метод отнема по-малко време за анализ на победителя, резултатът никога не може да се счита за толкова точен, колкото може да бъде в случай на пълно тестване на факториал.

в) Адаптивно многовариантно тестване:

Това е нов подход към многовариантното тестване. В този случай реакцията на посетителите на уеб страницата в реално време се анализира, за да се определи най-добрата версия на комбинацията от варианти.

г) дискретен избор:

Този метод разкрива ефектите от взаимодействието, кажете как хората създават компромис от гледна точка на решение за покупка. Това е сложна техника, която систематично променя атрибутите или елементите на съдържанието.

e) Optimal Design:

Този метод включва повторения и вълна от тестване. В допълнение към тестването на максималния брой вариации на творчеството за минимално време, той също така позволява на търговците да обмислят взаимоотношения, взаимодействия и ограничения в елементите на съдържанието на уебсайт или приложение. Това помага за намирането на оптималното решение.

Нека преминем по-нататък към важен въпрос: Може ли уеб маркетингът да бъде оптимизиран чрез многовариантно тестване?

Отговорът е категорично „Да“.

Използвайки многовариантно тестване, можем ясно да определим какво трябва да се приложи и какво трябва да се избягва. Всичко е фокусирано върху опита на посетителя.

Следните аспекти се вземат предвид при провеждането на многовариантно тестване:

# 1. Предпоставката за многовариантно тестване е: Определете маркетинговите цели или проучете целите на уебсайта. По-долу са дадени няколко примера:

• Правете максимални приходи / печалби чрез реклама, продажба на продукти, плащайте за кликвания.
• Създайте информираност за марката сред клиентите
• Спестете разходи - напр .: Насочете потребителите към самообслужване чрез често задавани въпроси, вместо онлайн, в лична услуга.

# две. Трябва да се тестват само онези неща, които наистина са насочени към маркетинговите цели на организацията.

# 3. Изберете само тези елементи, които точно ще измерват маркетинговите цели.

Примери могат да бъдат:

• За да спечелите повече пари, страниците, които включват опции като „Купи сега“ / „плащане“ / потоци за завършване на регистрация или регистрация, трябва да бъдат фокусирани върху.
• За да създадете осведоменост за посетителите и промоцията, „изпратете на приятел“ / „насочете приятел“ / „споделете“ и т.н. може да ви бъде от полза
• За спестяване фокусът може да бъде върху елементи като често задавани въпроси, помощ, контакт, обаждане, кликвания „Добавяне в кошницата“, които водят до страници с благодарности и т.н.

Как да направите многовариантно тестване

1. Идентифицирайте проблем

Първата стъпка е идентифицирането на проблема. Това ви дава обхват на подобрение за вашия уебсайт или приложение. Например проблемът може да бъде нещо като това защо посетителите на уебсайта не кликват върху бутона за изтегляне.

2. Формулирайте хипотеза

Направете хипотеза за подобряване на уеб страницата. Например, хипотезата може да бъде, че клиентите не кликват върху бутона за изтегляне, тъй като видимостта му не е привлекателна. Така че, ако го направите привлекателен, ще има увеличени изтегляния.

3. Създайте вариации

Изберете факторите и създайте вариации. Да предположим, че двата фактора са заглавието „Изтегляне“ и връзката „PDF производител“. Като пример имаме под 12 вариации:

4. Определете размера на извадката

Разберете колко посетители са необходими на всяка страница, колко време трябва да изпълните теста, колко вариации имате и статистическата значимост.

5. Тествайте инструментите си

Тествайте всичко (главно дали вашата уеб страница / приложение работи добре), преди да започнете да провеждате теста, така че нищо да не отрови резултатите от теста ви.

6. Започнете да шофирате трафик

Започнете да насочвате трафика към вашите варианти.

7. Анализирайте резултатите си

След извършване на теста за значително време, получавате резултатите за анализ. Пример е показан по-долу:

Тези, които имат 95% или повече ниво на доверие, са статистически значими резултати.

8. Учете се от резултатите си

Това е последната и важна стъпка. От многовариантния тест научавате за вашите уеб страници / приложение и посетителите му. Можете да използвате това обучение за бъдещи тестове.

Предупреждение - Внимавайте за следните неща при извършване на многовариантно тестване:

Грешки, които трябва да се избягват

1. Неправилен избор на варианти . За напр. да предположим, че променяме размера на шрифта, цвета и стила на текста на заглавието едновременно под една версия на комбинация от варианти. Тогава ще бъде трудно да се анализира от получените данни за това коя вариация на заглавието (независимо дали размера на шрифта, цвета или стила) е накарала посетителя да реагира по различен начин.
2. Твърде кратък период от многовариантно тестване . Ранното приключване на тестовото изпълнение и избирането на малък набор от данни за анализ на победителя може да доведе до невалидни статистически данни.
3. Твърде дълъг период от многовариантно тестово изпълнение. Провеждането на теста твърде дълго, за да се анализират пределните данни, също води до много загуба на време
4. Грешно разбиране на ключовите показатели. Фокусиране, анализ и проследяване на променливата комбинация от онези показатели, които са незначителни или несвързани с крайната цел
5. Само няколко ключови показателя за ефективност се идентифицират, докато много други не се проследяват
6. Решаване на типа посещаемост на посетителя към уеб страница. Това може да бъде много рисковано и проблематично, тъй като не всички посетители са еднакви.
7. Не анализира резултатите и извършване на правилните промени в сайта.

Направете и не

От горния списък, резюме на какво да правим и какво не може да бъде:

Не трябва:

Не се опитвайте да включвате много променливи в теста. Колкото повече е броят на променливите за тестване; толкова по-големи ще бъдат комбинациите, което от своя страна означава, че е необходим повече трафик за събиране на значителна статистика.

Направете:

1. Визуализирайте всички версии на комбинацията от варианти преди стартиране на пробно пускане, защото някои от тях може да са несъвместими или нелогични. Например, една от променливите комбинации е заглавие, казващо „50% отстъпка при абонамент“ и бутон за изключване, казващо „Безплатен абонамент“. Такива трябва да бъдат премахнати.

2. Решете въздействието на комбинираните версии върху обменния курс. Включването само на онези комбинации, които имат по-голямо влияние върху процента на конверсия, е добра идея.

3. Оценете трафика на уеб страницата, за да съберете значителни статистически данни. Преди да започнете тестовото изпълнение, по-добре е да имате ясна представа за трафика на уеб страницата. Ако уеб страница има само 100-200 посетители на ден, тогава трябва да разгледаме няколко променливи само за изпълнение на многовариантния тест.

Предимства и недостатъци

Досега видяхме какво е многовариантно тестване, как се прави, грешки, фактори, прави и не трябва и т.н. Сега, нека разгледаме някои Професионалисти и Минуси от него:

Професионалисти:

1. По-добро разбиране и разбиране на ефекта на променливите или елементите върху процента на конверсия. Повече трафик води до повече статистически данни, което от своя страна води до по-добър анализ и вземане на решения по отношение на най-добрата комбинация от променливи за постигане на крайната цел.
2. По отношение на промените в дизайна и оформлението, многовариантното тестване е гъвкаво.

Минуси:

1. Извършването на многовариантни тестови пробежи отнема повече време.
2. За получаване на значителна статистика се изисква много трафик от уеб страници.
3. По-сложно за настройване на тестови писти.
4. Изисква по-голям брой версии на променливи комбинации за пробно изпълнение

A / B тестване

Това е кратък списък на всички неща за многовариантно тестване, няма край на разнообразието от тестове, които могат да бъдат направени за оптимизиране на уеб страници, а друг популярен метод е A / B тестване .

Какво е A / B тестване?

( изображение източник)

A / B тестването понякога е известно и като Сплит тестване . Разделеното тестване обаче е различно. Ще видим разликата между тях в по-късната част на този урок.

При A / B тестване се тестват две версии на една и съща уеб страница с равно количество трафик на уеб страница. Версията, която получава максимален брой конверсии, е крайният победител. Тази нова версия определено увеличава степента на конверсия.

Пример за разделяне на A / B:

Нека разберем работата на A / B тестване с малък пример :

Горното изображение е на уеб страница за информиране за безопасността.

Това изображение се състои от сив бутон с надпис „ Вземете тест и спечелете вълнуващи награди '. Тази оригинална уеб страница се счита за„ Версия '. Сега ‘B версията’ е проектирана с вариация в цвета на бутона от сиво до червено.

Това е показано на изображението по-долу:

Трафикът на уеб страници на живо се пренасочва към двете версии. След като достатъчно посетители са направили теста и със получените статистически данни може лесно да се определи коя версия има по-голям ефект върху процента на конверсия.

Тук в горния пример, бутон казва „ Вземете тест и спечелете вълнуващи награди ”В червен цвят привлече повече посетители да натиснат бутона и да вземат тест от по-стария сив бутон.

По този начин беше постигната крайната цел на уеб страницата да увеличи повече приходи.

Професионалисти и Минуси на A / B тестове:

Професионалисти:

1. Лесен и лесен метод за настройване на експерименти за оптимизиране на уеб страници.
2. Надеждни и точни резултати могат лесно да бъдат определени дори при малък трафик към уеб страници.
3. Тестовете могат да се извършват много бързо и да се анализират статистически данни, за да се постигне крайната цел.
4. Не е много зависим от която и да е форма на технологията.
5. По-подходящи за промени в оформлението, съдържанието и дизайна на всяка уеб страница.

Минуси:

1. Само няколко или казват ограничен брой промени в уеб страница наведнъж.
2. Не е възможно да се определи въздействието на различни променливи, присъстващи на уеб страница, една върху друга.

Таблица за сравнение:

A / B тестване срещу многовариантно тестване срещу тестване на разделяне

A / B тестване, многовариантно тестване и разделно тестване са трите основни типа тестване на UX (User experience) вариант. Нека да видим как те се различават един от друг.

Долните две изображения ви дават много добро илюстративно сравнение между A / B тестване и многовариантно тестване.

Многовариантно тестване

Сплит тестване:

Тук имаме друг вариант, известен като тестване на разделени URL адреси, който е много по-сложен от A / B тестването и включва промени от страна на сървъра , където имаме две различни уеб страници, които са тествани една срещу друга. Този тип тестване работи добре за целеви страници в случаите, когато дизайнерският екип трябва да реши коя ще работи по-добре.

кой е най-добрият adblock за хром

A / B / Split / Многовариантни инструменти за тестване

На пазара има много инструменти за тези три вида UX тестове. Бих посочил няколко най-добри тук, които можете да разгледате. Те са Google Optimize, Optimizely, VMO, Qubit, Maxymiser и AB Tasty.

Заключение :

И двата метода, A / B и многовариантното тестване увеличават процента на конверсия, подобряват производителността и оптимизират уеб страниците и приложенията. И двете са полезни по свой начин и идват и със своите уникални недостатъци и предизвикателства - от нас зависи да идентифицираме и анализираме кой метод ще отговаря най-добре на изискването.

Ние, тестерите, участваме основно в тестването на промените, направени за прилагане на многовариантни или A / B тестове. След като тези промени бъдат направени и тествани, те могат да бъдат пуснати в производствената среда от маркетинговия или бизнес екип за събиране на резултатите.

Така че е много важно тестерите да тестват тези промени много внимателно, в противен случай крайните резултати биха били неточни, което би довело до огромни бизнес загуби, тъй като това е по-голямата част от времето пряко свързано с бизнес приходите.

Препоръчително четене

• Най-добри инструменти за тестване на софтуер 2021 г. (Инструменти за автоматизация на QA теста)
• Изтегляне на eBook за тестване на Primer
• Статично тестване и динамично тестване - Разлика между тези две важни техники за тестване
• Тестване на натоварване с уроци за HP LoadRunner
• Разлика между десктоп, тестване на клиентски сървър и уеб тестване
• Какво е гама тестване? Последният етап на изпитване
• Какво е тестване за съответствие (тестване за съответствие)?
• Тестване на софтуер QA Assistant Job