Може ли да се вярва безрезервно на резултати от А/Б тестовете

Маркетолозите трябва да бъдат внимателни, когато използват A/B тестване за онлайн реклами на платформи като Meta и Google установява ново проучване, тъй като резултатът на „печелившата“ реклама може да е поради аудиторията, на която се показва, а не поради творческите елементи на рекламата сама по себе си.

Проучването – публикувано в Journal of Marketing – идентифицира недостатък, наречен „разнопосочно показване“, при който дадена реклама може да се представи по-добре, защото един набор от потребители са по-склонни да реагират на нея, отколкото друг набор от потребители, тествани на друга реклама.

Маркетолозите разчитат на комбинация от методи, за да тестват ефективността на своите реклами. A/B тестването се очертава като общоприето решение за намиране на „най-добрата“ онлайн реклама въз основа на уместността – или това, което се нарича обслужване на точната аудитория в точното време. Много кампании се основават на резултатите от това тестване, което дава приоритет на една реклама пред друга.

Научното естество на това тестване кара много търговци да правят предположения относно валидността на резултатите и да базират стратегически решения на данните. Но разликите в ефектите на A/B тестовете „може да не уловят напълно истинското въздействие на тестваните реклами“ върху тези платформи, отбелязват авторите на изследването цитирани в материал на American Marketing Association (AMA).

На практика тестовете дават на „маркетолозите фалшиво чувство за сигурност относно техните решения, базирани на данни“, когато реалността е, че експериментите не са напълно рандомизирани и резултатите може да са погрешни извън строгите параметри на тестване.

Важно е да се разбере, че основната цел на платформата е да увеличи максимално рекламната ефективност, а не да предостави експериментални резултати за търговците.

Точният метод за определяне на уместността на рекламите и към кои потребители да се насочват е собственост на конкретни платформи, които определят това с помощта на алгоритъм, оставащ непрозрачен за рекламодателите.

Една „печеливша“ реклама може да се представи по-добре просто защото алгоритъмът я е показал на потребители, които са били по-склонни да откликнат на рекламата, отколкото потребителите, които са видели другата реклама.

Маркетолозите или приемат „обърканите“ резултати „или инвестират в по-сложни и скъпи методи, за да разберат наистина въздействието на творческите елементи в техните реклами“, заключават изследователите.

Статията на American Marketing Association (AMA) съдържа и конкретни съвети как да се използва A/B тестване в различни контексти.

„Нашето безпокойство не е свързано с използването на определени видове A-B тестове. По-скоро е свързано с начина на представянето на резултатите от тях, сякаш идват от балансирани експерименти и с последващи заключения и управленски решения взети въз основа на тези резултати” – пишат Майкъл Браун и Ерик М. Шварц, автори на изследването, в Journal of Marketing.