Разные темы:

Методы количественных исследований, их особенности и ошибки

Сергей Шпак, Максим Гойхман, Евгения Змитроченко, Анна Майстренко, Вера Сивакова, Екатерина Фомина, Максим Мусаев

February

2024

Всем привет! Перед вами гайд по типам количественных исследований. Материал поможет понять суть каждого из них, а также алгоритмы проведения, особенности и возможные ошибки, чтобы в будущем вы могли выбрать наиболее подходящий инструмент для решения продуктовых задач.

Количественное исследование — способ получить точную информацию об объекте или ситуации, выраженную в числах и подтвержденную статистически.

Особенности такого вида исследований в том, что они:

Задают четкий формат собираемых данных и конкретный список вопросов, ответы на которые вы хотите найти;
Предполагают участие большого количества респондентов;
Позволяют обработать собранную информацию математическими способами, чтобы использовать для статистической валидации гипотез.

Чаще всего количественные методы исследований используют в B2C-сегменте, а в В2В — если есть крупное количество клиентов (например, в B2B2C может быть «доступ» к значительному числу пользователей) или на уровне привлечения, где будет много трафика, поскольку данный вид исследований требует большого размера выборки для получения статистически значимых результатов.

Существуют следующие виды количественных исследований, которые мы рассмотрим:

Опрос;
A/B-тестирование;
Многовариативное тестирование;
Многорукий бандит;
Проверка гипотез с помощью рекламы.

#valerie

Опросы

Опрос — количественное исследование, которое представляет собой анкету, предполагающую четкую последовательную структуру закрытых и открытых вопросов.

С помощью этого метода можно решить множество продуктовых задач: от подтверждения или опровержения гипотез после качественных исследований (например, вы работаете над образовательным сервисом и во время глубинных интервью услышали, что клиенты хотят видеть фичу, которая подскажет, какую профессию выбрать, и теперь вам необходимо подтвердить эту гипотезу на большей выборке) до получения оценки удовлетворенности пользователей (например, с помощью методологий NPS или CSI).

Алгоритм проведения опросов

Этап 1. Определить цель исследования.

Как и во всех последующих методах исследований, мы рекомендуем начинать с постановки цели, которую вы собираетесь достичь с помощью выбранного вида исследования.

Пример: вы продакт-менеджер сервиса по покупке дешевых авиабилетов и хотите узнать, с помощью каких инструментов ваша ЦА планирует свои путешествия и составляет маршрут. Это необходимо, чтобы в будущем добавить фичу, которая поможет закрыть такую задачу в рамках одного продукта.

Этап 2. Сформулировать Definition of Done.

Любые исследования можно проводить бесконечно долго, поэтому следует заранее подумать про то, что будет конечным результатом.

Пример: опросили минимум 100 человек из числа постоянных клиентов; проанализировали полученные результаты; получили данные по наиболее популярным конкурентам, с помощью которых пользователи планируют маршрут, и тому подобное.

Этап 3. Описать целевую аудиторию.

В опросах крайне важно качество выборки. Даже собственная база клиентов может быть нерепрезентативной, если опрос пройдут только самые лояльные пользователи (т. е. выводы нельзя будет масштабировать на всех).

Пример: пользователи, которые покупали билеты N раз за последний год и подходят определенным демографическим критериям.

Этап 4. Подготовить дизайн исследования (размер выборки, вопросы для анкеты и так далее).

Размер выборки также очень важный критерий, который влияет на качество проведения опроса, поскольку от него зависит вероятность допустимой статистической ошибки.

Пример: с помощью онлайн-калькулятора вы определили, что необходимо опросить 300 человек.

Составить корректную анкету с хорошим балансом открытых и закрытых вопросов — сложная задача. Можно начать с квалифицирующих, чтобы сразу понять, от какого сегмента аудитории мы получаем ответ. Далее надо определиться, показываем ли сразу все вопросы или разобьем их на блоки, чтобы визуально уменьшить объем анкеты. Если есть вопросы, в которых можно выбрать несколько вариантов, рекомендуем добавить пункты «Нет ответа» или «Другое».

Этап 5. Провести предварительное тестирование.

Важно сделать кросс-чек на правильное понимание вопросов. В идеале проверить анкету на нескольких людях, которые представляют исследуемую ЦА. Безусловно, можно показать опросник коллегам, но также следует учитывать, что они могут быть погружены в профессиональный контекст, которого нет у пользователей.

Пример: перед новогодними праздниками пользователи не отвечают, а коллеги ушли в отпуск, поэтому вы решаете проверить анкету с помощью ChatGPT. В промте указали, что нейросеть — человек, который не понимает сложные термины, и попросили обозначить, какие вопросы вызывают сомнения. Способ не дает 100% гарантии, но предположим, что он помог выявить некоторые двусмысленные моменты.

Этап 6. Проведение опроса.

Рекомендуем в процессе прохождения исследования проверять метрики заполняемости анкет (конверсия в старт, прохождение и, например, среднее время заполнения), а также отслеживать, чтобы аудитория подходила по ранее обозначенными критериям.

Этап 7. Проанализировать полученные данные и сформулировать выводы.

Также важно на этом этапе продумать следующие шаги, чтобы результаты исследования были использованы и вы понимали, какую задачу необходимо решить дальше, чтобы продвинуться к поставленной цели.

Пример: по результатам исследования стало понятно, что большая часть юзеров пользуются двумя сервисами, но при этом отмечают, что сталкиваются с большими неудобствами. Вы принимаете решение более подробно изучить продукт конкурентов и начать собирать прототип собственного решения, чтобы продолжить дальше развивать и тестировать новую фичу.

Инструменты для проведения опросов

Выбор инструмента будет зависеть от типа опроса, который вам необходимо провести. Если запланировано общение с пользователями по телефону — будет достаточно и распечатанной анкеты. Если анкетирование проходит онлайн, то может понадобиться цепочка связанных инструментов для рассылки, составления анкеты, аналитики и прочее.

Примеры сервисов: Google Forms, SurveyMonkey, TypeForm, SurveyGizmo, Oprosso. Хочется особо выделить LimeSurvey — это open source-решение, которое можно установить на свой сервер и использовать. Дополнительная фишка: возможность добавлять нестандартную аналитику (например, подключить вебвизор и смотреть, как респонденты проходят опрос).

В крупных компаниях, где проводят большое количество таких исследований и требуется значительная гибкость в их настройке, как правило, используют инструменты собственной разработки.

Особенности опросов

Опрос — крайне гибкий метод, поэтому критично с самого начала выбрать, на какой вопрос вы пытаетесь ответить. Этот инструмент может помочь узнать, как пользователи относятся к вашему продукту, или, например, изучить конкурентов: какие у них есть сильные и слабые стороны. Не стоит в рамках одного исследования пытаться получить ответы на все вопросы сразу.
Для обработки ответов на открытые вопросы можно использовать сторонние сервисы (например, инструмент для SEO-анализа от Semrush), где необходимо разбить текст на ключевые слова и, как результат, получить статистику — сколько раз каждое слово встречается в ответах. После можно объединить слова в тематические группы, чтобы определить часто встречающиеся темы. Еще в решении такой задачи поможет простой скрипт на Python либо формула SEARCH в любом редакторе электронных таблиц.
На некоторые темы можно найти уже готовые отчеты и не тратить время на проведение собственных опросов. Возможно, кто-то из ваших прямых конкурентов исследовал аудиторию, с которой вы работаете, и поделился результатами на какой-нибудь конференции. Также отчеты можно поискать в открытых источниках, как consumerbarometer.com, ResearchGate или, например, www.nielsen.com (источник зависит от вашего домена).

A/B-тесты

A/B-тестирование, также известное как сплит-тестирование, — эксперимент, который позволяет объективно оценить, какая из версий продукта работает лучше с точки зрения выбранной метрики. Для проведения теста пользователи делятся на две и более групп случайным образом.

В некоторых случаях A/B-тест проводится не в целях найти лучшую версию продукта, а чтобы понять, не ухудшаются ли метрики.

Пример: вы продакт-менеджер в маркетплейсе и в ближайшее время ожидается расширение каталога товаров в 2 раза. Текущая инфраструктура не рассчитана на такие объемы, поэтому предполагается увеличение времени загрузки карточек товаров в каталоге в 2 раза. Вам необходимо понять, будет ли негативное влияние на метрики при этих изменениях.

Алгоритм проведения A/B-тестирования

Предположим, что вы развиваете e-commerce-продукт. Ключевая метрика, за которую отвечаете — это конверсия из карточки товара в корзину. Вы провели анализ конкурентов и выяснили, что, в отличие от вас, у них отображается описание ключевых преимуществ прямо на карточке товара рядом с кнопкой добавления в корзину.

Этап 1. Сформулировать гипотезу и определиться с метриками.

На данном этапе важно предположить, какое изменение произойдет в продукте и как оно повлияет на ключевую метрику. Также для дополнительной проверки возможного негативного влияния на другие части сервиса необходимо выбрать guard-метрики (метрики-защитники, которые не должны ухудшаться во время тестирования).

У вас появилась гипотеза: если мы добавим описание ключевых преимуществ на карточку товара, конверсия в добавление в корзину увеличится на 1 процентный пункт, так как пользователям будет более очевидна ценность продукта. Guard-метрикой вы выбрали среднюю маржинальность добавленных в корзину товаров.

Этап 2. Определить количество групп. Разработать контрольный и тестовый(е) варианты продукта.

Для проверки гипотезы вы решаете провести A/B-тестирование с двумя группами: контрольной хотите показывать старую версию карточки товара, тестовой — новую, с активным выделением ключевых преимуществ цветом.

Этап 3. Выбрать аудиторию, которая будет участвовать в A/B-тесте.

Вы решаете проводить A/B-тест на всем трафике мобильного приложения в РФ.

Этап 4. Определить пропорции групп.

Трафик будете делить в пропорции 50 на 50.

Этап 5. Определить длительность A/B-теста.

Длительность A/B-теста будет зависеть от минимального значимого эффекта в тестовой группе.

Пусть:

Вас интересует эффект не менее +1 процентный пункт к конверсии из карточки товара в корзину;
В среднем трафик в мобильном приложении 100 000 пользователей в день;
Текущий показатель конверсии из карточки товара в корзину равен 40%.

Воспользуемся калькулятором для расчета размера выборки.

Пример: необходимый размер выборки — 75 тысяч пользователей. Такой объем аудитории вы наберете за одни сутки с учетом дневного трафика и деления 50 на 50, но по двум дням делать вывод некорректно, так как присутствует недельная сезонность и в разные дни недели может быть разный состав трафика: например, на выходных больше физлиц, а в рабочие дни — юрлиц. Поэтому вы выбираете длительность теста 7 дней.

‍Этап 6. Убедиться, что вы готовы к запуску A/B-теста.

Проверьте:

Тестовая версия продукта готова к тесту и не содержит багов;
Настроены события, которые позволяют анализировать метрики по тестовой и контрольной группам;
Сбор событий происходит корректно;
В это же время не запланированы/не идут другие A/B-тесты, которые могут повлиять на ваш или тестируют изменение той же метрики.

Этап 7. Запустить A/B-тест и ждать окончания.

В первые часы после запуска теста следует убедиться:

Тестовая и контрольная версии продукта работают без багов;
Вы не перепутали группы (тестовую версию продукта видит тестовая группа, контрольную — контрольная);
События собираются;
Метрики выглядят адекватно.

Этап 8. Проанализировать результаты.

После окончания теста следует измерить выбранную на шаге 1 метрику для контрольной и тестовой групп и выяснить, есть ли статистически значимые различия между метриками в разных группах.

Статистическая значимость помогает определить, насколько результирующее различие между группами данных (например, результаты A/B-тестирования) отражает реальное различие, а не является следствием случайности или флуктуаций.

Пример: спустя неделю ваш A/B-тест закончился, по его результатам целевая метрика — конверсия из карточки товара в корзину — выросла на 3 процентных пункта, разница между контрольной и тестовой группами статистически значима.

Этап 9. Принять решение о дальнейших шагах.

На основе результатов из этапа 8 необходимо принять решение о дальнейшем плане действий.

Пример: рост конверсии из карточки товара в корзину на 3 процентных пункта — отличный результат, так как ранее максимальный рост конверсии этой метрики, который вам удавалось достигать, — 1 процентный пункт. Вы принимаете решение изменить дизайн для всего трафика на сайте.

Инструменты для проведения A/B-тестов

Существует ряд готовых инструментов, которые помогут вам провести A/B-тест:

В крупных компаниях, где проводят множество A/B-тестов и требуется большая гибкость в их настройке, как правило, используют собственные инструменты.

Особенности

Если сравниваете метрику продукта сейчас и месяц назад, когда вы его изменили, это не A/B-тест🙂 A/B-тест предполагает, что тестовый и контрольный варианты продукта проверяются в одно и то же время на одинаковой аудитории.
Каждая группа должна видеть только свой вариант — если пользователь попал в группу A, в течение всего эксперимента он видит вариант, предназначенный именно для нее. Недопустимо, чтобы пользователь участвовал одновременно и в группе А, и в группе B, так как это влияет на его поведение и искажает результаты теста. Иногда это условие сложно соблюсти, например, в случаях когда один и тот же человек может использовать ваш продукт с авторизацией и без.
Пропорции деления аудитории в A/B-тесте могут быть отличными от 50 на 50. Как правило, пропорция тестовой группы уменьшается, если вы не уверены, что ваша гипотеза сработает. Также, если необходимо протестировать рискованную гипотезу, иногда проводят несколько последовательных A/B-тестов. Первый — на малом объеме трафика в тестовой группе, например на 5%; после него ваша цель — убедиться, что нет критичного падения guard-метрик. Затем проводится A/B-тест на большем объеме трафика в тестовой группе, например 50%.
A/B-тест предполагает разделение аудитории на 2 группы, но иногда для одновременной проверки нескольких версий фичи мы можем запустить A/B/C-тест или, например, A/B/C/D-тест. Эти эксперименты все так же будут сплит-тестами, а не многовариантным тестированием (о его особенностях раскрываем ниже в этом гайде). Здесь важно понимать, что увеличение числа групп пропорционально влияет на рост количества необходимого времени для проведения эксперимента и повышает вероятность ошибки.
При делении трафика на группы в одну из них могут попадать разные сегменты пользователей. В некоторых случаях правильнее считать результаты в разрезе сегментов.Пример: у интернет-магазина есть мобильные приложения для Android и iOS. Часто аудитория на разных фронтах достаточно сильно отличается. Например, вы решили протестировать увеличение цен на 10%, вероятно, что пользователи iOS будут менее чувствительны к изменению цены. В таком случае, если вы будете анализировать результаты теста Android и iOS, можете не увидеть различий в метриках на разных ОС. То же касается проведения A/B-теста на платформе в нескольких странах.

Многовариативное тестирование

Многовариативное тестирование — эксперимент, который позволяет определить наиболее эффективную комбинацию элементов с точки зрения максимизации целевой метрики.

Алгоритм проведения многовариативного теста

Этап 1. Сформулируйте гипотезу. При этом вам необходимо определиться, какие элементы хотите изменить, чтобы выявить наилучшую комбинацию с точки зрения целевой метрики.

Пример: предположим, вам надо протестировать карточку товара, у вас есть 3 варианта изображения кнопки «Корзина» и 2 варианта отображения цены: перечеркнутая просто цена и цена с изображением таймера. Скомбинировав эти варианты, вы получите 6 версий главной страницы, которые можно проверить в многовариативном тестировании.

Ваша гипотеза звучит так: существует комбинация вариантов изображения корзины и мотивирующего элемента рядом, которое обеспечит рост конверсии.

Этап 2. Рассчитайте количество комбинаций. Разработайте все необходимые версии продукта для тестирования.

Общее количество вариаций, возможных в многовариативном тесте, всегда будет:

Количество версий продукта, которое вы будете тестировать, понадобится далее, для расчета длительности теста.

Этапы 3–9, аналогичные шагам, описанным в разделе с A/B-тестированием, за исключением количества групп.

Многовариативный тест может ускорить проверку вариантов, устранив необходимость запуска нескольких последовательных A/B-тестов на одной и той же странице с одной и той же целью.

Особенности

Не стоит путать с A/B-тестированием. В нем вы меняете только одну переменную и исследуете ее влияние на целевую метрику. В многовариативном — комбинацию переменных.
Если у вас мало трафика, вам может не подойти многовариативное тестирование, так как с ростом вариантов в проверке гипотезы увеличивается суммарный объем выборки, который будет необходим для возможности сравнения этих групп. Еще следует помнить, что чем больше комбинаций вы тестируете, тем выше вероятность ошибки.
Необходимо, чтобы все комбинации переменных сочетались друг с другом как логически, так и визуально. Вы не можете для многовариативного тестирования выбрать два заголовка «5 самых экстремальных видов спорта» и «Умиротворяющие прогулки в лесу» и две картинки — банджи-джампинг и хвойный лес, так как эти варианты нельзя скомбинировать.
Данный вид исследования уместен, если вы, например, пробуете улучшить готовый дизайн, в то время как A/B-тест лучше подойдет для проверки результата более радикальных изменений, таких как редизайн.
Многовариативные тесты, как правило, проводят с помощью тех же платформ, что и A/B.

Многорукий бандит

Многорукий бандит — алгоритм, который позволяет найти баланс между исследованием и использованием тестируемых групп для максимизации позитивного влияния на ключевую метрику. Другими словами, это разновидность A/B-теста, где распределение трафика происходит автоматически, и со временем версия продукта, которая имеет худший результат, начинает отображаться меньшему проценту пользователей.

Этот вид исследования не полноценная замена A/B-тестированию, но поможет в тех случаях, когда его проведение затруднено: например, недостаточное количество трафика на сайте или необходимо сравнить много вариантов.

Алгоритм проведения исследования с помощью многорукого бандита

Практически не отличается от проведения A/B-теста🙂 Вам также необходимо сформулировать гипотезу, определить, какие изменения в продукт будут внесены, какая будет ключевая метрика и тому подобное.

Среди различий можно выделить:

У данного вида исследования есть несколько вариантов реализации (например: Epsilon-greedy, Upper Confidence Bound, Thompson Sampling), соответственно, для правильного выбора понадобится помощь компетентного аналитика, чтобы корректно решить бизнес-задачу.
Алгоритм добавляет больше гибкости эксперименту: переключение на более успешный вариант происходит автоматически (не надо останавливать тест, как это случается в классическом A/B-тесте).

Особенности

Существует разновидность многорукого бандита — контекстный. В этом случае алгоритм учитывает определенные закономерности поведения субъектов и подбирает для пользователя такой вариант, который принесет наиболее позитивное влияние на ключевую метрику. Этот метод подойдет для решения задач персонализации (поможет выбрать несколько вариантов в зависимости от контекста).
Мощность теста с помощью многорукого бандита может быть ниже, чем у A/B-теста, особенно если разница во влиянии на ключевую метрику незначительна.
Для реализации подобного вида экспериментов сторонних сервисов может быть недостаточно, и понадобится разработка внутреннего технического решения.

Проверка гипотез с помощью рекламы

Продуктовые и маркетинговые гипотезы вы можете тестировать с помощью запуска рекламы.Например, в следующих случаях:

1. Вам необходимо протестировать интерес целевых пользователей к сервису (спрос на него) или к отдельным его функциям, чтобы понять отклик.

Пример: у вас есть идея нового сложного для разработки продукта, аналогов которому еще нет. Чтобы убедиться в том, что на это решение будет спрос, вы делаете Low-fidelity MVP в виде лендинга с описанием предполагаемого продукта. На этом этапе у вас есть только описание продукта, поэтому на лендинге оставляете окошко для сбора контактов заинтересовавшихся. Далее запускаете рекламу, и по переходам на лендинг и оставленным контактам вы можете оценить:

Интерес к продукту;
Вашу потенциальную аудиторию (возраст, пол, интересы юзеров).

2. Вам необходимо предположить будущую экономику продукта и протестировать ее.

Пример: вы хотите запустить новый продукт — фитнес-приложение на подписной модели монетизации. Для начала следует попробовать оценить стоимость привлечения пользователей и спрогнозировать будущую экономику, просчитав все этапы воронки: от показа рекламы до конверсии в покупку.

С помощью тестовых рекламных объявлений в социальных сетях (допустим, что это рабочий канал привлечения пользователей для выбранного домена) можно получить данные по CPM (стоимость за 1000 показов) и СTR (соотношение кликов на рекламу к количеству ее показов). Продолжив воронку с помощью бенчмарков по другим метрикам, таким как IR (коэффициент установок) и CR install → purchase (конверсия из установки в покупку), вы сможете посчитать предполагаемую итоговую стоимость привлечения платного юзера и принять решение о целесообразности запуска такого приложения.

Особенности

Проверка гипотез с помощью рекламы может значительно сэкономить вам ресурсы и время, так как вы отклоните неудачную гипотезу еще на этапе идеи — до того, как будет вложено большое количество средств в разработку продукта. В то же время необходимо иметь в виду, что для запуска рекламы требуется определенный бюджет.

Заключение

Количественные методы исследования играют важную роль в продуктовой разработке. Они позволяют получить объективные данные, обеспечивая статистически значимые результаты. Сделаем резюме:

Важно помнить, что канонический процесс проведения исследования устроен так:

Определите цель исследования;
С помощью качественного исследования выделите гипотезы;
Проверьте гипотезы качественным исследованием;
На базе этого урежьте список гипотез;
Проведите количественное исследование, чтобы провалидировать гипотезы;
Сделайте выводы и двигайтесь дальше.

Комбинация количественных и качественных методов исследования обеспечивает комплексный взгляд на потребности клиентов, что, в свою очередь, способствует созданию более эффективных и пользовательских продуктов.

В целом исследования проводятся для того, чтобы получить объективное понимание происходящего. В чем заключается важность качественных исследований? Без них мы рискуем формулировать гипотезы, основанные исключительно на личных искаженных представлениях, не имеющих ничего общего с реальностью.

Следовательно, качественное исследование является фундаментом для количественного, поскольку помогает сформулировать гипотезы и ряд вопросов для последующего анализа на основе фактов.