В отчёте по отзывам стоит строка: «37 из 100 упомянули доставку». Через минуту на встрече звучит: «То есть 37% клиентов недовольны доставкой». Это три разных утверждения, и ни одно не следует из исходной строки. Речь шла об авторах отзывов, а не о клиентах. «Упомянули» не значит «недовольны». А сто отзывов не выборка из клиентской базы.
Что на самом деле считает «37 из 100»
Авторов отзывов, а не клиентов. Hu, Pavlou и Zhang описывают два самоотбора: покупают в основном те, кому товар заранее нравится (смещение приобретения), а отзывы чаще пишут те, у кого впечатление крайнее, хорошее или плохое (смещение недоотчётности). Отсюда J-образное распределение оценок. В их эксперименте, где отзыв оставляли все участники, распределение получилось близким к нормальному.
Решения кодировщика. Тема не лежит в данных готовым объектом. Braun и Clarke описывают темы как созданные исследователем из кодов, а не найденные в данных готовыми. Граница между «доставкой» и «работой курьера» проходит там, где её проведёт кодировщик. Сдвинули границу, и число изменилось.
Упоминание, а не мнение. Отзыв, где доставка названа мимоходом, и отзыв, где из-за неё отказались от повторной покупки, дают в таблице одну единицу.
Что говорит методология и где она спорит сама с собой
Первая позиция: считайте. Sandelowski (2001) доказывает, что числа неотъемлемы от качественной работы: они помогают описывать выборку и проверять интерпретации. Maxwell (2010) напоминает, что Becker и Hammersley поддерживали «квазистатистику»: простые подсчёты, которые делают слова «некоторые», «обычно» и «большинство» точнее. При этом Sandelowski называет ловушки: размытый словесный счёт, избыток цифр, подсчёт без контекста.
Вторая позиция: осторожно. Maxwell перечисляет риски: излишнее обобщение, сведение доказательств к количеству и риторическое использование цифр. Raluca Budiu из NN/g пишет, что если 4 из 5 участников сделали что-то, нельзя заключать, что так сделают 80% всех пользователей. Braun и Clarke в 2016 году возражали против инструмента расчёта выборки, в котором значимость темы выводится из её частоты.
Я иду дальше: на качественных данных я не пишу ни процентов, ни «X из N».
Почему не пишу ни процентов, ни «X из N»
- «X из N» читатель превращает в процент сам. Именно об этом предупреждает пример NN/g.
- Цифра отрывается от оговорок. В слайде остаётся «37», а оговорка про самоотбор остаётся в приложении. Sandelowski называет это подсчётом без контекста.
- Частота и важность не одно и то же. Тема, которую назвали несколько человек, может решать судьбу продукта, а тема с большим числом упоминаний может быть шумом.
- Что вместо чисел. Язык частоты («большинство», «несколько», «единичные»), цитаты и указание, кто именно говорил: сегмент, канал, стадия пути.
Когда числа нужны
На количественных данных: закрытый опрос, поведенческая аналитика. Проценты там допустимы, но с указанием размера выборки и метода. Формат определяют данные, а не пожелание заказчика. Если заказчик просит «X из N» по интервью, это разговор на этапе приёма заявки, а не согласование формата.
Как это закреплено в процессе
В моём конвейере исследований с ИИ-агентами это правило не оставлено на усмотрение исполнителя. Оно записано в правила проекта, а скрипт проверки презентаций останавливает выпуск, если находит процент или «X из N» вне цитаты и без пометки о количественных данных и размере выборки.
Что делать
- Определите тип данных до анализа, а не после.
- На качественных данных пишите язык частоты, цитаты и кто говорил.
- Числа только с методом и размером выборки.
- Отзывы читайте как сигнал, а не как оценку распространённости проблемы.
Для коллег вопрос: допускаете ли вы «X из N» в отчётах по интервью и где проходит ваша граница?
Источники
- Hu N., Pavlou P., Zhang J. (2017). On self-selection biases in online product reviews. MIS Quarterly, 41(2), 449–472
- Sandelowski M. (2001). Real qualitative researchers do not count: the use of numbers in qualitative research. Research in Nursing & Health, 24(3), 230–240
- Maxwell J. A. (2010). Using numbers in qualitative research. Qualitative Inquiry, 16(6), 475–482
- Braun V., Clarke V. (2016). (Mis)conceptualising themes, thematic analysis, and other problems with Fugard and Potts’ (2015) sample-size tool for thematic analysis. International Journal of Social Research Methodology, 19(6), 739–743
- Budiu R. Don’t report numbers from small UX studies. Nielsen Norman Group
Есть отзывы, с которыми не знаете, что делать?
Оценка данных бесплатна: посмотрю, что в них можно найти. Принимаю материалы на русском, азербайджанском и английском.
Обсудить разбор отзывов ↗