Анализ данных

Как проанализировать данные опроса с научной точки зрения

Создайте онлайн-опрос сегодня

Отметьте главные вопросы исследования

В первую очередь, давайте поговорим о том, как анализировать полученные ответы на главные вопросы Вашего исследования. Если Вы помните, Вы определили главные вопросы исследования, когда задавали цель опроса.

Например, если Вы провели конференцию в сфере образования и предложили участникам опрос для сбора отзывов о проведенном мероприятии, один из главных вопросов исследования, возможно, звучит так: «Как участники оценили конференцию в целом?» Теперь посмотрите на ответы, собранные для того вопроса в опросе, который соответствует этому главному вопросу исследования:

Screen Shot 2014-03-05 at 10.46.26 AM

Обратите внимание, что в ответах указаны процентные значения (71 %, 18 %) и числовые значения (852, 216).

Проценты объясняются просто — это процентная доля участников, давших определенный ответ. Иначе говоря, процентные значения представляют количество людей, которые дали соответствующий ответ, как часть от числа всех участников, ответивших на этот вопрос. Так, 71 % респондентов Вашего опроса (852 из 1200 опрошенных) планируют вернуться в следующем году.

В данной таблице также показано, что 18 % респондентов не планируют участвовать в следующей конференции, а 11 % не могут дать определенного ответа.

Числовые значения — это количество респондентов, которые дали соответствующий ответ. Так, 852 респондента ответили: «Да, я вернусь в следующем году!» Если предположить, что большинство людей, которые сказали «да» и, возможно, некоторые из тех, кто не был уверен, придут на конференцию в следующем году, можно будет построить модель прогнозирования для оценки количества людей*, которые примут участие в конференции в следующем году. *Это количество можно определить с большей уверенностью, если у Вас был очень высокий уровень участия, то есть большинство людей, посетивших конференцию и получивших Ваш опрос, прошли его.

Составление перекрестных таблиц и фильтрация результатов

Вспомните, что когда Вы задавали цель для своего опроса и разрабатывали план анализа, Вы должны были подумать о том, какие подгруппы следует проанализировать и сравнить. На данном этапе Вам и пригодится этот план. Предположим, Вы хотели бы знать, как ответы преподавателей, студентов и администраторов на вопрос о конференции в следующем году отличаются друг от друга. Чтобы выяснить это, Вам необходимо создать перекрестную таблицу, которая показывает результаты вопроса о конференции по подгруппам:

Screen Shot 2014-03-05 at 10.54.10 AM

Из этой таблицы видно, что большинство студентов (86 %) и преподавателей (80 %) планируют быть на конференции в следующем году. Однако администраторы, которые были на конференции, думают по-другому: вернуться намереваются менее половины из них (46 %)! Надеемся, что другие наши вопросы помогут Вам понять, почему так происходит и что можно сделать, чтобы улучшить у администраторов мнение о конференции.

Фильтр — еще один полезный инструмент анализа данных. После применения фильтра Вы занимаетесь одной конкретной подгруппой и отбрасываете все другие. Так, вместо того, чтобы сравнивать подгруппы друг с другом, здесь мы просто смотрим, как одна подгруппа ответила на вопрос. Например, Вы можете сконцентрировать свое внимание только на женщинах или только на мужчинах, а затем снова применить перекрестную таблицу по типам участников, чтобы сравнить женщин-администраторов, преподавательниц и студенток. Но, анализируя результаты, необходимо помнить об одной опасности: при каждом применении фильтра или перекрестной таблицы размер выборки уменьшается. Чтобы убедиться в том, что Ваши результаты остаются статистически значимыми, возможно, полезно применять калькулятор размера выборки.

Сопоставительный анализ, определение тенденций и сравнительные данные

Допустим, что один из ключевых вопросов Вашего опроса о конференции звучал так: «В целом, насколько Вы были довольны конференцией?» Ваши результаты показывают, что 75 % участников остались довольны конференцией. Это звучит неплохо. Но хотелось бы иметь больше контекста. С чем это можно сравнить? Это лучше или хуже, чем в прошлом году? Как это выглядит в сравнении с другими конференциями?

Предположим, Вы задали этот вопрос в своем опросе по результатам прошлогодней конференции. Вы сможете выявить тренд. Как говорят профессиональные опросчики, «тренд — Ваш друг».

Если в прошлом году уровень удовлетворенности составлял 60 %, Вам удалось повысить удовлетворенность на 15 процентных пунктов!  Что вызвало такой рост удовлетворенности? Надеемся, что это можно будет узнать из ответов на другие вопросы Вашего опроса.

Если у Вас нет данных по конференциям прошлых лет, начните в этом году собирать отзывы после каждой конференции. Эта операция называется сопоставительным анализом. Вы задаете эталонное или базовое значение и в дальнейшем следите за тем, изменилось ли оно, и если да, то как. Сопоставительный анализ можно применить не только к удовлетворенности участников, но и к другим вопросам.  Вы сможете год за годом отслеживать, что участники думают о конференции. Такой анализ данных называется долгосрочным. Узнайте, как наш инструмент сопоставительного анализа SurveyMonkey Benchmarks может помочь Вам получить контекст из результатов опроса.

Что такое долгосрочный анализ?

Долгосрочный анализ данных (часто называемый «анализом трендов») в основном отслеживает, как реакция на определенные вопросы изменяется со временем.  После того, как будет установлен эталонный уровень, Вы сможете определить, будут ли меняться показатели и как они будут меняться.  Предположим, что уровень удовлетворенности Вашей конференции составлял 50 % три года назад, 55 % два года назад, 65 % в прошлом году и 75 % в этом году. Примите наши поздравления! Долгосрочный анализ данных показывает устойчивую склонность удовлетворенности к повышению.

Можно также отслеживать данные для разных подгрупп. Например, уровень удовлетворенности год от года возрастает у студентов и преподавателей, но не у администраторов.  Изучив ответы администраторов на различные вопросы, Вы, возможно, найдете причины, по которым они удовлетворены меньше других участников.

Работа с числами

Вы знаете, сколько участников обещали вернуться на конференцию снова, но можно ли доверять ответам, полученным на Ваш опрос, и можно ли уверенно использовать их для обоснования будущих решений? Важно обратить внимание на качество Ваших данных и понять, что определяет их статистическую значимость.

В повседневной речи слово «значимый» означает важный или имеющий смысл. В анализе опросов и статистике значимость — это «оценка точности». Именно здесь, говоря об опросе, мы неизбежно будем вынуждены сказать «плюс-минус столько». В частности, это означает, что результаты опроса являются точными с определенным уровнем достоверности, а не зависят от игры случая. Делать выводы на основе неточных (то есть не статистически значимых) результатах рискованно. Каждый раз при оценке статистической значимости в первую очередь следует рассматривать репрезентативность Вашей выборки — то есть, в какой степени группа людей, включенных в Ваш опрос, «похожа» на всю совокупность людей, о которых Вы хотите сделать выводы.

Если 90 % участников опроса после конференции были мужчинами, но среди всех участников конференции мужчин было только 15 %, то Вы в затруднительном положении. Чем больше Вы знаете о совокупности людей, которую хотите исследовать, тем с большей уверенностью Вы можете смотреть на результаты опроса. Было бы неплохо, если бы в этом примере мужчины составляли 15 % респондентов.

Если участники опроса случайным образом выбраны из известной совокупности, статистическую значимость можно вычислить довольно просто. Самым важным фактором здесь будет размер выборки. Предположим, на опрос ответили 50 из 1000 участников конференции.  50 (пятьдесят) — это малая выборка, которая дает большую погрешность.  Иначе говоря, Ваши результаты не будут иметь большого веса.

К примеру, Вы спросили у респондентов, сколько пленарных заседаний из 10 возможных они посетили на конференции. И результаты выглядят вот так:

Screen Shot 2014-03-05 at 11.02.19 AM

Возможно, Вам понадобится проанализировать средние величины. Как Вы знаете, средние величины бывают трех видов: среднее арифметическое, медиана и мода.

В приведенной выше таблице среднее количество посещенных сеансов равно 6,3. Это среднее арифметическое значение — скорее всего, лучше всего известный Вам вид средней величины. Для вычисления среднего арифметического необходимо сложить все числа и разделить полученную сумму на количество этих чисел. В этом примере 10 человек заявили, что они присутствовали на одном пленарном заседании, 50 человек были на четырех заседаниях, 100 человек на пяти заседаниях и т. д. Необходимо перемножить эти пары чисел, сложить произведения и разделить на общее количество людей.

Медиана — это другая разновидность средней величины.  Медиана находится в средине ряда значений, или отметка 50 %. В приведенной выше таблице мы найдем такое количество сеансов, чтобы 500 человек оставались слева от него и 500 — справа. В данном случае медиана — 7 заседаний. Эта величина помогает устранить влияние выпадающих величин, которые могут негативно повлиять на Ваши данные.

Еще один тип средней величины — мода. Модой называется наиболее частый ответ. В нашем случае мода равна шести. 260 участников опроса посетили 6 пленарных заседаний — это больше, чем для любого другого числа сеансов.

Средние арифметические и другие типы средних величин также можно использовать, если Ваши результаты основываются на шкалах Лайкерта.

Выводы

Когда дело доходит до составления отчета о результатах опроса, подумайте, что говорят Вам полученные данные.

Скажем, Ваша конференция в целом получила посредственные оценки.  Вы проанализировали данные и выяснили, в чем дело.  Данные показывают, что участники дали очень высокие оценки почти всем аспектам Вашей конференции — пленарным заседаниям и занятиям, культурной программе и гостинице — но город, выбранный для конференции, им очень не понравился.  (Возможно, конференция проводилась в Чикаго в январе, когда на улице слишком холодно!) Вывод: конференция в целом отличная, но неудачный выбор места.  Зимнюю конференцию лучше было бы устроить в Майами или Сан-Диего.

Один из аспектов анализа данных и составления отчетов, который необходимо учитывать, это причинно-следственная связь и корреляция.

В чем разница между корреляцией и причинно-следственной связью?

Причинно-следственная связь имеет место, когда один фактор вызывает другой, а корреляция — когда две переменные изменяются вместе, но ни одна не влияет на другую.

Например, горячий шоколад и теплые рукавицы — это две переменные, которые коррелируют друг с другом: они увеличиваются и уменьшаются вместе.  Однако ни одна из них не является причиной для другой.  На самом деле они обе вызываются третьим фактором — холодной погодой. Холодная погода влияет как на потребление горячего шоколада, так и на вероятность одевания теплых рукавиц. Холодная погода — это независимая переменная, а потребление горячего шоколада и вероятность одевания теплых рукавиц — зависимые переменные. В нашем опросе о конференции холодная погода, вероятно, повлияла на неудовлетворенность участников конференции местом проведения и конференцией в целом. Наконец, для дальнейшего изучения взаимосвязи между переменными в Вашем опросе может понадобиться регрессионный анализ.

Что такое регрессионный анализ?

Регрессионный анализ — это продвинутый метод анализа данных, который позволяет рассмотреть взаимосвязь между двумя или более переменными. Существует много видов регрессионного анализа, и исследователь выбирает необходимый вид (или виды) в зависимости от изучаемых переменных.  У всех видов регрессионного анализа есть одна общая черта: они рассматривают влияние одной или нескольких независимых переменных на зависимую переменную. При анализе данных опроса нам может быть интересно узнать, какие факторы сильнее всего влияют на удовлетворенность участников. Это количество пленарных заседаний? Или главный докладчик? Культурная программа? Место проведения? Используя регрессионный анализ, исследователь может определить, способствует ли удовлетворенность этими различными сторонами конференции общей удовлетворенности, и если да, то в какой степени. Это, в свою очередь, позволяет выяснить, какие аспекты конференции будет желательно изменить в следующий раз. Например, Вы потратили много денег, чтобы привлечь для выступления на первом пленарном заседании первоклассного докладчика. Участники дали этому докладчику и всей конференции высокую оценку. На основании этих двух фактов можно сделать вывод, что присутствие первоклассного (и дорогостоящего) докладчика — ключ к успеху конференции. Регрессионный анализ поможет Вам установить, действительно ли это так. Возможно, Вы обнаружите, что популярность докладчика была основным фактором удовлетворенностью конференцией. Если это правда, постарайтесь в следующем году заполучить такого же отличного докладчика. Но если регрессия покажет, что хотя оратор понравился всем, это не очень помогло удовлетворенности посетителей конференцией. Если это так, то большие деньги, потраченные на докладчика, лучше будет использовать в другом месте. Не пожалев времени на тщательный анализ достоверности данных Вашего опроса, Вы будете на верном пути к использованию ответов для принятия обоснованных решений.

Назад к опросам 101

Три быстрых совета по увеличению процента ответов на опрос

Ниже перечислены некоторые идеи для стимулирования респондентов к прохождению опросов.

1. Опрашивайте быстро

Если Ваш опрос краток и несложен, то больше вероятность, что респонденты полностью пройдут его.

2. Предлагайте поощрения

Скромные поощрения вроде небольшой скидки или права на участие в лотерее могут гарантировать завершение опроса респондентами.

3. Приобретите целевую аудиторию

Благодаря SurveyMonkey Audience Вы можете приобрести доступ к аудитории, отвечающей определенным демографическим критериям Вашего опроса. Это отличный способ получить целевые ответы от конкретных групп.

Вот почему на SurveyMonkey рассчитывают миллионы людей

Опросы без ограничений

Рассылайте сколько угодно тестов, даже используя бесплатные тарифные планы.

Быстрые ответы

Без труда создавайте и отправляйте профессиональные опросы и оперативно получайте достоверные ответы.

Одобрено экспертами

Пользуйтесь готовыми вопросами и шаблонами, одобренными нашими специалистами.

Результаты в реальном времени

Проверяйте результаты на ходу с любого устройства.Улавливайте тенденции в процессе получения данных.

Новые идеи

Опросы дают Вам не только ответы. Вместе с мнением респондентов Вы знакомитесь с новыми перспективами.

Полезные данные

Получайте новые знания и делитесь ими со своей командой.