Чистим результаты опроса игроков в стратегии ru en

Недавно просил вас пройти опрос о стратегических играх.

Спасибо всем, кто уделил этому время. Пора делиться результатами.

Было заполнено 363 анкеты. После нормализации и очистки данных осталось 304.

Будет два поста:

• Этот — о методике сбора и обработки данных, их очистке. Будут пошарены очищенные данные.
• Следующий — об анализе результатов.

Опрос

Шкалы в вопросах одинакового размера: 1..10. Благодаря этому респондентам и разработчику не надо переключать мозг между градациями оценки. Плюс, при обработке данных делаешь меньше ошибок из-за опечаток и копипасты.

В вопросах с множественным выбором количество выбираемых вариантов было ограничено в 1/3 от доступных. Глубокой идеи за 1/3 нет, просто выбрал стандартное правило по соображению «1/2 — много, 1/4 — мало» — вкусовщина.

Проверка опроса на знакомых

Предварительное тестирование опроса — обязательная штука.

Первый вариант опроса был страшненьким, особенно в секции историй — она была полностью переработана.

Также, например, было включено перемешивание вариантов ответа для каждого респондента (Google Forms даёт такую опцию), но после тестирования отключил его. Варианты обычно идут в какой-то логичной последовательности (например, в порядке убывания реалистичности), перемешивание заставляет людей прыгать между противоположными частями области значений вопроса. Это приводит к путанице и страданиям.

Допущенные ошибки

В процессе сбора и обработки данных нашёл несколько ошибок.

1. Не добавил вопрос «откуда пришли в анкету» — пригодился бы для анализа эффективности её распространения.

2. В вопросе Which kind of strategy games do you like the most? упустил несколько вариантов:

   • тактика (включая rpg с тактическими боями)
   • tower defense
   • autobattlers (или это тоже тактика?)
   • wargames (а это?)
   • automatization (Factorio, Satisfactory, etc.)

   Люди часто упоминали RPG, но не уверен, что их имеет смысл относить к стратегиям.

3. В вопросе How do you know about new games to play? забыл вариант «магазины игр». После анализа ответов, сложилось впечатление, что надо давать по варианту на каждый магазин (Steam, GoG, Epic, Google Play, etc.). Возможно, даже на разные фичи магазинов (рекомендации, теги, главная страница).

4. В том же вопросе стоило явно указать видео сервисы (YouTube, Twitch, etc.).
5. В вопросе Choose up to four shades of the plot/genre style you prefer the most забыл добавить вариант «horror».
6. В вопросе How do you want to see the world in the game.. забыл добавить «свой вариант ответа», было бы интересно почитать.
7. Некоторые вопросы, которые предполагались как вопросы о стратегических играх, сформулированы как вопросы об играх в целом. Это путало респондентов. В будущем буду внимательнее.

Поиск респондентов

Я человек не социальный, мало в каких группах состою. Поэтому было сложно, но я старался :-)

Так как игра будет делаться (если будет), в первую очередь, для англоязычной аудитории (самая большая из доступных), опрос нацеливался на англоговорящих людей и места, где их можно найти.

Анкету активно распространял в:

• Reddit: subreddits + реклама
• Discord
• Facebook
• 4chan /vst/
• Fido — попросил знакомого
• По личным контактам: Telegram, форум «Сказки», знакомые, LinkedIn.

С учётом правил сообществ, конечно.

Список площадок, где размещал анкету, шарить не буду, дабы не провоцировать спам. В любом случае, для ваших целей, скорее всего, надо искать другие сообщества.

Впечатления

К сожалению, не додумался добавить вопрос «откуда пришли в анкету», поэтому эффективность разных каналов оцениваю на глаз.

Сообщества на форумах рулят! Reddit — крутой, 4chan — даже круче :-)

На Reddit у многих subreddits в правилах явно указан запрет на опросы, но есть и те, где разрешено. Обычно, они более специализированные.

От 4chan ждал подставы, игнора или чего-нибудь нейтрального. Был приятно удивлён положительной реакцией. «На хуй», конечно, разок послали, но так, что я даже слезу ностальгии пустил.

Facebook скорее мёртв.

Discord огорожен и очень недружественен к любым ссылкам. Полон попсовых серваков. Но можно найти хорошие ламповые сообщества с отзывчивыми модераторами, большое им спасибо за работу.

Как искать чаты/группы для раскидывания анкеты в Telegram я не понял :-D

Посмотрел на форумы и чаты Steam — они скорее мертвы.

Инфлюэнсерам, стримерам не писал.

Реклама на Reddit

Запускал как страховку — боялся не набрать достаточное количество респондентов. Достаточность мерил на глаз, статистических расчётов не делал.

Так как текстовые посты на Reddit нельзя продвигать с оплатой за клик, пришлось взять картинку из vision-документов.

Таргетировал на конкретные большие subreddits, где не мог сделать пост по правилам сообществ.

Результат превзошёл ожидания. Теперь это мой самый залайканый пост на Reddit — 58 лайков :-D

Навскидку, реклама привела от 30% до 50% респондентов. С ценой за ответ ~1$ плюс-минус. Но, как можно видеть по статистике, переходов на анкету было значительно больше, чем заполненных анкет — много людей отваливается.

Что я вынес из опыта рекламы:

• Реклама с включёнными комментариями рулит, если вы готовы на них отвечать. Обязательная опция для инди разработчиков. Это даже пользователи в комментариях отмечали.
• К ИИ арту, сделанному с минимальным старанием, люди относятся понимающе. Но есть небольшая доля негативных комментариев на эту тему.
• Цена за клик удивительно низкая (?), что круто.
• По-моему, пара человек зафоловила меня по итогам рекламного поста.
• Буду пользоваться дальше.

Методика очистки данных

Хочу поблагодарить всех, кто выбирал свободный вариант ответа и писал свои мысли. Я все их прочитал и сделал кучу заметок!

На момент закрытия анкеты было получено 363 ответа. После нормализации и очистки данных осталось 304.

Ссылка на очищенные обезличенные (анонимизированные) данные будет в конце поста.

Нормализация

Задача нормализации — подготовить данные к анализу, убрать неоднозначности, привести к стандартным форматам.

• Все ответы приведены к стандартным текстовым или числовым значениям.
• Все колонки ответов с выбором нескольких вариантов разбиты на независимые колонки, по колонке на вариант, со значениями 1 и 0.
• Все названия колонок заменены на идентификаторы:
• q_<short_question_id> для вопроса с одним вариантом ответа.
• q_<short_question_id>#<short_answer_id> для каждого варианта ответа в вопросе с выбором нескольких ответов.
• Все свободные ответы со смыслом «всё из перечисленного», «не могу выбрать», «ничего из перечисленного» трактуются как «ничего не выбрано».
• Свободные ответы, написанные с позиции разработчика игр, игнорировались, так как ожидается именно личное мнение о том что нравится, а не профессиональное «как правильно делать».
• Некоторые свободные ответы можно было конвертировать в несколько предопределённых. Это не делалось, так как нет времени писать код, а таких ответов только 6.
• Для всех остальных свободных ответов выбирался наиболее близкий вариант из предложенных в вопросе вариантов. В некоторых случаях добавлялся новый вариант ответа. Например, в случае тактических игр.

В вопрос Which kind of strategy games do you like the most? Select up to four items. добавлен вариант tactics.

В вопрос How do you know about new games to play? добавлены варианты: game_stores, video_services, free_search (в Google), do_not_search (никогда не ищу).

В вопрос Maximum size of your news agency добавлен вариант small_or_automanage для ответов в духе «если с автоматизацией, то большой размер, иначе маленький», и «если будет большой размер, нужна автоматизация, чтобы защититься от микроменеджмента».

Очистка

Задача очистки — убрать некорректные наборы данных — анкеты, заполненные плохо в шутку или сознательно. Конечно, нельзя на 100% определить, как человек относился к заполнению анкеты. Но можно, с помощью эвристик, выбрать анкеты, которые с большой вероятностью заполнены плохо.

Для этого были добавлены вопросы:

• Are you answering this survey with honesty? — вопрос на внимательность, выявление неуверенных респондентов, шутников. Кроме того, ответив верно на этот вопрос респондент берёт на себя обязательство отвечать верно в будущем. Добавил немного психологии :-)
• Are you still with us? Select the correct answer for 2+5 = — отсеиваем заснувших или прокликивающих респондентов. Странно, но тут было значительно меньше неправильных ответов, чем в первом вопросе.

Все ответы не равные Yes и 7 приводили к исключению анкеты из итоговой выборки.

Кроме того, исключались следующие анкеты:

• Слишком большой или слишком малый возраст (2 года, 100 лет).
• Чрезмерно шутливые или агрессивные свободные ответы («продаю наркотики», расистские высказывания, etc.).

Примечания

Варианты со свободным ответом значительно усложняют обработку данных, но полезны — указывают на упущения, дают интересные инсайты, читать их интересно.

Большинство респондентов отсеялось по вопросу о честности: Are you answering this survey with honesty?.

Ответы и комментарии на некоторые «свободные ответы»

Поскольку контактов респондентов я не собирал, хочу ответить на пару вопросов, которые задали в свободных ответах.

What's the need for magic elements? Do you think the kind of people interested in news will be interested as much in magical fantasy?

Магические элементы могут быть нужны, чтобы снизить сложность проработки мира. Делать реалистический sci-fi мир сложно. Особенно для игр, когда интересность взаимодействия с миром начинает конфликтовать с реалистичностью его отображения. Магические элементы помогают сгладить эти противоречия.

"/vst/ is a terrible place to advertise on, just so you know.

У меня не было задачи продвижения чего-либо, так как пока нечего продвигать.

В остальном, результаты говорят, что /vst/ — отличное место, чтобы получить обратную связь. Хорошее, отзывчивое сообщество со своей культурой.

Just in relation to the ""realistic journalism"", are we on about like current rag journos, or actual journos? the ones making it on the RSF website after getting shot by Iraqi militiamen, instead of the other journalists using a 10 second social media clip to try and get people throwing bricks at police vans.

Думаю, реалистичное отображение журналистики должно включать оба варианта.

Конечно, можно уделять разное внимание аспектам этой профессии, но если говорить о реалистичном отображении, то надо показывать все стороны.

Лично мне хотелось бы глубже копнуть в крутую опасную журналистику, но это сложная штука, требует много труда и налагает определённую ответственность. Посмотрим.

I know nothing of what you're making but answering the questions made me imagine something for myself"

Так и задумывалось.

• Первая часть анкеты — техническая и чёткая, её можно оформлять сухо.
• Вторая часть анкеты про опыт, который люди хотят получать от игр. Опыт не может быть «сухим», «бездушным». Поэтому формулировки должны пробуждать фантазию, заставлять представлять «а как бы оно было, если бы». Надеюсь у меня получилось.

make this game such that it inspire the real journalists to do there jobs properly

и

I work at a news agency for real. I'll make sure to follow this project.

Много подобных комментариев. На мой взгляд это круто, значит я что-то нащупал.

Небольшая фановая статистика

После подсчёта и группировки ответов из последней секции, появились такие результаты:

• Пожеланий удачи: 86
• Жду игру: 38
• Интересный концепт: 36
• Отличный опрос: 9
• Готов быть тестером: 3
• Оставлено ников для добавления в credits: 289 ~ 80% отвечавших
• Оставлено ответов на вопрос Write here anything you want to add: 203 ~ 56%

Все комментарии очень позитивные.

Очищенные данные

Очищенные обезличенные (анонимизированные) данные можно найти в репозитории.

Заключение

Спасибо всем участникам опроса, всем модераторам, которые со мной общались и шарили ссылки.

Отдельное спасибо жене — Юле — за проверку моей работы по очистке данных.