Эссе о разработке игр, мышлении и книгах

Чистим результаты опроса игроков в стратегии en ru

Опрос был нацелен на любителей стратегических игр, удалось попасть достаточно точно.

Опрос был нацелен на любителей стратегических игр, удалось попасть достаточно точно.

Недавно просил вас пройти опрос о стратегических играх.

Спасибо всем, кто уделил этому время. Пора делиться результатами.

Было заполнено 363 анкеты. После нормализации и очистки данных осталось 304.

Будет два поста:

  • Этот — о методике сбора и обработки данных, их очистке. Будут пошарены очищенные данные.
  • Следующий — об анализе результатов.


Оригинальный опросник

Точная копия оригинального опроса: вопросы, варианты ответов, комментарии. Для истории.

Modern News Agency strategy game

Hi, friends!

I'm working on a game about a modern news agency where you play as the chief editor in a megalopolis full of paranormal activities and low-grade heroes. And I need your help ;-)

To make the game better and more interesting, I want to know a little about you — the players, and your preferences.

I will be grateful if you could spare 10-15 minutes to complete this survey. Your answers will be a great help for me.

Cleaned, anonymized results will be published in GitHub repo.

Thank you for your time and support!

Section 1: A few words about you


[radioboxes, choose 1]

  • Female
  • Male
  • Non-binary/Other
  • Prefer not to say


[integer input 1..100]

What is your primary occupation or main daily activity?

[radioboxes, choose 1]

  • Employment (full-time, part-time, self-employed)
  • Student (school, college, university, etc.)
  • Sabbatical / retired / not seeking employment
  • Housekeeping
  • Unemployed / seeking employment
  • Volunteering
  • Other: [your variant]

I'm a game developer

[radioboxes, choose 1]

  • yes
  • no

Section 2: Your game experience

I'm playing on

[checkboxes, multiple choice]

  • PC: Desktop / Laptop
  • Consoles: PlayStation / Xbox
  • Mobile Consoles: Nintendo Switch
  • Mobile devices: iOS / Android + tablets
  • Virtual Reality Headsets
  • TV

Do you play strategy games? Any kind and genre: turn-based, real-time, modern, sci-fi, fantasy...

[linear scale 1..10]

Absolutely not <—> All the time, 100% in love

Which kind of strategy games do you like the most? Select up to four items.

[checkboxes, up to 4]

  • Real-time battles like StarCraft, Supreme Commander, Red Alert, Age Of Empires
  • Tycoons like Game Dev Tycoon, Prison Architect, Transport Tycoon Deluxe
  • 4X like Civilization, Stellaris, Age Of Wonders
  • Grand strategies like Crusader Kings, Europa Universalis, Victoria
  • Decision-driven games, like This Is The Police, Frostpunk, This War of Mine
  • Roguelike strategies like Dwarf Fortress, Rimworld
  • City builders like Sim City, Tropico, "Cities: Skylines", Pharaon, Anno, Settles, Banished
  • I don't like strategies
  • Other: [your variant]

How do you know about new games to play?

[checkboxes, multiple choice]

  • Friends
  • Coworkers
  • Social networks
  • Specialized sites
  • Advertising
  • Newsletter or personalized suggestions like "steam discover queue"
  • Other: [your variant]

Are you answering this survey with honesty?

[checkboxes, multiple choice]

  • Of course not
  • Absolutely not
  • Yes
  • Maybe

How much effort do you usually spend while playing?

[linear scale 1..10]

I play very casually <-> I focus all my attention on a game

What do you like in games the most? Choose up to five items.

[checkboxes, up to 5]

  • Collecting
  • Looting
  • Solving puzzles
  • Configuring challenges / looking at "what if" scenarios
  • Overcoming hard challenges
  • Creating / optimizing strategies
  • Risking
  • Messing with AI or game rules
  • Completing challenges / earning achievements
  • Changing game world
  • Exploring a world
  • Following a story
  • Roleplaying
  • Customizing your avatar or environment
  • Other: [your variant]

I like RPG elements in strategy games: character progress, stories, personal abilities, etc.

[linear scale 1..10]

absolutely not <-> absolutely yes

Section 3: I am the chief editor


You finished the boring part. Let's start the fun one.

I have a few questions about the core concepts of the game that I'm not sure about. I will greatly appreciate your answers.

Let me add some context for you:

  • Our times plus 5-10 years.
  • The world is one leg in singularity and another in paranormal phenomena of different kinds.
  • You are the chief editor of a news agency in a metropolis.
  • You decide what news to publish and how to publish them.
  • You decide what news to investigate and how to investigate them.
  • You decide where to assign your journalists and which risk to take.
  • You manage relations with the pillars of power and with the public.
  • And, of course, your decisions should change society. What is the point of being the chief editor otherwise?

Our world has become dynamic

In the old times, if you were to release a newspaper, you only release a newspaper. In our times, you should publish news in chats, tweet about them, record TikToks, make videos on YouTube, and so on.

For a game about a news agency to be believable, how is it essential to allow more than a single channel of news distribution?

[linear scale 1..10]

Not important at all <-> Absolutely important

Choose up to five channels of news distribution you would like to see in the game in the first place

[checkboxes, up to 5]

  • traditional newspaper or magazine
  • traditional radio
  • traditional TV news
  • news portal on the Internet
  • online radio / podcasts
  • social networks: Twitter, TikTok, Instagram
  • YouTube
  • chats: Telegram, WhatsApp, etc.
  • mobile news application
  • news in virtual reality (however you see them)
  • news in augmented reality (however you see them)
  • news via neural implants (however you see them)
  • magic news devices, aka "magicphone" / magic crystal
  • distribute news with magic creatures, aka "news fairies"
  • other: [your variant]

How realistic should be shown the work of news agencies and journalists? Including all nuances.

[linear scale 1..10]

simplified fairy tale <-> gray morality in all its greatness

How many concurrent news agencies should be in the game?

[radioboxes, choose 1]

  • Only one agency, I want to rule all information flows.
  • A few competitors will be enough. I want to track each of them.
  • The more the better.
  • Doesn't matter
  • Other: [your variant]

Maximum size of your news agency. How many people (journalists, photographs, investigators, etc) do you want to manage?

[radioboxes, choose 1]

  • up to 10 workers
  • up to 25 workers
  • up to 50 workers
  • up to 100 workers
  • I'll build a bureaucratic empire!
  • Other: [your variant]

How much effort do you want to put into managing the budget of your news agency?

[linear scale 1..10]

I prefer focusing on other things <-> Where is my grossbook?

How much effort do you want to put into managing relationships between the agency and everyone outside?

[linear scale 1..10]

I'm not interested in this <-> There is nothing better than good intrigue

Are you still with us? Select the correct answer for 2+5 =

[linear scale 1..10]

How much effort do you want to put into managing the office of your news agency?

[linear scale 1..10]

I prefer focusing on other things <-> I will place every table at the right place

Section 4: Storytelling

Journalism is all about stories. What stories do you want to see?

Choose up to four shades of the plot/genre style you prefer the most.

[checkboxes, up to 4]

  • Sci-fi
  • Cyberpunk
  • Noir
  • Paranormal
  • Adventure
  • Documentary
  • Historic
  • Conspirology
  • Mystery
  • Urban legends
  • Fantasy
  • Fairy tale
  • Other: [your variant]

How complex should morale questions be in the game world?

[linear scale 1..10]

All stories are "black and white" <-> All stories are shades of gray

How do you want to see the world in the game of a modern news agency with some magic and sci-fi technology? Choose up to six options.

[checkboxes, up to 6]

  • Dark
  • Bright
  • Gray
  • Colorful
  • Realistic
  • Imaginative
  • Humorous
  • Dark humorous
  • Sarcastic
  • Polite
  • Simple
  • Complex
  • Utopian
  • Dystopian
  • Happy
  • Depressing
  • Inspirational
  • Dull

Section 5: Finish


You are almost finished. Thank you for your time! I can not say how grateful I am.

Just a few questions left.

In case the game is released, I want to put in credits nicknamess of everyone who helped me.

Enter here your nickname if you want to be there.

[text input]

Write here anything you want to add

[text input]

Шкалы в вопросах одинакового размера: 1..10. Благодаря этому респондентам и разработчику не надо переключать мозг между градациями оценки. Плюс, при обработке данных делаешь меньше ошибок из-за опечаток и копипасты.

В вопросах с множественным выбором количество выбираемых вариантов было ограничено в 1/3 от доступных. Глубокой идеи за 1/3 нет, просто выбрал стандартное правило по соображению «1/2 — много, 1/4 — мало» — вкусовщина.

Проверка опроса на знакомых

Предварительное тестирование опроса — обязательная штука.

Первый вариант опроса был страшненьким, особенно в секции историй — она была полностью переработана.

Также, например, было включено перемешивание вариантов ответа для каждого респондента (Google Forms даёт такую опцию), но после тестирования отключил его. Варианты обычно идут в какой-то логичной последовательности (например, в порядке убывания реалистичности), перемешивание заставляет людей прыгать между противоположными частями области значений вопроса. Это приводит к путанице и страданиям.

Допущенные ошибки

В процессе сбора и обработки данных нашёл несколько ошибок.

  1. Не добавил вопрос «откуда пришли в анкету» — пригодился бы для анализа эффективности её распространения.
  2. В вопросе Which kind of strategy games do you like the most? упустил несколько вариантов:

    • тактика (включая rpg с тактическими боями)
    • tower defense
    • autobattlers (или это тоже тактика?)
    • wargames (а это?)
    • automatization (Factorio, Satisfactory, etc.)

    Люди часто упоминали RPG, но не уверен, что их имеет смысл относить к стратегиям.

  3. В вопросе How do you know about new games to play? забыл вариант «магазины игр». После анализа ответов, сложилось впечатление, что надо давать по варианту на каждый магазин (Steam, GoG, Epic, Google Play, etc.). Возможно, даже на разные фичи магазинов (рекомендации, теги, главная страница).

  4. В том же вопросе стоило явно указать видео сервисы (YouTube, Twitch, etc.).
  5. В вопросе Choose up to four shades of the plot/genre style you prefer the most забыл добавить вариант «horror».
  6. В вопросе How do you want to see the world in the game.. забыл добавить «свой вариант ответа», было бы интересно почитать.
  7. Некоторые вопросы, которые предполагались как вопросы о стратегических играх, сформулированы как вопросы об играх в целом. Это путало респондентов. В будущем буду внимательнее.

Поиск респондентов

Я человек не социальный, мало в каких группах состою. Поэтому было сложно, но я старался :-)

Так как игра будет делаться (если будет), в первую очередь, для англоязычной аудитории (самая большая из доступных), опрос нацеливался на англоговорящих людей и места, где их можно найти.

Анкету активно распространял в:

  • Reddit: subreddits + реклама
  • Discord
  • Facebook
  • 4chan /vst/
  • Fido — попросил знакомого
  • По личным контактам: Telegram, форум «Сказки», знакомые, LinkedIn.

С учётом правил сообществ, конечно.

Список площадок, где размещал анкету, шарить не буду, дабы не провоцировать спам. В любом случае, для ваших целей, скорее всего, надо искать другие сообщества.


К сожалению, не додумался добавить вопрос «откуда пришли в анкету», поэтому эффективность разных каналов оцениваю на глаз.

Сообщества на форумах рулят! Reddit — крутой, 4chan — даже круче :-)

На Reddit у многих subreddits в правилах явно указан запрет на опросы, но есть и те, где разрешено. Обычно, они более специализированные.

От 4chan ждал подставы, игнора или чего-нибудь нейтрального. Был приятно удивлён положительной реакцией. «На хуй», конечно, разок послали, но так, что я даже слезу ностальгии пустил.

Facebook скорее мёртв.

Discord огорожен и очень недружественен к любым ссылкам. Полон попсовых серваков. Но можно найти хорошие ламповые сообщества с отзывчивыми модераторами, большое им спасибо за работу.

Как искать чаты/группы для раскидывания анкеты в Telegram я не понял :-D

Посмотрел на форумы и чаты Steam — они скорее мертвы.

Инфлюэнсерам, стримерам не писал.

Реклама на Reddit

Запускал как страховку — боялся не набрать достаточное количество респондентов. Достаточность мерил на глаз, статистических расчётов не делал.

Так как текстовые посты на Reddit нельзя продвигать с оплатой за клик, пришлось взять картинку из vision-документов.

Таргетировал на конкретные большие subreddits, где не мог сделать пост по правилам сообществ.

Результат превзошёл ожидания. Теперь это мой самый залайканый пост на Reddit — 58 лайков :-D

Навскидку, реклама привела от 30% до 50% респондентов. С ценой за ответ ~1$ плюс-минус. Но, как можно видеть по статистике, переходов на анкету было значительно больше, чем заполненных анкет — много людей отваливается.

Статистика рекламы на Reddit

Статистика рекламы на Reddit

Что я вынес из опыта рекламы:

  • Реклама с включёнными комментариями рулит, если вы готовы на них отвечать. Обязательная опция для инди разработчиков. Это даже пользователи в комментариях отмечали.
  • К ИИ арту, сделанному с минимальным старанием, люди относятся понимающе. Но есть небольшая доля негативных комментариев на эту тему.
  • Цена за клик удивительно низкая (?), что круто.
  • По-моему, пара человек зафоловила меня по итогам рекламного поста.
  • Буду пользоваться дальше.

Методика очистки данных

Хочу поблагодарить всех, кто выбирал свободный вариант ответа и писал свои мысли. Я все их прочитал и сделал кучу заметок!

На момент закрытия анкеты было получено 363 ответа. После нормализации и очистки данных осталось 304.

Ссылка на очищенные обезличенные (анонимизированные) данные будет в конце поста.


Задача нормализации — подготовить данные к анализу, убрать неоднозначности, привести к стандартным форматам.

  • Все ответы приведены к стандартным текстовым или числовым значениям.
  • Все колонки ответов с выбором нескольких вариантов разбиты на независимые колонки, по колонке на вариант, со значениями 1 и 0.
  • Все названия колонок заменены на идентификаторы:
  • q_<short_question_id> для вопроса с одним вариантом ответа.
  • q_<short_question_id>#<short_answer_id> для каждого варианта ответа в вопросе с выбором нескольких ответов.
  • Все свободные ответы со смыслом «всё из перечисленного», «не могу выбрать», «ничего из перечисленного» трактуются как «ничего не выбрано».
  • Свободные ответы, написанные с позиции разработчика игр, игнорировались, так как ожидается именно личное мнение о том что нравится, а не профессиональное «как правильно делать».
  • Некоторые свободные ответы можно было конвертировать в несколько предопределённых. Это не делалось, так как нет времени писать код, а таких ответов только 6.
  • Для всех остальных свободных ответов выбирался наиболее близкий вариант из предложенных в вопросе вариантов. В некоторых случаях добавлялся новый вариант ответа. Например, в случае тактических игр.

В вопрос Which kind of strategy games do you like the most? Select up to four items. добавлен вариант tactics.

В вопрос How do you know about new games to play? добавлены варианты: game_stores, video_services, free_search (в Google), do_not_search (никогда не ищу).

В вопрос Maximum size of your news agency добавлен вариант small_or_automanage для ответов в духе «если с автоматизацией, то большой размер, иначе маленький», и «если будет большой размер, нужна автоматизация, чтобы защититься от микроменеджмента».


Поразительно много людей не готовы честно отвечать на вопросы.

Поразительно много людей не готовы честно отвечать на вопросы.

Задача очистки — убрать некорректные наборы данных — анкеты, заполненные плохо в шутку или сознательно. Конечно, нельзя на 100% определить, как человек относился к заполнению анкеты. Но можно, с помощью эвристик, выбрать анкеты, которые с большой вероятностью заполнены плохо.

Для этого были добавлены вопросы:

  • Are you answering this survey with honesty? — вопрос на внимательность, выявление неуверенных респондентов, шутников. Кроме того, ответив верно на этот вопрос респондент берёт на себя обязательство отвечать верно в будущем. Добавил немного психологии :-)
  • Are you still with us? Select the correct answer for 2+5 = — отсеиваем заснувших или прокликивающих респондентов. Странно, но тут было значительно меньше неправильных ответов, чем в первом вопросе.

Все ответы не равные Yes и 7 приводили к исключению анкеты из итоговой выборки.

Кроме того, исключались следующие анкеты:

  • Слишком большой или слишком малый возраст (2 года, 100 лет).
  • Чрезмерно шутливые или агрессивные свободные ответы («продаю наркотики», расистские высказывания, etc.).


Варианты со свободным ответом значительно усложняют обработку данных, но полезны — указывают на упущения, дают интересные инсайты, читать их интересно.

Большинство респондентов отсеялось по вопросу о честности: Are you answering this survey with honesty?.

Ответы и комментарии на некоторые «свободные ответы»

Поскольку контактов респондентов я не собирал, хочу ответить на пару вопросов, которые задали в свободных ответах.

What's the need for magic elements? Do you think the kind of people interested in news will be interested as much in magical fantasy?

Магические элементы могут быть нужны, чтобы снизить сложность проработки мира. Делать реалистический sci-fi мир сложно. Особенно для игр, когда интересность взаимодействия с миром начинает конфликтовать с реалистичностью его отображения. Магические элементы помогают сгладить эти противоречия.

"/vst/ is a terrible place to advertise on, just so you know.

У меня не было задачи продвижения чего-либо, так как пока нечего продвигать.

В остальном, результаты говорят, что /vst/ — отличное место, чтобы получить обратную связь. Хорошее, отзывчивое сообщество со своей культурой.

Just in relation to the ""realistic journalism"", are we on about like current rag journos, or actual journos? the ones making it on the RSF website after getting shot by Iraqi militiamen, instead of the other journalists using a 10 second social media clip to try and get people throwing bricks at police vans.

Думаю, реалистичное отображение журналистики должно включать оба варианта.

Конечно, можно уделять разное внимание аспектам этой профессии, но если говорить о реалистичном отображении, то надо показывать все стороны.

Лично мне хотелось бы глубже копнуть в крутую опасную журналистику, но это сложная штука, требует много труда и налагает определённую ответственность. Посмотрим.

I know nothing of what you're making but answering the questions made me imagine something for myself"

Так и задумывалось.

  • Первая часть анкеты — техническая и чёткая, её можно оформлять сухо.
  • Вторая часть анкеты про опыт, который люди хотят получать от игр. Опыт не может быть «сухим», «бездушным». Поэтому формулировки должны пробуждать фантазию, заставлять представлять «а как бы оно было, если бы». Надеюсь у меня получилось.

make this game such that it inspire the real journalists to do there jobs properly


I work at a news agency for real. I'll make sure to follow this project.

Много подобных комментариев. На мой взгляд это круто, значит я что-то нащупал.

Небольшая фановая статистика

После подсчёта и группировки ответов из последней секции, появились такие результаты:

  • Пожеланий удачи: 86
  • Жду игру: 38
  • Интересный концепт: 36
  • Отличный опрос: 9
  • Готов быть тестером: 3
  • Оставлено ников для добавления в credits: 289 ~ 80% отвечавших
  • Оставлено ответов на вопрос Write here anything you want to add: 203 ~ 56%

Все комментарии очень позитивные.

Очищенные данные

Очищенные обезличенные (анонимизированные) данные можно найти в репозитории.


Спасибо всем участникам опроса, всем модераторам, которые со мной общались и шарили ссылки.

Отдельное спасибо жене — Юле — за проверку моей работы по очистке данных.