Feeds Fun: тест маркетинга или как я прогулял 650 евро en ru

Поскольку Feeds Fun уже давно в проде и приносит пользу пользователям, я решил сделать тестовый прогон рекламы, чтобы понять насколько может быть жизнеспособна монетизация проекта в его текущей форме.

Оказалось, нельзя просто так взять и запустить рекламу на современных платформах: нужно сделать поддержку GDPR, user agreement, privacy policy, согласие на cookies, отслеживание событий/метрик, доработать GUI, сделать приемлемый лендинг, etc. Работа растянулась чуть ли не на полгода (фоново, конечно, не full-time), но в итоге я всё запилил, спроектировал эксперимент и готов рассказать вам о результатах.

Цели эксперимента

Главная цель: оценить насколько реалистично получить положительную unit-экономику на платном трафике на текущем состоянии проекта.

Второстепенная цель: проверить ряд гипотез о потенциальных пользователей, которыми я руководствовался при разработке.

Вопросы, на которые хотел ответить

1. Как будут выглядеть метрики покупного трафика без оптимизаций:
   1. Сколько может стоить одна регистрация?
   2. Сколько может стоить один клик?
   3. Сколько может стоить привлечение одного подписчика / одной покупки?
2. На сколько каждая целевая группа заинтересована в Feeds Fun? Про группы см. ниже.
   1. Какая группа будет лучше конвертироваться в регистрации?
   2. Как будут выглядеть воронки для каждой группы?
   3. Какая группа покажет лучший retention?
3. Помогают ли публичные коллекции новостей подталкивать посетителей к регистрации?
4. Как позиционировать Feeds Fun? На каком посыле (message) сосредоточиться? Про позиционирование см. ниже.

Раскладываем вопросы по измерениям

Оригинальные вопросы удалось разложить по трём измерениям:

• группы пользователей;
• посыл / message;
• фокус инструмента.

Это позволило сделать эксперимент более структурированным и понятным; создало решётку измерений, по которой можно смотреть не только на результаты конкретных объявлений/групп, но и на супергруппы. Например, смотреть поведение групп пользователей независимо от посыла, или поведение пользователей на конкретном посыле независимо от группы.

Группы пользователей

Feeds Fun всегда предполагался как инструмент для профессионалов, так как обычный пользователей если и хочет управлять своим потоком новостей, то не настолько глубоко и детально. Плюс, мне нужен был именно такой инструмент, который в итоге получился.

Но таргетироваться на профессионалов в широком смысле не очень удобно. Поэтому, для себя я всегда выделял две группы, которые должны были быть особенно заинтересованы в Feeds Fun: учёные и предприниматели.

Для маркетингового эксперимента я добавил третью группу — читатели новостей — было бы странно не проверить её поведение для продукта, который для новостей и предназначен.

В итоге получилось три группы:

• Учёные — люди которые занимаются наукой или следят за научными новостями.
• Предприниматели — люди которые занимаются бизнесом, стартапами или следят за бизнес-новостями.
• Читатели новостей — люди которые просто читают много новостей.

Посыл / message

Кроме групп пользователей, я хотел уточнить как доносить до людей ценность Feeds Fun — на что делать акцент в рекламе и просто в общении с пользователями.

После некоторых рассуждений я выделил 3 группы фокусных сообщений по 2 сообщения в каждой:

• Функциональность:
  • новости с тегами;
  • оценка новостей по тегам/правилам;
• Ценность:
  • экономия времени на чтение новостей;
  • чтение только самых важных/интересных новостей;
• Эмоции:
  • быть умнее: читать новости по-умному;
  • контроль: понимать почему ты читаешь именно эти новости, а не другие.

Фокус инструмента

Изначально эта группа гипотез не планировалась, но первый запуск показал слишком плохие результаты и мне пришлось разбираться, что пошло не так.

Я выдвинул гипотезу, что читалка была спозиционирована слишком абстрактно и попробовал заменить части текстовых сообщений с "News reader" на "RSS reader".

Второй запуск показал себя значительно лучше, поэтому в эксперименте появилось дополнительное измерение:

• Feeds Fun — это читалка новостей.
• Feeds Fun — это читалка RSS.
• Feeds Fun — это коллекции протеганных новостей.

Можно обратить внимание, что вопрос 3 из целей эксперимента лаконично лёг координатой в этом измерении.

Дизайн эксперимента

Ограничения

Ограничений было, по сути, два.

Во-первых, я не маркетолог, не дизайнер и не копирайтер, поэтому сделать прям крутые профессиональные рекламные артефакты у меня в любом случае не получилось бы. Поэтому старался делать просто и прямолинейно.

Во-вторых, бюджет. Рекламу гонять дорого. Особенно дорого, если вы хотите получить достоверные результаты. Приценившись на скорую руку, я планировал потратить около 500 EUR. С учётом перезапуска эксперимента на середине, уложился в 650 EUR.

Целевая платформа

Местом проведения компании выбрал Reddit, потому что:

• Я им уже пользовался, когда делал опрос предпочтений игроков в стратегии.
• На Reddit очень прямолинейное и понятное таргетирование — можно выбрать конкретные сабреддиты, которые соответствуют целевым группам пользователей.
• Я рассказываю о Feeds Fun на Reddit и вижу позитивную реакцию, поэтому есть ощущение, что Reddit — это подходящая платформа.
• Вообще не представляю современный ландшафт интернет-рекламы, поэтому не было критериев для отказа от Reddit в пользу другой платформы.

Таргетирование

Для каждой группы пользователей выбирал 1-2 самых популярных тематических сабреддита:

• Учёные: r/Science
• Предприниматели: r/Entrepreneur & r/Startups
• Читатели новостей: r/worldnews (r/news не подошёл, так как есть заметный перекос в локальные новости США).

Устройства: только Desktop, так как интерфейс читалки только под него и заточен.

География: любая. По-хорошему надо было бы выдвинуть несколько гипотез о локациях пользователей, но бюджет не позволяет и трафик органики идёт со всего мира. Поэтому решил пока не обрезать аудиторию по этому признаку, оставил на следующий раз.

Дизайн объявлений

Я выбрал вариант объявлений с картинкой и текстом, как самый простой для меня. Предполагаю, что грамотно сделанная анимация работы читалки могла бы дать лучшие результаты, но вероятность что я смог бы сделать её качественно довольно мала.

Для каждой группы пользователей я сделал по скриншоту рабочего интерфейса Feeds Fun с релевантными группе новостями. Пример скриншота вы можете найти на заглавной картинке.

Изначально я планировал делать 3 группы * 6 посылов = 18 вариантов подписей, но в итоге оказалось, что достаточно 6, так как они получились не специфичными для группы пользователей.

Вот подписи для первого запуска:

• News reader with smart tags — try Feeds Fun
• Rank news with your own rules and read the best first — try Feeds Fun
• Save news-reading time by filtering out the noise — try Feeds Fun
• Read relevant news — skip the noise — try Feeds Fun
• Read news smarter — create rules to focus on the stories that count — try Feeds Fun
• Control your news: smart tags + scoring rules = zero noise. Try Feeds Fun

И для второго:

• RSS reader with smart tags — try Feeds Fun
• Rank RSS news with your own rules and read the best first — try Feeds Fun
• Save RSS-reading time by filtering out the noise — try Feeds Fun
• Read relevant RSS news — skip the noise — try Feeds Fun
• Read RSS news smarter — create rules to focus on the stories that count — try Feeds Fun
• Control your RSS news: smart tags + scoring rules = zero noise. Try Feeds Fun

Плюс был тестовый прогон для получения baseline, с текстом: «Personalized news reader – follow the topics you care about»

И два специализированных объявления для публичных коллекций во втором запуске (со ссылкой на страницу коллекции, вместо главной страницы):

• Tagged arXiv papers — follow relevant research with Feeds Fun
• Tagged Reddit business posts — follow relevant news with Feeds Fun

Воронка

Воронка была следующей:

• Reddit: показ объявления.
• Reddit: клик по объявлению.
• Feeds Fun: регистрация.
• Feeds Fun: пользователь подписался на рассылку (свою или из коллекции).
• Feeds Fun: пользователь воспользовался фильтром тегов.
• Feeds Fun: пользователь создал правило оценки новостей.
• Feeds Fun: пользователь ввёл API ключ для OpenAI или Gemeni.

Шаг ввода API ключа я расцениваю как примерный эквивалент оплаты / подписки на сервис, так как это довольно сложный этап и может предполагать траты со стороны пользователя (Gemini имеет бесплатный тариф, у OpenAI только платное использование).

Дополнительно смотрел путь пользователей на сайте от перехода до входа в Feeds Fun, чтобы понять как влияют коллекции на регистрацию.

Ход эксперимента

Бюджет был установлен на 5 EUR / день на объявление.

Изначальный план выглядел так:

• Тестовый запуск на пару дней одного нейтрального объявления для получения baseline.
• Запуск на неделю 18 объявлений.
• Анализ результатов.
• Запуск на неделю объявлений про коллекции, оптимизированных по результатам анализа.
• Полный анализ.

В итоге получилось так:

• Тестовый запуск на пару дней одного нейтрального объявления для получения baseline.
• Первый запуск был остановлен на 4-ый день, т.к. результаты были очень плохие.
• На следующей неделе (чтобы совпадали дни) был сделан второй запуск с откорректированными объявлениями и объявлениям про коллекции.
• Второй запуск был остановлен через столько же времени, что и первый, чтобы в обоих случаях были сопоставимые объёмы выборок.
• Анализ — вы его сейчас читаете.

Результаты

Сырые и агрегированные данные можно найти в таблице.

Средняя температура по больнице:

• потрачено: 605 EUR (без учёта baseline запуска);
• показов: 631277;
• кликов: 6089;
• цена клика: $0.10 EUR;
• регистрации: 18;
• цена регистрации: $33.61 EUR <- самая печальная метрика в моей карьере :-D;
• пользователей, которые создавали правила: 2;
• пользователей, которые ввели API ключ: 0.

Наблюдения & инсайты

Данных для достоверной картины середины (и тем более последних шагов) воронки собрано мало, выводы по ним делать сложно. Точнее выводы по ним получаются пессимистичными.

Ответ на главный вопрос эксперимента: сходу запустить монетизацию на основе покупного трафика не получится, необходимы заметные доработки по разным направлениям.

Органический трафик больше и показывает лучшие результаты, чем покупной. Буквально перед запуском эксперимента я сделал докер контейнеры для Feeds Fun и запостил новость на Reddit — один этот пост привёл пользователей (судя по временным рамкам) больше, чем весь эксперимент. Одновременно эти же пользователи показали лучшие результаты по воронке, чем пользователи из эксперимента.

Гипотезы:

• Контент-маркетинг может быть более эффективным, чем покупная реклама, так как продукт слишком специализированный.
• Программисты и близкие к ним группы могут быть более заинтересованы в Feeds Fun, чем учёные и предприниматели.

Целевые группы

Неожиданно для меня, учёные продемонстрировали худшую заинтересованность (минимальный CTR). Учитывая, что мои знакомые от науки (даже жена!) читалкой пользуются, дело может быть в подаче, или в неверном выборе сабреддита.

В то же время конверсия читателей новостей в регистрации просто ужасная. На сколько я понимаю, CTR 2% — это (очень?) хороший показатель для Reddit. Тем страньше низкая конверсия в регистрации. Это может быть признаком расхождения ожиданий и лендинга, либо каких-то мощных барьеров при регистрации.

Гипотезы:

• Feeds Fun не несёт ценности для людей интересующихся наукой (подписчики r/Science), но несёт ценность для профессиональных учёных (подписчики очень специализированных сабреддитов).
• Ценность Feeds Fun для учёных надо доносить отдельным специфическим способом.
• Лендинг (единственный сейчас) может быть непонятен для казуальных пользователей.
• GUI всё ещё выглядит недостаточно «профессионально» и может отпугивать часть пользователей.
• Процесс регистрации может быть непонятным для казуальных пользователей.

Фокус инструмента

Объявления с упоминанием RSS показывают заметно лучшие результаты CTR, CPC и регистраций, чем объявления с упоминанием просто новостей. Единственное где показатели падают — это CTR для читателей новостей (для "news" больше чем для "RSS"). Это может быть как статистическим отклонением, так и признаком казуальности пользователей в выбранной группе (не знают что такое RSS).

Коллекции показали себя «никак»: нет хороших показателей, пользователи не заходят на страницы коллекций с главной страницы.

Гипотезы:

• Чем конкретнее и техничнее позиционировать инструмент, тем лучше будут результаты среди профессионалов.
• Коллекции не выглядят полезными для незарегистрированных пользователей, либо не демонстрируют полезность должным образом.

Посыл / message

Если смотреть на регистрации.

Лучшие результаты показывают объявления с посылом на релевантность:

• Read relevant RSS news — skip the noise — try Feeds Fun

Второе и третье место делят теги и правила (правила чуть лучше):

• Rank RSS news with your own rules and read the best first — try Feeds Fun
• RSS reader with smart tags — try Feeds Fun

Остальные посылы значительно ниже по метрикам.

Гипотезы:

• Утилитарные свойства (релевантность, теги, правила) более понятны и ценны для пользователей.

Лучшая группа

Лучшая цена результата у объявления с упоминанием RSS и релевантности, стоимость регистрации 12.5 EUR.

Если смотреть пристальнее, то стоимость регистрации у группы учёных с этим объявлением ~8 EUR, но я не готов делать выводы по выбокам такого размера. Также это интересно противоречит предыдущим наблюдениям о группах учёных.

Последние шаги воронки

Данных для оцени нет — только несколько человек дошли до создания правил и никто не ввёл API ключ.

Для сравнения, по органическому трафику данные есть:

• Есть большой провал в конверсии между шагом добавления рассылки (своей или из коллекции) и шагом использования фильров тега.
• Конверсия шага регистрации в шаг добавление рассылки: 80%. При разбивке на типы рассылок, добавление коллекции происходит в 50% случаев. То есть коллекции полезны, но (пока что) только после регистрации.
• API ключ вводит 5% зарегистрировавшихся пользователей. На мой взгляд, это хороший показатель, который говорит что ценность Feeds Fun приносит, надо только понять кому.

Гипотезы:

• Если улучшить поведение сервиса между добавлением рассылки и использованием фильтров тегов, то значительно улучшатся последние шаги воронки.
• Если улучшить onboarding/tutorial, то значительно улучшатся последние шаги воронки.

Общие выводы

Заметно уточнил своё представление о том, как люди смотрят на Feeds Fun, что им важно и нужно. Буду ещё долго крутить в голове разные мысли.

Запустить монетизацию на покупном трафике в одни рабочие руки за разумное время не получится, так как нужно много времени на доработку и много денег на эксперименты.

Ситуация выглядит так, что у меня есть два варианта монетизации читалки.

Вариант 1: сосредоточиться на органическом трафике и контент-маркетинге, растить сообщество проекта пока не наберётся критическая масса пользователей и трафика для включения монетизации.

Вариант 2: искать инвесторов с экспертизой в бизнес части, деньгами на команду и маркетинг.

Action points

Что конкретно из этого буду делать, решу позже. На всё времени не хватит, надо выбирать с умом.

• Сделать план контент маркетинга на лето и попытаться оценить влияние этой практики на рост органического трафика и его свойства.
• Сделать план SEO на лето и попытаться оценить влияние этой практики на рост органического трафика и его свойства.
• Доработать интерфейса регистрации, сейчас он действительно нестандартный и может быть непонятен. Хотя я считаю его идеологически верным :-)
• Провести сессию планирование по вопросам:
  • Как сфокусировать функциональность Feeds Fun на релевантности новостей?
  • Как лучше доносить ценность Feeds Fun в области релевантности новостей?
• Заморозить развитие коллекций, но не удалять, так как позитивно влияют на воронку после регистрации.
• Провести серию интервью:
  • С представителями науки на предмет «что не так?»
  • С казуальными пользователями на предмет понятности лендинга.
  • С любыми пользователями на предмет понятности/доступности интерфейса onboarding/tutorial.
• Сделать редизайн сайта руками профессионального дизайнера.
• Собрать грубую экономическую модель для платного трафика, чтобы оценить порядок необходимых улучшений показателей рекламы.
• Собрать прототип презентации для инвесторов, чтобы посмотреть на проект со стороны.

Заметки для следующих экспериментов

• Проверять меньшее количество гипотез за раз, чтобы получать более достоверные результаты.
• Проверить группу программистов.
• Проверить группу «профессиональные учёные».
• Проверить разные варианты лендингов.
• Проверить отличия в географии пользователей.
• Сосредоточиться на сообщениях о релевантности новостей.
• Подумать над ещё более точными и конкретными формулировками текстов.
• По возможности проверить сообщения с упоминанием тегов и правил.
• Проверить эффективность рекламы на других платформах: Google Ads, Facebook, etc.
• Проверить работу других форматов рекламы.