Мигрируем с GPT-3.5-turbo на GPT-4o-mini
Угадайте когда я переключил модели.
На днях OpenAI выпустила GPT-4o-mini — новую флагманскую модель для дешёвого сегмента, так сказать.
- Говорят, работает «почти как» GPT-4o, а иногда даже круче GPT-4.
- Почти в 3 раза дешевле GPT-3.5-turbo.
- Размер контекста 128k токенов, против 16k у GPT-3.5-turbo.
Конечно я сразу побежал переводить на эту модель свою читалку новостей.
Если кратко подвести итоги, то это крутая замена GPT-3.5-turbo. У меня получилось сходу, не меняя промпты, заменить двух LLM агентов на одного и суммарно удешевить работу читалки раз в 5 без потери качества.
Но потом я полез тюнить промпт, чтобы сделать ещё круче, и начал сталкиваться с нюансами. О них расскажу далее.
Мои GPT-шки и prompt engineering
Понечки занимаются prompt engineering (c) DALL-E
Я пользуюсь ChatGPT практически с момента выхода её четвёртой версии (то есть уже больше года). За это время хорошо набил руку в написании запросов к этой штуке.
В какой-то момент, OpenAI разрешили настраивать свой чат с помощью собственных текстовых инструкций (ищите Customize ChatGPT в меню). Я постепенно дописывал туда команды и вот на днях размер инструкций превысил разрешённый максимум :-)
Плюс, оказалось, что универсальный набор инструкций не получается — под каждую задачу их нужно подстраивать, иначе они не будут так полезны как могли бы быть.
Поэтому покумекав, я решил вместо кастомизации своего чата, вынести инструкции в GPT ботов. OpenAI называют их GPTs, по-русски буду называть их GPT-шками. По-сути, это такие же чаты, в которых больше лимит на кастомизированные инструкции и в них можно залить дополнительные тексты как базу знаниий.
Когда-нибудь, я сделаю GPT-шку для этого блога, а пока расскажу про двух рабочих лошадок, которыми пользуюсь каждый день.
- Expert — ответы на вопросы.
- Abstractor — краткое изложение текста.
Для каждой будет описание базового промпта с моими комментариями.
OpenAI недавно открыла магазин GPT-шек, буду благодарен если пролайкаете мои. Конечно, только если они вам полезны.
Чистим результаты опроса игроков в стратегии
Опрос был нацелен на любителей стратегических игр, удалось попасть достаточно точно.
Недавно просил вас пройти опрос о стратегических играх.
Спасибо всем, кто уделил этому время. Пора делиться результатами.
Было заполнено 363 анкеты. После нормализации и очистки данных осталось 304.
Будет два поста:
- Этот — о методике сбора и обработки данных, их очистке. Будут пошарены очищенные данные.
- Следующий — об анализе результатов.
Делаем вымышленную вселенную: опрос
Если вы любите играть в стратегии и околостратегические игры, пройдите пожалуйста опрос.
Результаты обязательно будут опубликованы.
Если можете — пошарте анкету среди друзей, знакомых, коллег.
Заранее спасибо!
Продолжаются занятия в Product Vision Masters.
Недавно я проводил небольшое качественное исследование в виде интервью с игроками. Его вопросы можно найти в репозитории: org, html. Результатов, к сожалению, там нет — каждый разговор был довольно персонален и его транскрипция может «спалить» респондента, что не правильно с точки зрения проведения опросов.
Тем не менее, итогом интервью как раз и является анкета в начале поста — список вопросов, на которые надо получить ответ перед демкой. Это и было задачей качественного исследования.
Два года пишем RFC — статистика
Два года как я Lead/Engineering Manager в платёжке Palta. А на следующей неделе я ухожу из компании в очередной творческий отпуск.
Время подводить итоги. Начну с моей самой любимой инициативы.
С первого месяца я начал продвигать идею предварения крупных изменений текстовыми документами — RFC — Request for Comments.
В этом посте будет анализ двух лет применения этой практики. Чтобы пошарить опыт, подвести итоги и иметь под рукой агитку для моего следующего места работы.