Reasoning LLMs are Wandering Solution Explorers ru en

На arXiv появилась интересная статья в пользу того, что современные Reasoning LLM занимаются скорее «случайным блужданием в пространстве решений», чем «систематическим поиском решений».

Основной текст статьи — около 10 страниц довольно простого текста, рекомендую почитать.

Что сделали авторы:

1. Формализовали понятия «систематического исследования пространства решений» и «случайного блуждания в пространстве решений».
2. Построили очень простую и показательную модель как эти штуки работают.
3. На основе этой модели показали, что случайное блуждание можно легко перепутать с систематическим исследованием, если у вас много вычислительных мощностей.
4. Также показали, что эффективность случайного блуждания очень быстро деградирует, если сложность задачи выходит за рамки доступных ресурсов.
5. Формализовали проблемы из реального мира в строго определённые задачи со структурированной областью решений.
6. Протестировали на этих задачах современные LLM и показали, что их поведение скорее напоминает случайное блуждание.

Я скорее согласен с идеей авторов, но не могу утверждать, что статья безупречна. Есть вероятность, что LLM они используют не совсем корректно и задачи формализованы неудобным для них образом.

Однако основная ценность статьи не в финальных выводах, а в отличной формализации процесса поиска решений, концепциях «случайного блуждания» и «систематического поиска», и особенно в упрощённой модели их поведения.

Если вам интересен вопрос «мыслит ли LLM» (и шире — методики поиска решений), рекомендую изучить подход этой статьи, как перспективный угол атаки на проблему.