Microsoft и Hugging Face представили подход ThinkingBox Training, в котором проверка результата работы агента в базе данных становится сигналом награды для reinforcement learning. Значение метода в том, что он оценивает не убедительность ответа модели и не последовательность вызовов инструментов, а фактические последствия действий: изменились ли нужные записи, выполнены ли условия задачи и не возникли ли лишние побочные эффекты.

Проверяется состояние системы, а не рассказ агента.

В основе подхода лежит среда ThinkingBox-Bench из 507 задач для многошаговых агентных сценариев. Агент получает изолированный backend, набор инструментов и симулированного пользователя, после чего выполняет действия в системе. По завершении эпизода исполнимые проверки сопоставляют конечное состояние базы данных с ожидаемым результатом. Как описано в совместной публикации Microsoft и Hugging Face, корректный итог приносит награду 1, а пропущенные, неверные или дополнительные изменения — 0.

Такой критерий отличается от проверок по текстовому ответу или от оценки отдельного tool call. В бизнес-процессе агент может верно объяснить, что собирался сделать, но создать не ту заявку, не обновить запись клиента или оставить дублирующий объект. Конечное состояние позволяет проверить результат целиком. При этом задача считается выполненной только при соблюдении всех заданных условий, а журнал событий сохраняет данные, нужные для части проверок. Принципы изоляции и сброса среды для каждого запуска подробно описаны в работе о ThinkingBox как песочнице для stateful workflows.

Как из проверки получаются данные для RL.

В репозитории ThinkingBox Training описан цикл: сначала базовую модель запускают на задачах и оценивают вероятность успеха, затем отбирают фиксированный пул эпизодов, после чего агент взаимодействует с новыми изолированными средами, а проверяющий модуль передаёт награду в VeRL. Отбор опирается на policy-relative difficulty: в обучение попадают сценарии, где у исходной политики достаточно неопределённый результат. По данным описания эксперимента, такой пул включал 187 задач.

Авторы использовали Group Relative Policy Optimization, или GRPO. Этот метод сравнивает несколько траекторий для одного задания и вычисляет относительное преимущество удачных вариантов без отдельной value-модели. В прикладных агентных задачах такой механизм может поощрять не только правильный финальный ответ, но и более эффективный маршрут через инструменты. Похожую логику GRPO для сокращения лишних действий при работе с таблицами разбирает исследовательская команда Ramp.

Результат показывает рост надёжности, но не расширение охвата.

После 50 шагов GRPO для Qwen3.8-27B средняя успешность одного запуска на ThinkingBox-Bench выросла с 51,70% до 60,78%. Число задач, которые модель выполнила корректно во всех 20 зафиксированных попытках, увеличилось с 38 до 107. Это наиболее показательный сдвиг: обучение повысило долю сценариев с повторяемым исходом, а не только вероятность единичного удачного запуска.

Одновременно число задач, решённых хотя бы один раз за 20 попыток, снизилось с 453 до 446. В публикации этот показатель обозначен как pass@20, хотя он отражает наличие хотя бы одной удачной попытки. Сочетание метрик указывает на компромисс: дообученная политика стала стабильнее на части сценариев, но не расширила множество задач, для которых способна найти решение хотя бы изредка. Это ограничение существенно для внедрения: разовый успех агента ещё не означает, что процесс можно безопасно автоматизировать.

Почему подход важен для открытых моделей.

ThinkingBox предлагает соединить контуры evaluation и post-training: одна и та же исполнимая среда применяется для тестирования, отладки и обучения. Для открытых моделей это снижает зависимость от ручной разметки длинных многоходовых траекторий, если у команды есть среда с проверяемым финальным состоянием. Однако качество обучения будет ограничено качеством проверяющих правил: если они не фиксируют значимый риск или бизнес-ограничение, модель не получит сигнала, что его нужно учитывать.

Параллельно развивается направление verifier-based RL для интерактивных агентов. Например, авторы проекта EigenData предлагают синтезировать инструментальные диалоги вместе с исполнимыми проверяющими модулями и затем применять GRPO-подобное обучение. Общая тенденция состоит в переносе награды от субъективной оценки текста к проверяемым результатам в среде.

Если Вы строите подобный контур, ключевыми требованиями становятся независимый сброс среды, контроль побочных эффектов, сохранение траекторий и разделение задач для обучения и финального теста. Репозиторий ThinkingBox отдельно рекомендует не пересекать наборы для селекции обучающих задач и публичного бенчмарка. Именно такое разделение определяет, измеряет ли итоговая оценка перенос навыка, а не запоминание конкретных сценариев.