
Журнал "Программная инженерия"
Теоретический и прикладной научно-технический журнал
ISSN 2220-3397
Номер 10 2026 год
Рассмотрена задача разработки программных агентов на основе больших языковых моделей, способных автоматически выполнять отдельные операции по изменению программного кода, проверке результата и накоплению опыта предыдущих действий. Предложен подход к управляемому улучшению программных систем, при котором агент формирует гипотезы изменений, вносит модификации в кодовую базу, запускает тестовый контур и оценивает полученный результат с использованием функции оценки качества. Управляемость процесса обеспечивается за счет фиксированных условий эксперимента, автоматической проверки изменений и сопоставления результатов различных стратегий поведения агента. Для экспериментальной оценки разработан стенд RSI-Bench, предназначенный для сравнения стратегий поведения программных агентов при решении задач модификации кода. В качестве основной метрики использовалась успешность прохождения автоматических тестов. Дополнительно фиксировались вычислительные затраты и число итераций, необходимых для получения результата. Проведенные эксперименты показали, что в рассмотренных условиях качество решений зависит не только от выбранной стратегии поведения агента, но и от базовой языковой модели, конкретной реализации агента и случайной вариативности между запусками. Установлено, что стратегии самомодификации на уровне текстовых инструкций дают ограниченный и нестабильный эффект. Полученные результаты могут использоваться при разработке систем автоматизированной поддержки программной инженерии и средств оценки качества изменений программного кода.