Рецепты и инженерные проверки, которые можно повторить на своём стеке.
🗓 13–19 октября 2026⚡ статей 10👀 на заметку 3📡 просмотрено 187
О чём пишут на этой неделе
Главная тема недели — проверка того, что агенту доверяют слишком рано. REA пропускает preload-файлы, RAG может цитировать копии одного источника и устаревшую версию документа, а журнал действий подтверждает лишь то, что в него попало. Авторы предлагают предметные проверки: сверить вывод с исходниками, учитывать происхождение контекста и менять запись после seal. Для локальных моделей и coding agents есть отдельные измерения памяти и цены сессии.
⚡
Главные статьи недели
01
Проверить reverse engineering агента по исходникам, а не по его отчёту
Автор прогнал REA на настоящем Electron-приложении и сверил вывод инструмента с файлами проекта. Это полезный образец проверки AI-инструмента перед тем, как доверять ему анализ кода.
🔑 Главное
REA нашёл часть структуры приложения, но сообщил о нуле preload entrypoints.
В исходниках оказались два preload-файла: preload/index.cjs и preload/plugin-panel.js.
Проверка ограничена статическим JS/Electron-анализом версии 6.4.0; native и APK не испытаны.
⚡ Попробовать за вечер
Запустить REA на знакомом Electron-проекте по командам из статьи.
Сверить каждый найденный entrypoint и preload с исходниками.
Метрика: число пропущенных и ложных entrypoints в отчёте.
из статьи⌕
На картинке: Инфографика показывает совпадения и пропуски REA при проверке Electron-приложения.
Десять найденных документов могут пересказывать один и тот же первоисточник. Автор предлагает явно отмечать независимые, зависимые и неизвестные связи между фрагментами.
🔑 Главное
Число retrieval-хитов само по себе не равно числу независимых подтверждений.
Для связей предлагаются три состояния: известная независимость, известная зависимость, неизвестность.
Граф зависимостей задан вручную; результаты синтетических сценариев нельзя переносить на production RAG.
⚡ Попробовать за вечер
Взять один ответ RAG и записать источники всех процитированных фрагментов.
Сгруппировать документы, которые ссылаются друг на друга или на один оригинал.
Метрика: сколько независимых источников остаётся после группировки.
из статьи⌕
На картинке: Схема группирует несколько найденных документов по двум исходным источникам.
Статья показывает журнал действий агента, который связывает записи хешами, закрывает сессию seal и затем проверяет её. Это даёт способ обнаружить изменение уже записанного вызова.
🔑 Главное
В примере есть запись события, seal, verify и повторная проверка после изменения поля.
Изменение сохранённого события нарушает проверку цепочки.
Цепочка не доказывает, что все вызовы были захвачены или что исходные данные правдивы.
⚡ Попробовать за вечер
Запустить пример Agent Ledger из репозитория на короткой сессии.
Изменить одно поле записанного tool-вызова и повторить verify.
Метрика: verify проходит до изменения и падает после него.
из статьи⌕
На картинке: Иллюстрация показывает цепочку записей, seal и отдельную проверку журнала.
В LangGraph checkpoint хранит состояние исполнения, а backend record нужен странице после перезагрузки. Статья предлагает не смешивать эти обязанности в одной модели данных.
🔑 Главное
Агент владеет execution state, который нельзя вручную восстановить из UI.
Backend владеет записью, которую читает страница после reload.
Доставка событий и отсутствие расхождения между состояниями в статье не доказаны.
⚡ Попробовать за вечер
Выделить в своём агенте checkpoint и отдельную пользовательскую запись.
Проверить повторное открытие страницы после прерванного исполнения.
Метрика: UI показывает сохранённую запись после reload без чтения checkpoint напрямую.
из статьи⌕
На картинке: Схема отделяет checkpoint исполнения агента от пользовательской записи backend.
Валидная метка в JSON ещё не означает правильную классификацию. Автор показывает, как проверять названия классов и выбирать порог уверенности на своих примерах.
🔑 Главное
Schema-constrained output обеспечивает допустимое имя метки, но не её верность.
Перестановка названий классов при тех же определениях может менять ответы.
Пример роутера вымышленный; порог нужен из собственной размеченной выборки.
⚡ Попробовать за вечер
Собрать небольшой размеченный набор пограничных запросов.
Прогнать его с исходными и переставленными названиями меток.
Метрика: доля ошибок и отказов при выбранном пороге уверенности.
из статьи⌕
На картинке: Иллюстрация показывает перестановку названий меток при неизменных определениях.
При длинной цепочке инструкций ошибки часто идут от несовместимых правил. Автор предлагает отдельный аудит: перечислить конфликты с цитатами и адресами файлов.
🔑 Главное
Запрос требует таблицу противоречий, а не общий обзор инструкций.
Для каждого конфликта нужны обе точные цитаты и файл или сообщение.
Метод видит только загруженные тексты; цитаты и реальность конфликта проверяет человек.
⚡ Попробовать за вечер
Собрать системные инструкции, skills и проектный AGENTS.md в один контекст.
Попросить таблицу конфликтов с двумя цитатами и путями к файлам.
Метрика: число подтверждённых вручную конфликтов из всех найденных.
Автор провёл ограниченный эксперимент: один coding agent, двенадцать задач и шесть правил сброса сессии. Смысл работы — измерять токены и цену политики, а не выбирать её на глаз.
🔑 Главное
Сравнивались шесть политик на одинаковом агенте и наборе из 12 задач.
График показывает модельную стоимость, зависящую от способа сброса.
Одна модель и небольшой набор задач не дают универсальной политики.
⚡ Попробовать за вечер
Выбрать два правила сброса сессии и пять типичных задач своего проекта.
Для каждого прогона записать токены и результат тестов.
Метрика: цена за успешно завершённую задачу при каждом правиле.
из статьи⌕
На картинке: График показывает модельную стоимость шести политик сброса сессии в опыте автора.
из статьи⌕
