Безпека AI-агентів: дозволи та rollback
14.10.2026
AI-прискорювачі поза TOPS: пам’ять, пропускна здатність і реальні навантаження
14.10.2026
Звичайні application logs показують, що запит завершився помилкою. Agent Observability має пояснювати ще й траєкторію: що бачила модель, який інструмент обрала, що він повернув, де відбулося передавання завдання та який механізм контролю дозволив фінальний результат.
Відстежуйте спостережувану поведінку системи
Документація OpenAI Agents SDK описує traces, які містять виклики моделі й інструментів, handoffs, guardrails та custom spans. Корисний trace також фіксує час, статус, перевірені параметри, ідентифікатори джерел і погодження.
Не використовуйте приватний chain-of-thought як операційний журнал. Докази — це спостережувані inputs, рішення, дії та outputs.
Три рівні сигналів
Outcome metrics: чи правильно виконано завдання? Чи задоволений користувач або система, що отримує результат?
Process metrics: чи використано належні джерела й інструменти? Скільки знадобилося повторних спроб, handoffs і tokens?
Safety metrics: чи запитував агент погодження, чи дотримувався меж доступу до даних і чи уникав заборонених дій?
Правильний результат може бути отриманий небезпечним шляхом. Безпечний процес теж може дати непридатну відповідь. Відстежуйте обидва аспекти.
Знайдіть перший хибний крок
Припустімо, у фінальному звіті наведено неправильну ціну. Останній крок генерації може лише повторювати давнішу помилку. Рухайтеся назад по trace до першого непідтвердженого стану: система знайшла не те джерело, пропустила фільтр за датою або інструмент повернув неоднозначні одиниці вимірювання. Виправляйте саме цю межу, а не додавайте наприкінці ще одну інструкцію «бути точним».
Подбайте про приватність до початку логування
Traces можуть містити prompts, документи, аргументи інструментів і персональні дані. Збирайте лише те, що потрібно для debugging та evaluation. Застосовуйте контроль доступу, строки зберігання й редагування чутливих даних. Credentials мають залишатися поза trace payloads. Observability, яка розкриває secrets, — це дефект production-системи.
Створюйте операційні представлення
Відстежуйте частоту збоїв за типом завдання, інструментом і версією. Аналізуйте розподіл latency, а не лише середнє значення. Невідому кількість tokens позначайте як невідому, а не як нуль. Порівнюйте зміни моделі чи prompt на тому самому evaluation set. Пов’язуйте важливі збої з відтворюваним випадком і зміною, яка їх усунула.
Кожен alert має вести до дії
Налаштовуйте alerts на повторні збої інструментів, незвичний обсяг записів, вичерпання бюджету, відсутність погоджень і порушення правил безпеки. Кожен alert має визначати відповідального та потрібну реакцію. Інакше він перетворюється на фоновий шум.
Коли повний tracing не потрібний
Для однокрокового перетворення з низьким ризиком може вистачити звичайних application logs і вибіркової перевірки outputs. Деталізація traces має зростати разом з автономністю й можливими наслідками. Використовуйте налаштовуваний sampling або зведення, які зберігають приватність, замість повної відмови від observability.
Продовжуйте з матеріалами про evaluation AI-агентів, цикл ReAct та Continual Improvement.
Першоджерела
Примітка про адаптацію: статтю підготовлено з урахуванням концепцій evaluation та observability з AI Agents in Depth: Design Principles and Engineering Practice авторства Bojie Li та співавторів, Apache License 2.0. Для Stariy.com текст незалежно переписано й доповнено.
