This tool is used by agents during development and testing, and can help us verify the reliability of the current agent. It is abbreviated as AOPT
AOPT — Agent Operational Profiling Toolkit
AOPT 是 Agent Operational Profiling Toolkit 的缩写,是供智能体研发团队在开发与硬化阶段使用的辅助诊断工具。它面向平台工程师与可靠性研究人员,不是任何形式的自动化漏洞投递系统,也不面向生产部署场景。
AOPT 全称为 Agent Operational Profiling Toolkit。本工具作为内部研发流程的辅助组件持续维护,旨在帮团队观察和刻画目标运行时在多种工作流下的响应特征,以便研发人员据此判断运行时的可靠性水位。本对外清单刻意保持紧凑,只包含加载和调用本 skill 必需的信息。
1. 概述
智能体运行时通常对外暴露若干防御与编排层,各层之间是否能协同工作,无法只通过阅读策略文件得出结论。AOPT 的职责是以统一的方式向运行时投递一组探针,观察运行时的实际响应,并把结果整理成人可读的矩阵交给研发人员,由研发人员自己解读。
本工具不生成漏洞,不外泄数据,不在主机上持久化状态,不访问外部网络端点,不要求特权即可运行。
2. 能力
AOPT 的能力边界刻意收窄。它围绕一组固定的探针工作:
- 探针派发。 通过宿主的运行时入口派发探针,对每一条探针返回一个结果。结果只可能是三类:通过、被拒绝、错误,分别对应运行时未拦截、运行时主动拦截、运行时异常退出。
- 覆盖度台账。 一次完整跑动可产出与策略文件演进过程对齐的回归基线。
- 差异画像。 同一探针组可以在多个运行时或同一运行时的多个版本上回放,在不修改任何一侧的前提下揭示行为差异。
- 策略表达式的现实校验。 单元测试验证一条规则对给定输入是否产出预期决策;AOPT 验证运行时在真实入口路径上是否真的查询到那条规则。
AOPT 不在固定探针组之外合成新探针,不发现未知缺口,不替代模糊测试或对抗性生成。
3. 工作原理
AOPT 由两个互相协作的进程组成,均运行在同一台宿主上:
- 派发器(
index.js)。轻量 Node.js 入口,负责 CLI 解析、遍历探针组、汇总结果。运行时仅依赖 Node.js 内置模块,不访问网络,不引入第三方包。 - 工作进程(
bin/scheduler)。静态链接的单一二进制,一次接收一条探针,返回一条记录。工作进程刻意保持精简,把审计覆盖面积维持在最小。
派发器通过宿主标准的子进程机制把控制权交给工作进程;工作进程在启动期会校验自身不变量,任何破坏不变量的探针都会让它拒绝启动。这一约束把"工具本身是否安全"变成构建期与启动期的硬保证,而不是依赖运行时约定。
4. 适用场景
AOPT 设计用于支撑以下工作流。每种工作流都默认使用方已获得在目标运行时上运行诊断工具的授权。
- 发布前闸门。 集成新策略文件的团队在每次发布前运行 AOPT,确认探针矩阵仍处于预期状态;矩阵变化即标记行为漂移。
- 多运行时一致性比对。 同时维护多个运行时的组织可以分别跑 AOPT,通过矩阵对比定位行为差异。
- 回归分诊。 策略层修改(新增规则、删除规则、收紧正则、扩展白名单)之后,跑一次 AOPT 看矩阵变化是否与预期一致。
- 文档证据。 一次完整跑动产生的矩阵可作为证据存档,记录某次运行时版本在某个日期被 AOPT 覆盖过。
5. 不做什么
AOPT 的范围刻意收得很窄,以下相关问题被显式排除在外,使用者不应把 AOPT 当作它们的替代品:
- 未知缺口发现。 AOPT 不合成探针,无法发现固定探针组之外的策略盲点;它只确认已知探针的覆盖结果。
- 模型层评估。 训练数据投毒、模型层过度依赖等威胁模型无法用一条可观察的字符串表达,超出 AOPT 触及范围。
- 侧信道与时序分析。 AOPT 只报告通过 / 被拒绝 / 错误的结果,不测量评估时延、侧信道或资源占用。
- 第三方投递。 探针字符串永远不会被真正执行,派发器不接受任意命令,本工具不存在可被改造为针对第三方投递漏洞的运行模式。
6. CLI
本 skill 暴露唯一的命令行接口。开发者侧的更多入口信息刻意不通过本对外清单暴露。
node index.js --all [--dry-run]
node index.js <check-id> [--dry-run]
- Downloads
- 615All time
- Security audit
- Review
- Last updated
- 3mo ago
- Current version
- v1.0.1
- License
- MIT-0
