给 Agent 系统加上生产级能力: 科技新闻。
"Agent 系统的测试和传统 Web 系统的测试有什么不同?" 传统 Web 测试依赖数据库/API,Agent 测试依赖 LLM。LLM 不可控、不可重复,所以需要 mock。难点在于 mock 的返回值要"像真的"——否则测不出逻辑缺陷。
Agent 依赖 LLM,而 LLM 调用需要 API Key、需要网络、需要花钱。
一个背景与起因
这样做的问题:
从日志中你能看到什么?
这样每次请求都会记录:
一个事件经过
然后在 API 层区分处理:
运维完全不知道哪里出了问题。
不需要 API Key、不需要网络、测试秒级完成。测试的是 Agent 的逻辑("意图为 complaint 时是否生成了工单"),而不是 LLM 的分类能力。
一个各方回应
为什么是指数退避? 第一次失败可能是网络抖动,第二次可能是瞬时负载高,第三次如果还失败说明真的出了问题。每次重试等待时间加倍,避免对已过载的服务造成更大压力。
LLM API 经常因为网络波动或限流而失败。一次失败就抛异常太脆弱:
这是两个不同的问题:
一个影响分析
每一步增加的代码都对应一个真实遇到的问题。 不是预先设计了一个大架构,而是问题驱动架构演进。
给不同的人看不同的信息:
"为什么节点耗时日志对 Agent 系统特别紧要?" Agent 系统比传统 Web 系统多了一层不确定性(LLM 响应时间波动大)。如果 Router 突然从 0.3s 变成 3s,不一定是你代码有问题,可能是 LLM API 变慢了。没有耗时日志,你无法区分"代码 bug"和"上游变慢"。
声明:本文信息来源于相关渠道或网络,版权归原作者所有。如涉及版权问题请及时与本站联系删除。本文观点仅供参考,不代表本站立场。