有个问题,做智能体的人早晚都得碰上:你让它干活,它干完了,你怎么知道它干的是你想让它干的那件事?
现在的评测工具不少,红队的、可观测的、看 token 效率的、看延迟的、防提示词注入的,一大堆。但它们看的主要是技术指标。技术指标好,不等于这活儿干对了。iFixAi 想回答的是后面这个问题——按业务 KPI 和组织架构来看,这个 agent 到底有没有在做它该做的事。它说这个答案能在 120 秒内给你。
它底下跑的是同一套诊断,只不过有三种驱动方式。一种是向导式的命令行,装完跑一次 setup,配置存到 ifixai.yaml 里,以后零参数运行;一种是全走命令行参数,适合塞进 CI,做那种可审计的批量脚本;第三种是插件或技能,直接装进你已经在用的 agent 里,让 agent 自己当操作员,去发现你的配置、搭测试环境、跑完给你解释记分卡。
检查项默认跑 10 个,加参数可以全跑 60 个,也能按 smoke、strategic、essential、core、extended 这些套件挑。评分的人可以是自己,可以是一家独立的第三方,也可以是多评委的ensemble。输出是 JSON 加 Markdown 报告,外加一个终端记分卡。
它宣传里有一句写得很实在:在事情搞砸之前,先抓住你 agent 的错误和盲区。
我唯一拿不准的是那 120 秒——审计这事,快是好事,可快到这个份上,它到底审了多深,我没试过。