01 / PROBLEM
你要解决什么问题
AI Agent 不断升级后，如何判断新版本是真的更强？仅看最终成功率或单次结果，很难知道哪些能力提升、哪些场景退化，以及问题到底出在哪里。
本赛题希望通过分析 AI 开票 Agent 的运行轨迹，评估不同版本 Agent 的执行表现，找到影响结果的关键原因。
02 / CHALLENGE
你的挑战是什么
AI Agent 的执行过程包含多个步骤，版本差异往往隐藏在具体执行过程中。你需要从结构化运行轨迹中找到支撑版本判断的关键证据。
理解执行过程理解 Agent 如何基于请求、上下文和轨迹完成任务
找到能力变化分析哪些执行步骤导致版本提升或退化
定位问题根因区分首个错误、后续影响以及工具正常拦截
形成可信判断用明确证据支持结论，避免依赖单次结果或主观判断
03 / CORE TASKS
你需要完成什么
每个 Case 将提供用户请求、模拟业务上下文和参考业务目标，以及基线版和候选版各一条可观测轨迹。参赛作品应批量完成以下工作：
- 判断每次运行是否按题内规则正确处理任务，并分别报告处理正确性与发票是否真正生成
- 对失败运行定位首个错误事件，解释错误如何传播，并列出支持结论的事件编号
- 对同一 Case 比较两个版本，指出局部提升、退化或无差异
- 生成机器可读的结果文件和面向业务、产品、研发人员的版本分析报告
可以使用规则、统计方法和大模型；应说明哪些判断来自确定性约束，哪些依赖模型。缺乏证据时应表达不确定性，不应给出貌似精确的虚构根因。
优秀作品：不只是判断成功失败，而是能解释 Agent 为什么变化以及如何优化。
04 / ADVANCED
想进一步挑战？（加分项）
- 平台能够将评测发现的典型问题沉淀为可复用的测试Case，支持模型、Prompt及Agent版本持续回归验证，形成“评测—归因—优化—复测”的质量闭环。
- 平台通过标准化数据模型、适配器和可扩展评测规则，使AI会计师、AI顾问等项目能够低成本快速接入。
- 在不修改核心模块的情况下完成新Agent接入，并生成统一的评测、归因及版本对比报告。
05 / DELIVERABLES
你最终需要提交什么
- 一个可运行的 AI 开票 Agent 离线轨迹评测程序
- 源代码、运行环境与启动说明
- 评测方法说明，包括评估逻辑、评分方式和判断依据
- 基于多个 Case 的版本评测报告（含按要求生成的评测结果）
06 / MATERIALS
我们提供什么
- AI 开票 Agent 运行轨迹数据，包括任务信息、执行过程、工具调用及结果状态
- 公开训练数据、验证数据及业务规则说明
- 提交格式说明与校验工具
所有数据均为合成沙箱数据，初赛仅处理离线文件，不涉及真实业务系统调用。
07 / EVALUATION
这道题初赛重点看什么
| 评价维度 | 关注点 |
|---|---|
| 基础任务完成度 | 是否能够准确判断 Agent 执行结果、定位错误、输出版本比较。 |
| AI 技术应用合理性 | 是否合理结合规则、模型等技术完成评测任务。 |
| 问题理解 | 是否真正理解 Agent 评测目标，而非简单判断成功失败。 |
| 后续完善空间 | 系统设计是否具备扩展和优化能力。 |
| 创新性 | 是否在评测方法、分析能力、应用场景等方面有创新。 |