Agent Harness 设计：选择正确的模型

模型路由是运营控制问题，而不是排行榜竞赛。隐私与数据驻留先确定可用模型池；任务成功率与输出质量再筛选可行路线；最后才优化 token、延迟和成本。本地模型可以有效，但通常需要更强的任务拆解、retrieval 与确定性验证。

Harness 才是生产单元

企业 Agent 不是“模型加长 system prompt”，而是 intake、上下文组装、policy gate、模型、工具、状态、验证、重试、可观测性与升级组成的 harness。模型只是可替换组件。我们选择的不是“最佳模型”，而是能把特定任务带到可验证业务状态的合规执行路径。基于 thread 的 AI 运营层让模型更换时路由、状态、授权与证据保持稳定。

第一关：隐私、驻留与合同准入

每类任务的准入档案应覆盖数据分类、处理与存储区域、保留与日志、训练使用、分包商、跨境传输、加密、身份、审计、生产权限以及检索文档能否离开受控环境。不合规的 endpoint 在质量评估前就被排除。

驻留适用于完整数据路径，包括临时文件、索引、trace、审核队列和备份。删除姓名却保留唯一账号并不构成匿名化。这一 gate 只产生允许路线，并不选择赢家。

第二关：先看任务成功，再看质量

成功意味着达到目标状态：答案有可解析证据，提取结果符合 schema 并关联来源，或操作经过 dry run、批准和 readback。文笔流畅但 schema 无效、调用禁用工具或缺乏证据，仍是失败。

评测集应覆盖常见案例、政策边界、缺失或冲突数据、工具故障、prompt injection、必须升级的情况及语言和格式变化。schema、授权、证据与正确 abstention 先于风格。领域专用 Agent Skills可稳定流程与检查。

第三关：token、延迟与成本

我们衡量每个已验证任务的总成本，而不是每个 token 的价格。

维度	Harness 层指标
成功	每次合格尝试的验证完成数
质量	首次通过率、缺陷严重性与逃逸率
Tokens	每次完成的输入、缓存、输出和重试 token
延迟	从触发到验证状态的中位数与长尾
成本	推理、retrieval、工具、审核与返工
稳定性	跨时间、格式与任务类别的波动

当前批准路线设为 Baseline = 100。更低成本指数只有在成功率、异常负载和审核时间不恶化时才有意义。

路由任务，而不是用户

task_type: extract | classify | synthesize | plan | act | verify
data_class: public | internal | confidential | restricted
residency: approved_regions
authority: read | recommend | dry_run | approved_write
evidence: source_ids and freshness requirements
output_contract: schema or rubric version
risk: consequence and reversibility
latency_budget: interactive | asynchronous | batch

数据等级、驻留和权限应由确定性规则决定；不确定时选择更安全路线。路由回执记录 policy、模型、prompt 或 skill、来源、tool call、验证结果和最终状态。

为什么本地模型需要不同的 Harness

本地推理提供数据控制、可预测成本和离线能力，但在指令遵循、工具选择、长上下文或多语言方面可能不够稳定。

更彻底地拆解

把文档选择、提取、分类、撰写和验证分开，每一步都有狭窄输入输出契约与 checkpoint。

检索更少，但质量更高

把整个仓库塞进上下文不叫 retrieval。结构化索引、元数据过滤、freshness 规则和短证据包能减少噪声。带 retrieval 与网络搜索的本地 AI 助手说明了工具和证据层的重要性。

确定性验证

使用 schema、parser、allow-list、数据库约束、计算、policy engine 与 readback 检查字段、ID、总额、权限和最终状态。同一次调用不应同时生成、评分并批准自己的输出。

级联、Fallback 与 Abstention

级联从满足边界的最低成本路线开始，在 schema 无效、证据缺失、来源冲突、工具不可用、policy gate 或 verifier 失败时升级。Fallback 不能绕过驻留或权限，也不能假装动作已执行。任务契约要求升级时，正确拒绝或升级本身就是成功。

状态、版本与可复现性

我们版本化任务、policy、供应方、区域、模型、prompt、skill、工具 schema、retrieval 查询、source ID、freshness、参数、verifier、重试、审核、动作与 readback。可复现性来自输入、配置、外部动作和证据，而非无限保存思维链。项目专用 Agent 的调优也要求变更、并发与失败可观察。

实用选择流程

定义任务类别。 2. 应用准入 gate。 3. 建立代表性、边界与对抗案例。 4. 在真实 harness 中测试。 5. 淘汰硬性违规。 6. 评估成功与质量。 7. 衡量总效率。 8. 用 shadow 或 dry-run 试点。 9. 按类别批准路线。 10. 在变更或漂移时复评。

决策规则

隐私、驻留与合同决定“允许什么”；验证后的任务成功与质量决定“什么可行”；token、延迟与总成本决定“剩余路线中什么最高效”。正确选择是能在质量边界内完成任务并证明结果的最小合规系统。