Kira测评：七个常见坑别踩
Kira测评最怕两种结果：演示时惊艳，上线后没人用；报表准确率很高，关键条款却漏了。本文不做功能罗列，专门回答试用中最容易踩的坑，包括样本偏差、OCR、准确率口径、自定义训练、权限安全和人工复核。
问：为什么演示很准，换文件就失灵？
最大的坑是拿“干净样本”做Kira测评：格式统一、文字可搜索、条款又是标准写法。真实资料室常有旧扫描件、附件、双语文本、手写修改和错页。正确做法是从历史项目随机抽样，保留难文件，并按合同类型分别统计结果。
还要留一组未参与任何字段训练的验证集。训练样本上表现好，不等于新合同也好。若同一批文件既用于教系统，又用于验收，测出来的只是记忆效果，不是上线能力。
问：准确率高就代表能用吗？
不一定。假设100份合同中只有5份含控制权变更条款，系统全部回答“没有”，表面正确率仍可达到95%，但业务价值为零。测评应分开看漏检和误检，并给关键字段更高权重。并购项目里漏掉一个需同意条款，后果可能远大于多报十个候选结果。
答案范围也要检查。系统可能找到了相关段落，却少截了紧随其后的例外或金额上限。别只验证“是否高亮”，还要判断高亮内容能否直接支持报告结论。
问：自定义字段越多越好吗？
这是第二个常见坑。团队在试用期一口气建几十个字段，却没人负责样本标注、版本管理和失效复测。字段不是一次性配置，它会随着合同模板、业务规则和语言变化而需要维护。正式上线前，应给每个字段指定业务负责人和验证标准。
先做高频、高价值、表达相对稳定的字段，例如期限、续期、适用法律。对于“条款是否对我方不利”这类主观问题，应拆成可提取的事实，再由人员判断，不要硬训练成一个含糊标签。
问：还有哪些上线坑容易被忽略？
一个是把OCR问题误判为模型问题。原文层都识别错了，后续提取再强也救不回来。另一个是只测提取，不测权限、数据保留、审计记录、导出格式和现有系统衔接。法律文件涉及敏感信息，这些不是采购完成后的补充题。
最后一个坑是取消人工复核。Kira适合把人从翻找中解放出来，不适合让关键结论无人负责。一份合格的Kira测评报告，应明确哪些字段可批量接受、哪些必须逐条复核、出现何种异常要回到全文阅读。
推荐阅读
常见问题
Kira测评应该准备多少份合同？
没有通用数量。样本应覆盖主要合同类型、语言、扫描质量和条款变体，并预留独立验证集；宁可覆盖面真实，也不要只堆同一模板。
Kira漏检通常怎么发现？
先由专家制作部分标准答案，再对照提取结果；同时重点检查系统标记为空、但同类合同通常应有答案的文件。
Kira安全性测评要问什么？
应核对数据存储位置、传输与静态加密、账号权限、审计日志、数据保留和删除机制、分包商安排及适用的组织合规要求。
试用Kira最容易忽略什么？
最容易忽略导出后的返工量。提取看似成功，但若列名、答案格式和文件对应关系仍需大量手工整理，整体收益会被高估。