-
lijie authored
问题(审计发现): 1. LSC clean 变体用 planted 同一份语料 → 合同本就含植入缺陷,模型正确检出 反被判误报,误报率失真。 2. defect signals 含"违约金""管辖"等中性词 → clean 合同正常分析被误判检出。 3. cfl D2 clause 匹配在模型不按"第X条"组织输出时失效,埋点解析率仅 40%。 修复: - runner.read_contract 支持 {cid}_{variant}.md,planted/clean 分语料(LSC 同 cfl) - 新增 C1_clean.md(日3%违约金→0.3%+上限10%)、C3_clean.md(原告管辖→被告住所地、 检验期保留但明确排除隐蔽瑕疵2年) - 24 个缺陷 signals 全评判化:去中性词,改"过分高于.*损失""原告所在地.*管辖" "未排除.*隐蔽瑕疵"等评判性组合,clean 正常分析不再误判 - cfl D2 n-gram 兜底强化:4-gram 加分 + 阈值≥2 降噪 + 邻近含色行搜索扩展 - config seeds [1]→[1,2,3] 多 seed 扩样本,让显著性检验有意义 验证:clean 合理输出 0 误报、planted 植入缺陷正确检出;cfl NDA D2 解析率 72%。 README 重写:仅介绍项目/启动/评测逻辑,移除测试结果等无关内容。 Co-Authored-By:Claude Fable 5 <noreply@anthropic.com>
lijie authored问题(审计发现): 1. LSC clean 变体用 planted 同一份语料 → 合同本就含植入缺陷,模型正确检出 反被判误报,误报率失真。 2. defect signals 含"违约金""管辖"等中性词 → clean 合同正常分析被误判检出。 3. cfl D2 clause 匹配在模型不按"第X条"组织输出时失效,埋点解析率仅 40%。 修复: - runner.read_contract 支持 {cid}_{variant}.md,planted/clean 分语料(LSC 同 cfl) - 新增 C1_clean.md(日3%违约金→0.3%+上限10%)、C3_clean.md(原告管辖→被告住所地、 检验期保留但明确排除隐蔽瑕疵2年) - 24 个缺陷 signals 全评判化:去中性词,改"过分高于.*损失""原告所在地.*管辖" "未排除.*隐蔽瑕疵"等评判性组合,clean 正常分析不再误判 - cfl D2 n-gram 兜底强化:4-gram 加分 + 阈值≥2 降噪 + 邻近含色行搜索扩展 - config seeds [1]→[1,2,3] 多 seed 扩样本,让显著性检验有意义 验证:clean 合理输出 0 误报、planted 植入缺陷正确检出;cfl NDA D2 解析率 72%。 README 重写:仅介绍项目/启动/评测逻辑,移除测试结果等无关内容。 Co-Authored-By:Claude Fable 5 <noreply@anthropic.com>
Loading