Skip to content
  • lijie's avatar
    91c96848
    修复评分器失真:LSC clean 语料分版 + signals 评判化 + cfl D2 匹配强化 · 91c96848
    lijie authored
    
    
    问题(审计发现):
    1. LSC clean 变体用 planted 同一份语料 → 合同本就含植入缺陷,模型正确检出
       反被判误报,误报率失真。
    2. defect signals 含"违约金""管辖"等中性词 → clean 合同正常分析被误判检出。
    3. cfl D2 clause 匹配在模型不按"第X条"组织输出时失效,埋点解析率仅 40%。
    
    修复:
    - runner.read_contract 支持 {cid}_{variant}.md,planted/clean 分语料(LSC 同 cfl)
    - 新增 C1_clean.md(日3%违约金→0.3%+上限10%)、C3_clean.md(原告管辖→被告住所地、
      检验期保留但明确排除隐蔽瑕疵2年)
    - 24 个缺陷 signals 全评判化:去中性词,改"过分高于.*损失""原告所在地.*管辖"
      "未排除.*隐蔽瑕疵"等评判性组合,clean 正常分析不再误判
    - cfl D2 n-gram 兜底强化:4-gram 加分 + 阈值≥2 降噪 + 邻近含色行搜索扩展
    - config seeds [1]→[1,2,3] 多 seed 扩样本,让显著性检验有意义
    
    验证:clean 合理输出 0 误报、planted 植入缺陷正确检出;cfl NDA D2 解析率 72%。
    
    README 重写:仅介绍项目/启动/评测逻辑,移除测试结果等无关内容。
    
    Co-Authored-By: default avatarClaude Fable 5 <noreply@anthropic.com>
    91c96848
    修复评分器失真:LSC clean 语料分版 + signals 评判化 + cfl D2 匹配强化
    lijie authored
    
    
    问题(审计发现):
    1. LSC clean 变体用 planted 同一份语料 → 合同本就含植入缺陷,模型正确检出
       反被判误报,误报率失真。
    2. defect signals 含"违约金""管辖"等中性词 → clean 合同正常分析被误判检出。
    3. cfl D2 clause 匹配在模型不按"第X条"组织输出时失效,埋点解析率仅 40%。
    
    修复:
    - runner.read_contract 支持 {cid}_{variant}.md,planted/clean 分语料(LSC 同 cfl)
    - 新增 C1_clean.md(日3%违约金→0.3%+上限10%)、C3_clean.md(原告管辖→被告住所地、
      检验期保留但明确排除隐蔽瑕疵2年)
    - 24 个缺陷 signals 全评判化:去中性词,改"过分高于.*损失""原告所在地.*管辖"
      "未排除.*隐蔽瑕疵"等评判性组合,clean 正常分析不再误判
    - cfl D2 n-gram 兜底强化:4-gram 加分 + 阈值≥2 降噪 + 邻近含色行搜索扩展
    - config seeds [1]→[1,2,3] 多 seed 扩样本,让显著性检验有意义
    
    验证:clean 合理输出 0 误报、planted 植入缺陷正确检出;cfl NDA D2 解析率 72%。
    
    README 重写:仅介绍项目/启动/评测逻辑,移除测试结果等无关内容。
    
    Co-Authored-By: default avatarClaude Fable 5 <noreply@anthropic.com>
Loading