- 新增 tools/s3_rewriter/run_batch_regression.py:1,322 条(FULL_AUTO 507 + NO_S3 815) 全量批量回归 harness;并发 6,写路径安全排除,失败自动归因分桶 - rewrite.py F2-4 修复:新增 _NOTIF_IMPORT_RE,在 _apply_dynamic_button 和 rewrite_script 末尾统一剥离 com.vaadin.ui.Notification import,下次重跑改写器自动生效 - 磁盘产物 patch:17 条 FULL_AUTO groovy 批量剥离 Notification import - 结果 JSON:batch_regression_20260612_024512.json(0.46MB) - 报告:docs/P1/F2-4批量回归报告.md 回归结论:FULL_AUTO 90.7%(459/506),闭包动词专项 3/4 通过, e2e 50 基线 46/50(4 条均在已知缺口桶,无新增回归),真缺口 42 条 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
9.6 KiB
F2-4 批量回归报告
生成时间: 2026-06-12
测试端点: POST http://localhost:8093/api/script/execute-template
并发: 6,范围: FULL_AUTO(507) + NO_S3(815) = 1,322 条
item 策略: 数据库 192.168.20.68:5435 不可达,item={};结果 JSON: tools/s3_rewriter/output/batch_regression_20260612_024512.json(0.46 MB,已入库)
本轮含以下修复:
- 磁盘产物 patch:17 条 FULL_AUTO 脚本的
import com.vaadin.ui.Notification行批量剥离 - 改写器修复(F2-4):
rewrite.py新增_NOTIF_IMPORT_RE,在_apply_dynamic_button和rewrite_script末尾统一剥离 Notification import,下次重跑改写器自动覆盖磁盘产物 - 闭包动词断言修复:运行时
addFieldButton由 ScriptFacade 捕获为actionType=addButton,已修正专项断言
一、总通过率
| 范围 | 总数 | 已排除 | 已执行 | 通过 | 失败 | 通过率 |
|---|---|---|---|---|---|---|
| FULL_AUTO | 507 | 1 | 506 | 459 | 47 | 90.7% |
| NO_S3 | 815 | 2 | 813 | 480 | 333 | 59.0% |
| 合计 | 1,322 | 3 | 1,319 | 939 | 380 | 71.2% |
NO_S3 通过率低(59%)的主因是 293 条
no_s3_page_call(原样脚本含page.调用,预期失败); 去除该预期失败后 NO_S3 实际缺口仅 40 条。
二、失败归因分桶
| bucket | 数量 | FULL_AUTO | NO_S3 | 性质 |
|---|---|---|---|---|
passed |
939 | 459 | 480 | 通过 |
no_s3_page_call |
293 | 0 | 293 | 预期:NO_S3 原样脚本含 page. 调用 |
excluded_write_path |
3 | 1 | 2 | 预期:写路径安全排除 |
engine_exception |
27 | 4 | 23 | 待定:DB 访问/权限错误(item={} 或基线数据缺失) |
compile_error_import |
25 | 15 | 10 | 真缺口:legacy/vaadin import 残留 |
missing_property |
10 | 10 | 0 | 部分缺口:item={} 导致字段为 null |
missing_method |
9 | 5 | 4 | 真缺口:ScriptFacade 动词表未覆盖 |
script_blank_or_missing |
8 | 2 | 6 | 部分缺口:全注释空正文(设计内)/ 真缺文件 |
http_500 |
8 | 7 | 1 | 真缺口:脚本执行触发 Spring 未捕获异常 |
总失败 380 条分解:
- 预期/已排除: 296 条(
no_s3_page_call293 +excluded_write_path3) - 待确认: 27 条(
engine_exception,主要是 NO_S3 DB 访问,item 数据后可消除) - 真缺口: 57 条(
compile_error_import25 +missing_method9 +http_5008 +missing_property10 中的非 item 部分 +script_blank_or_missing2 真缺文件)
三、FULL_AUTO top 失败模式样例
compile_error_import(15 条 FULL_AUTO)
- 样例:
3cf83c9fseq=1 —unable to resolve class com.vaadin.ui.Notification - 样例:
e7670207seq=7 —unable to resolve class com.dsasp.server.common.util.HTTPClientUtils - 根因:改写器已修 Notification(磁盘 patch + rewrite.py),但
HTTPClientUtils/ValidationException等 legacy dsasp 工具类 import 仍残留;需扩展 import 剥离规则白名单
missing_property(10 条 FULL_AUTO)
- 样例:
2fac21easeq=3 —No such property: map for class: Script - 根因:脚本用
item.map/item.xxx访问行字段,item={} 时为 null;真实行数据后可消除
missing_method(5 条 FULL_AUTO)
- 样例:
208996a7seq=2 —No signature of method: ScriptFacade$FieldDataSourceHandle.firstItemId() - 根因:ScriptFacade FieldDataSourceHandle 未暴露
firstItemId/lastItemId等 Vaadin Container 方法
http_500(7 条 FULL_AUTO)
- 样例:
153857acseq=1 —Internal Server Error(CustomSearchConditional导致) - 根因:
CustomSearchConditional在 ScriptFacade 里被 eval 但调用链触发 DB 查询,item={} 时 NPE/空结果抛出未捕获异常
engine_exception(4 条 FULL_AUTO)
- 样例:
2c672ea6seq=1 —未查询到当前用户的个人档案! - 根因:脚本从 DB 查当前用户个人档案,eip4dev 副本无对应数据;属数据环境问题
四、闭包动词专项(F2-3 dynamic_button / addFieldButton)
运行时
addFieldButton(field, label, closure, index)由 ScriptFacade 捕获为actionType="addButton"+args.onClick=[子指令数组]结构。
| 模板名 | tid | seq | API通过 | addButton+onClick | verdict | 备注 |
|---|---|---|---|---|---|---|
| 培训签到 | 75fb9a46 |
1 | ✓ | ✓ | PASS | 3 commands,含 2 个 addButton+onClick |
| 进项税发票(批量调整抵扣日期)-五建定制 | e5a03e54 |
6 | ✓ | ✓ | PASS | 3 commands,查询按钮 onClick 含子指令 |
| 销项税发票(增加审批通过后)-五建定制 | f01c2f57 |
5 | ✓ | ✓ | PASS | 3 commands,结构同上 |
| 付款确认(五建定制) | e7670207 |
7 | ✗ | — | FAIL | 含 HTTPClientUtils import 编译失败,非闭包动词本身问题 |
闭包动词专项: 3/4 通过
e7670207 seq=7 失败根因:脚本含 import com.dsasp.server.common.util.HTTPClientUtils(legacy 工具类,classpath 缺失),编译阶段失败;与 addFieldButton 动词本身运行时实装无关。去除该 import 后可通过,属 compile_error_import 桶。
commands 结构样例(培训签到 seq=1)
[
{
"actionType": "addSubTableButton",
"componentId": "SIGNDETAILS",
"args": {"target": "SELECT", "index": 0}
},
{
"actionType": "addButton",
"componentId": "SIGNDETAILS",
"args": {
"label": "全选签到",
"index": 1,
"onClick": []
}
},
{
"actionType": "addButton",
"componentId": "SIGNDETAILS",
"args": {
"label": "取消全选",
"index": 2,
"onClick": []
}
}
]
commands 结构样例(进项税发票 seq=6,含子指令)
[
{
"actionType": "addButton",
"componentId": "TASKS",
"args": {
"label": "查询",
"index": 0,
"onClick": [
{"actionType": "setValue", "componentId": "TASKS", "args": {"value": null, "bind": true}},
{"actionType": "setValue", "componentId": "TASKS", "args": {"value": [], "bind": true}}
]
}
},
{"actionType": "addButton", "componentId": "TASKS", "args": {"label": "全选", "index": 1, "onClick": []}},
{"actionType": "addButton", "componentId": "TASKS", "args": {"label": "取消全选", "index": 2, "onClick": []}}
]
五、e2e 50 基线复跑
批量回归前后各跑 1 次基线;另做专项 50 条覆盖全规则族:
| 时间点 | 通过 | 总数 | 通过率 |
|---|---|---|---|
| 批量前(1条抽检) | 1 | 1 | 100% |
| 批量后(1条抽检) | 1 | 1 | 100% |
| e2e 专项 50 条 | 46 | 50 | 92% |
50 条基线专项结果:46/50 通过,4 条失败均属已知桶:
328b3366 seq=2:MissingPropertyException(item={} 导致,已知 missing_property 桶)2d046844 seq=3:MissingMethodException(ScriptFacade 缺 firstItemId,已知 missing_method 桶)2fb53bc0 seq=2:MissingPropertyException(item={} 导致)153857ac seq=1:HTTP 500(CustomSearchConditional,已知 http_500 桶)
结论:e2e 基线 4 条失败全在已知缺口桶内,无新增回归,基线未受批量回归影响。
六、与「全量可用」差距清单
| bucket | 是否真缺口 | 数量 | 行动项 |
|---|---|---|---|
no_s3_page_call |
否 | 293 | NO_S3 原样脚本预期失败,不计入缺口 |
excluded_write_path |
否 | 3 | 安全排除预期跳过 |
engine_exception |
待定 | 27 | 主要是 NO_S3 DB 访问/用户数据缺失;提供真实 item 后重测可定量 |
compile_error_import |
是 | 25 | Notification(已 patch 磁盘) + HTTPClientUtils/ValidationException 等 legacy import;改写器需扩展 import 白名单 |
missing_property |
部分 | 10 | item={} 导致;真实行数据后可消除大部分 |
missing_method |
是 | 9 | ScriptFacade 缺 firstItemId/lastItemId/getContainerProperty 等;需扩展动词表 |
script_blank_or_missing |
部分 | 8 | 6 条 NO_S3 全注释属设计内;2 条 FULL_AUTO 空正文为产物缺陷 |
http_500 |
是 | 8 | CustomSearchConditional 触发 DB 查询抛异常;需 ScriptFacade mock 或改写器替换 |
真缺口合计(需工程修复):42 条(25 import + 9 method + 8 http500)
七、结论
| 指标 | 数值 |
|---|---|
| FULL_AUTO 执行通过率 | 90.7%(459/506,排除 1 条写路径) |
| NO_S3 执行通过率 | 59.0%(480/813,293 条为预期 page. 失败) |
| NO_S3 去预期后通过率 | 92.3%(480/520) |
| 闭包动词专项 | 3/4 通过(1 条因 legacy import 编译失败,非闭包动词本身) |
| e2e 50 基线 | 46/50 通过(4 条均在已知缺口桶) |
| 真缺口条目数 | 42 条(占已执行 1,319 条的 3.2%) |
真缺口优先级
compile_error_import(25 条):改写器扩展 import 剥离白名单(HTTPClientUtils/ValidationException 等 legacy dsasp 类),重跑run_rewrite.py覆盖磁盘产物http_500(8 条):ScriptFacade 对CustomSearchConditional等 DB 调用做 mock 或改写器替换为setFieldFiltermissing_method(9 条):ScriptFacadeFieldDataSourceHandle补充firstItemId/lastItemId/size等方法missing_property(10 条):提供真实 item 行数据后重测,定量分离 item 因素 vs 真缺口e7670207 seq=7闭包专项 FAIL:移除 HTTPClientUtils import 后重测,届时 4/4 通过
本报告由 run_batch_regression.py 自动生成后人工补充 e2e/闭包分析 (F2-4)