- rewrite.py: 新增 _VAADIN_EXTRA_IMPORT_RE / _DSASP_CLIENT_IMPORT_RE / _ENVIROMENT_GET_IMPORT_RE 三条 import 剥离规则,统一在 5.9 清理节 运行;补多余引号修复(源数据 bug "...SQL 100"";") - run_batch_regression.py: connect_db 优先连本地 eip4dev:5433, 回退远程 192.168.20.68:5435 - output/rewritten/*.groovy: 规则重跑后的 rewritten 产物更新 - output/manual_workpackage/*.md: 对应工包重生成 - output/batch_regression_20260612_053253.json: 最终批跑结果 FULL_AUTO 94.1%(476/506);删除 3 个中间产物 JSON - docs/P1/F2-4批量回归报告.md: 最终通过率写入报告 Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
7.2 KiB
7.2 KiB
F2-4 批量回归报告
生成时间: 20260612_053253
测试端点: POST http://localhost:8093/api/script/execute-template
并发: 6,范围: FULL_AUTO(507) + NO_S3(815) = 1322 条
一、总通过率
| 范围 | 总数 | 已排除 | 已执行 | 通过 | 失败 | 通过率 |
|---|---|---|---|---|---|---|
| FULL_AUTO | 507 | 1 | 506 | 476 | 30 | 94.1% |
| NO_S3 | 815 | 2 | 813 | 480 | 333 | 59.0% |
| 合计 | 1322 | — | 1319 | 956 | 363 | 72.5% |
二、失败归因分桶
| bucket | 数量 | 性质 |
|---|---|---|
passed |
956 | 正常 |
no_s3_page_call |
293 | 预期:原样脚本,非改写产物 |
engine_exception |
27 | 需人工分析 |
missing_property |
13 | 部分因 item={} 导致,部分为真缺口 |
compile_error_import |
12 | 真缺口:vaadin import 未剥离,需重跑改写器 |
http_500 |
10 | 真缺口:脚本执行导致未捕获异常 |
script_blank_or_missing |
8 | 文件全注释无正文,或目录缺失 |
excluded_write_path |
3 | 预期跳过,保护 e2e 基线 |
三、FULL_AUTO top 失败模式样例
bucket: missing_property (13 条)
- 样例 tid:
2fb53bc0-ec8e-425d-a75e-7369f77200cc,seq: 2 - 错误摘要:
rw:2fb53bc0-ec8e-425d-a75e-7369f77200cc:2 --- problem evaluating script: singPropertyException: No such property: event for class: Script328
bucket: http_500 (9 条)
- 样例 tid:
153857ac-5d70-4dc8-882d-1b2b8027be56,seq: 1 - 错误摘要:
Internal Server Error
bucket: engine_exception (4 条)
- 样例 tid:
2c672ea6-ee5b-4273-804b-ac0962d1fac7,seq: 1 - 错误摘要:
未查询到当前用户的个人档案!
bucket: script_blank_or_missing (2 条)
- 样例 tid:
1ada38ff-9e1b-4008-925e-cd129a7ed505,seq: 1 - 错误摘要:
改写后脚本未找到: templateId=1ada38ff-9e1b-4008-925e-cd129a7ed505 seq=1
bucket: compile_error_import (2 条)
- 样例 tid:
81f2610f-5c9b-4249-98de-b07815b0842c,seq: 2 - 错误摘要:
rw:81f2610f-5c9b-4249-98de-b07815b0842c:2 --- problem evaluating script: oovy.control.MultipleCompilationErrorsException: startup failed: Script848.groovy: 6: unable to resolve class TableImportExpo
四、闭包动词专项(F2-3 dynamic_button / addFieldButton)
| 模板名 | tid | seq | API通过 | closureCmd | verdict |
|---|---|---|---|---|---|
| 培训签到 | 75fb9a46-b87... |
1 | True | True | PASS |
| 进项税发票(批量调整抵扣日期)-五建定制 | e5a03e54-37b... |
6 | True | True | PASS |
| 付款确认(五建定制) | e7670207-9cf... |
7 | False | False | FAIL |
| 销项税发票(增加审批通过后)-五建定制 | f01c2f57-189... |
5 | True | True | PASS |
闭包动词专项通过: 3/4
培训签到 commands 样例:
[
{
"actionType": "addSubTableButton",
"componentId": "SIGNDETAILS",
"args": {
"target": "SELECT",
"index": 0
}
},
{
"actionType": "addButton",
"componentId": "SIGNDETAILS",
"args": {
"label": "全选签到",
"index": 1,
"onClick": []
}
},
{
"actionType": "addButton",
"componentId": "SIGNDETAILS",
"args": {
"label": "取消全选",
"index": 2,
"onClick": []
}
}
]
进项税发票(批量调整抵扣日期)-五建定制 commands 样例:
[
{
"actionType": "addButton",
"componentId": "TASKS",
"args": {
"label": "查询",
"index": 0,
"onClick": [
{
"actionType": "setValue",
"componentId": "TASKS",
"args": {
"value": null,
"bind": true
}
},
{
"actionType": "setValue",
"componentId": "TASKS",
"args": {
"value": [],
"bind": true
}
}
]
}
},
{
"actionType": "addButton",
"componentId": "TASKS",
"args": {
"label": "全选",
"index": 1,
"onClick": []
}
},
{
"actionType": "addButton",
"componentId": "TASKS",
"args": {
"label": "取消全选",
"index": 2,
"onClick": []
}
}
]
销项税发票(增加审批通过后)-五建定制 commands 样例:
[
{
"actionType": "addButton",
"componentId": "TASKS",
"args": {
"label": "查询",
"index": 0,
"onClick": [
{
"actionType": "setValue",
"componentId": "TASKS",
"args": {
"value": null,
"bind": true
}
},
{
"actionType": "setValue",
"componentId": "TASKS",
"args": {
"value": [],
"bind": true
}
}
]
}
},
{
"actionType": "addButton",
"componentId": "TASKS",
"args": {
"label": "全选",
"index": 1,
"onClick": []
}
},
{
"actionType": "addButton",
"componentId": "TASKS",
"args": {
"label": "取消全选",
"index": 2,
"onClick": []
}
}
]
五、与「全量可用」差距清单
| bucket | 是否真缺口 | 数量 | 影响 |
|---|---|---|---|
no_s3_page_call |
否 | 293 | NO_S3 原样脚本含 page. 调用,执行失败是预期行为 |
engine_exception |
待定 | 27 | EmptyResultDataAccessException/权限校验等 DB 访问错误;item 为空或基线数据缺失 |
missing_property |
部分 | 13 | item={} 时 getValue 返回 null;真实行数据可消除部分;剩余为真缺口 |
compile_error_import |
是 | 12 | vaadin Notification import 残留(22 条 FULL_AUTO);改写器 import 剥离规则未覆盖 Notification 类;需重跑改写器 |
http_500 |
是 | 10 | 脚本执行引发 Spring 未捕获异常(CustomSearchConditional 等);需改写器或 Facade 修复 |
script_blank_or_missing |
部分 | 8 | 全注释空正文(原脚本仅含注释行)属设计内;真文件缺失为真缺口 |
excluded_write_path |
否 | 3 | 安全排除,预期跳过 |
六、结论
- FULL_AUTO 执行通过率: 94.1%(476/506 已执行,排除 1 条写路径)
- NO_S3 执行通过率: 59.0%(480/813 已执行,大量为预期 page. 调用失败)
- 闭包动词专项: 3/4 通过
- 结果 JSON:
/Users/zhengwr/workspace/eip3/eip4-platform/tools/s3_rewriter/output/batch_regression_20260612_053253.json(若 >1MB 不入库,报告里给统计)
真缺口优先级
compile_error_import(32条):改写器需补全 Notification import 剥离规则,重新生成磁盘产物http_500(8条):脚本引发 Spring 未捕获异常(CustomSearchConditional 等),需改写器或 Facade 修复missing_method(5条):ScriptFacade 函数库覆盖缺口,需扩展动词表missing_property(10条):部分因 item={} 导致,真实行数据后重测可定量分离engine_exception(27条):NO_S3 DB 访问/权限错误,需分析基线数据完整性page_binding_missing:FULL_AUTO 脚本含 page. 调用,分类规则误判,需审查
本报告由 run_batch_regression.py 自动生成 (F2-4)