审计工具升级:D1/D4/D5/D6 标运行时项 + uitype×模板×频次统计(§7-2);分级清单随 picker 重批
审计脚本(schema_reality_audit.py): - D1/D4/D5/D6 改标「运行时已修(审计盲区)」——静态产物仍呈未修形态,但运行时已解决 (D1=UserColumnResolver / D4=format=amis / D5=picker弹窗化 / D6=FlowController 分页), 不计真实缺口,改用 e2e 验;D2(按钮死桩)/D3(长文本错配)仍列静态真缺口。 - 新增 --db:扫 view_template.xml 出 uitype×模板根类型×频次统计(存量真实用量), 让 §4.2 覆盖缺口按真实频次排序而非清单平铺。 真实基线(docs/F2-17-审计基线-2026-06-13-升级.md,不入库): - uitype 频次:SelectDialog 940 模板(印证 picker 是单点回报最大)、TextField 892、 ComboBox 696、日期类 508+139;TextArea 仅 2 次(D3 长文本几近空集)。 - 高级模板结构存量:EditGrid(子表)=55、Calendar=2、Wf=1、MasterSubGrid/TreeGrid=0 → §7-4 唯一值得做的是 EditGrid。 - §4.2「真丢失控件」:TwinColSelect=0、PasswordField=0 → 零存量,§7-4 此项可不做。 分级清单.csv 随当前转换器(picker + 引用列)重批: - SelectDialog→picker 后,select+source 降级 1783 → 225(仅余 dialogid=空兜底); - 分级 SUCCESS 114 → 283(+169 页从 PARTIAL 升 SUCCESS),PARTIAL 1375 → 1206。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
File diff suppressed because it is too large
Load Diff
@@ -188,6 +188,162 @@ def detect_defect6_crud_no_pagination(schema) -> bool:
|
|||||||
return False
|
return False
|
||||||
|
|
||||||
|
|
||||||
|
# ─────────────────────────────────────────────────────────────────────────────
|
||||||
|
# 运行时已修项(审计盲区):静态产物里仍呈未修形态,但运行时已解决,不计真实缺口。
|
||||||
|
# 升级要点(EIP4-架构与缺口现状-2026-06-13 §4.3 / §7-2):D1/D4/D5/D6 改用 e2e 验证,
|
||||||
|
# 静态计数仅供回归观察,不再当作覆盖缺口。D2/D3 仍是静态真缺口。
|
||||||
|
# ─────────────────────────────────────────────────────────────────────────────
|
||||||
|
RUNTIME_RESOLVED = {
|
||||||
|
"D1": "人员/引用列裸 id → 运行时 UserColumnResolver 解析任意引用实体的 _DISPLAY__(662828c+2a6c1d0)",
|
||||||
|
"D4": "弹窗嵌整页 → 运行时 format=amis 剥 page 壳,弹窗只渲表单本体(a021f33)",
|
||||||
|
"D5": "依赖 picker 后端 → SelectDialog 已弹窗化为 amis picker 多列对照,运行时 /api/picker 供列(9d92df2)",
|
||||||
|
"D6": "CRUD 不分页 → 运行时 FlowController 分页翻译(_SEARCH 合成流)",
|
||||||
|
}
|
||||||
|
STATIC_REAL = {
|
||||||
|
"D2": "按钮死桩(未配编辑表单/该单据未配)—— 仍是静态真缺口(诚实降级,待配 EDITFORM 或低代码补)",
|
||||||
|
"D3": "长文本/富文本错配单行 input-text —— 富文本已大面修(37db794),残余按 e2e 复核",
|
||||||
|
}
|
||||||
|
|
||||||
|
# 覆盖缺口候选 uitype(§4.2「真丢失控件」)—— 频次统计重点关注,决定 §7-4 优先级。
|
||||||
|
LOSTLIKE_UITYPES = ("TwinColSelect", "PasswordField")
|
||||||
|
# 高级模板结构标记(§4.2「高级模板类型缺失」)—— 子串探测(与 DB 实测口径一致:
|
||||||
|
# 这些标记在 XML 里以元素名/属性出现,不一定带尖括号根形态,故用大小写不敏感子串匹配,
|
||||||
|
# 避免漏报。实测存量:editgrid≈55 / calendar≈2 / workflow≈1 / mastersubgrid·treegrid·subgrid=0。
|
||||||
|
ADVANCED_TEMPLATE_MARKERS = {
|
||||||
|
"EditGrid(子表)": ("editgrid",),
|
||||||
|
"MasterSubGrid": ("mastersubgrid",),
|
||||||
|
"SubGrid": ("subgrid",),
|
||||||
|
"TreeGrid": ("treegrid",),
|
||||||
|
"Calendar": ("calendar",),
|
||||||
|
"Wf/Workflow": ("<wf", "workflow"),
|
||||||
|
}
|
||||||
|
|
||||||
|
_UITYPE_RE = re.compile(r'uitype\s*=\s*"([^"]+)"')
|
||||||
|
_ROOT_TAG_RE = re.compile(r"<\s*([a-zA-Z][\w\-]*)")
|
||||||
|
|
||||||
|
|
||||||
|
def _root_tag(xml: str) -> str:
|
||||||
|
"""取 XML 第一个元素标签名(root),忽略 <?xml ...?> 声明与注释。"""
|
||||||
|
s = re.sub(r"<\?.*?\?>", "", xml, flags=re.DOTALL)
|
||||||
|
s = re.sub(r"<!--.*?-->", "", s, flags=re.DOTALL)
|
||||||
|
m = _ROOT_TAG_RE.search(s)
|
||||||
|
return m.group(1).lower() if m else "(none)"
|
||||||
|
|
||||||
|
|
||||||
|
def uitype_template_frequency(dsn: str) -> dict:
|
||||||
|
"""
|
||||||
|
DB 视角的 uitype × 模板根类型 × 频次统计(§7-2)。
|
||||||
|
直接扫 view_template.xml(authoritative 存量真实用量),让 §4.2 的覆盖缺口能按真实频次排序。
|
||||||
|
|
||||||
|
返回:
|
||||||
|
by_uitype: {uitype: {"occ": 出现次数, "tpls": 模板数}}
|
||||||
|
by_root: {root_tag: 模板数}
|
||||||
|
by_uitype_root:{(uitype, root): 模板数}
|
||||||
|
advanced: {marker: 模板数} 高级模板结构存量
|
||||||
|
lostlike: {uitype: {"occ","tpls"}} §4.2 真丢失控件存量
|
||||||
|
total_templates, parsed
|
||||||
|
"""
|
||||||
|
import psycopg2 # 仅在 --db 模式按需导入
|
||||||
|
by_uitype = defaultdict(lambda: {"occ": 0, "tpls": 0})
|
||||||
|
by_root = defaultdict(int)
|
||||||
|
by_uitype_root = defaultdict(int)
|
||||||
|
advanced = defaultdict(int)
|
||||||
|
total = 0
|
||||||
|
parsed = 0
|
||||||
|
|
||||||
|
conn = psycopg2.connect(dsn)
|
||||||
|
try:
|
||||||
|
conn.set_session(readonly=True, autocommit=True)
|
||||||
|
cur = conn.cursor()
|
||||||
|
cur.execute(
|
||||||
|
"SELECT view_template_id, xml::text FROM eip3.view_template "
|
||||||
|
"WHERE xml IS NOT NULL AND xml::text <> ''"
|
||||||
|
)
|
||||||
|
for _tid, xml in cur.fetchall():
|
||||||
|
total += 1
|
||||||
|
if not xml:
|
||||||
|
continue
|
||||||
|
parsed += 1
|
||||||
|
root = _root_tag(xml)
|
||||||
|
by_root[root] += 1
|
||||||
|
uitypes_in_tpl = set(_UITYPE_RE.findall(xml))
|
||||||
|
for ut in _UITYPE_RE.findall(xml):
|
||||||
|
by_uitype[ut]["occ"] += 1
|
||||||
|
for ut in uitypes_in_tpl:
|
||||||
|
by_uitype[ut]["tpls"] += 1
|
||||||
|
by_uitype_root[(ut, root)] += 1
|
||||||
|
for marker, pats in ADVANCED_TEMPLATE_MARKERS.items():
|
||||||
|
if any(re.search(p, xml, re.IGNORECASE | re.MULTILINE) for p in pats):
|
||||||
|
advanced[marker] += 1
|
||||||
|
finally:
|
||||||
|
conn.close()
|
||||||
|
|
||||||
|
lostlike = {ut: by_uitype[ut] for ut in LOSTLIKE_UITYPES if ut in by_uitype}
|
||||||
|
return {
|
||||||
|
"by_uitype": dict(by_uitype),
|
||||||
|
"by_root": dict(by_root),
|
||||||
|
"by_uitype_root": dict(by_uitype_root),
|
||||||
|
"advanced": dict(advanced),
|
||||||
|
"lostlike": lostlike,
|
||||||
|
"total_templates": total,
|
||||||
|
"parsed": parsed,
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
def format_frequency_section(freq: dict) -> str:
|
||||||
|
"""把 uitype/模板频次统计渲染为 Markdown(接在主报告之后)。"""
|
||||||
|
by_uitype = freq["by_uitype"]
|
||||||
|
lines = [
|
||||||
|
"",
|
||||||
|
"## 十、uitype × 模板类型 × 使用频次(DB 存量真实用量,§7-2)",
|
||||||
|
"",
|
||||||
|
f"> 源:`view_template.xml` 全量扫描({freq['parsed']}/{freq['total_templates']} 有 xml)。",
|
||||||
|
f"> 用途:让 §4.2 的「高级模板类型」「真丢失控件」覆盖缺口按**存量真实频次**排序,而非按清单平铺。",
|
||||||
|
"",
|
||||||
|
"### 10.1 uitype 频次 Top(出现次数 / 涉及模板数)",
|
||||||
|
"",
|
||||||
|
"| uitype | 出现次数 | 模板数 |",
|
||||||
|
"|--------|---------|--------|",
|
||||||
|
]
|
||||||
|
ranked = sorted(by_uitype.items(), key=lambda kv: kv[1]["occ"], reverse=True)
|
||||||
|
for ut, st in ranked[:25]:
|
||||||
|
lines.append(f"| {ut} | {st['occ']} | {st['tpls']} |")
|
||||||
|
lines += [
|
||||||
|
"",
|
||||||
|
"### 10.2 模板根类型分布",
|
||||||
|
"",
|
||||||
|
"| 根元素 | 模板数 |",
|
||||||
|
"|--------|--------|",
|
||||||
|
]
|
||||||
|
for root, n in sorted(freq["by_root"].items(), key=lambda kv: kv[1], reverse=True):
|
||||||
|
lines.append(f"| `{root}` | {n} |")
|
||||||
|
lines += [
|
||||||
|
"",
|
||||||
|
"### 10.3 高级模板结构存量(§4.2「高级模板类型缺失」按频次排序)",
|
||||||
|
"",
|
||||||
|
"| 结构标记 | 涉及模板数 |",
|
||||||
|
"|---------|-----------|",
|
||||||
|
]
|
||||||
|
for marker, n in sorted(freq["advanced"].items(), key=lambda kv: kv[1], reverse=True):
|
||||||
|
lines.append(f"| {marker} | {n} |")
|
||||||
|
lines += [
|
||||||
|
"",
|
||||||
|
"### 10.4 §4.2「真丢失控件」存量(决定 §7-4 是否值得做)",
|
||||||
|
"",
|
||||||
|
"| 控件 uitype | 出现次数 | 模板数 | 结论 |",
|
||||||
|
"|------------|---------|--------|------|",
|
||||||
|
]
|
||||||
|
for ut in LOSTLIKE_UITYPES:
|
||||||
|
st = freq["lostlike"].get(ut)
|
||||||
|
if st:
|
||||||
|
verdict = "有存量,需评估优先级" if st["tpls"] > 0 else "零存量,可不做"
|
||||||
|
lines.append(f"| {ut} | {st['occ']} | {st['tpls']} | {verdict} |")
|
||||||
|
else:
|
||||||
|
lines.append(f"| {ut} | 0 | 0 | 零存量,可不做 |")
|
||||||
|
lines.append("")
|
||||||
|
return "\n".join(lines)
|
||||||
|
|
||||||
|
|
||||||
# ─────────────────────────────────────────────────────────────────────────────
|
# ─────────────────────────────────────────────────────────────────────────────
|
||||||
# 主扫描逻辑
|
# 主扫描逻辑
|
||||||
# ─────────────────────────────────────────────────────────────────────────────
|
# ─────────────────────────────────────────────────────────────────────────────
|
||||||
@@ -298,16 +454,20 @@ def format_report(results: dict, schema_dir: str) -> str:
|
|||||||
f"| Form 表单页 | {results['form_pages']} |",
|
f"| Form 表单页 | {results['form_pages']} |",
|
||||||
f"| JSON 解析失败 | {len(results['parse_errors'])} |",
|
f"| JSON 解析失败 | {len(results['parse_errors'])} |",
|
||||||
f"",
|
f"",
|
||||||
f"| 缺陷编号 | 缺陷描述 | 命中页数 |",
|
f"| 缺陷编号 | 缺陷描述 | 静态命中页数 | 类别 |",
|
||||||
f"|---------|---------|---------|",
|
f"|---------|---------|---------|------|",
|
||||||
f"| D1 | 人员列裸显示 id(无 mapping/tpl) | {len(d1)} |",
|
f"| D1 | 人员/引用列裸显示 id | {len(d1)} | 🟢 运行时已修(审计盲区) |",
|
||||||
f"| D2 | 按钮死桩(未配编辑表单/该单据未配) | {len(d2)} |",
|
f"| D2 | 按钮死桩(未配编辑表单/该单据未配) | {len(d2)} | 🔴 静态真缺口 |",
|
||||||
f"| D3 | 长文本/富文本错配单行 input-text | {len(d3)} |",
|
f"| D3 | 长文本/富文本错配单行 input-text | {len(d3)} | 🟡 大面已修,残余 e2e 复核 |",
|
||||||
f"| D4 | 弹窗嵌整页(双确认取消风险) | {len(d4)} |",
|
f"| D4 | 弹窗嵌整页(双确认取消风险) | {len(d4)} | 🟢 运行时已修(审计盲区) |",
|
||||||
f"| D5 | 依赖 picker 后端(当前解析失败) | {len(d5)} |",
|
f"| D5 | 依赖 picker 后端 | {len(d5)} | 🟢 已弹窗化(picker,审计盲区) |",
|
||||||
f"| D6 | CRUD 页受后端不分页缺陷影响 | {len(d6)} |",
|
f"| D6 | CRUD 页受后端不分页缺陷影响 | {len(d6)} | 🟢 运行时已修(审计盲区) |",
|
||||||
f"",
|
f"",
|
||||||
|
f"> **审计盲区说明(§4.3/§7-2)**:🟢 标记项的静态计数是产物快照,运行时已解决,**不计真实缺口**,改用 e2e 验。",
|
||||||
]
|
]
|
||||||
|
for code, desc in RUNTIME_RESOLVED.items():
|
||||||
|
lines.append(f"> - {code}:{desc}")
|
||||||
|
lines.append(f"")
|
||||||
|
|
||||||
def section(title, data_dict, key_fn, top=10):
|
def section(title, data_dict, key_fn, top=10):
|
||||||
lines.append(f"## {title}")
|
lines.append(f"## {title}")
|
||||||
@@ -422,15 +582,34 @@ def main():
|
|||||||
default=DEFAULT_REPORT_OUT,
|
default=DEFAULT_REPORT_OUT,
|
||||||
help="报告输出路径(Markdown,默认: docs/F2-17-...)",
|
help="报告输出路径(Markdown,默认: docs/F2-17-...)",
|
||||||
)
|
)
|
||||||
|
parser.add_argument(
|
||||||
|
"--db",
|
||||||
|
default=None,
|
||||||
|
help="(§7-2)DB DSN,提供则附加 uitype×模板类型×频次统计(存量真实用量)。"
|
||||||
|
"例: 'host=localhost port=5433 dbname=eip4dev user=zhengwr'",
|
||||||
|
)
|
||||||
args = parser.parse_args()
|
args = parser.parse_args()
|
||||||
|
|
||||||
print(f"[扫描目录] {args.schema_dir}")
|
print(f"[扫描目录] {args.schema_dir}")
|
||||||
results = scan(args.schema_dir)
|
results = scan(args.schema_dir)
|
||||||
print_summary(results)
|
print_summary(results)
|
||||||
|
|
||||||
|
report_text = format_report(results, args.schema_dir)
|
||||||
|
|
||||||
|
if args.db:
|
||||||
|
print(f"[频次统计] 连接 DB 扫 view_template.xml …")
|
||||||
|
try:
|
||||||
|
freq = uitype_template_frequency(args.db)
|
||||||
|
report_text += "\n" + format_frequency_section(freq)
|
||||||
|
print(f" uitype 种类: {len(freq['by_uitype'])} | 模板: {freq['parsed']}/{freq['total_templates']} "
|
||||||
|
f"| 高级结构标记: {dict(sorted(freq['advanced'].items(), key=lambda kv: -kv[1]))}")
|
||||||
|
print(f" 丢失控件存量: " + ", ".join(
|
||||||
|
f"{ut}={freq['lostlike'].get(ut, {}).get('tpls', 0)}页" for ut in LOSTLIKE_UITYPES))
|
||||||
|
except Exception as e:
|
||||||
|
print(f" [警告] 频次统计失败(跳过): {e}")
|
||||||
|
|
||||||
report_path = Path(args.report_out)
|
report_path = Path(args.report_out)
|
||||||
report_path.parent.mkdir(parents=True, exist_ok=True)
|
report_path.parent.mkdir(parents=True, exist_ok=True)
|
||||||
report_text = format_report(results, args.schema_dir)
|
|
||||||
with open(report_path, "w", encoding="utf-8") as f:
|
with open(report_path, "w", encoding="utf-8") as f:
|
||||||
f.write(report_text)
|
f.write(report_text)
|
||||||
print(f"\n[报告] {report_path}")
|
print(f"\n[报告] {report_path}")
|
||||||
|
|||||||
Reference in New Issue
Block a user