""" mine_patterns.py — 真实 S3 语料模式挖掘 目的: 对全部 S3 脚本逐条提取 Vaadin API 调用模式并归一化形态,输出 Top 模式表 (模式形态 × 出现次数 × 覆盖脚本数),驱动 rewrite.py 规则扩展。 归一化策略(把字面量抹平,只看"形状"): - getField("X") → getField(F) 字段句柄取数 - 变量名 / 字面串 → 抹平为 _ - 安全导航 ?. → 保留(区分 . 与 ?. 是关键发现) - 链尾 .method(...) → .method(...) 只保留方法名与"有无参数" 输出: 1) 动词频率表: <持有者>.<动词> → 出现次数 / 覆盖脚本数 2) 形态分布: getField 前缀 vs 裸 / ?. vs . / 链长 3) 残留模式: 改写后仍含 S3 的脚本里,剩下的 Top 调用形态 用法: python mine_patterns.py # 读 scripts_cache.json python mine_patterns.py --top 50 python mine_patterns.py --residual # 只看改写后残留模式 """ import argparse import json import os import re import sys from collections import Counter, defaultdict sys.path.insert(0, os.path.dirname(__file__)) from rewrite import rewrite_script, HARD_S3_PATTERNS CACHE = os.path.join(os.path.dirname(__file__), "scripts_cache.json") # ────────────────────────────────────────────── # 调用形态提取 # ────────────────────────────────────────────── # 匹配 group.getField("X") 或 group.getField('X') 或 group.getField(var) _GETFIELD = re.compile(r'group\.getField\(\s*(["\'][^"\']*["\']|[\w.]+)\s*\)') # 匹配任意 .method( 或 ?.method( (持有者不限) _METHOD_CALL = re.compile(r'(\?\.|\.)\s*(\w+)\s*\(') # 字段句柄链: group.getField(...) [?.|.] method(...) 捕获导航符 + 方法名 _FIELD_CHAIN = re.compile( r'group\.getField\(\s*(["\'][^"\']*["\']|[\w.]+)\s*\)\s*(\?\.|\.)\s*(\w+)\s*\(' ) # 组级调用: group.( (排除 getField) _GROUP_CALL = re.compile(r'\bgroup\s*(\?\.|\.)\s*(\w+)\s*\(') # 静态调用: Identifier.method( 例如 Notification.show _STATIC_CALL = re.compile(r'\b([A-Z]\w+)\.(\w+)\s*\(') def _is_string_literal(arg: str) -> bool: return bool(arg) and arg[0] in '"\'' def normalize_field_chain(nav: str, method: str) -> str: """归一: getField(F)