feat(parity): P1-1 全库归因——5 条元数据感知豁免 + 多重集兜底 + SQLXML 物化
全库 115 问题实体逐个归因,harness 修正(保真层零改动):
- 物理孤儿列豁免(RowDiff.physicalOrphanColumns):MISSING_RIGHT 且列无活跃
元数据 → 引擎元数据驱动 SELECT 永不读,登记不判负;反向守门保留。
- XML 表示归一(Normalizer.xmlEqual + JdbcResultReader SQLXML.getString 物化):
xml 物理列剥 <?xml?> 声明 + trim 首尾空白;根治 PgSQLXML 比对/序列化问题。
- 引擎空值渲染豁免(engineEmptyForNullColumns + Normalizer.nullVsEngineEmpty):
物理 null 引擎渲染为空数组/空串,左 null+右空串语义等值。
- 多重集兜底(RowDiff.diffMultiset + Normalizer.groupingKey):视图无稳定唯一
行键(两侧坍缩/合成)时按行多重集比较,时间/数值同口径归一。
- 抽样退全量:checkSample 无 {表名}_ID / IN 回查失败 / 合成键签名 → full check。
单测 23 → 30 全绿(每条新规则配正反例 + 守门用例)。
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
@@ -53,6 +53,21 @@ public class DiffReport {
|
|||||||
/** COLUMNSQL 计算列(元数据配子查询,引擎以计算值覆盖物理列;新旧行为一致):不参与值比对,整列登记。 */
|
/** COLUMNSQL 计算列(元数据配子查询,引擎以计算值覆盖物理列;新旧行为一致):不参与值比对,整列登记。 */
|
||||||
public final Set<String> engineComputedSqlColumns = new TreeSet<>();
|
public final Set<String> engineComputedSqlColumns = new TreeSet<>();
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 物理孤儿列:物理表/视图有此列、引擎不返回(MISSING_RIGHT),且该列在 SYS_ENTITYATTRIBUTE
|
||||||
|
* 无活跃元数据 —— 引擎元数据驱动 SELECT 永不读它(物理冗余列,新旧系统行为一致)。整列登记不判负。
|
||||||
|
*/
|
||||||
|
public final Set<String> physicalOrphanColumns = new TreeSet<>();
|
||||||
|
|
||||||
|
/** xml 物理类型列:JDBC {@code xml::text} 带 {@code <?xml..?>} 声明头/首尾空白,引擎读路径剥离;XML 归一后等值。 */
|
||||||
|
public final Set<String> xmlRepresentationColumns = new TreeSet<>();
|
||||||
|
|
||||||
|
/** 引擎对 JSON 类型列的物理 null 渲染为空数组/空串(如 DETAILS):左 null + 右空 = 语义等值,整列登记。 */
|
||||||
|
public final Set<String> engineEmptyForNullColumns = new TreeSet<>();
|
||||||
|
|
||||||
|
/** 多重集兜底模式:视图无稳定唯一行键,放弃逐行配对、按行多重集比较(行集语义一致即判一致)。 */
|
||||||
|
public boolean multisetMode;
|
||||||
|
|
||||||
public DiffReport(String label) {
|
public DiffReport(String label) {
|
||||||
this.label = label;
|
this.label = label;
|
||||||
}
|
}
|
||||||
@@ -136,6 +151,10 @@ public class DiffReport {
|
|||||||
m.put("engineNullOmittedColumns", new ArrayList<>(engineNullOmittedColumns));
|
m.put("engineNullOmittedColumns", new ArrayList<>(engineNullOmittedColumns));
|
||||||
m.put("explainedBooleanDomainCells", new LinkedHashMap<>(explainedBooleanDomainCells));
|
m.put("explainedBooleanDomainCells", new LinkedHashMap<>(explainedBooleanDomainCells));
|
||||||
m.put("engineComputedSqlColumns", new ArrayList<>(engineComputedSqlColumns));
|
m.put("engineComputedSqlColumns", new ArrayList<>(engineComputedSqlColumns));
|
||||||
|
m.put("physicalOrphanColumns", new ArrayList<>(physicalOrphanColumns));
|
||||||
|
m.put("xmlRepresentationColumns", new ArrayList<>(xmlRepresentationColumns));
|
||||||
|
m.put("engineEmptyForNullColumns", new ArrayList<>(engineEmptyForNullColumns));
|
||||||
|
m.put("multisetMode", multisetMode);
|
||||||
m.put("clean", isClean());
|
m.put("clean", isClean());
|
||||||
m.put("consistencyRate", consistencyRate());
|
m.put("consistencyRate", consistencyRate());
|
||||||
List<Map<String, Object>> ms = new ArrayList<>();
|
List<Map<String, Object>> ms = new ArrayList<>();
|
||||||
@@ -170,6 +189,21 @@ public class DiffReport {
|
|||||||
sb.append("- COLUMNSQL 计算列(引擎子查询覆盖物理列,不参与值比对): `")
|
sb.append("- COLUMNSQL 计算列(引擎子查询覆盖物理列,不参与值比对): `")
|
||||||
.append(String.join(", ", engineComputedSqlColumns)).append("`\n");
|
.append(String.join(", ", engineComputedSqlColumns)).append("`\n");
|
||||||
}
|
}
|
||||||
|
if (!physicalOrphanColumns.isEmpty()) {
|
||||||
|
sb.append("- 物理孤儿列(物理有列、无活跃元数据,引擎不读 → 不判负): `")
|
||||||
|
.append(String.join(", ", physicalOrphanColumns)).append("`\n");
|
||||||
|
}
|
||||||
|
if (!xmlRepresentationColumns.isEmpty()) {
|
||||||
|
sb.append("- XML 表示差异列(声明头/首尾空白,XML 归一后等值): `")
|
||||||
|
.append(String.join(", ", xmlRepresentationColumns)).append("`\n");
|
||||||
|
}
|
||||||
|
if (!engineEmptyForNullColumns.isEmpty()) {
|
||||||
|
sb.append("- 引擎空值渲染列(物理 null 渲染为空数组/空串,语义等值): `")
|
||||||
|
.append(String.join(", ", engineEmptyForNullColumns)).append("`\n");
|
||||||
|
}
|
||||||
|
if (multisetMode) {
|
||||||
|
sb.append("- 对拍模式:多重集兜底(视图无稳定唯一行键,按行多重集比较)\n");
|
||||||
|
}
|
||||||
if (!explainedBooleanDomainCells.isEmpty()) {
|
if (!explainedBooleanDomainCells.isEmpty()) {
|
||||||
sb.append("- 已归因差异(BOOLEAN 域外脏数据,引擎归 null,新旧行为一致): ");
|
sb.append("- 已归因差异(BOOLEAN 域外脏数据,引擎归 null,新旧行为一致): ");
|
||||||
explainedBooleanDomainCells.forEach((c, n) -> sb.append('`').append(c).append("`x").append(n).append(' '));
|
explainedBooleanDomainCells.forEach((c, n) -> sb.append('`').append(c).append("`x").append(n).append(' '));
|
||||||
|
|||||||
@@ -142,6 +142,71 @@ public final class Normalizer {
|
|||||||
return Kind.OTHER;
|
return Kind.OTHER;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* xml 物理类型列归一比较:PG {@code xml::text}(JDBC 直连侧)会保留入库时的 {@code <?xml..?>}
|
||||||
|
* 声明头(XML prolog)与首尾空白/空行;引擎读路径(REST 出口)把它们剥离。二者语义同一份 XML。
|
||||||
|
* 归一做法:剥去开头的 XML 声明 {@code <?xml ...?>},再 trim 全部首尾空白后比较剩余正文。
|
||||||
|
*
|
||||||
|
* <p>只做"声明头 + 首尾空白"两类表示差异的吸收;正文任何实质字符差异仍判不等(守门:不吞真差异)。
|
||||||
|
*/
|
||||||
|
public static boolean xmlEqual(Object a, Object b) {
|
||||||
|
if (a == null || b == null) {
|
||||||
|
return a == null && b == null;
|
||||||
|
}
|
||||||
|
String sa = stripXmlProlog(a.toString());
|
||||||
|
String sb = stripXmlProlog(b.toString());
|
||||||
|
return sa.equals(sb);
|
||||||
|
}
|
||||||
|
|
||||||
|
private static String stripXmlProlog(String s) {
|
||||||
|
String t = s.strip();
|
||||||
|
if (t.startsWith("<?xml")) {
|
||||||
|
int end = t.indexOf("?>");
|
||||||
|
if (end >= 0) {
|
||||||
|
t = t.substring(end + 2).strip();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return t;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 引擎对 JSON/数组类型列的物理 null 渲染为空表示(空数组 {@code []} → {@code ""}、空串)的等值判定:
|
||||||
|
* 左(物理基线)为 null,右(引擎)为空串 {@code ""} → 语义等值(同一份"无值",新旧引擎渲染一致)。
|
||||||
|
* 仅此一个方向(左 null / 右空串)成立;两侧都有内容或都 null 由常规 {@link #equal} 处理。
|
||||||
|
*/
|
||||||
|
public static boolean nullVsEngineEmpty(Object left, Object right) {
|
||||||
|
return left == null && right instanceof CharSequence cs && cs.length() == 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* 多重集分组键:把单值归一为「与 {@link #equal} 同口径可比」的稳定字符串,
|
||||||
|
* 供 {@link RowDiff#diffMultiset} 给无稳定主键的视图按行多重集配对。
|
||||||
|
*
|
||||||
|
* <p>关键:必须吸收 {@link #equal} 里跨族等值的两类——(a) 整数↔等值小数(2 vs 2.000000)、
|
||||||
|
* (b) DATE/TIME 的 epoch(Long) ↔ ISO 串。否则同一行在两侧因表示不同被分到不同桶,假阳性。
|
||||||
|
* 分别归一:数值统一到去尾零 BigDecimal 的 plain 串;时间统一到 epoch 毫秒串;其余按规范字符串。
|
||||||
|
*/
|
||||||
|
public static String groupingKey(Object v) {
|
||||||
|
Object c = canonical(v);
|
||||||
|
if (c == null) {
|
||||||
|
return " | ||||||