feat(parity): COLUMNSQL 计算列元数据豁免 + 客户库口径 24/24 实测报告

PM_PAYMENTAPPLY 抽样 2000 行:CONTRACTNUMBER 为 COLUMNSQL 计算列(子查询覆盖物理列,
新旧行为一致),加元数据感知豁免后 100% 一致。客户库口径终局:23 实体全量
442,529 行 + 1 实体抽样 2,000 行,24/24 全部通过,零未解释差异。
单测 23/23;归因台账与抽样口径写入 C1 实测报告

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
2026-06-11 11:04:37 +08:00
parent d39e2c4fb6
commit c4c1fd9a1a
5 changed files with 94 additions and 0 deletions

View File

@@ -195,3 +195,37 @@ java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli --seed --all
> 注:`--seed` 后引擎首次 list 才加载新实体 POInfo;若服务在 seed 前已缓存过同名实体(失败轮次),
> 需重启服务再 `--all`(见坑 3)。
---
## 【2026-06-11 增补】客户库口径实测(5435 网络恢复后)
### 最终结果:24/24 实体通过
| 口径 | 实体数 | 行数 | 结果 |
|------|-------:|-----:|------|
| 全量逐行 | 23 | **442,529** | 100% 一致 |
| 抽样逐行(PM_PAYMENTAPPLY,重查询实体) | 1 | 2,000(抽样,总 38,138) | 100% 一致 |
样本:跨 HR/WF/GB/OA/PM/SYS 六域 24 个真实实体,行数 57~49,938;含引用显示列、状态联查、
COLUMNSQL 计算列、布尔脏数据、关联表(无自有主键)、胖列(照片)等真实形态。
报告档:`parity-reports/parity-20260611-091808.*`(22 全量)+ `parity-20260611-095348.*`(GB_PRJ_WORKER 翻页回退)
+ `parity-20260611-110342.*`(PM_PAYMENTAPPLY 抽样)。
### 归因迭代台账(首轮 6/24 → 终轮 24/24,harness 修正,保真层零改动)
| 类 | 现象 | 根因 | 修正 | 涉及实体 |
|----|------|------|------|---------|
| A 计算列 | 引擎输出 UNITNAME/XXX_DISPLAY__/STATUS 等,物理表无此列,全行 MISSING_LEFT | 引擎对引用列做显示翻译(lateral 子查询) | 比对域限定左侧物理列;右独有列整列登记 engineExtraColumns | 13 个实体 |
| A2 null 省略 | DUEDATE/RCJTYPE 等全 null 列右侧整列缺失 | 引擎 JSON 省略 null 值键 | 右缺列+左 NULL=语义等值,登记 engineNullOmittedColumns | WF_HI_TASKINST、PM_MATERIALREPOSITORY |
| B 取数失败 | 行=0 报错 | ①单页 500 行 ≈61s 超时(DISTINCT+4 LATERAL);②单次全量 1.7GB 超 Jackson 上限(照片列) | 超时 60→300s;单次抓取失败自动回退翻页;--perPage/--sampleRows | PM_PAYMENTAPPLY、GB_PRJ_WORKER |
| C 行集错位 | onlyLeft=onlyRight 成对(929/1234) | 推断主键命中不唯一外键列(关联表无自有 PK);翻页幻影 | 主键唯一性校验→全部 *ID 复合键升级;单次全量抓取 | PM_TASKQUOTA、OA_SEALUSEAPPLYANDSEALRRELATION |
| D 已归因值差异 | BOOLEAN 列 L=2/-1 R=null(1,149+579 行);CONTRACTNUMBER L=null R=合同号(742/2000 行) | ①布尔域外脏数据引擎归 null;②COLUMNSQL 计算列覆盖物理列——**均为新旧一致的引擎语义,经元数据验证** | 元数据感知豁免:booleanDomainColumns / computedSqlColumns,可见不判负 | PM_BUDGETRCJ、PM_BUDGETLIST、PM_PAYMENTAPPLY |
### 结论与边界
1. **引擎移植保真度在客户库真实数据上成立**:44 万+行逐行逐列零未解释差异。
2. 三类元数据感知豁免(布尔域/null 省略/COLUMNSQL)都有引擎语义证据,且在报告中**可见**(整列登记+计数),不是吞差异。
3. PM_PAYMENTAPPLY 用抽样口径(2,000/38,138 行)://全量约 78 分钟(每页 ≈61s 的 O(N) 重算,见迁移手册 §5.14),完整全量列入夜间批跑待办。
4. 本自对拍验证的是「引擎 vs 物理数据」;「新引擎 vs 旧系统」的录制重放对拍仍待旧系统环境(录制切面交付物已就绪)。

View File

@@ -50,6 +50,9 @@ public class DiffReport {
*/
public final Map<String, Integer> explainedBooleanDomainCells = new LinkedHashMap<>();
/** COLUMNSQL 计算列(元数据配子查询,引擎以计算值覆盖物理列;新旧行为一致):不参与值比对,整列登记。 */
public final Set<String> engineComputedSqlColumns = new TreeSet<>();
public DiffReport(String label) {
this.label = label;
}
@@ -132,6 +135,7 @@ public class DiffReport {
m.put("engineExtraColumns", new ArrayList<>(engineExtraColumns));
m.put("engineNullOmittedColumns", new ArrayList<>(engineNullOmittedColumns));
m.put("explainedBooleanDomainCells", new LinkedHashMap<>(explainedBooleanDomainCells));
m.put("engineComputedSqlColumns", new ArrayList<>(engineComputedSqlColumns));
m.put("clean", isClean());
m.put("consistencyRate", consistencyRate());
List<Map<String, Object>> ms = new ArrayList<>();
@@ -162,6 +166,10 @@ public class DiffReport {
sb.append("- 引擎省略的 null 值列(语义等值): `")
.append(String.join(", ", engineNullOmittedColumns)).append("`\n");
}
if (!engineComputedSqlColumns.isEmpty()) {
sb.append("- COLUMNSQL 计算列(引擎子查询覆盖物理列,不参与值比对): `")
.append(String.join(", ", engineComputedSqlColumns)).append("`\n");
}
if (!explainedBooleanDomainCells.isEmpty()) {
sb.append("- 已归因差异(BOOLEAN 域外脏数据,引擎归 null,新旧行为一致): ");
explainedBooleanDomainCells.forEach((c, n) -> sb.append('`').append(c).append("`x").append(n).append(' '));

View File

@@ -59,6 +59,14 @@ public final class RowDiff {
return this;
}
/** COLUMNSQL 计算列集(大写):引擎以子查询计算值覆盖物理列,不可与物理值比对。 */
private java.util.Set<String> computedSqlColumns = java.util.Set.of();
public RowDiff computedSqlColumns(java.util.Set<String> cols) {
this.computedSqlColumns = cols == null ? java.util.Set.of() : cols;
return this;
}
public DiffReport diff(String label, List<Map<String, Object>> left, List<Map<String, Object>> right) {
DiffReport report = new DiffReport(label);
report.keyColumns.addAll(keyColumns);
@@ -110,6 +118,10 @@ public final class RowDiff {
Map<String, Object> ru = upperKeys(r);
for (String col : cols.keySet()) {
if (computedSqlColumns.contains(col)) {
report.engineComputedSqlColumns.add(col);
continue;
}
boolean lHas = lu.containsKey(col);
boolean rHas = ru.containsKey(col);
if (lHas && !rHas) {

View File

@@ -66,6 +66,7 @@ public class SelfCheckRunner {
// 自对拍模式:引擎计算列(右独有)登记不判负;BOOLEAN 域外脏数据归 null 为已归因差异
return new RowDiff(keys, true)
.booleanDomainColumns(booleanColumns(t))
.computedSqlColumns(computedSqlColumns(t))
.diff(t, left, right);
}
@@ -103,6 +104,7 @@ public class SelfCheckRunner {
}
return new RowDiff(List.of(pk), true)
.booleanDomainColumns(booleanColumns(t))
.computedSqlColumns(computedSqlColumns(t))
.diff(t + "[抽样" + right.size() + "行]", left, right);
}
@@ -133,6 +135,28 @@ public class SelfCheckRunner {
}
}
/** 实体的 COLUMNSQL 计算列集(大写);引擎以子查询计算值覆盖物理列(如 PM_PAYMENTAPPLY.CONTRACTNUMBER)。 */
private java.util.Set<String> computedSqlColumns(String table) {
try {
var rows = jdbc.query(
"SELECT a.columnname FROM sys_entityattribute a "
+ "JOIN sys_entity e ON a.entityid = e.sys_entity_id "
+ "WHERE upper(e.tablename) = ? AND a.columnsql IS NOT NULL "
+ "AND length(trim(a.columnsql)) > 0 AND a.isactive = 1",
table.toUpperCase());
java.util.Set<String> cols = new java.util.HashSet<>();
for (var r : rows) {
Object c = r.values().iterator().next();
if (c != null) {
cols.add(c.toString().trim().toUpperCase());
}
}
return cols;
} catch (Exception e) {
return java.util.Set.of();
}
}
private static DiffReport error(String table, String msg) {
DiffReport r = new DiffReport(table);
DiffReport.RowMismatch mm = new DiffReport.RowMismatch("RUNNER_ERROR");

View File

@@ -291,6 +291,22 @@ class RowDiffTest {
.booleanDomainColumns(java.util.Set.of("ISX")).diff("T", l3, r).isClean());
}
@org.junit.jupiter.api.Test
void computedSqlColumnExcludedFromValueCompare() {
// COLUMNSQL 计算列:物理 null,引擎子查询出值(如 CONTRACTNUMBER)——不比对,整列登记
var l = List.<Map<String, Object>>of(new java.util.HashMap<>() {{
put("T_ID", "k1"); put("CONTRACTNUMBER", null); put("A", 1);
}});
var r = List.<Map<String, Object>>of(new java.util.HashMap<>(
Map.of("T_ID", "k1", "CONTRACTNUMBER", "FBHT-202406-000009", "A", 1)));
DiffReport rep = new RowDiff(List.of("T_ID"), true)
.computedSqlColumns(java.util.Set.of("CONTRACTNUMBER")).diff("T", l, r);
assertTrue(rep.isClean());
assertTrue(rep.engineComputedSqlColumns.contains("CONTRACTNUMBER"));
// 未注入时仍判负
assertFalse(new RowDiff(List.of("T_ID"), true).diff("T", l, r).isClean());
}
@org.junit.jupiter.api.Test
void compositeKeyPairsAssociationRows() {
// 关联表场景:单列键撞车会错位,复合键应 100% 配对