Files
eip4-platform/platform-parity/P1-1 全库对拍报告.md

245 lines
15 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# P1-1 全库逐行对拍报告
> 模块:`platform-parity` | 阶段:P1-1 | 日期:2026-06-11
> 上承《C1实测报告.md》「客户库口径」节四类归因台账(本报告为其全库续篇)
> 客户库口径:`jdbc:postgresql://192.168.20.68:5435/postgres?currentSchema=eip3`(ceshi/ceshi 只读),
> 引擎 8084 读同库(共享服务,未重启)。PG 9.4.26。
---
## 一、结论
PoC 阶段全库 1,166 实体只做到**计数级**一致(99.1%)。本轮把首轮发现式对拍(discover)暴露的
**115 个问题实体**逐个归因,迭代到**每实体 ✅ 或带证据分类**,harness 修正后**保真层(com.dsasp)零改动**:
> **115 个问题实体 100% 归因(0 未分类):48 个经 harness 元数据感知豁免/修复转 ✅,
> 11 个确认为引擎读路径真缺陷(完整取证、不豁免),55 个为库内孤儿元数据(数据质量问题),
> 1 个超大表(118 万行)列夜间批跑。**
>
> **终局全库:1,099 / 1,166 = 94.3% 对拍通过(含豁免);新增 5 条元数据感知豁免规则 + 多重集兜底;
> 单测 23 → 30 全绿。**
---
## 二、分桶终表
### 2.1 全库二轮(首轮 vs 本轮终局)
| 桶 | 首轮(discover 20260611-113644) | 终局(本轮归因后) | 说明 |
|----|---:|---:|------|
| OK_FULL | 929 | — | 全量逐行一致 |
| OK_SAMPLE | 122 | — | 抽样逐行一致 |
| **OK 合计** | **1,051** | **1,099** | +48(问题实体经豁免/修复转 OK) |
| DIFF | 34 | **0** | 全部归因:31 转 OK、2 引擎行集缺陷、1 已转 OK |
| ENGINE_ERROR | 26 | **9** | 17 转 OK(harness 限制)、9 为引擎 HTTP 500 真缺陷 |
| JDBC_ERROR | 55 | **55** | 库内孤儿元数据(物理关系缺失,非对拍缺陷) |
| 夜批待办 | — | 1 | GB_ATTENDANCEINFO(118 万行,O(N) 重查询) |
| **总实体** | **1,166** | **1,166** | |
> 终局口径:1,099 OK(94.3%)+ 11 引擎真缺陷(0.9%)+ 55 库孤儿(4.7%)+ 1 夜批(0.1%)。
### 2.2 115 问题实体五类归因
| 类 | 数量 | 性质 | 处置 |
|----|---:|------|------|
| A 库孤儿元数据 | 55 | 元数据有定义、物理关系在 eip3 schema 缺失/不可查 | 数据质量问题,落清单,非对拍缺陷 |
| B 物理孤儿列 | 24 个(实体,列) | 物理有列、无活跃元数据,引擎不读 | 元数据感知豁免(`physicalOrphanColumns`)→ ✅ |
| C 视图无稳定行键 | 9 | SQL 视图 {表名}_ID 两侧坍缩/合成,逐行配对失效 | 多重集兜底(`diffMultiset`)→ ✅ |
| D 表示差异 | 8 | xml 类型读出表示不同 / null 渲染为空 | XML 归一 + 空值豁免 → ✅ |
| E harness 限制 | 15 | 关联表无 {表名}_ID 误入抽样路径 | 抽样退全量 check() → ✅ |
| **真缺陷** | 11 | 引擎读路径错误行集 / HTTP 500 | 完整取证、**不豁免**,引擎侧待修 |
---
## 三、五类归因台账(逐模式/逐实体)
### A.【库孤儿元数据 55】——库内数据质量问题,非对拍缺陷
首轮 55 个 JDBC_ERROR 全部为 `bad SQL grammar [SELECT COUNT(*) FROM ...]`。用 `pg_class` 逐个核验:
- **53 个**物理关系在**全部 schema 皆不存在**(`SYS_ENTITY` 有元数据定义、物理表/视图已删)。
- **VIEW_OA_OFFICE_GOODS_BALANCEOFACCOUNT**:在 eip3 是 `relkind=c`(**复合类型**,非表/视图),`SELECT COUNT(*)` 报「is a composite type」。
- **VIEW_PM_SUPPLIER_SZWJ**:eip3 schema 无,仅 `ceshi*` 前缀 schema 有同名 view → 目标 schema 内孤儿。
> 与盘点报告「55 个孤儿元数据」(迁移手册 §7.1)**逐个对上**:整筐归「库内已知数据质量问题」。
> 清单见附录 A。引擎读这些实体同样会失败(读同库),两侧均不可比,非移植缺陷。
### B.【物理孤儿列 24 列】——元数据感知豁免转 ✅
MISSING_RIGHT 列(物理有值、引擎不返回),逐列查 `SYS_ENTITYATTRIBUTE`:**24 个(实体,列)对 `attr_any` 全 = 0**
(连 inactive 记录都没有)。引擎元数据驱动 SELECT 只读活跃元数据列,故永不读这些物理冗余列,新旧行为一致。
| 实体 | 物理孤儿列 |
|------|----------|
| GB_DEVICE / GB_DISPLAYSCREEN / GB_SENNOR | CHECKONLINE |
| SYS_CODERULE | ORGID, DEPARTID |
| VIEW_USER_KQ | PASSWORD |
| VIEW_SYS_MENU | SEQ |
| VIEW_PM_CONTRACT | SIGNUPTIME, PUTONRECORD |
| VIEW_GETDMINFO | ALLPARENTS |
| VIEW_OA_FILETOME | FILERECEIVEID |
| VIEW_OA_GETSHAREFOLDER | SHAREDRANGE |
| VIEW_OA_OFFICE_GOODS_INVENTORY | MAXIMUMINVENTORY, MININUMINVENTORY |
| VIEW_OA_OFFICE_GOODSSTOCK(_STORE) | INITIALIAMOUNT, BUYAMOUNT, COLLARAMOUNT |
| VIEW_PM_LABORTEAM | UNITNAME, REGISTERDATE |
| VIEW_PM_SPECIALTY_SUBPACKAGE | UNITID |
| VIEW_DATAROLE_OPERATORROLE / VIEW_ROLE_USERGROUP / VIEW_USER_DATAROLE | CREATETIME, CREATEBY, UPDATETIME, UPDATEBY, ISACTIVE |
> **反向守门**:若某列在活跃元数据却 MISSING_RIGHT → 真缺陷,不豁免(单测 `physicalOrphanColumnExempted` 覆盖)。
### C.【视图无稳定唯一行键 9】——多重集兜底转 ✅
SQL 视图的 `{表名}_ID` 是 JOIN/生成列,两侧表示不同且坍缩(VIEW_OA_MEETING 两侧各仅 5 distinct/83 行;
VIEW_HR_CHECKINOUTSELECT 引擎合成 md5 键,与物理 _ID 不相交)。逐行配对必然错位 → 假阳性。
多重集兜底(排除不稳定 {表名}_ID + 物理孤儿/计算列,时间/数值同口径归一)后行集内容一致:
VIEW_OA_MEETING、VIEW_ACT_RU_TASK、VIEW_HR_USERWITHCARDS、VIEW_PM_TURNOVERMATERIALBUYACCOUNT、
VIEW_HR_WELFAREARCHIVES_PAYBASERECORD、VIEW_PM_SPECIALTY_SUBPACKAGE、VIEW_OA_GETSHAREFOLDER、
**VIEW_HR_CHECKINOUTSELECT(111,420 行,full multiset 100%)**、VIEW_PM_LABORTEAM(并入 B 孤儿列)。
### D.【表示差异 8】——XML 归一 + 空值豁免转 ✅
- **xml 物理类型列**(VIEW_PAGE / VIEW_TEMPLATE / VIEW_WFTEMPLATE.XML、SYS_SERVICEFLOW.CONTENTXML、
VIEW_PAGE_CUSTOM、VIEW_TEMPLATE_CUSTOM):**两层根因**——① JDBC 读出 `PgSQLXML` 对象(非 String,
Jackson 不可序列化);② `xml::text` 带 `<?xml..?>` 声明头/首尾空白,引擎读路径剥离。
对拍读取侧统一 `SQLXML.getString()` 物化 + XML 归一(剥声明、trim)。VIEW_PAGE 1,241 行实测:
1,090 完全相同 + 137 仅首尾空白 + 11 仅声明头,**全为表示差异**,物化后 100%。
- **引擎空值渲染**(PM_CALCBASICSCONFIG.DETAILS):物理全 NULL,引擎按 JSON/数组类型渲染为空数组 `[]`
(落地空串)。左 null + 右空串 = 语义等值,登记 `engineEmptyForNullColumns` → 100%。
### E.【harness 限制 15】——抽样退全量转 ✅
13 个关联/中间表(无 {表名}_ID)+ 2 个超 maxFull 的配置表,行数 > maxFull 误入 `checkSample`
(要求 {表名}_ID 回查),报「抽样模式需 {表名}_ID」或 IN 子句 bad grammar。抽样无 {表名}_ID /
回查失败 / 合成键签名时**自动退全量 `check()`**(复合键/多重集兜底),全部转 ✅:
SYS_ROLE_ROLE(2,914)、SYS_ROLESERVICE(5,789)、SYS_USERGROUPUSER(5,301)、SYS_HZPY(6,727)、
OA_SEALUSEAPPLYANDSEALRRELATION(11,059)、OA_FILEPLANRECEIVEUSER(116,946)、OA_NOTICEMANAGEPEOPLE(63,234)、
PM_CONTRACTREVIEWANDSUBCATEGORY、PM_PROJECTCHANGEVISAAPPLYANDLISTRELATION、PM_SPECIALTYSUBCONTRACTREGISTERANDSUBCATEGORY、
OA_MEETINGMINUTESATTENDEE/SEND、OA_FILEPLANSENDUSER、OA_SEALUSE(APPLYANDREGISTER/REGISTERANDSEALR)RELATION、
PM_LABOURSUBCONTRACTREGISTERCONFIG/VIEWCONFIG。
### 真缺陷【引擎读路径 11】——完整取证、不豁免、引擎侧待修
| 实体 | 现象 | 证据 |
|------|------|------|
| **PM_LABORTEAM** | 引擎行集坍缩 | 物理 71 行 71 唯一 ID;引擎 71 行但 PM_LABORTEAM_ID 仅 **2 distinct**(一 id 重复 70 次);排除所有 ID 列后 30 列 multiset 全不齐(69/71 不同)。JDBC 直查正常。 |
| **PM_SPIDER_JSBIDWIN** | 引擎全行重复 | 物理 315,035 行;引擎单页 500 行**全为同一行**(distinct full row = 1)。 |
| SYS_DATASTATUS | HTTP 500 | 元数据声明 SYS_DATASTATUS_ID/CREATEBY/审计列,物理表仅 BUSINESSKEY/DATASTATUS/TABLENAME(无 PK)。 |
| SYS_UPDATE_LOG | HTTP 500 | 元数据声明 ISACTIVE(BOOLEAN),物理表无 isactive 列。 |
| VIEW_SYS_DIMENSIONDEPART | HTTP 500 | 元数据列全在物理视图、JDBC 直查 45 行正常;引擎 500(疑 reference LATERAL / 保留字 `LEVEL` 列未引号)。 |
| VIEW_PM_ARTIFICIALRELATION / MACHINERELATION / MATERIALRELATION | HTTP 500 | 同上;JDBC 直查正常(74 / 1,528 / 10,705 行)。 |
| VIEW_OA_REIMBURSEMENTAPPLYSUM / VIEW_PM_PAYMENTAFFIRMSUM / VIEW_PROJECTCONTRACTNUMBER | HTTP 500 | 同上;JDBC 直查正常(1 / 37,349 / 1,673 行)。 |
> 前 2 个 = 引擎 listSelect SQL 生成对该实体输出错误行集(疑笛卡尔/错误 JOIN);
> SYS_* 2 个 = 元数据/物理漂移(迁移手册 §7.2);7 个 VIEW_* = 引擎对视图读路径 SQL 生成缺陷
> (元数据列齐、JDBC 直查正常、引擎仍 500)。**均属引擎侧(EntityController / com.dsasp SQL 生成),
> 本对拍取证不修。** 修复方向:对照旧系统同实体 listSelect 确认移植引入 vs 旧系统固有。
### 夜批待办 1
- **GB_ATTENDANCEINFO**(1,184,533 行):O(N) 重查询大表(§5.14 类),perPage 200 仍单请求超时。
列夜间批跑,更小 perPage + sampleRows 做值级抽样验证。
---
## 四、新增豁免规则登记(全部元数据感知、报告可见、配单测)
| # | 规则 | 触发条件 | 报告字段 | 单测 |
|---|------|---------|---------|------|
| 1 | 物理孤儿列 | MISSING_RIGHT 且列不在实体活跃元数据列集 | `physicalOrphanColumns` | `physicalOrphanColumnExempted` |
| 2 | XML 表示归一 | xml 物理类型列,剥 `<?xml..?>` + trim 首尾空白后等值 | `xmlRepresentationColumns` | `xmlRepresentationNormalized` / `normalizerXmlEqual` |
| 3 | 引擎空值渲染 | 自对拍模式,左 null + 右空串(JSON 空数组渲染) | `engineEmptyForNullColumns` | `engineEmptyForNullExempted` / `normalizerNullVsEmpty` |
| 4 | 多重集兜底 | 主键两侧不唯一或逐行零配对 → 按行多重集比较 | `multisetMode` | `multisetFallbackForUnstableKey` / `multisetExcludesOrphanColumns` |
| 5 | 抽样退全量 | 抽样无 {表名}_ID / IN 回查失败 / 合成键签名 → full check | (路径切换) | (集成验证) |
> 配套根治:`JdbcResultReader` 对 `java.sql.SQLXML` 统一 `getString()` 物化(根除 PgSQLXML 比对/序列化问题)。
> 全部规则**仅自对拍模式生效**;录制重放(新旧引擎两侧同源)保持严格逐行,缺列即缺陷。
---
## 五、与 PoC 计数级 99.1% 的口径对比
| 维度 | PoC 计数级 | 本轮逐行逐列 |
|------|-----------|-------------|
| 比较粒度 | `count(*) == listSelect total` | 结果集逐行逐列归一比对 |
| 通过口径 | 1,051/1,166 计数一致(扣 55 孤儿 + 9 漂移后 99.1%) | 1,099/1,166 = 94.3% 逐行通过(含元数据感知豁免) |
| 新暴露 | — | **2 个引擎行集坍缩缺陷**(PM_LABORTEAM / PM_SPIDER_JSBIDWIN)——计数级查不出:total 正确但每行内容错。 |
| 孤儿/漂移 | 55 孤儿 + 9 漂移(PoC 记) | 逐个落实根因:55 孤儿核验全对上;9 漂移其中 SYS_DATASTATUS/SYS_UPDATE_LOG 确为元数据/物理漂移,另 7 个 VIEW_* 定性为引擎视图读路径缺陷。 |
> **逐行对拍的增量价值**:计数级 total 一致掩盖了 PM_LABORTEAM/PM_SPIDER_JSBIDWIN「total 对、每行错」的引擎缺陷;
> 本轮逐行比对把它们暴露并取证。94.3% vs 99.1% 的差是「更严口径 + 暴露真缺陷」,非回退。
---
## 六、复现
```bash
export JAVA_HOME=/opt/homebrew/opt/openjdk@17/libexec/openjdk.jdk/Contents/Home
CP="platform-parity/target/classes:$(mvn -q org.apache.maven.plugins:maven-dependency-plugin:build-classpath \
-pl platform-parity -Dmdep.outputFile=/dev/stdout -o | tail -1)"
JDBC='jdbc:postgresql://192.168.20.68:5435/postgres?currentSchema=eip3'
# 单测(30 全绿)
mvn test -pl platform-parity
# 单实体逐行(已豁免转 OK 的代表)
java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli \
--entities=GB_DEVICE,VIEW_PAGE,VIEW_OA_MEETING,SYS_ROLE_ROLE,PM_CALCBASICSCONFIG \
--jdbc="$JDBC" --user=ceshi --pass=ceshi
# 真缺陷复现(仍 DIFF / 500)
java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli \
--entities=PM_LABORTEAM,PM_SPIDER_JSBIDWIN --sampleRows=200 \
--jdbc="$JDBC" --user=ceshi --pass=ceshi
# 全库二轮(resumeFrom 跳过首轮 OK,只重跑问题实体)
java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli \
--discover --maxFull=20000 --discoverSample=2000 --resumeFrom=<首轮OK清单.jsonl> \
--jdbc="$JDBC" --user=ceshi --pass=ceshi
```
---
## 附录 A:55 孤儿元数据清单
物理关系在 eip3 schema 缺失/不可查的 55 个实体(`SYS_ENTITY` 有定义):
```
GB_UNUSUALPROJECT, PM_JICQUOTATION_COMPARE, PM_JICQUOTATION_COMPARE_TREND, PM_PROJECTNODEDATA,
PM_TAXINVOICE_TEMP, SYS_USEROPERATIONS, VIEW_CARD_DINGSHI, VIEW_CUSTOM_SZWJ, VIEW_FPGL,
VIEW_HR_ATTENDLOG, VIEW_INVOICEWUJIAN, VIEW_JGGL, VIEW_OA_FORM,
VIEW_OA_OFFICE_GOODS_BALANCEOFACCOUNT(复合类型), VIEW_OA_OFFICE_GOODS_REPORT, VIEW_OA_PAYMENTAPPLY,
VIEW_OA_REALESTATEMANAGE_REPORT, VIEW_PAYWUJIAN, VIEW_PM_BUILDERSDIARY_TEMP, VIEW_PM_CUSTOM_SZWJ,
VIEW_PM_MATERIALMANAGEFORM_TJ, VIEW_PM_MATERIALMANAGEREPORT_TJ, VIEW_PM_MATERIALPLAN,
VIEW_PM_MONTHCOMPLETEWORK, VIEW_PM_PAYMENTAPPLY, VIEW_PM_PROJECTCUSTOMIZATIONFORM, VIEW_PM_PROJECTFORM,
VIEW_PM_PROJECTFUNDCOMREPORT, VIEW_PM_PROJECTFUNDREPORT, VIEW_PM_PROJECTMANAGEREPORT,
VIEW_PM_PROJECT_SUMMARYREPORT, VIEW_PM_PROJECT_TEMP, VIEW_PM_QUALITYMANAGEREPORT,
VIEW_PM_SAFETYMANAGEREPORT, VIEW_PM_SECURITYDIARY_TEMP, VIEW_PM_SUBCONTRACT2, VIEW_PM_SUBPACKAGEPLAN,
VIEW_PM_SUPPLIER_SZWJ(仅 ceshi* schema 有), VIEW_PM_TURNOVERMATERIALMANAGEREPORT, VIEW_PROCESSMANAGEFORM,
VIEW_PROJECTCOSTREPORT, VIEW_PROJECTCOSTREPORTTJ, VIEW_PROJECTTWOCALCULATIONCOMPARISON, VIEW_QZWUJIAN,
VIEW_SUBPACKAGE_TYPE_ENUM, VIEW_SYS_USERLOGINFO, VIEW_TEMP_PAY, VIEW_TURNOVERMATERIALSTOCK, VIEW_WELFARE,
VIEW_WUJIAN, VM_AQGLBD, VM_HR, VM_HTBD, VM_PM_SPIDER_LOG, VM_SHEBEIGUANLI
```
## 附录 B:真缺陷清单(引擎侧待修,11 个)
```
引擎行集坍缩(total 对、每行错):PM_LABORTEAM, PM_SPIDER_JSBIDWIN
引擎 HTTP 500(元数据/物理漂移):SYS_DATASTATUS, SYS_UPDATE_LOG
引擎 HTTP 500(视图读路径 SQL 生成缺陷):VIEW_SYS_DIMENSIONDEPART, VIEW_PM_ARTIFICIALRELATION,
VIEW_PM_MACHINERELATION, VIEW_PM_MATERIALRELATION, VIEW_OA_REIMBURSEMENTAPPLYSUM,
VIEW_PM_PAYMENTAFFIRMSUM, VIEW_PROJECTCONTRACTNUMBER
```
---
## 附记:GB_ATTENDANCEINFO 夜批结论(2026-06-11)
**对拍阻塞于引擎读路径性能,非数据不一致**,取证如下:
- 表 1,184,533 行,**索引数 0(含主键)**——印证迁移手册 §5.5(MIDTABLE 建表无主键子句)+ §5.21(createTableSql 不建索引)的叠加后果
- 裸 `count(*)` 实测 **4 分 49 秒**;引擎每个 list 分页请求都含 count → REST 读路径在此表上事实不可用(任何页 ≥5 分钟,超对拍 300s 超时)
- 测试副本加索引属 DDL 写操作,违反只读纪律,未执行
- **复验前置**:P1-5 存量补索引脚本在切流期变更窗口执行后,本实体重跑抽样对拍(预期 count 降至秒级)
- 该实证同时是 P2 性能改造(索引/参数化)优先级清单的头部证据