15 KiB
P1-1 全库逐行对拍报告
模块:
platform-parity| 阶段:P1-1 | 日期:2026-06-11 上承《C1实测报告.md》「客户库口径」节四类归因台账(本报告为其全库续篇) 客户库口径:jdbc:postgresql://192.168.20.68:5435/postgres?currentSchema=eip3(ceshi/ceshi 只读), 引擎 8084 读同库(共享服务,未重启)。PG 9.4.26。
一、结论
PoC 阶段全库 1,166 实体只做到计数级一致(99.1%)。本轮把首轮发现式对拍(discover)暴露的 115 个问题实体逐个归因,迭代到每实体 ✅ 或带证据分类,harness 修正后保真层(com.dsasp)零改动:
115 个问题实体 100% 归因(0 未分类):48 个经 harness 元数据感知豁免/修复转 ✅, 11 个确认为引擎读路径真缺陷(完整取证、不豁免),55 个为库内孤儿元数据(数据质量问题), 1 个超大表(118 万行)列夜间批跑。
终局全库:1,099 / 1,166 = 94.3% 对拍通过(含豁免);新增 5 条元数据感知豁免规则 + 多重集兜底; 单测 23 → 30 全绿。
二、分桶终表
2.1 全库二轮(首轮 vs 本轮终局)
| 桶 | 首轮(discover 20260611-113644) | 终局(本轮归因后) | 说明 |
|---|---|---|---|
| OK_FULL | 929 | — | 全量逐行一致 |
| OK_SAMPLE | 122 | — | 抽样逐行一致 |
| OK 合计 | 1,051 | 1,099 | +48(问题实体经豁免/修复转 OK) |
| DIFF | 34 | 0 | 全部归因:31 转 OK、2 引擎行集缺陷、1 已转 OK |
| ENGINE_ERROR | 26 | 9 | 17 转 OK(harness 限制)、9 为引擎 HTTP 500 真缺陷 |
| JDBC_ERROR | 55 | 55 | 库内孤儿元数据(物理关系缺失,非对拍缺陷) |
| 夜批待办 | — | 1 | GB_ATTENDANCEINFO(118 万行,O(N) 重查询) |
| 总实体 | 1,166 | 1,166 |
终局口径:1,099 OK(94.3%)+ 11 引擎真缺陷(0.9%)+ 55 库孤儿(4.7%)+ 1 夜批(0.1%)。
2.2 115 问题实体五类归因
| 类 | 数量 | 性质 | 处置 |
|---|---|---|---|
| A 库孤儿元数据 | 55 | 元数据有定义、物理关系在 eip3 schema 缺失/不可查 | 数据质量问题,落清单,非对拍缺陷 |
| B 物理孤儿列 | 24 个(实体,列) | 物理有列、无活跃元数据,引擎不读 | 元数据感知豁免(physicalOrphanColumns)→ ✅ |
| C 视图无稳定行键 | 9 | SQL 视图 {表名}_ID 两侧坍缩/合成,逐行配对失效 | 多重集兜底(diffMultiset)→ ✅ |
| D 表示差异 | 8 | xml 类型读出表示不同 / null 渲染为空 | XML 归一 + 空值豁免 → ✅ |
| E harness 限制 | 15 | 关联表无 {表名}_ID 误入抽样路径 | 抽样退全量 check() → ✅ |
| 真缺陷 | 11 | 引擎读路径错误行集 / HTTP 500 | 完整取证、不豁免,引擎侧待修 |
三、五类归因台账(逐模式/逐实体)
A.【库孤儿元数据 55】——库内数据质量问题,非对拍缺陷
首轮 55 个 JDBC_ERROR 全部为 bad SQL grammar [SELECT COUNT(*) FROM ...]。用 pg_class 逐个核验:
- 53 个物理关系在全部 schema 皆不存在(
SYS_ENTITY有元数据定义、物理表/视图已删)。 - VIEW_OA_OFFICE_GOODS_BALANCEOFACCOUNT:在 eip3 是
relkind=c(复合类型,非表/视图),SELECT COUNT(*)报「is a composite type」。 - VIEW_PM_SUPPLIER_SZWJ:eip3 schema 无,仅
ceshi*前缀 schema 有同名 view → 目标 schema 内孤儿。
与盘点报告「55 个孤儿元数据」(迁移手册 §7.1)逐个对上:整筐归「库内已知数据质量问题」。 清单见附录 A。引擎读这些实体同样会失败(读同库),两侧均不可比,非移植缺陷。
B.【物理孤儿列 24 列】——元数据感知豁免转 ✅
MISSING_RIGHT 列(物理有值、引擎不返回),逐列查 SYS_ENTITYATTRIBUTE:24 个(实体,列)对 attr_any 全 = 0
(连 inactive 记录都没有)。引擎元数据驱动 SELECT 只读活跃元数据列,故永不读这些物理冗余列,新旧行为一致。
| 实体 | 物理孤儿列 |
|---|---|
| GB_DEVICE / GB_DISPLAYSCREEN / GB_SENNOR | CHECKONLINE |
| SYS_CODERULE | ORGID, DEPARTID |
| VIEW_USER_KQ | PASSWORD |
| VIEW_SYS_MENU | SEQ |
| VIEW_PM_CONTRACT | SIGNUPTIME, PUTONRECORD |
| VIEW_GETDMINFO | ALLPARENTS |
| VIEW_OA_FILETOME | FILERECEIVEID |
| VIEW_OA_GETSHAREFOLDER | SHAREDRANGE |
| VIEW_OA_OFFICE_GOODS_INVENTORY | MAXIMUMINVENTORY, MININUMINVENTORY |
| VIEW_OA_OFFICE_GOODSSTOCK(_STORE) | INITIALIAMOUNT, BUYAMOUNT, COLLARAMOUNT |
| VIEW_PM_LABORTEAM | UNITNAME, REGISTERDATE |
| VIEW_PM_SPECIALTY_SUBPACKAGE | UNITID |
| VIEW_DATAROLE_OPERATORROLE / VIEW_ROLE_USERGROUP / VIEW_USER_DATAROLE | CREATETIME, CREATEBY, UPDATETIME, UPDATEBY, ISACTIVE |
反向守门:若某列在活跃元数据却 MISSING_RIGHT → 真缺陷,不豁免(单测
physicalOrphanColumnExempted覆盖)。
C.【视图无稳定唯一行键 9】——多重集兜底转 ✅
SQL 视图的 {表名}_ID 是 JOIN/生成列,两侧表示不同且坍缩(VIEW_OA_MEETING 两侧各仅 5 distinct/83 行;
VIEW_HR_CHECKINOUTSELECT 引擎合成 md5 键,与物理 _ID 不相交)。逐行配对必然错位 → 假阳性。
多重集兜底(排除不稳定 {表名}_ID + 物理孤儿/计算列,时间/数值同口径归一)后行集内容一致:
VIEW_OA_MEETING、VIEW_ACT_RU_TASK、VIEW_HR_USERWITHCARDS、VIEW_PM_TURNOVERMATERIALBUYACCOUNT、 VIEW_HR_WELFAREARCHIVES_PAYBASERECORD、VIEW_PM_SPECIALTY_SUBPACKAGE、VIEW_OA_GETSHAREFOLDER、 VIEW_HR_CHECKINOUTSELECT(111,420 行,full multiset 100%)、VIEW_PM_LABORTEAM(并入 B 孤儿列)。
D.【表示差异 8】——XML 归一 + 空值豁免转 ✅
- xml 物理类型列(VIEW_PAGE / VIEW_TEMPLATE / VIEW_WFTEMPLATE.XML、SYS_SERVICEFLOW.CONTENTXML、
VIEW_PAGE_CUSTOM、VIEW_TEMPLATE_CUSTOM):两层根因——① JDBC 读出
PgSQLXML对象(非 String, Jackson 不可序列化);②xml::text带<?xml..?>声明头/首尾空白,引擎读路径剥离。 对拍读取侧统一SQLXML.getString()物化 + XML 归一(剥声明、trim)。VIEW_PAGE 1,241 行实测: 1,090 完全相同 + 137 仅首尾空白 + 11 仅声明头,全为表示差异,物化后 100%。 - 引擎空值渲染(PM_CALCBASICSCONFIG.DETAILS):物理全 NULL,引擎按 JSON/数组类型渲染为空数组
[](落地空串)。左 null + 右空串 = 语义等值,登记engineEmptyForNullColumns→ 100%。
E.【harness 限制 15】——抽样退全量转 ✅
13 个关联/中间表(无 {表名}_ID)+ 2 个超 maxFull 的配置表,行数 > maxFull 误入 checkSample
(要求 {表名}_ID 回查),报「抽样模式需 {表名}_ID」或 IN 子句 bad grammar。抽样无 {表名}_ID /
回查失败 / 合成键签名时自动退全量 check()(复合键/多重集兜底),全部转 ✅:
SYS_ROLE_ROLE(2,914)、SYS_ROLESERVICE(5,789)、SYS_USERGROUPUSER(5,301)、SYS_HZPY(6,727)、 OA_SEALUSEAPPLYANDSEALRRELATION(11,059)、OA_FILEPLANRECEIVEUSER(116,946)、OA_NOTICEMANAGEPEOPLE(63,234)、 PM_CONTRACTREVIEWANDSUBCATEGORY、PM_PROJECTCHANGEVISAAPPLYANDLISTRELATION、PM_SPECIALTYSUBCONTRACTREGISTERANDSUBCATEGORY、 OA_MEETINGMINUTESATTENDEE/SEND、OA_FILEPLANSENDUSER、OA_SEALUSE(APPLYANDREGISTER/REGISTERANDSEALR)RELATION、 PM_LABOURSUBCONTRACTREGISTERCONFIG/VIEWCONFIG。
真缺陷【引擎读路径 11】——完整取证、不豁免、引擎侧待修
| 实体 | 现象 | 证据 |
|---|---|---|
| PM_LABORTEAM | 引擎行集坍缩 | 物理 71 行 71 唯一 ID;引擎 71 行但 PM_LABORTEAM_ID 仅 2 distinct(一 id 重复 70 次);排除所有 ID 列后 30 列 multiset 全不齐(69/71 不同)。JDBC 直查正常。 |
| PM_SPIDER_JSBIDWIN | 引擎全行重复 | 物理 315,035 行;引擎单页 500 行全为同一行(distinct full row = 1)。 |
| SYS_DATASTATUS | HTTP 500 | 元数据声明 SYS_DATASTATUS_ID/CREATEBY/审计列,物理表仅 BUSINESSKEY/DATASTATUS/TABLENAME(无 PK)。 |
| SYS_UPDATE_LOG | HTTP 500 | 元数据声明 ISACTIVE(BOOLEAN),物理表无 isactive 列。 |
| VIEW_SYS_DIMENSIONDEPART | HTTP 500 | 元数据列全在物理视图、JDBC 直查 45 行正常;引擎 500(疑 reference LATERAL / 保留字 LEVEL 列未引号)。 |
| VIEW_PM_ARTIFICIALRELATION / MACHINERELATION / MATERIALRELATION | HTTP 500 | 同上;JDBC 直查正常(74 / 1,528 / 10,705 行)。 |
| VIEW_OA_REIMBURSEMENTAPPLYSUM / VIEW_PM_PAYMENTAFFIRMSUM / VIEW_PROJECTCONTRACTNUMBER | HTTP 500 | 同上;JDBC 直查正常(1 / 37,349 / 1,673 行)。 |
前 2 个 = 引擎 listSelect SQL 生成对该实体输出错误行集(疑笛卡尔/错误 JOIN); SYS_* 2 个 = 元数据/物理漂移(迁移手册 §7.2);7 个 VIEW_* = 引擎对视图读路径 SQL 生成缺陷 (元数据列齐、JDBC 直查正常、引擎仍 500)。均属引擎侧(EntityController / com.dsasp SQL 生成), 本对拍取证不修。 修复方向:对照旧系统同实体 listSelect 确认移植引入 vs 旧系统固有。
夜批待办 1
- GB_ATTENDANCEINFO(1,184,533 行):O(N) 重查询大表(§5.14 类),perPage 200 仍单请求超时。 列夜间批跑,更小 perPage + sampleRows 做值级抽样验证。
四、新增豁免规则登记(全部元数据感知、报告可见、配单测)
| # | 规则 | 触发条件 | 报告字段 | 单测 |
|---|---|---|---|---|
| 1 | 物理孤儿列 | MISSING_RIGHT 且列不在实体活跃元数据列集 | physicalOrphanColumns |
physicalOrphanColumnExempted |
| 2 | XML 表示归一 | xml 物理类型列,剥 <?xml..?> + trim 首尾空白后等值 |
xmlRepresentationColumns |
xmlRepresentationNormalized / normalizerXmlEqual |
| 3 | 引擎空值渲染 | 自对拍模式,左 null + 右空串(JSON 空数组渲染) | engineEmptyForNullColumns |
engineEmptyForNullExempted / normalizerNullVsEmpty |
| 4 | 多重集兜底 | 主键两侧不唯一或逐行零配对 → 按行多重集比较 | multisetMode |
multisetFallbackForUnstableKey / multisetExcludesOrphanColumns |
| 5 | 抽样退全量 | 抽样无 {表名}_ID / IN 回查失败 / 合成键签名 → full check | (路径切换) | (集成验证) |
配套根治:
JdbcResultReader对java.sql.SQLXML统一getString()物化(根除 PgSQLXML 比对/序列化问题)。 全部规则仅自对拍模式生效;录制重放(新旧引擎两侧同源)保持严格逐行,缺列即缺陷。
五、与 PoC 计数级 99.1% 的口径对比
| 维度 | PoC 计数级 | 本轮逐行逐列 |
|---|---|---|
| 比较粒度 | count(*) == listSelect total |
结果集逐行逐列归一比对 |
| 通过口径 | 1,051/1,166 计数一致(扣 55 孤儿 + 9 漂移后 99.1%) | 1,099/1,166 = 94.3% 逐行通过(含元数据感知豁免) |
| 新暴露 | — | 2 个引擎行集坍缩缺陷(PM_LABORTEAM / PM_SPIDER_JSBIDWIN)——计数级查不出:total 正确但每行内容错。 |
| 孤儿/漂移 | 55 孤儿 + 9 漂移(PoC 记) | 逐个落实根因:55 孤儿核验全对上;9 漂移其中 SYS_DATASTATUS/SYS_UPDATE_LOG 确为元数据/物理漂移,另 7 个 VIEW_* 定性为引擎视图读路径缺陷。 |
逐行对拍的增量价值:计数级 total 一致掩盖了 PM_LABORTEAM/PM_SPIDER_JSBIDWIN「total 对、每行错」的引擎缺陷; 本轮逐行比对把它们暴露并取证。94.3% vs 99.1% 的差是「更严口径 + 暴露真缺陷」,非回退。
六、复现
export JAVA_HOME=/opt/homebrew/opt/openjdk@17/libexec/openjdk.jdk/Contents/Home
CP="platform-parity/target/classes:$(mvn -q org.apache.maven.plugins:maven-dependency-plugin:build-classpath \
-pl platform-parity -Dmdep.outputFile=/dev/stdout -o | tail -1)"
JDBC='jdbc:postgresql://192.168.20.68:5435/postgres?currentSchema=eip3'
# 单测(30 全绿)
mvn test -pl platform-parity
# 单实体逐行(已豁免转 OK 的代表)
java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli \
--entities=GB_DEVICE,VIEW_PAGE,VIEW_OA_MEETING,SYS_ROLE_ROLE,PM_CALCBASICSCONFIG \
--jdbc="$JDBC" --user=ceshi --pass=ceshi
# 真缺陷复现(仍 DIFF / 500)
java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli \
--entities=PM_LABORTEAM,PM_SPIDER_JSBIDWIN --sampleRows=200 \
--jdbc="$JDBC" --user=ceshi --pass=ceshi
# 全库二轮(resumeFrom 跳过首轮 OK,只重跑问题实体)
java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli \
--discover --maxFull=20000 --discoverSample=2000 --resumeFrom=<首轮OK清单.jsonl> \
--jdbc="$JDBC" --user=ceshi --pass=ceshi
附录 A:55 孤儿元数据清单
物理关系在 eip3 schema 缺失/不可查的 55 个实体(SYS_ENTITY 有定义):
GB_UNUSUALPROJECT, PM_JICQUOTATION_COMPARE, PM_JICQUOTATION_COMPARE_TREND, PM_PROJECTNODEDATA,
PM_TAXINVOICE_TEMP, SYS_USEROPERATIONS, VIEW_CARD_DINGSHI, VIEW_CUSTOM_SZWJ, VIEW_FPGL,
VIEW_HR_ATTENDLOG, VIEW_INVOICEWUJIAN, VIEW_JGGL, VIEW_OA_FORM,
VIEW_OA_OFFICE_GOODS_BALANCEOFACCOUNT(复合类型), VIEW_OA_OFFICE_GOODS_REPORT, VIEW_OA_PAYMENTAPPLY,
VIEW_OA_REALESTATEMANAGE_REPORT, VIEW_PAYWUJIAN, VIEW_PM_BUILDERSDIARY_TEMP, VIEW_PM_CUSTOM_SZWJ,
VIEW_PM_MATERIALMANAGEFORM_TJ, VIEW_PM_MATERIALMANAGEREPORT_TJ, VIEW_PM_MATERIALPLAN,
VIEW_PM_MONTHCOMPLETEWORK, VIEW_PM_PAYMENTAPPLY, VIEW_PM_PROJECTCUSTOMIZATIONFORM, VIEW_PM_PROJECTFORM,
VIEW_PM_PROJECTFUNDCOMREPORT, VIEW_PM_PROJECTFUNDREPORT, VIEW_PM_PROJECTMANAGEREPORT,
VIEW_PM_PROJECT_SUMMARYREPORT, VIEW_PM_PROJECT_TEMP, VIEW_PM_QUALITYMANAGEREPORT,
VIEW_PM_SAFETYMANAGEREPORT, VIEW_PM_SECURITYDIARY_TEMP, VIEW_PM_SUBCONTRACT2, VIEW_PM_SUBPACKAGEPLAN,
VIEW_PM_SUPPLIER_SZWJ(仅 ceshi* schema 有), VIEW_PM_TURNOVERMATERIALMANAGEREPORT, VIEW_PROCESSMANAGEFORM,
VIEW_PROJECTCOSTREPORT, VIEW_PROJECTCOSTREPORTTJ, VIEW_PROJECTTWOCALCULATIONCOMPARISON, VIEW_QZWUJIAN,
VIEW_SUBPACKAGE_TYPE_ENUM, VIEW_SYS_USERLOGINFO, VIEW_TEMP_PAY, VIEW_TURNOVERMATERIALSTOCK, VIEW_WELFARE,
VIEW_WUJIAN, VM_AQGLBD, VM_HR, VM_HTBD, VM_PM_SPIDER_LOG, VM_SHEBEIGUANLI
附录 B:真缺陷清单(引擎侧待修,11 个)
引擎行集坍缩(total 对、每行错):PM_LABORTEAM, PM_SPIDER_JSBIDWIN
引擎 HTTP 500(元数据/物理漂移):SYS_DATASTATUS, SYS_UPDATE_LOG
引擎 HTTP 500(视图读路径 SQL 生成缺陷):VIEW_SYS_DIMENSIONDEPART, VIEW_PM_ARTIFICIALRELATION,
VIEW_PM_MACHINERELATION, VIEW_PM_MATERIALRELATION, VIEW_OA_REIMBURSEMENTAPPLYSUM,
VIEW_PM_PAYMENTAFFIRMSUM, VIEW_PROJECTCONTRACTNUMBER
附记:GB_ATTENDANCEINFO 夜批结论(2026-06-11)
对拍阻塞于引擎读路径性能,非数据不一致,取证如下:
- 表 1,184,533 行,索引数 0(含主键)——印证迁移手册 §5.5(MIDTABLE 建表无主键子句)+ §5.21(createTableSql 不建索引)的叠加后果
- 裸
count(*)实测 4 分 49 秒;引擎每个 list 分页请求都含 count → REST 读路径在此表上事实不可用(任何页 ≥5 分钟,超对拍 300s 超时) - 测试副本加索引属 DDL 写操作,违反只读纪律,未执行
- 复验前置:P1-5 存量补索引脚本在切流期变更窗口执行后,本实体重跑抽样对拍(预期 count 降至秒级)
- 该实证同时是 P2 性能改造(索引/参数化)优先级清单的头部证据