Files
eip4-platform/platform-parity/P1-1 全库对拍报告.md

15 KiB
Raw Permalink Blame History

P1-1 全库逐行对拍报告

模块:platform-parity | 阶段:P1-1 | 日期:2026-06-11 上承《C1实测报告.md》「客户库口径」节四类归因台账(本报告为其全库续篇) 客户库口径:jdbc:postgresql://192.168.20.68:5435/postgres?currentSchema=eip3(ceshi/ceshi 只读), 引擎 8084 读同库(共享服务,未重启)。PG 9.4.26。


一、结论

PoC 阶段全库 1,166 实体只做到计数级一致(99.1%)。本轮把首轮发现式对拍(discover)暴露的 115 个问题实体逐个归因,迭代到每实体 ✅ 或带证据分类,harness 修正后保真层(com.dsasp)零改动:

115 个问题实体 100% 归因(0 未分类):48 个经 harness 元数据感知豁免/修复转 ✅, 11 个确认为引擎读路径真缺陷(完整取证、不豁免),55 个为库内孤儿元数据(数据质量问题), 1 个超大表(118 万行)列夜间批跑。

终局全库:1,099 / 1,166 = 94.3% 对拍通过(含豁免);新增 5 条元数据感知豁免规则 + 多重集兜底; 单测 23 → 30 全绿。


二、分桶终表

2.1 全库二轮(首轮 vs 本轮终局)

桶 首轮(discover 20260611-113644) 终局(本轮归因后) 说明
OK_FULL 929 — 全量逐行一致
OK_SAMPLE 122 — 抽样逐行一致
OK 合计 1,051 1,099 +48(问题实体经豁免/修复转 OK)
DIFF 34 0 全部归因:31 转 OK、2 引擎行集缺陷、1 已转 OK
ENGINE_ERROR 26 9 17 转 OK(harness 限制)、9 为引擎 HTTP 500 真缺陷
JDBC_ERROR 55 55 库内孤儿元数据(物理关系缺失,非对拍缺陷)
夜批待办 — 1 GB_ATTENDANCEINFO(118 万行,O(N) 重查询)
总实体 1,166 1,166

终局口径:1,099 OK(94.3%)+ 11 引擎真缺陷(0.9%)+ 55 库孤儿(4.7%)+ 1 夜批(0.1%)。

2.2 115 问题实体五类归因

类 数量 性质 处置
A 库孤儿元数据 55 元数据有定义、物理关系在 eip3 schema 缺失/不可查 数据质量问题,落清单,非对拍缺陷
B 物理孤儿列 24 个(实体,列) 物理有列、无活跃元数据,引擎不读 元数据感知豁免(physicalOrphanColumns)→ ✅
C 视图无稳定行键 9 SQL 视图 {表名}_ID 两侧坍缩/合成,逐行配对失效 多重集兜底(diffMultiset)→ ✅
D 表示差异 8 xml 类型读出表示不同 / null 渲染为空 XML 归一 + 空值豁免 → ✅
E harness 限制 15 关联表无 {表名}_ID 误入抽样路径 抽样退全量 check() → ✅
真缺陷 11 引擎读路径错误行集 / HTTP 500 完整取证、不豁免,引擎侧待修

三、五类归因台账(逐模式/逐实体)

A.【库孤儿元数据 55】——库内数据质量问题,非对拍缺陷

首轮 55 个 JDBC_ERROR 全部为 bad SQL grammar [SELECT COUNT(*) FROM ...]。用 pg_class 逐个核验:

  • 53 个物理关系在全部 schema 皆不存在(SYS_ENTITY 有元数据定义、物理表/视图已删)。
  • VIEW_OA_OFFICE_GOODS_BALANCEOFACCOUNT:在 eip3 是 relkind=c(复合类型,非表/视图),SELECT COUNT(*) 报「is a composite type」。
  • VIEW_PM_SUPPLIER_SZWJ:eip3 schema 无,仅 ceshi* 前缀 schema 有同名 view → 目标 schema 内孤儿。

与盘点报告「55 个孤儿元数据」(迁移手册 §7.1)逐个对上:整筐归「库内已知数据质量问题」。 清单见附录 A。引擎读这些实体同样会失败(读同库),两侧均不可比,非移植缺陷。

B.【物理孤儿列 24 列】——元数据感知豁免转 ✅

MISSING_RIGHT 列(物理有值、引擎不返回),逐列查 SYS_ENTITYATTRIBUTE:24 个(实体,列)对 attr_any 全 = 0 (连 inactive 记录都没有)。引擎元数据驱动 SELECT 只读活跃元数据列,故永不读这些物理冗余列,新旧行为一致。

实体 物理孤儿列
GB_DEVICE / GB_DISPLAYSCREEN / GB_SENNOR CHECKONLINE
SYS_CODERULE ORGID, DEPARTID
VIEW_USER_KQ PASSWORD
VIEW_SYS_MENU SEQ
VIEW_PM_CONTRACT SIGNUPTIME, PUTONRECORD
VIEW_GETDMINFO ALLPARENTS
VIEW_OA_FILETOME FILERECEIVEID
VIEW_OA_GETSHAREFOLDER SHAREDRANGE
VIEW_OA_OFFICE_GOODS_INVENTORY MAXIMUMINVENTORY, MININUMINVENTORY
VIEW_OA_OFFICE_GOODSSTOCK(_STORE) INITIALIAMOUNT, BUYAMOUNT, COLLARAMOUNT
VIEW_PM_LABORTEAM UNITNAME, REGISTERDATE
VIEW_PM_SPECIALTY_SUBPACKAGE UNITID
VIEW_DATAROLE_OPERATORROLE / VIEW_ROLE_USERGROUP / VIEW_USER_DATAROLE CREATETIME, CREATEBY, UPDATETIME, UPDATEBY, ISACTIVE

反向守门:若某列在活跃元数据却 MISSING_RIGHT → 真缺陷,不豁免(单测 physicalOrphanColumnExempted 覆盖)。

C.【视图无稳定唯一行键 9】——多重集兜底转 ✅

SQL 视图的 {表名}_ID 是 JOIN/生成列,两侧表示不同且坍缩(VIEW_OA_MEETING 两侧各仅 5 distinct/83 行; VIEW_HR_CHECKINOUTSELECT 引擎合成 md5 键,与物理 _ID 不相交)。逐行配对必然错位 → 假阳性。 多重集兜底(排除不稳定 {表名}_ID + 物理孤儿/计算列,时间/数值同口径归一)后行集内容一致:

VIEW_OA_MEETING、VIEW_ACT_RU_TASK、VIEW_HR_USERWITHCARDS、VIEW_PM_TURNOVERMATERIALBUYACCOUNT、 VIEW_HR_WELFAREARCHIVES_PAYBASERECORD、VIEW_PM_SPECIALTY_SUBPACKAGE、VIEW_OA_GETSHAREFOLDER、 VIEW_HR_CHECKINOUTSELECT(111,420 行,full multiset 100%)、VIEW_PM_LABORTEAM(并入 B 孤儿列)。

D.【表示差异 8】——XML 归一 + 空值豁免转 ✅

  • xml 物理类型列(VIEW_PAGE / VIEW_TEMPLATE / VIEW_WFTEMPLATE.XML、SYS_SERVICEFLOW.CONTENTXML、 VIEW_PAGE_CUSTOM、VIEW_TEMPLATE_CUSTOM):两层根因——① JDBC 读出 PgSQLXML 对象(非 String, Jackson 不可序列化);② xml::text 带 <?xml..?> 声明头/首尾空白,引擎读路径剥离。 对拍读取侧统一 SQLXML.getString() 物化 + XML 归一(剥声明、trim)。VIEW_PAGE 1,241 行实测: 1,090 完全相同 + 137 仅首尾空白 + 11 仅声明头,全为表示差异,物化后 100%。
  • 引擎空值渲染(PM_CALCBASICSCONFIG.DETAILS):物理全 NULL,引擎按 JSON/数组类型渲染为空数组 [] (落地空串)。左 null + 右空串 = 语义等值,登记 engineEmptyForNullColumns → 100%。

E.【harness 限制 15】——抽样退全量转 ✅

13 个关联/中间表(无 {表名}_ID)+ 2 个超 maxFull 的配置表,行数 > maxFull 误入 checkSample (要求 {表名}_ID 回查),报「抽样模式需 {表名}_ID」或 IN 子句 bad grammar。抽样无 {表名}_ID / 回查失败 / 合成键签名时自动退全量 check()(复合键/多重集兜底),全部转 ✅:

SYS_ROLE_ROLE(2,914)、SYS_ROLESERVICE(5,789)、SYS_USERGROUPUSER(5,301)、SYS_HZPY(6,727)、 OA_SEALUSEAPPLYANDSEALRRELATION(11,059)、OA_FILEPLANRECEIVEUSER(116,946)、OA_NOTICEMANAGEPEOPLE(63,234)、 PM_CONTRACTREVIEWANDSUBCATEGORY、PM_PROJECTCHANGEVISAAPPLYANDLISTRELATION、PM_SPECIALTYSUBCONTRACTREGISTERANDSUBCATEGORY、 OA_MEETINGMINUTESATTENDEE/SEND、OA_FILEPLANSENDUSER、OA_SEALUSE(APPLYANDREGISTER/REGISTERANDSEALR)RELATION、 PM_LABOURSUBCONTRACTREGISTERCONFIG/VIEWCONFIG。

真缺陷【引擎读路径 11】——完整取证、不豁免、引擎侧待修

实体 现象 证据
PM_LABORTEAM 引擎行集坍缩 物理 71 行 71 唯一 ID;引擎 71 行但 PM_LABORTEAM_ID 仅 2 distinct(一 id 重复 70 次);排除所有 ID 列后 30 列 multiset 全不齐(69/71 不同)。JDBC 直查正常。
PM_SPIDER_JSBIDWIN 引擎全行重复 物理 315,035 行;引擎单页 500 行全为同一行(distinct full row = 1)。
SYS_DATASTATUS HTTP 500 元数据声明 SYS_DATASTATUS_ID/CREATEBY/审计列,物理表仅 BUSINESSKEY/DATASTATUS/TABLENAME(无 PK)。
SYS_UPDATE_LOG HTTP 500 元数据声明 ISACTIVE(BOOLEAN),物理表无 isactive 列。
VIEW_SYS_DIMENSIONDEPART HTTP 500 元数据列全在物理视图、JDBC 直查 45 行正常;引擎 500(疑 reference LATERAL / 保留字 LEVEL 列未引号)。
VIEW_PM_ARTIFICIALRELATION / MACHINERELATION / MATERIALRELATION HTTP 500 同上;JDBC 直查正常(74 / 1,528 / 10,705 行)。
VIEW_OA_REIMBURSEMENTAPPLYSUM / VIEW_PM_PAYMENTAFFIRMSUM / VIEW_PROJECTCONTRACTNUMBER HTTP 500 同上;JDBC 直查正常(1 / 37,349 / 1,673 行)。

前 2 个 = 引擎 listSelect SQL 生成对该实体输出错误行集(疑笛卡尔/错误 JOIN); SYS_* 2 个 = 元数据/物理漂移(迁移手册 §7.2);7 个 VIEW_* = 引擎对视图读路径 SQL 生成缺陷 (元数据列齐、JDBC 直查正常、引擎仍 500)。均属引擎侧(EntityController / com.dsasp SQL 生成), 本对拍取证不修。 修复方向:对照旧系统同实体 listSelect 确认移植引入 vs 旧系统固有。

夜批待办 1

  • GB_ATTENDANCEINFO(1,184,533 行):O(N) 重查询大表(§5.14 类),perPage 200 仍单请求超时。 列夜间批跑,更小 perPage + sampleRows 做值级抽样验证。

四、新增豁免规则登记(全部元数据感知、报告可见、配单测)

# 规则 触发条件 报告字段 单测
1 物理孤儿列 MISSING_RIGHT 且列不在实体活跃元数据列集 physicalOrphanColumns physicalOrphanColumnExempted
2 XML 表示归一 xml 物理类型列,剥 <?xml..?> + trim 首尾空白后等值 xmlRepresentationColumns xmlRepresentationNormalized / normalizerXmlEqual
3 引擎空值渲染 自对拍模式,左 null + 右空串(JSON 空数组渲染) engineEmptyForNullColumns engineEmptyForNullExempted / normalizerNullVsEmpty
4 多重集兜底 主键两侧不唯一或逐行零配对 → 按行多重集比较 multisetMode multisetFallbackForUnstableKey / multisetExcludesOrphanColumns
5 抽样退全量 抽样无 {表名}_ID / IN 回查失败 / 合成键签名 → full check (路径切换) (集成验证)

配套根治:JdbcResultReader 对 java.sql.SQLXML 统一 getString() 物化(根除 PgSQLXML 比对/序列化问题)。 全部规则仅自对拍模式生效;录制重放(新旧引擎两侧同源)保持严格逐行,缺列即缺陷。


五、与 PoC 计数级 99.1% 的口径对比

维度 PoC 计数级 本轮逐行逐列
比较粒度 count(*) == listSelect total 结果集逐行逐列归一比对
通过口径 1,051/1,166 计数一致(扣 55 孤儿 + 9 漂移后 99.1%) 1,099/1,166 = 94.3% 逐行通过(含元数据感知豁免)
新暴露 — 2 个引擎行集坍缩缺陷(PM_LABORTEAM / PM_SPIDER_JSBIDWIN)——计数级查不出:total 正确但每行内容错。
孤儿/漂移 55 孤儿 + 9 漂移(PoC 记) 逐个落实根因:55 孤儿核验全对上;9 漂移其中 SYS_DATASTATUS/SYS_UPDATE_LOG 确为元数据/物理漂移,另 7 个 VIEW_* 定性为引擎视图读路径缺陷。

逐行对拍的增量价值:计数级 total 一致掩盖了 PM_LABORTEAM/PM_SPIDER_JSBIDWIN「total 对、每行错」的引擎缺陷; 本轮逐行比对把它们暴露并取证。94.3% vs 99.1% 的差是「更严口径 + 暴露真缺陷」,非回退。


六、复现

export JAVA_HOME=/opt/homebrew/opt/openjdk@17/libexec/openjdk.jdk/Contents/Home
CP="platform-parity/target/classes:$(mvn -q org.apache.maven.plugins:maven-dependency-plugin:build-classpath \
    -pl platform-parity -Dmdep.outputFile=/dev/stdout -o | tail -1)"
JDBC='jdbc:postgresql://192.168.20.68:5435/postgres?currentSchema=eip3'

# 单测(30 全绿)
mvn test -pl platform-parity

# 单实体逐行(已豁免转 OK 的代表)
java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli \
  --entities=GB_DEVICE,VIEW_PAGE,VIEW_OA_MEETING,SYS_ROLE_ROLE,PM_CALCBASICSCONFIG \
  --jdbc="$JDBC" --user=ceshi --pass=ceshi

# 真缺陷复现(仍 DIFF / 500)
java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli \
  --entities=PM_LABORTEAM,PM_SPIDER_JSBIDWIN --sampleRows=200 \
  --jdbc="$JDBC" --user=ceshi --pass=ceshi

# 全库二轮(resumeFrom 跳过首轮 OK,只重跑问题实体)
java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli \
  --discover --maxFull=20000 --discoverSample=2000 --resumeFrom=<首轮OK清单.jsonl> \
  --jdbc="$JDBC" --user=ceshi --pass=ceshi

附录 A:55 孤儿元数据清单

物理关系在 eip3 schema 缺失/不可查的 55 个实体(SYS_ENTITY 有定义):

GB_UNUSUALPROJECT, PM_JICQUOTATION_COMPARE, PM_JICQUOTATION_COMPARE_TREND, PM_PROJECTNODEDATA,
PM_TAXINVOICE_TEMP, SYS_USEROPERATIONS, VIEW_CARD_DINGSHI, VIEW_CUSTOM_SZWJ, VIEW_FPGL,
VIEW_HR_ATTENDLOG, VIEW_INVOICEWUJIAN, VIEW_JGGL, VIEW_OA_FORM,
VIEW_OA_OFFICE_GOODS_BALANCEOFACCOUNT(复合类型), VIEW_OA_OFFICE_GOODS_REPORT, VIEW_OA_PAYMENTAPPLY,
VIEW_OA_REALESTATEMANAGE_REPORT, VIEW_PAYWUJIAN, VIEW_PM_BUILDERSDIARY_TEMP, VIEW_PM_CUSTOM_SZWJ,
VIEW_PM_MATERIALMANAGEFORM_TJ, VIEW_PM_MATERIALMANAGEREPORT_TJ, VIEW_PM_MATERIALPLAN,
VIEW_PM_MONTHCOMPLETEWORK, VIEW_PM_PAYMENTAPPLY, VIEW_PM_PROJECTCUSTOMIZATIONFORM, VIEW_PM_PROJECTFORM,
VIEW_PM_PROJECTFUNDCOMREPORT, VIEW_PM_PROJECTFUNDREPORT, VIEW_PM_PROJECTMANAGEREPORT,
VIEW_PM_PROJECT_SUMMARYREPORT, VIEW_PM_PROJECT_TEMP, VIEW_PM_QUALITYMANAGEREPORT,
VIEW_PM_SAFETYMANAGEREPORT, VIEW_PM_SECURITYDIARY_TEMP, VIEW_PM_SUBCONTRACT2, VIEW_PM_SUBPACKAGEPLAN,
VIEW_PM_SUPPLIER_SZWJ(仅 ceshi* schema 有), VIEW_PM_TURNOVERMATERIALMANAGEREPORT, VIEW_PROCESSMANAGEFORM,
VIEW_PROJECTCOSTREPORT, VIEW_PROJECTCOSTREPORTTJ, VIEW_PROJECTTWOCALCULATIONCOMPARISON, VIEW_QZWUJIAN,
VIEW_SUBPACKAGE_TYPE_ENUM, VIEW_SYS_USERLOGINFO, VIEW_TEMP_PAY, VIEW_TURNOVERMATERIALSTOCK, VIEW_WELFARE,
VIEW_WUJIAN, VM_AQGLBD, VM_HR, VM_HTBD, VM_PM_SPIDER_LOG, VM_SHEBEIGUANLI

附录 B:真缺陷清单(引擎侧待修,11 个)

引擎行集坍缩(total 对、每行错):PM_LABORTEAM, PM_SPIDER_JSBIDWIN
引擎 HTTP 500(元数据/物理漂移):SYS_DATASTATUS, SYS_UPDATE_LOG
引擎 HTTP 500(视图读路径 SQL 生成缺陷):VIEW_SYS_DIMENSIONDEPART, VIEW_PM_ARTIFICIALRELATION,
  VIEW_PM_MACHINERELATION, VIEW_PM_MATERIALRELATION, VIEW_OA_REIMBURSEMENTAPPLYSUM,
  VIEW_PM_PAYMENTAFFIRMSUM, VIEW_PROJECTCONTRACTNUMBER

附记:GB_ATTENDANCEINFO 夜批结论(2026-06-11)

对拍阻塞于引擎读路径性能,非数据不一致,取证如下:

  • 表 1,184,533 行,索引数 0(含主键)——印证迁移手册 §5.5(MIDTABLE 建表无主键子句)+ §5.21(createTableSql 不建索引)的叠加后果
  • 裸 count(*) 实测 4 分 49 秒;引擎每个 list 分页请求都含 count → REST 读路径在此表上事实不可用(任何页 ≥5 分钟,超对拍 300s 超时)
  • 测试副本加索引属 DDL 写操作,违反只读纪律,未执行
  • 复验前置:P1-5 存量补索引脚本在切流期变更窗口执行后,本实体重跑抽样对拍(预期 count 降至秒级)
  • 该实证同时是 P2 性能改造(索引/参数化)优先级清单的头部证据