Commit Graph

321 Commits

Author SHA1 Message Date
923cc72c66 feat(parity): P1-1 全库归因——5 条元数据感知豁免 + 多重集兜底 + SQLXML 物化
全库 115 问题实体逐个归因,harness 修正(保真层零改动):

- 物理孤儿列豁免(RowDiff.physicalOrphanColumns):MISSING_RIGHT 且列无活跃
  元数据 → 引擎元数据驱动 SELECT 永不读,登记不判负;反向守门保留。
- XML 表示归一(Normalizer.xmlEqual + JdbcResultReader SQLXML.getString 物化):
  xml 物理列剥 <?xml?> 声明 + trim 首尾空白;根治 PgSQLXML 比对/序列化问题。
- 引擎空值渲染豁免(engineEmptyForNullColumns + Normalizer.nullVsEngineEmpty):
  物理 null 引擎渲染为空数组/空串,左 null+右空串语义等值。
- 多重集兜底(RowDiff.diffMultiset + Normalizer.groupingKey):视图无稳定唯一
  行键(两侧坍缩/合成)时按行多重集比较,时间/数值同口径归一。
- 抽样退全量:checkSample 无 {表名}_ID / IN 回查失败 / 合成键签名 → full check。

单测 23 → 30 全绿(每条新规则配正反例 + 守门用例)。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 12:56:44 +08:00
ca2a6db0ab docs(P1): 引擎加固三件实测报告 + 迁移手册新增三坑(5.19/5.20/5.21)
P1加固实测报告.md 三件各一节(实现/8086实测证据/边界):P1-3 注入负例逐条 curl、
P1-4 C1坑3 不重启回归全链路、P1-5 索引规则正确性+幂等+诚实延迟边界。
迁移手册 5.19 引擎裸拼点清单、5.20 setChangePOInfo 冷态装载、5.21 createTableSql
不建索引;3.1 CCache 行更新为 Caffeine 版。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 12:11:13 +08:00
3fa970adbf feat(metadata): P1-5 DDL 索引增强(现代层后置,不改引擎)+ MetaController 接线
IndexEnhancer 建表后按元数据补 CREATE INDEX IF NOT EXISTS:外键(REFERENCEID=36位
uuid)列 + UPDATETIME 审计列;跳过 ISIDENTIFIER/ISCOMBIDENTIFIER(引擎已建 unique);
索引名截断到 PG 上限 63。BacklogIndexScriptGenerator 为存量实体只生成脚本落盘不执行
(客户库执行排切流期变更窗口)。MetaController 接入:createEntity 自动补索引 + 失效缓存、
dropEntity/新增 evict、backlog-index 端点。metadata pom 加 Caffeine(白名单+POInfo缓存)。
单测 6 个。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 12:11:02 +08:00
4c9af8edd4 feat(metadata): P1-4 CCache 换 Caffeine + POInfo 缓存失效钩子(修 C1 坑3)
CCache 内部由极简 HashMap 换 Caffeine(版本走 Spring Boot BOM),公共签名一行不动:
仍 extends HashMap + 双构造器 + getName/reset,get/put/remove/size/clear 覆写代理到
内部 Caffeine Cache,4 处 call site 零改动全部受益。
PoInfoCacheInvalidator 现代层显式 evict(不改 com.dsasp):先 getPOInfo 装载映射再调
引擎公共钩子 setChangePOInfo,保证冷态命中——修复 C1 坑3「元数据变更不失效须重启」。
单测 10 个(CCache 行为 6 + 失效钩子 4)。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 12:10:52 +08:00
ad95e7d482 feat(metadata): P1-3 标识符白名单(安全第1层)——列名/表名/排序列过元数据白名单
EntityController.list 入口全部过白名单:表名须存在 SYS_ENTITY;查询条件 key
与 orderBy 须是该实体 SYS_ENTITYATTRIBUTE 已登记列;orderDir 限 asc/desc。
非法标识符 → HTTP 400 且不回显注入载荷('OR 1=1-- / ;DROP 进列名/排序参数均拒绝)。
保留键放行清单:page/perPage/asUser/roles/orderBy/orderDir。
IdentifierWhitelist 从 POInfo 取合法列集 + Caffeine 缓存;单测 16 个。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 12:10:42 +08:00
185c18d38f docs(P1): 服务流实测报告 + 迁移手册新增四坑(替换类/读写闸)
P1-2 第三步:交付文档。

platform-metadata/P1服务流实测报告.md:移植清单(31 com.dsasp 文件 + 门面 + 自举/单测)、
替换类/不移植类登记(Activator 不移植、juel 不引 activiti、SecureGroovy 去 Vaadin 默认导入、
两版 ScriptingEnginesManager 并存)、GetServicesFunction 桩回迁 diff、REST 契约、
6 条 REST 实测(端口 8085 客户库只读:T1-T6,total 与 DB 逐一核对一致 + 参数透传 + 二次一致 + POST)、
D 类 79 流识别结果(40 存在/39 orphan,38 非受控)、已知限制与 P2/P3 待办。

docs/迁移手册.md 新增四坑(四栏格式,[NEW 2026-06-11]):
  5.15 服务流脚本默认导入含 Vaadin UI 类缺失则每脚本编译失败
  5.16 流脚本 juel 来自 activiti,保真层不引 activiti(惰性注册适配)
  5.17 OSGi Activator 不移植,bean 靠组件扫描 + SpringBeanOsgiServices + LegacyXmlWiring
  5.18 REST 服务流入口不区分读写,需流定义审阅 + P2 三层防护

D 类识别 SQL/清单落档于 ../docs/P1/(D类报表服务流清单.csv + 识别.sql + REST证据/),
该目录在 eip4-platform 仓库外(eip3 工作区非 git,与 ../docs/M0交付 同级)。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 12:06:24 +08:00
073e2a67f5 ci: 一键流水线脚本 + GitHub Actions 工作流(编译/单测/ArchUnit/对拍冒烟)
scripts/ci.sh:全模块 install → 重建冒烟库+自举 → 起服务 → 种子 21 实体全量对拍 + C2 权限样本;
端口/库名/账号环境变量化(本地默认 8090/eip4ci),--skip-parity 可只跑编译测试。
ci.yml:PG15 service 容器,步骤复用 ci.sh(换 Jenkins 同构迁移)。
完整本地实跑验证待并行代理收工后执行(避免并发 mvn 互踩)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 12:04:58 +08:00
f0500647be feat(metadata): 服务流执行 REST 门面 FlowController + 本地自举 + 单测
P1-2 第二步:报表方案 D 类——79 个 selectservice 服务流的统一 REST 化入口。

FlowController(com.eip4.platform.metadata.web):
  GET  /api/flow/{id}?k=v   query 参数 → 服务流入参 map(查询/报表类)
  POST /api/flow/{id} body  JSON body  → 服务流入参 map(参数多/带结构)
  统一封装 {status,msg,data};响应递归归一化(GeneralPOJO→平面行、
  listSelect 结果 {listresult,pagecount}→amis {items,total})。OpenAPI 注解。
  REST 入口读写时机:引擎不区分读写,P1 不在门面做引擎级读写闸,由调用方按
  「流定义 XML 审阅」确认查询/报表类后放行;风险与 P2 三层防护待办写入注释与报告。

适配(P1 服务流脚本编译):SecureGroovyScriptEngineFactory 的 DEFAULTIMPORTSLIST
移除两条 Vaadin 客户端 UI 默认导入(client.groovy.TestService、
com.dsasp.client.viewframework.component.MainComponent)——它们逐脚本注入,
classpath 缺失会使每个服务流脚本编译失败;与服务端取数无关,原值登记于注释供 diff。

LegacyXmlWiring:补 FlowServiceImpl.setJdbcTemplate(等价原 XML <property> 注入)。

本地自举:platform-parity bootstrap-flow.sql(幂等)——在 eip4m0 上建 SYS_SERVICEFLOW
+ 自描述元数据 + 最小查询流 EIP4M0_USERGROUP_SEARCH,参照 parity bootstrap 思路,
无客户库副本时引擎可独立跑通。

单测 18 例:FlowModelParseTest(9,XML 解析/参数绑定/默认流生成/往返序列化)+
FlowControllerTest(8,mock 引擎,GET/POST 参数透传 + 响应归一化)+
FlowExecuteLocalIT(1,@SpringBootTest local profile,自举 SQL + 真实引擎执行 +
二次一致;eip4m0 不可达则 assumeTrue 跳过)。全绿。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 12:01:15 +08:00
de72116502 feat(legacy-core): 移植 EIP3 服务流引擎到保真层(com.dsasp.* 原样)
P1-2 第一步:framework com.dsasp.server.core 17 文件移植 + 缺失 common 依赖回填。

引擎(core):FlowExcuteServiceImpl(534 行,服务流执行入口)+ FlowServiceImpl
(流定义加载/默认流生成)+ flow/model 8 个(Flow/Node/Field/Procedure/Script/
ServiceBean/Start/End/Transition + BaseFlowConvert/DefaultFlowHelper)+
service/script(ScriptingEnginesManager/FlowScriptBindings)+ origin(OriginServiceManagerImpl)。
OSGi Activator.java 不移植(纯 BundleActivator/sun.awt,JDK17 不可用;
等价能力已由 SpringBeanOsgiServices @Component + 组件扫描接管,见迁移手册 §3.1)。

缺失 common 依赖回填(framework 原样):core.ControlBean/FlowDefinition、
core.service.{FlowExcuteService,FlowService,OriginServiceManager}、
util.{AopTargetUtils,ExceptionUtil}、privilege.service.FlowPrivilegeService。

函数库回迁:GetValueFunction/GetDefaultValueFunction 以 framework 原版 Groovy
回迁(替换 PoC 空桩,依赖均已就位,gmavenplus 联合编译);GetServicesFunction
保包名/类名/签名,回迁引擎执行路径实际调用的 findCount/loadPOJO/listSelect
三方法(其余 @Function 依赖 P2/P3 横切服务,届时补全)。

FlowPrivilegeService:framework 原样移植(FlowPrivilegeServiceImpl + ServicePrivilege)
入保真层 com.dsasp.server.privilege.service。

API 断点修复(迁移手册 §2 同款):FlowServiceImpl 移除 JDK 内部 import
com.sun.xml.internal.*(原版未用)、queryForInt→queryForObject;Flow.java
dom4j 2.x selectNodes 返回 List<Node> 加 unchecked 转型(14 处)。
ScriptingEnginesManager 的 activiti JuelScriptEngineFactory 适配为 JSR-223 惰性
注册(架构纪律:activiti/Flowable 不进保真层;线性查询/报表流不走 juel)。

mvn compile/test 通过,ArchUnit(保真层禁依赖现代层)仍绿。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 11:49:01 +08:00
41afc7ae4c feat(parity): P1-1 全实体发现式对拍模式(--discover)
枚举 sys_entity 全部活跃实体:≤maxFull(默认2000)行全量逐行,大表抽样 discoverSample(默认300)行;
逐实体 JSONL 进度可断点续跑(--resumeFrom);分桶 OK_FULL/OK_SAMPLE/DIFF/ENGINE_ERROR/JDBC_ERROR;
内存纪律:仅留实体摘要与前 5 个差异格

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 11:36:29 +08:00
c2b3c5004f docs: 技术文档随仓库——架构设计/迁移手册/C3基线/C5报告迁入 docs/
文档分层:随代码演进的技术文档入 git(团队 clone 可得、有版本与评审);
决策档案与含商务内容的治理文档留工作区 docs/(不随仓库分发,外包 clone 不携带)。
全部交叉引用已更新(README×2/实测报告×2/登记表/pom/ArchUnit 注释)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 11:26:44 +08:00
c174fbdf83 chore: 工具迁入正式工程 + 工程 README + 根目录草稿报告入 ignore
- eip4-poc/tools/{s3_rewriter,loadtest} → tools/(P4 改写器种子与压测 harness 随工程演进,PoC 冻结)
- 新增工程 README(模块图/纪律/常用命令/自举说明)
- 根目录 parity-reports/ 为 CLI 默认输出草稿,入 .gitignore(正式报告在 platform-parity/parity-reports/)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 11:20:01 +08:00
f10d11c958 docs(parity): 修正报告笔误
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 11:04:50 +08:00
c4c1fd9a1a feat(parity): COLUMNSQL 计算列元数据豁免 + 客户库口径 24/24 实测报告
PM_PAYMENTAPPLY 抽样 2000 行:CONTRACTNUMBER 为 COLUMNSQL 计算列(子查询覆盖物理列,
新旧行为一致),加元数据感知豁免后 100% 一致。客户库口径终局:23 实体全量
442,529 行 + 1 实体抽样 2,000 行,24/24 全部通过,零未解释差异。
单测 23/23;归因台账与抽样口径写入 C1 实测报告

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 11:04:37 +08:00
d39e2c4fb6 fix(parity): 客户库真实实体对拍适配——计算列登记/复合键升级/null省略/布尔域归因/抽样模式
首轮 24 真实实体仅 6 个全一致,逐项归因后修 harness(保真层零改动):
- 引擎计算列(显示翻译/STATUS lateral)整列登记不判负(engineExtraColumns)
- 主键不唯一自动升级全部 *ID 复合键(关联表 OA_SEALUSEAPPLYANDSEALRRELATION)
- 引擎 JSON 省略 null 值列:右缺列+左 NULL=语义等值
- BOOLEAN 域外脏数据(2/-1)引擎归 null:元数据感知的已归因差异,可见不判负
- 单次全量抓取消除翻页幻影;胖列 1.7GB 实体自动回退翻页;--sampleRows/--perPage 抽样模式
复跑 24 实体:23 全量 100% 一致(442,529 行),PM_PAYMENTAPPLY 抽样口径另记。
RowDiff 单测 17→22 全绿;四个引擎新坑进迁移手册 §5.11–5.14

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 10:15:44 +08:00
83c6abb1f9 test(parity): C2 数据行级权限自举 + 对拍样本(3 实体×3 用户 100% + 负例)
自举 + 对拍证明保真层数据权限真实现与物理事实逐行对齐:

- bootstrap-privilege.sql(幂等):建 SYS_FILTERRULE + 中间表 SYS_FILTERRULEROLE
  (LIST 多值列经 REFERENCEVALUE→中间表落地)+ 自描述元数据;为 EIP4PT_TASK/
  PROJECT/CUSTOMER 各配 1 条 "CREATEBY = {CURRENTUSERID}" 规则,并把 CREATEBY
  重分区到 USER_ALICE/BOB/CAROL 使过滤可判别。
- ParityCli 增 --privilege 模式 + PrivilegeCheckRunner:被测侧经引擎
  GET /list?asUser&roles 触发行级过滤,基线侧 JDBC 同语义 WHERE,RowDiff 逐行比。
- EngineHttpClient 增 asUser/roles 透传 + statusOf(负例取状态码)。
- EntityController.list 增可选 asUser/roles 构造非 ADMIN ctx(引擎仅非 ADMIN 才过滤)。

实测:正例 3 实体×3 用户=9 例 150 行 100% 逐行一致;负例错误角色 3/3 抛
PrivilegeException(HTTP 500)被拒;回归 ParityCli --all 21/21、1108 行 100%。
报告:platform-auth/C2实测报告.md + parity-reports/privilege-parity-*.{json,md}。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 00:11:08 +08:00
fc867dc110 feat(auth): C2 数据权限最小真实现替换桩(保真层原样移植)
把 framework 的数据行级权限实现原样移植进保真层 platform-legacy-core
(包名 com.dsasp 不动),删除 platform-auth 的不过滤桩,由真实现接管
@Service("dataPrivilegeService"):

- DataPrivilegeServiceImpl(226 行):getWhereClause 按 ctx.ROLES 匹配
  SYS_FILTERRULE 规则拼 " AND (...)" 行级过滤;无角色命中抛 PrivilegeException。
- DataFilterHelper(110 行):FILTERRULE(Conditional[])JSON 互转,用 Jackson 1.x
  (org.codehaus.jackson),保真纪律不改写为 Jackson 2;父 pom + legacy-core pom
  引入 jackson-mapper-asl:1.9.13。
- MethodSecurityInterceptor 注解(被 Impl 引用,原样拷入)。
- 删除 StubDataPrivilegeService(与新 Bean 重名冲突);platform-auth/README.md
  说明 dataPrivilegeService 已由保真层接管、P2 在此做组织/权限整体真实现。
- 单测 9 用例(DataFilterHelper JSON 互转 + getWhereClause 拼接,假 POJOInfo)。

全模块 mvn clean install 通过,ArchUnit 仍绿。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-11 00:10:49 +08:00
48430e4853 docs(parity): C1 实测报告 + 本地实证产物(21 实体 1108 行 100% 逐行一致)
- C1实测报告.md:四件套架构、归一化规则表、本地实证数字、
  与客户库全量对拍差距与待办(网络恢复后换真流量/升级 eip4_sweep.py/
  切面部署)、风险论证(重建口径不影响 diff 语义)、引擎适配坑清单
- parity-reports:ParityCli --seed --all 跑批产物
  (21 实体 / 1108 行 / 差异 0 / 一致率 100%)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-10 23:41:23 +08:00
73105d8b22 feat(parity): C1 录制/重放/自对拍三件 + 本地自举 schema + local profile
- recorder(资源交付):旧系统侧 Spring3.1/JDK6 AOP 录制切面源码
  (SqlRecordingAspect/SqlRecord/JsonOut)+ 集成说明含生产流量旁路录制方案
- replay:ReplayRunner 读录制 JSONL,对新引擎复跑同 SQL 逐行 diff
- selfcheck:ParityCli/SelfCheckRunner/ParitySeeder/EngineHttpClient/
  JdbcResultReader——引擎读路径 vs 直连 JDBC 逐行对拍,CLI --seed --all 跑批
- bootstrap-sys.sql:本地空库自举,7 个自描述系统实体 + 物理基表(可重复执行)
- application-local.yml:profile=local 指向 localhost:5433/eip4m0,端口 8084

引擎适配:补 SYS_ENUMERATE 自描述元数据(BOOLEAN 列每行回调避 NPE);
外键 REFERENCEID 用 SYS_REFERENCE_ID 而非表名(避免 JOIN null 语法错)。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-10 23:41:14 +08:00
3aec8f292e feat(parity): C1 核心 RowDiff 逐行对拍引擎 + 归一化规则 + 17 单测
diff 内核(com.eip4.platform.parity.diff):
- Normalizer:char(36) 尾空格 / numeric scale / 整数布尔跨类型 /
  bigint 时间戳 / ISO 串↔epoch / NULL-vs-缺列 归一化规则
- RowDiff:两结果集按主键排序配对,逐行逐列归一比较,行序无关
- DiffReport:结构化差异报告(JSON + Markdown 摘要)
- RowDiffTest:17 例覆盖全部归一化规则与差异检出(全绿)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-10 23:41:01 +08:00
a9219c5c77 chore: 落地 eip4-platform 多模块骨架基线(PoC→工程化)
从 eip4-poc 迁入双层制模块化单体:保真层 platform-legacy-core
(com.dsasp 引擎原样)+ 现代层 platform-metadata/auth/flow-gateway/
converter/ai + platform-app 启动器。ArchUnit 纪律固化(保真层禁依赖现代层)。
此为 C1 对拍工作的编译通过基线。

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-10 23:40:51 +08:00