diff --git a/deploy/README.md b/deploy/README.md index bf8ed4e..bf6798f 100644 --- a/deploy/README.md +++ b/deploy/README.md @@ -38,7 +38,8 @@ docker compose -f deploy/docker-compose.yml logs -f platform-app ## 三、待办(后续批次,见 A10 design) - **W5**:PG/Flowable 迁移 runbook 在准生产真跑 + 回退验证(含 flowable 引擎库 DDL 置备)。 - **W6**:性能/并发基线 + nginx upstream 权重灰度切流(eip3↔eip4)。 -- **残留收敛**:删除与 `db/migration` 重复的 `bootstrap-*.sql`,把 `ci.sh`/`AiAgentDdlTest`/对拍 fixture 指向 `db/migration`(app 运行态已单源,独立工具仍用 bootstrap)。 + +> ✅ **残留收敛已完成(2026-06-25)**:与 `db/migration` 重复的 3 份 `bootstrap-*.sql`(page-schema/datastatus/ai-agent)已删;`ci.sh` 改指 `db/migration/V1`;`AiAgentDdlTest` 迁入 platform-app 守 V3;`SchemaImportCli` 内联 DDL 经 `PlatformMigrationDdlGuardTest` 钉死 ≡ V1。db/migration 为平台表 DDL 唯一真相。 ## 验证状态(诚实记录,2026-06-25 本地真验) - ✅ `docker build` 两镜像通过:`platform-app` 727MB / `flowable` 641MB(JRE21 + 非 root + COPY 预构建 jar)。 diff --git a/docs/AI_AGENT_AUTO_DEVELOPMENT.md b/docs/AI_AGENT_AUTO_DEVELOPMENT.md index bafd330..5bb5004 100644 --- a/docs/AI_AGENT_AUTO_DEVELOPMENT.md +++ b/docs/AI_AGENT_AUTO_DEVELOPMENT.md @@ -8,21 +8,15 @@ ## 本地运行配置 -`local` 和 `dev` profile 已开启: +`local` 和 `dev` profile 已开启 JDBC 持久化: ```yaml -spring: - sql: - init: - mode: always - schema-locations: classpath:bootstrap/bootstrap-ai-agent.sql - eip4: ai: store: jdbc ``` -因此本地启动时会幂等创建 `sys_ai_task`、`sys_ai_draft`、`sys_ai_change_set`、`sys_ai_run`、`sys_ai_audit_log`,并用 JDBC 持久化开发证据。默认 profile 不强制写远端验证库,避免误把开发证据写到共享环境。 +平台表(`sys_ai_task`、`sys_ai_draft`、`sys_ai_change_set`、`sys_ai_run`、`sys_ai_feature_package`、`sys_ai_revision`、`sys_ai_audit_log`)由 **W1 Flyway 在启动时幂等建表**——单一真相 `platform-app/src/main/resources/db/migration/V3__sys_ai_agent.sql`(A10 W1 收敛后取代原 `spring.sql.init` + 已删的 `bootstrap-ai-agent.sql`)。因此本地启动即用 JDBC 持久化开发证据;默认 profile 不强制写远端验证库,避免误把开发证据写到共享环境。 建议使用独立 worktree 做 Agent 功能开发,避免占用当前任务目录: diff --git a/docs/plans/2026-06-25-A10-生产上线工程化-design.md b/docs/plans/2026-06-25-A10-生产上线工程化-design.md index 53a857b..1867aad 100644 --- a/docs/plans/2026-06-25-A10-生产上线工程化-design.md +++ b/docs/plans/2026-06-25-A10-生产上线工程化-design.md @@ -63,7 +63,9 @@ EIP4 当前只有 **dev 形态**(手工 `run-dev.sh` 起两个 fat jar + 前 ## 3.1 W1 Flyway 详细执行规格(ready-to-run,2026-06-25 勘探后细化) -> **状态(2026-06-25 更新)**:✅ **已实现 + 对本地真实 PG 验证通过**(见上「实施进度」+ `FlywayMigrationLocalIT`)。下方为落地时遵循的规格,现已按此落地;残留全收敛(删 bootstrap/repoint ci.sh)为 follow-up。 +> **状态(2026-06-25 更新)**:✅ **已实现 + 对本地真实 PG 验证通过 + 整栈 docker compose 真起 + 残留全收敛**。 +> - 真验:`FlywayMigrationLocalIT`(库级两场景)+ 整栈 `docker compose up` 内置空 PG:platform-app 在 prod profile 启动时 Flyway 自建 eip3 schema 落 9 张 sys_* 表、readiness UP、nginx 单源反代生效(见 `deploy/README.md` 验证状态)。 +> - 残留收敛(已完成):删 3 份与 db/migration 重复的 bootstrap(page-schema/datastatus/ai-agent);`ci.sh` 改指 `db/migration/V1`;`AiAgentDdlTest` 迁入 platform-app 改守 V3;新增 `SchemaImportCli.CREATE_DDL`↔V1 防漂移 guard(`PlatformMigrationDdlGuardTest`)。db/migration 现为平台表 DDL 唯一真相(SchemaImportCli 内联 DDL 为独立 CLI 兜底,经 guard 钉死不漂移)。 > **已做前置(2026-06-25)**:`bootstrap-ai-agent.sql` 两份去重——删 platform-app 副本,单一真相归 `platform-ai/src/main/resources/bootstrap/bootstrap-ai-agent.sql`(platform-app 经依赖传递消费;原同 classpath 路径双副本=解析歧义,已消除)。 **为何需 PG 才能安全做**:迁移 SQL 是 PG 专有(`::jsonb`/`::xml`/`ON CONFLICT`),H2 跑不了;本机 Docker daemon 未起→testcontainers 也用不了。盲发自动 migrate 进客户库启动路径=高爆炸半径,必须先在 dev PG 验过 `flyway migrate` + 回退。 diff --git a/docs/sql/SYS_AI_AGENT.sql b/docs/sql/SYS_AI_AGENT.sql index 8ba1ca3..ba745d8 100644 --- a/docs/sql/SYS_AI_AGENT.sql +++ b/docs/sql/SYS_AI_AGENT.sql @@ -4,11 +4,11 @@ -- 归属:platform-ai(P5 Agent 开发底座)。 -- 契约:/api/ai/tasks、/api/ai/tasks/{taskId}/drafts、change-sets、runs、audit。 -- --- 【Flyway 待办(P5)】 +-- 【Flyway 已落地(A10 W1,2026-06-25)】 -- 架构条款(docs/架构设计.md §「平台表管理」):SYS_* 平台表由 Flyway 管理。 --- 本工程当前未引入 Flyway。本脚本即「生产建表脚本」,P5 引入 Flyway 时 --- 原样改名为 V{n}__create_sys_ai_agent.sql 纳入 src/main/resources/db/migration 即可。 --- 本地 / CI 自举副本见 platform-ai/src/main/resources/bootstrap/bootstrap-ai-agent.sql。 +-- ✅ 已引入 Flyway。这些表【单一真相】= platform-app/src/main/resources/db/migration/V3__sys_ai_agent.sql +-- (运行态由 Flyway 启动时幂等 migrate;内容与本脚本一致)。本文件保留为人读的生产建表参考。 +-- 原 bootstrap-ai-agent.sql 自举副本已删除(收敛入 V3)。 -- -- 边界:这些表只保存 AI 开发运行态和草稿。发布到 SYS_PAGE_SCHEMA / SYS_ENTITY / -- 服务流等生产元数据必须经过独立人审门禁,不能由 Agent 接口直接落生产。 diff --git a/docs/sql/SYS_PAGE_SCHEMA.sql b/docs/sql/SYS_PAGE_SCHEMA.sql index f31e061..8b90e4e 100644 --- a/docs/sql/SYS_PAGE_SCHEMA.sql +++ b/docs/sql/SYS_PAGE_SCHEMA.sql @@ -4,12 +4,11 @@ -- 归属:platform-metadata(页面 schema 服务化,P4-4)。 -- 契约:GET /api/page/schema/{templateId} 的下发数据源。 -- --- 【Flyway 待办(P5)】 +-- 【Flyway 已落地(A10 W1,2026-06-25)】 -- 架构条款(docs/架构设计.md §「平台表管理」):SYS_* 平台表由 Flyway 管理。 --- 本工程当前未引入 Flyway。本脚本即「生产建表脚本」,P5 引入 Flyway 时 --- 原样改名为 V{n}__create_sys_page_schema.sql 纳入 src/main/resources/db/migration 即可 --- (内容无需改动,故此处保持 Flyway 友好:单条幂等 DDL,无数据)。 --- 本地 / CI 自举副本见 platform-metadata/src/main/resources/bootstrap/bootstrap-page-schema.sql。 +-- ✅ 已引入 Flyway。本表【单一真相】= platform-app/src/main/resources/db/migration/V1__sys_page_schema.sql +-- (运行态由 Flyway 启动时幂等 migrate;内容与本脚本一致)。本文件保留为人读的生产建表参考。 +-- 原 bootstrap-page-schema.sql 自举副本已删除(收敛入 V1)。 -- -- 初始数据导入(1489 个转换产物)由 SchemaImportCli 批量入库,不在本 DDL 内。 -- ============================================================================ diff --git a/platform-ai/src/main/resources/bootstrap/bootstrap-ai-agent.sql b/platform-ai/src/main/resources/bootstrap/bootstrap-ai-agent.sql deleted file mode 100644 index 2e76d00..0000000 --- a/platform-ai/src/main/resources/bootstrap/bootstrap-ai-agent.sql +++ /dev/null @@ -1,97 +0,0 @@ --- ============================================================================ --- eip4-platform P5 AI Agent 运行态自举 schema —— bootstrap-ai-agent.sql --- ---------------------------------------------------------------------------- --- 用途:在本地/CI 库上保存 Agent 开发任务、草稿产物、待人审变更包、执行证据和审计日志。 --- --- 【单一真相 · 2026-06-25 去重】本文件是 AI Agent 自举 schema 的唯一 classpath 源。 --- platform-app 经 module 依赖(platform-app→platform-ai)传递消费:其 application-dev/local.yml --- 的 spring.sql.init.schema-locations=classpath:bootstrap/bootstrap-ai-agent.sql 解析到本文件。 --- 原 platform-app 内同路径副本已删(曾与本文件同 classpath 路径=解析歧义/漂移隐患)。 --- --- 纪律:可重复执行(CREATE TABLE IF NOT EXISTS / CREATE INDEX IF NOT EXISTS); --- 只保存 AI 运行态和草稿,不直接写 SYS_PAGE_SCHEMA / SYS_ENTITY / 服务流等生产元数据。 --- 生产脚本副本见 docs/sql/SYS_AI_AGENT.sql;A10 W1 引入 Flyway 后可原样迁入 migration。 --- ============================================================================ - -CREATE TABLE IF NOT EXISTS sys_ai_task ( - task_id character varying(64) NOT NULL, - objective text NOT NULL, - status character varying(32) NOT NULL, - plan_json jsonb NOT NULL, - created_at bigint NOT NULL, - updated_at bigint NOT NULL, - CONSTRAINT pk_sys_ai_task PRIMARY KEY (task_id) -); - -CREATE TABLE IF NOT EXISTS sys_ai_draft ( - draft_id character varying(64) NOT NULL, - task_id character varying(64) NOT NULL, - artifact_type character varying(32) NOT NULL, - target_id character varying(128) NOT NULL, - payload_json jsonb NOT NULL, - gates_json jsonb NOT NULL, - metadata_json jsonb NOT NULL, - created_at bigint NOT NULL, - CONSTRAINT pk_sys_ai_draft PRIMARY KEY (draft_id) -); - -CREATE TABLE IF NOT EXISTS sys_ai_change_set ( - change_set_id character varying(64) NOT NULL, - task_id character varying(64) NOT NULL, - status character varying(32) NOT NULL, - draft_ids_json jsonb NOT NULL, - summary_json jsonb NOT NULL, - created_at bigint NOT NULL, - CONSTRAINT pk_sys_ai_change_set PRIMARY KEY (change_set_id) -); - -CREATE TABLE IF NOT EXISTS sys_ai_run ( - run_id character varying(64) NOT NULL, - task_id character varying(64) NOT NULL, - change_set_id character varying(64) NOT NULL, - run_type character varying(32) NOT NULL, - status character varying(32) NOT NULL, - payload_json jsonb NOT NULL, - created_at bigint NOT NULL, - CONSTRAINT pk_sys_ai_run PRIMARY KEY (run_id) -); - -CREATE TABLE IF NOT EXISTS sys_ai_feature_package ( - package_id character varying(64) NOT NULL, - task_id character varying(64) NOT NULL, - change_set_id character varying(64) NOT NULL, - status character varying(32) NOT NULL, - manifest_json jsonb NOT NULL, - deployment_package_json jsonb NOT NULL, - created_at bigint NOT NULL, - CONSTRAINT pk_sys_ai_feature_package PRIMARY KEY (package_id) -); - -CREATE TABLE IF NOT EXISTS sys_ai_revision ( - revision_id character varying(64) NOT NULL, - task_id character varying(64) NOT NULL, - package_id character varying(64) NOT NULL, - status character varying(32) NOT NULL, - note text NOT NULL, - snapshot_json jsonb NOT NULL, - created_at bigint NOT NULL, - CONSTRAINT pk_sys_ai_revision PRIMARY KEY (revision_id) -); - -CREATE TABLE IF NOT EXISTS sys_ai_audit_log ( - audit_id character varying(64) NOT NULL, - task_id character varying(64) NOT NULL, - action character varying(96) NOT NULL, - actor character varying(64) NOT NULL, - details_json jsonb NOT NULL, - created_at bigint NOT NULL, - CONSTRAINT pk_sys_ai_audit_log PRIMARY KEY (audit_id) -); - -CREATE INDEX IF NOT EXISTS idx_sys_ai_draft_task ON sys_ai_draft (task_id, created_at); -CREATE INDEX IF NOT EXISTS idx_sys_ai_change_set_task ON sys_ai_change_set (task_id, created_at); -CREATE INDEX IF NOT EXISTS idx_sys_ai_run_task ON sys_ai_run (task_id, created_at); -CREATE INDEX IF NOT EXISTS idx_sys_ai_run_change_set ON sys_ai_run (change_set_id, created_at); -CREATE INDEX IF NOT EXISTS idx_sys_ai_feature_package_task ON sys_ai_feature_package (task_id, created_at); -CREATE INDEX IF NOT EXISTS idx_sys_ai_revision_task ON sys_ai_revision (task_id, created_at); -CREATE INDEX IF NOT EXISTS idx_sys_ai_audit_log_task ON sys_ai_audit_log (task_id, created_at); diff --git a/platform-ai/src/test/java/com/eip4/platform/ai/store/AiAgentDdlTest.java b/platform-ai/src/test/java/com/eip4/platform/ai/store/AiAgentDdlTest.java deleted file mode 100644 index 7b22112..0000000 --- a/platform-ai/src/test/java/com/eip4/platform/ai/store/AiAgentDdlTest.java +++ /dev/null @@ -1,31 +0,0 @@ -package com.eip4.platform.ai.store; - -import static org.junit.jupiter.api.Assertions.assertTrue; - -import java.nio.charset.StandardCharsets; - -import org.junit.jupiter.api.DisplayName; -import org.junit.jupiter.api.Test; -import org.springframework.util.StreamUtils; - -class AiAgentDdlTest { - - @Test - @DisplayName("AI Agent bootstrap DDL 包含运行态平台表") - void bootstrapDdlDeclaresTables() throws Exception { - String ddl = StreamUtils.copyToString( - getClass().getResourceAsStream("/bootstrap/bootstrap-ai-agent.sql"), - StandardCharsets.UTF_8); - - assertTrue(ddl.contains("CREATE TABLE IF NOT EXISTS sys_ai_task")); - assertTrue(ddl.contains("CREATE TABLE IF NOT EXISTS sys_ai_draft")); - assertTrue(ddl.contains("CREATE TABLE IF NOT EXISTS sys_ai_change_set")); - assertTrue(ddl.contains("CREATE TABLE IF NOT EXISTS sys_ai_run")); - assertTrue(ddl.contains("CREATE TABLE IF NOT EXISTS sys_ai_feature_package")); - assertTrue(ddl.contains("CREATE TABLE IF NOT EXISTS sys_ai_revision")); - assertTrue(ddl.contains("CREATE TABLE IF NOT EXISTS sys_ai_audit_log")); - assertTrue(ddl.contains("CREATE INDEX IF NOT EXISTS idx_sys_ai_run_task")); - assertTrue(ddl.contains("CREATE INDEX IF NOT EXISTS idx_sys_ai_feature_package_task")); - assertTrue(ddl.contains("CREATE INDEX IF NOT EXISTS idx_sys_ai_revision_task")); - } -} diff --git a/platform-app/src/test/java/com/eip4/platform/app/PlatformMigrationDdlGuardTest.java b/platform-app/src/test/java/com/eip4/platform/app/PlatformMigrationDdlGuardTest.java new file mode 100644 index 0000000..2b45887 --- /dev/null +++ b/platform-app/src/test/java/com/eip4/platform/app/PlatformMigrationDdlGuardTest.java @@ -0,0 +1,67 @@ +package com.eip4.platform.app; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertNotNull; +import static org.junit.jupiter.api.Assertions.assertTrue; + +import java.io.InputStream; +import java.nio.charset.StandardCharsets; + +import org.junit.jupiter.api.DisplayName; +import org.junit.jupiter.api.Test; +import org.springframework.util.StreamUtils; + +import com.eip4.platform.metadata.schema.SchemaImportCli; + +/** + * A10 W1 收敛后:{@code db/migration} 是平台表 DDL 的【单一真相】(散落 bootstrap-*.sql 已删)。 + * 本测试在【无 DB】下守两件防漂移契约,随每次构建跑(不依赖 PG): + *
用法: *
{@code
@@ -37,8 +38,12 @@ import java.util.stream.Stream;
*/
public final class SchemaImportCli {
- /** 与 bootstrap-page-schema.sql / docs/sql/SYS_PAGE_SCHEMA.sql 完全一致的建表 DDL(CLI 自举兜底)。 */
- static final String CREATE_DDL = """
+ /**
+ * 与平台表单一真相 {@code db/migration/V1__sys_page_schema.sql} 逐列一致的建表 DDL(独立 CLI 自举兜底:
+ * CLI 可在 Flyway 未跑过的库上独立建表)。public 以便 platform-app 的 {@code PlatformMigrationDdlGuardTest}
+ * 对 V1 做防漂移断言(A10 W1 收敛:散落 bootstrap 已删,此内联副本须钉死不漂移)。
+ */
+ public static final String CREATE_DDL = """
CREATE TABLE IF NOT EXISTS sys_page_schema (
template_id character varying(64) NOT NULL,
name character varying(255),
diff --git a/platform-metadata/src/main/resources/bootstrap/bootstrap-page-schema.sql b/platform-metadata/src/main/resources/bootstrap/bootstrap-page-schema.sql
deleted file mode 100644
index 3d31a4c..0000000
--- a/platform-metadata/src/main/resources/bootstrap/bootstrap-page-schema.sql
+++ /dev/null
@@ -1,29 +0,0 @@
--- ============================================================================
--- eip4-platform 平台表 SYS_PAGE_SCHEMA —— bootstrap-page-schema.sql
--- ----------------------------------------------------------------------------
--- 用途:页面 schema 服务化(P4-4)。把 platform-converter 的转换产物
--- (转换产物/schema/{view_template_id}.json,1489 个) 作为初始数据源导入,
--- 由 GET /api/page/schema/{templateId} 在线下发(amis SDK 直接渲染)。
---
--- 架构条款(docs/架构设计.md §「平台表管理」):SYS_* 平台表由 Flyway 管,业务表由引擎动态建。
--- 本工程当前尚未引入 Flyway —— 本次按「bootstrap SQL(本地/CI 自举) + 生产建表脚本
--- (docs/sql/SYS_PAGE_SCHEMA.sql) 落 docs」落地,Flyway 引入列 P5 待办
--- (见 platform-metadata/P4衔接-picker与schema接口报告.md「Flyway 待办」)。
---
--- 纪律:可重复执行(CREATE TABLE IF NOT EXISTS / DROP INDEX IF EXISTS);
--- 表名/列名一律小写(PG 不区分大小写,引擎与现代层 SQL 大小写混用,小写建库两侧皆命中)。
--- schema 列用 jsonb(amis 页面 schema 不小,jsonb 便于校验/索引,且导入侧用 ::jsonb 强校验 JSON 合法)。
--- ============================================================================
-
-CREATE TABLE IF NOT EXISTS sys_page_schema (
- template_id character varying(64) NOT NULL, -- view_template_id(转换产物文件名去 .json)
- name character varying(255), -- 模板名称(取自分级清单.csv,便于运维检索)
- schema_json jsonb NOT NULL, -- amis 页面 schema(顶层 type:page)
- schema_etag character varying(64) NOT NULL, -- schema_json 的内容指纹(sha-256 hex),用于 HTTP ETag/304
- version integer NOT NULL DEFAULT 1, -- 单调递增版本(同模板重导入 +1)
- update_time bigint NOT NULL, -- epoch 毫秒(与引擎 DATE 列同口径)
- CONSTRAINT pk_sys_page_schema PRIMARY KEY (template_id)
-);
-
--- 按名称检索(运维/联调按模板名找 templateId)
-CREATE INDEX IF NOT EXISTS idx_sys_page_schema_name ON sys_page_schema (name);
diff --git a/scripts/ci.sh b/scripts/ci.sh
index 6a555bf..611a90b 100755
--- a/scripts/ci.sh
+++ b/scripts/ci.sh
@@ -26,9 +26,10 @@ psql -h "$CI_PG_HOST" -p "$CI_PG_PORT" -U "$CI_PG_USER" -d "$CI_DB" -q \
-f platform-parity/src/main/resources/bootstrap/bootstrap-sys.sql
psql -h "$CI_PG_HOST" -p "$CI_PG_PORT" -U "$CI_PG_USER" -d "$CI_DB" -q \
-f platform-parity/src/main/resources/bootstrap/bootstrap-privilege.sql
-# P4-4 平台表 SYS_PAGE_SCHEMA(页面 schema 服务化);幂等建表,数据由 SchemaImportCli 按需导入
+# 平台表 SYS_PAGE_SCHEMA:单一真相 db/migration/V1(A10 W1 收敛,散落 bootstrap 已删)。
+# 注:app 启动时 Flyway 已会幂等建全部平台表(V1-V3);此处预灌仅保证起服务前表已在(幂等无害)。
psql -h "$CI_PG_HOST" -p "$CI_PG_PORT" -U "$CI_PG_USER" -d "$CI_DB" -q \
- -f platform-metadata/src/main/resources/bootstrap/bootstrap-page-schema.sql
+ -f platform-app/src/main/resources/db/migration/V1__sys_page_schema.sql
JDBC="jdbc:postgresql://${CI_PG_HOST}:${CI_PG_PORT}/${CI_DB}"
echo "==[3/4] 起服务(:${CI_PORT} → ${JDBC})=="