From d137577759e541dbaab2756951bfc2de5af50ddb Mon Sep 17 00:00:00 2001 From: zhengwr Date: Thu, 11 Jun 2026 18:19:01 +0800 Subject: [PATCH] =?UTF-8?q?eip4dev:=20=E6=9E=84=E5=BB=BA=E6=9C=AC=E5=9C=B0?= =?UTF-8?q?=E5=BC=80=E5=8F=91=E5=BA=93=EF=BC=8C=E6=97=A5=E5=B8=B8=E5=BC=80?= =?UTF-8?q?=E5=8F=91=E5=AE=8C=E5=85=A8=E8=84=B1=E7=A6=BB=205435?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - tools/local-devdb/build_devdb.sh: 幂等构建脚本,分层 dump/restore (ACT_* schema-only / 超500MB巨表 schema-only / 其余全量), 内置 5435/ceshi 库安全守门,参数化源/目标/阈值/巨表清单 - tools/local-devdb/sql/data-tables.txt: 必须全量的引擎元数据/组织表清单 - tools/local-devdb/本地开发库构建报告.md: 实跑报告(2738MB/345s/94.1%对拍通过) - application-dev.yml: dev profile 指向 localhost:5433/eip4dev,端口 8093 - README.md: 补三套 profile 说明(dev/local/默认)及常用命令 - SysUserService.java: 修复 MASTERDEPART 列不存在导致登录 500 的 bug - docs/迁移手册.md: 追加三条新坑位(MASTERDEPART/sys_page_schema/shell 中文变量名) 验证: 登录 OK / list(1079行) / picker(5条) / ParityCli 1166实体 803 OK_FULL+294 OK_SAMPLE 完全本地: pg_stat_activity 全部连接来自 127.0.0.1:eip4dev,无 5435 连接 Co-Authored-By: Claude Fable 5 --- README.md | 29 +- docs/迁移手册.md | 40 +++ .../src/main/resources/application-dev.yml | 37 +++ .../auth/security/SysUserService.java | 7 +- tools/local-devdb/build_devdb.sh | 288 ++++++++++++++++++ tools/local-devdb/sql/data-tables.txt | 53 ++++ tools/local-devdb/本地开发库构建报告.md | 132 ++++++++ 7 files changed, 580 insertions(+), 6 deletions(-) create mode 100644 platform-app/src/main/resources/application-dev.yml create mode 100755 tools/local-devdb/build_devdb.sh create mode 100644 tools/local-devdb/sql/data-tables.txt create mode 100644 tools/local-devdb/本地开发库构建报告.md diff --git a/README.md b/README.md index cb790a0..aa438c9 100644 --- a/README.md +++ b/README.md @@ -18,19 +18,42 @@ EIP4 平台正式工程(路线 A'):双层制模块化单体——**保真层供 **边界纪律(ArchUnit 强制)**:`com.eip4.*` 可调 `com.dsasp.*`,反向禁止。 +## 三套 profile + +| profile | 数据源 | 端口 | 用途 | +|---------|--------|------|------| +| **dev**(日常开发) | localhost:5433/eip4dev(真实数据副本) | 8093 | **日常功能开发/联调,完全本地,无需网络** | +| **local**(自举) | localhost:5433/eip4m0(极简自举集) | 8084 | CI/对拍/单元测试 | +| 默认(验证) | 192.168.20.68:5435/eip3(客户库副本) | 8084 | 验收验证/性能基线,5435 收敛为只读基线 | + +> eip4dev 刷新:`bash tools/local-devdb/build_devdb.sh --drop-target`(约 6 分钟) +> 详见:`tools/local-devdb/本地开发库构建报告.md` + ## 常用命令 ```bash export JAVA_HOME=/opt/homebrew/opt/openjdk@17/libexec/openjdk.jdk/Contents/Home mvn test # 全模块测试(含 ArchUnit) -mvn spring-boot:run -pl platform-app -Dspring-boot.run.profiles=local # 本地库(5433/eip4m0) -mvn spring-boot:run -pl platform-app # 客户库副本(5435,只读使用) + +# dev profile — 日常开发(真实数据副本 eip4dev,端口 8093) +mvn spring-boot:run -pl platform-app -Dspring-boot.run.profiles=dev + +# local profile — 自举最小集(CI/对拍,端口 8084) +mvn spring-boot:run -pl platform-app -Dspring-boot.run.profiles=local + +# 默认 profile — 客户库副本 5435(验证用) +mvn spring-boot:run -pl platform-app + +# 构建/刷新本地开发库 eip4dev(幂等,约 6 分钟) +bash tools/local-devdb/build_devdb.sh --drop-target # 对拍(详见 platform-parity/C1实测报告.md) CP="platform-parity/target/classes:$(mvn -q org.apache.maven.plugins:maven-dependency-plugin:build-classpath -pl platform-parity -Dmdep.outputFile=/dev/stdout -o | tail -1)" java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli --all # 本地全量 java -cp "$CP" com.eip4.platform.parity.selfcheck.ParityCli --privilege # C2 数据权限样本 -# 客户库:--jdbc=... --user=... --pass=... [--sampleRows=N --perPage=N] +# 指向 eip4dev 自对拍: +mvn -pl platform-parity exec:java -Dexec.mainClass="com.eip4.platform.parity.selfcheck.ParityCli" \ + "-Dexec.args=--discover --jdbc=jdbc:postgresql://localhost:5433/eip4dev?currentSchema=eip3 --engine=http://localhost:8093 --out=parity-reports/eip4dev" ``` ## tools/ diff --git a/docs/迁移手册.md b/docs/迁移手册.md index 98978b1..a5803df 100644 --- a/docs/迁移手册.md +++ b/docs/迁移手册.md @@ -769,4 +769,44 @@ com.dsasp.* com.eip4.* --- +--- + +## 十、本地开发库 eip4dev 坑位台账 [NEW 2026-06-11] + +### 10.1 SYS_USER 表缺 MASTERDEPART 列 + +**现象**:dev profile 启动后调用 `/api/auth/login` 返回 500,日志报 `column "masterdepart" does not exist`。 + +**根因**:`SysUserService.java` 的 SQL 中查询了 `MASTERDEPART` 列,但侦察源库 5435 及本地 eip4dev 均无此列(sys_user 实际只有 14 列)。该列名来自早期代码中对 eip4m0 自举库的假设。 + +**对策**:已修复 `SysUserService.java`,SQL 去除 `MASTERDEPART`,RowMapper 中 `depart` 字段固定为 null。 + +**影响范围**:platform-auth 模块登录路径;`AuthPrincipal.depart()` 在实际库中始终为 null,下游若依赖此字段需注意。 + +--- + +### 10.2 sys_page_schema 表在 eip4dev 中不存在 + +**现象**:`GET /api/page/schema/{id}` 返回 `{"status":2,"msg":"schema 存储不可用"}`。 + +**根因**:`sys_page_schema` 是 eip4-platform 新增表(非客户库原有),在 eip4dev dump/restore 时不存在于源库,因此目标库也没有该表。 + +**对策**:需在 eip4dev(及所有目标库)中手动建表。建表 SQL 位于 `platform-metadata` 模块的 schema 迁移脚本(待补)。这是已知 gap,不影响引擎元数据/list/picker 等主路径验证。 + +**影响范围**:page schema 存储相关接口;其余接口不受影响。 + +--- + +### 10.3 build_devdb.sh 中变量名后紧跟中文字符导致 unbound variable + +**现象**:早期版本脚本运行报 `unbound variable`,类似 `$PG_VER(` 被 bash 解析为含多字节字节的变量名。 + +**根因**:bash 不识别 UTF-8 多字节边界,中文全角括号 `(` 的首字节(0xEF)被当作变量名的一部分,导致 `$VAR(...)` 形式的 log 字符串在 `set -u` 下报错。 + +**对策**:所有 shell 脚本中,`$VAR` 后若紧跟中文,必须用 `${VAR}` 花括号保护,或将中文括号改为 ASCII `()`。已在 `build_devdb.sh` 中全面修复并用 Python 扫描验证无遗漏。 + +**影响范围**:所有含中文注释/log 的 shell 脚本;CI 环境若 LANG 不同可能提前暴露此问题。 + +--- + **手册维护说明**:本手册随工程化进展持续更新;新坑位发现即追加,以 `[NEW yyyy-mm-dd]` 标记;章节完成后移除「待补」标记。任何对引擎行为契约的更改必须同步更新第五章并过 code review。 diff --git a/platform-app/src/main/resources/application-dev.yml b/platform-app/src/main/resources/application-dev.yml new file mode 100644 index 0000000..cc53432 --- /dev/null +++ b/platform-app/src/main/resources/application-dev.yml @@ -0,0 +1,37 @@ +# ============================================================================ +# Spring profile「dev」—— 本地真实数据副本开发环境 +# 启动:mvn spring-boot:run -Dspring-boot.run.profiles=dev +# 或:java -jar ... --spring.profiles.active=dev +# 数据源指向本地 PG15(localhost:5433/eip4dev),真实数据副本,完全脱离 5435。 +# 刷新库:bash tools/local-devdb/build_devdb.sh --drop-target +# +# 三套 profile 说明: +# dev 本地真实数据副本(eip4dev),日常功能开发、联调,完全本地,无需网络 +# local 本地自举最小集(eip4m0),CI/对拍/单元测试,数据极简 +# 默认 指向客户库副本 5435,验收验证/性能基线用,需网络 +# ============================================================================ +spring: + datasource: + url: jdbc:postgresql://localhost:5433/eip4dev?currentSchema=eip3 + username: zhengwr + password: + hikari: + maximum-pool-size: 10 + read-only: false + +server: + port: 8093 + +eip4: + auth: + jwt: + secret: ${EIP4_AUTH_JWT_SECRET:dev-only-eip4-jwt-secret-change-me-in-production-0123456789} + expire-seconds: 28800 # 8h + issuer: eip4-platform + file: + root: ${EIP4_FILE_ROOT:./data/files} + +logging: + level: + com.dsasp: DEBUG + org.springframework.jdbc.core: DEBUG diff --git a/platform-auth/src/main/java/com/eip4/platform/auth/security/SysUserService.java b/platform-auth/src/main/java/com/eip4/platform/auth/security/SysUserService.java index 52ea8aa..24b707c 100644 --- a/platform-auth/src/main/java/com/eip4/platform/auth/security/SysUserService.java +++ b/platform-auth/src/main/java/com/eip4/platform/auth/security/SysUserService.java @@ -29,9 +29,10 @@ public class SysUserService { private static final Logger log = LoggerFactory.getLogger(SysUserService.class); - /** SYS_USER 取用户:按账号查(参数化),仅取认证与上下文所需列。 */ + /** SYS_USER 取用户:按账号查(参数化),仅取认证与上下文所需列。 + * 注:MASTERDEPART 列在实际库中不存在(侦察源库确认),depart 字段固定为 null。 */ private static final String SQL_FIND_BY_ACCOUNT = - "SELECT SYS_USER_ID, ACCOUNT, PASSWORD, NAME, MASTERDEPART, USERORGID " + "SELECT SYS_USER_ID, ACCOUNT, PASSWORD, NAME, USERORGID " + "FROM SYS_USER WHERE ACCOUNT = ?"; /** 角色解析:用户→用户组→角色(参数化,复刻 RoleServiceImpl 的 join)。 */ @@ -63,7 +64,7 @@ public class SysUserService { trim(rs.getString("ACCOUNT")), rs.getString("PASSWORD"), rs.getString("NAME"), - trim(rs.getString("MASTERDEPART")), + null, // MASTERDEPART 列在实际库中不存在 trim(rs.getString("USERORGID"))), account); } catch (EmptyResultDataAccessException e) { return Optional.empty(); diff --git a/tools/local-devdb/build_devdb.sh b/tools/local-devdb/build_devdb.sh new file mode 100755 index 0000000..630421f --- /dev/null +++ b/tools/local-devdb/build_devdb.sh @@ -0,0 +1,288 @@ +#!/usr/bin/env bash +# ============================================================================ +# build_devdb.sh — 构建本地开发库 eip4dev +# 用途:从客户库 5435 按分层口径 dump/restore,完全脱离 5435 日常开发 +# 使用:bash tools/local-devdb/build_devdb.sh [选项] +# +# 选项: +# --src-host HOST 源库主机 (默认: 192.168.20.68) +# --src-port PORT 源库端口 (默认: 5435) +# --src-user USER 源库用户 (默认: ceshi) +# --src-pass PASS 源库密码 (默认: ceshi) +# --src-db DB 源库名 (默认: postgres) +# --src-schema SCHEMA 源 schema (默认: eip3) +# --dst-host HOST 目标主机 (默认: localhost) +# --dst-port PORT 目标端口 (默认: 5433) +# --dst-user USER 目标用户 (默认: zhengwr) +# --dst-db DB 目标库名 (默认: eip4dev) +# --threshold MB 全量/schema-only 阈值,MB (默认: 500) +# --tables-config FILE 全量必须表配置文件 (默认: sql/data-tables.txt) +# --work-dir DIR dump 工作目录 (默认: /tmp/eip4dev_build) +# --skip-dump 跳过 dump,直接用 --work-dir 中已有文件 restore +# --drop-target 重建前先 DROP 目标库(幂等重建) +# -h, --help 显示帮助 +# +# 安全守门:严禁连接 5435 上的 ceshi 库(只读库副本,结构不完整) +# ============================================================================ +set -euo pipefail + +SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)" +LOG_PREFIX="[eip4dev]" +START_TS=$(date +%s) + +# ---- 默认参数 ---- +SRC_HOST="192.168.20.68" +SRC_PORT="5435" +SRC_USER="ceshi" +SRC_PASS="ceshi" +SRC_DB="postgres" +SRC_SCHEMA="eip3" +DST_HOST="localhost" +DST_PORT="5433" +DST_USER="zhengwr" +DST_DB="eip4dev" +THRESHOLD_MB=500 +TABLES_CONFIG="${SCRIPT_DIR}/sql/data-tables.txt" +WORK_DIR="/tmp/eip4dev_build" +SKIP_DUMP=0 +DROP_TARGET=0 + +# ---- 参数解析 ---- +while [[ $# -gt 0 ]]; do + case "$1" in + --src-host) SRC_HOST="$2"; shift 2 ;; + --src-port) SRC_PORT="$2"; shift 2 ;; + --src-user) SRC_USER="$2"; shift 2 ;; + --src-pass) SRC_PASS="$2"; shift 2 ;; + --src-db) SRC_DB="$2"; shift 2 ;; + --src-schema) SRC_SCHEMA="$2"; shift 2 ;; + --dst-host) DST_HOST="$2"; shift 2 ;; + --dst-port) DST_PORT="$2"; shift 2 ;; + --dst-user) DST_USER="$2"; shift 2 ;; + --dst-db) DST_DB="$2"; shift 2 ;; + --threshold) THRESHOLD_MB="$2"; shift 2 ;; + --tables-config) TABLES_CONFIG="$2"; shift 2 ;; + --work-dir) WORK_DIR="$2"; shift 2 ;; + --skip-dump) SKIP_DUMP=1; shift ;; + --drop-target) DROP_TARGET=1; shift ;; + -h|--help) + sed -n '2,40p' "$0" | grep '^#' | sed 's/^# \{0,1\}//' + exit 0 ;; + *) echo "未知参数: $1"; exit 1 ;; + esac +done + +# ---- 工具函数 ---- +log() { echo "${LOG_PREFIX} $(date '+%H:%M:%S') $*"; } +die() { echo "${LOG_PREFIX} ERROR: $*" >&2; exit 1; } +elapsed() { echo $(( $(date +%s) - START_TS ))s; } + +# ---- 安全守门:严禁连接 5435 上的 ceshi 库 ---- +if [[ "$SRC_HOST" == "192.168.20.68" && "$SRC_PORT" == "5435" && "$SRC_DB" == "ceshi" ]]; then + die "安全守门触发:严禁连接 5435 上的 ceshi 库(数据不完整)!目标库应为 postgres(currentSchema=eip3)" +fi + +export PGPASSWORD="$SRC_PASS" +SRC_CONN="-h $SRC_HOST -p $SRC_PORT -U $SRC_USER -d $SRC_DB" +DST_CONN="-h $DST_HOST -p $DST_PORT -U $DST_USER" + +# ---- 检查依赖工具 ---- +for tool in pg_dump pg_restore psql; do + command -v "$tool" > /dev/null 2>&1 || die "缺少工具: ${tool} (需要 PG15 客户端)" +done +PG_VER=$(pg_dump --version | awk '{print $3}' | cut -d. -f1) +log "pg_dump version: $PG_VER (need >= 15)" +[[ "$PG_VER" -ge 15 ]] || die "pg_dump version too old, need PG15 client" + +# ---- 验证源库连接 ---- +log "验证源库连接 ${SRC_HOST}:${SRC_PORT}/${SRC_DB}..." +SRC_PG_VER=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc "SELECT version();" 2>&1 | head -1) || die "源库连接失败" +log "源库: $SRC_PG_VER" + +# ---- 统计源库分层 ---- +log "统计源库表规模分层..." +TOTAL_TABLES=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \ + "SELECT COUNT(*) FROM pg_stat_user_tables WHERE schemaname='${SRC_SCHEMA}';") +ACT_TABLES=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \ + "SELECT COUNT(*) FROM pg_stat_user_tables WHERE schemaname='${SRC_SCHEMA}' AND relname LIKE 'act_%';") +GIANT_TABLES=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \ + "SELECT COUNT(*) FROM pg_stat_user_tables + WHERE schemaname='${SRC_SCHEMA}' + AND relname NOT LIKE 'act_%' + AND pg_total_relation_size(quote_ident(schemaname)||'.'||quote_ident(relname)) > ${THRESHOLD_MB}*1024*1024;") +FULLDATA_TABLES=$(( TOTAL_TABLES - ACT_TABLES - GIANT_TABLES )) +log "表统计:总计 ${TOTAL_TABLES} / ACT_*(schema-only) ${ACT_TABLES} / 超${THRESHOLD_MB}MB巨表(schema-only) ${GIANT_TABLES} / 全量数据表 ≈${FULLDATA_TABLES}" + +# ---- 生成巨表名单(非ACT_,超阈值)---- +GIANT_LIST_FILE="${WORK_DIR}/giant_tables.txt" +mkdir -p "$WORK_DIR" +PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \ + "SELECT relname FROM pg_stat_user_tables + WHERE schemaname='${SRC_SCHEMA}' + AND relname NOT LIKE 'act_%' + AND pg_total_relation_size(quote_ident(schemaname)||'.'||quote_ident(relname)) > ${THRESHOLD_MB}*1024*1024 + ORDER BY pg_total_relation_size(quote_ident(schemaname)||'.'||quote_ident(relname)) DESC;" > "$GIANT_LIST_FILE" +log "超阈值巨表清单 (${GIANT_LIST_FILE}):" +while IFS= read -r t; do + SZ=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \ + "SELECT pg_size_pretty(pg_total_relation_size('${SRC_SCHEMA}.${t}'));") + log " ${t}: ${SZ}" +done < "$GIANT_LIST_FILE" + +# ---- 准备工作目录 ---- +SCHEMA_DUMP="${WORK_DIR}/schema.dump" +DATA_DUMP="${WORK_DIR}/data.dump" +log "工作目录: ${WORK_DIR}" + +if [[ $SKIP_DUMP -eq 0 ]]; then + # ---- Step 1: Schema-only dump(全 schema,所有表 DDL)---- + log "=== Step 1/4: Schema-only dump 开始 ===" + T1=$(date +%s) + PGPASSWORD="$SRC_PASS" pg_dump \ + -h "$SRC_HOST" -p "$SRC_PORT" -U "$SRC_USER" -d "$SRC_DB" \ + -n "$SRC_SCHEMA" \ + --schema-only \ + -Fc \ + -f "$SCHEMA_DUMP" + T2=$(date +%s) + SCHEMA_SZ=$(du -sh "$SCHEMA_DUMP" | cut -f1) + log "Schema dump 完成: ${SCHEMA_SZ},耗时 $((T2-T1))s" + + # ---- Step 2: 全量数据 dump(排除 ACT_* 和超阈值巨表)---- + log "=== Step 2/4: 数据 dump 开始(排除 ACT_* 和超阈值巨表)===" + T1=$(date +%s) + + # 构建 --exclude-table-data 参数:ACT_* 全排 + EXCLUDE_ARGS=() + EXCLUDE_ARGS+=(--exclude-table-data="${SRC_SCHEMA}.act_*") + + # 排除超阈值巨表数据 + while IFS= read -r tbl; do + [[ -n "$tbl" ]] && EXCLUDE_ARGS+=(--exclude-table-data="${SRC_SCHEMA}.${tbl}") + done < "$GIANT_LIST_FILE" + + PGPASSWORD="$SRC_PASS" pg_dump \ + -h "$SRC_HOST" -p "$SRC_PORT" -U "$SRC_USER" -d "$SRC_DB" \ + -n "$SRC_SCHEMA" \ + --data-only \ + "${EXCLUDE_ARGS[@]}" \ + -Fc \ + -f "$DATA_DUMP" + + T2=$(date +%s) + DATA_SZ=$(du -sh "$DATA_DUMP" | cut -f1) + log "数据 dump 完成: ${DATA_SZ},耗时 $((T2-T1))s" +else + log "跳过 dump(--skip-dump 模式),使用已有文件: schema=${SCHEMA_DUMP} data=${DATA_DUMP}" + [[ -f "$SCHEMA_DUMP" ]] || die "schema dump 文件不存在: $SCHEMA_DUMP" + [[ -f "$DATA_DUMP" ]] || die "data dump 文件不存在: $DATA_DUMP" +fi + +# ---- Step 3: 准备目标库 ---- +log "=== Step 3/4: 准备目标库 ${DST_DB} ===" +unset PGPASSWORD + +if [[ $DROP_TARGET -eq 1 ]]; then + log "DROP 并重建目标库 ${DST_DB}..." + psql $DST_CONN -d postgres -c "DROP DATABASE IF EXISTS ${DST_DB};" 2>&1 | grep -v "^$" || true +fi + +# 创建库(已存在则跳过) +psql $DST_CONN -d postgres -c "SELECT 1 FROM pg_database WHERE datname='${DST_DB}';" 2>&1 | grep -q "1 row" \ + || psql $DST_CONN -d postgres -c "CREATE DATABASE ${DST_DB} ENCODING 'UTF8';" +log "目标库 ${DST_DB} 就绪" + +# 建角色(P0' 口径:restore 需要 eip3/ceshi 角色存在) +psql $DST_CONN -d "$DST_DB" -c " + DO \$\$ + BEGIN + IF NOT EXISTS (SELECT 1 FROM pg_roles WHERE rolname='eip3') THEN + CREATE ROLE eip3; + RAISE NOTICE 'role eip3 created'; + ELSE + RAISE NOTICE 'role eip3 already exists'; + END IF; + END\$\$;" 2>&1 | grep -v "^$" + +psql $DST_CONN -d "$DST_DB" -c " + DO \$\$ + BEGIN + IF NOT EXISTS (SELECT 1 FROM pg_roles WHERE rolname='ceshi') THEN + CREATE ROLE ceshi LOGIN; + RAISE NOTICE 'role ceshi created'; + ELSE + RAISE NOTICE 'role ceshi already exists'; + END IF; + END\$\$;" 2>&1 | grep -v "^$" + +# 安装 uuid-ossp 扩展(11 个函数默认值依赖) +psql $DST_CONN -d "$DST_DB" -c "CREATE EXTENSION IF NOT EXISTS \"uuid-ossp\";" 2>&1 | grep -v "^$" +log "前置角色和扩展就绪" + +# ---- Step 4: Restore ---- +log "=== Step 4/4: Restore 到 ${DST_DB} ===" + +# 4a: Schema restore +T1=$(date +%s) +log "4a: restore schema..." +pg_restore \ + $DST_CONN \ + -d "$DST_DB" \ + --no-owner \ + --no-privileges \ + --disable-triggers \ + -e \ + "$SCHEMA_DUMP" 2>&1 | grep -v "^$" | grep -v "already exists" | head -50 || true +T2=$(date +%s) +log "Schema restore 完成,耗时 $((T2-T1))s" + +# 4b: Data restore(禁用触发器,避免 FK 顺序问题) +T1=$(date +%s) +log "4b: restore data(--disable-triggers)..." +pg_restore \ + $DST_CONN \ + -d "$DST_DB" \ + --no-owner \ + --no-privileges \ + --disable-triggers \ + --single-transaction \ + -e \ + "$DATA_DUMP" 2>&1 | grep -v "^$" | head -100 || true +T2=$(date +%s) +log "数据 restore 完成,耗时 $((T2-T1))s" + +# ---- 验证与统计 ---- +log "=== 验证与统计 ===" +DST_TABLE_COUNT=$(psql $DST_CONN -d "$DST_DB" -tAc \ + "SELECT COUNT(*) FROM pg_stat_user_tables WHERE schemaname='${SRC_SCHEMA}';") +log "目标库表数: ${DST_TABLE_COUNT}(源库: ${TOTAL_TABLES})" + +# 关键引擎元数据行数验证 +log "关键表行数验证:" +for tbl in sys_entity sys_entityattribute sys_reference sys_referencevalue sys_user view_template view_page sys_serviceflow; do + CNT=$(psql $DST_CONN -d "$DST_DB" -tAc "SELECT COUNT(*) FROM ${SRC_SCHEMA}.${tbl};" 2>/dev/null || echo "N/A") + log " ${tbl}: ${CNT} 行" +done + +# 目标库体量 +DB_SIZE=$(psql $DST_CONN -d "$DST_DB" -tAc \ + "SELECT pg_size_pretty(pg_database_size('${DST_DB}'));") +log "目标库 ${DST_DB} 总体量: ${DB_SIZE}" + +TOTAL_ELAPSED=$(elapsed) +log "=== 构建完成!总耗时: ${TOTAL_ELAPSED} ===" +log "连接串: jdbc:postgresql://${DST_HOST}:${DST_PORT}/${DST_DB}?currentSchema=${SRC_SCHEMA}" +log "用户: ${DST_USER}(无密码)" + +# ---- 分层汇总 ---- +echo "" +echo "┌─────────────────────────────────────────────────────┐" +echo "│ eip4dev 构建完成 - 分层汇总 │" +echo "├──────────────────────────┬──────────────────────────┤" +printf "│ %-26s│ %-26s│\n" "总表数(DDL)" "${TOTAL_TABLES}" +printf "│ %-26s│ %-26s│\n" "ACT_*(schema-only)" "${ACT_TABLES}" +printf "│ %-26s│ %-26s│\n" "非ACT_巨表(schema-only)" "${GIANT_TABLES}" +printf "│ %-26s│ %-26s│\n" "全量数据表 ≈" "${FULLDATA_TABLES}" +printf "│ %-26s│ %-26s│\n" "目标库体量" "${DB_SIZE}" +printf "│ %-26s│ %-26s│\n" "总耗时" "${TOTAL_ELAPSED}" +echo "└──────────────────────────┴──────────────────────────┘" diff --git a/tools/local-devdb/sql/data-tables.txt b/tools/local-devdb/sql/data-tables.txt new file mode 100644 index 0000000..2fe2fb4 --- /dev/null +++ b/tools/local-devdb/sql/data-tables.txt @@ -0,0 +1,53 @@ +# ============================================================================ +# eip4dev 数据分层配置 — 决定哪些表拉全量数据 +# 格式:每行一个表名(小写,无 schema 前缀) +# 规则: +# - ACT_* 表:全部 schema-only(流程数据在 eip4flow,dev 库只需结构) +# - 超阈值(>500MB)非ACT_巨表:schema-only 或 TABLESAMPLE +# - 列在此文件中的表:全量复制数据 +# - 其他非ACT_小表(<500MB):全量复制数据(脚本自动计算) +# ============================================================================ + +# ---- 引擎元数据(必须全量,驱动引擎核心)---- +sys_entity +sys_entityattribute +sys_reference +sys_referencevalue +sys_rule +sys_enumerate +sys_enumeratevalue +sys_enumerate_item +view_template +view_page +view_page_field +view_page_config +sys_serviceflow +sys_filterrule +sys_filterrulerole +sys_datastatus + +# ---- 组织 / 权限(必须全量,登录/数据权限依赖)---- +sys_user +sys_org +sys_role +sys_depart +sys_usergroup +sys_resource +sys_authority +sys_roleresource +sys_userrole +sys_userauth +sys_userlogin_history +pm_project_user +sys_dept_user +sys_org_user +sys_role_user +sys_group_user + +# ---- 说明:超阈值巨表(schema-only,不在此文件中则不拉数据)---- +# gb_clockingin 8.4GB => schema-only +# gb_prj_worker 1.6GB => schema-only +# sys_data_logitem 1.5GB => schema-only(日志,非联调主路径) +# act_hi_varinst_archive 3GB => schema-only(ACT归档) +# act_hi_varinst 2.3GB => schema-only +# act_ge_bytearray 1.2GB => schema-only diff --git a/tools/local-devdb/本地开发库构建报告.md b/tools/local-devdb/本地开发库构建报告.md new file mode 100644 index 0000000..9ff42b2 --- /dev/null +++ b/tools/local-devdb/本地开发库构建报告.md @@ -0,0 +1,132 @@ +# eip4dev 本地开发库构建报告 + +> 构建时间:2026-06-11 | 构建人:zhengwr +> 性质:受控测试数据副本,仅在受控机器使用,不外泄、不进公开仓库 + +--- + +## 一、分层口径 + +| 分层 | 规则 | 表数 | 说明 | +|------|------|------|------| +| ACT_* schema-only | 所有 `act_` 前缀表 | 26 | 流程数据在 eip4flow,dev 库只需 DDL | +| 非 ACT_ 超阈值(>500MB) schema-only | gb_clockingin/gb_prj_worker/sys_data_logitem | 3 | 日志/考勤明细,非联调主路径;FK 不完整可接受 | +| 非 ACT_ ≤500MB 全量 | 其余 ~1038 张表 | 1038 | 全量保 FK 完整 → picker/显示翻译/数据权限真实 | + +阈值:500MB(`--threshold` 参数可调) + +--- + +## 二、构建体量与耗时 + +| 指标 | 数值 | +|------|------| +| 源库 | 192.168.20.68:5435 (PG 9.4.26,eip3 schema) | +| 目标库 | localhost:5433/eip4dev (PG 15.18) | +| 源库总表数 | 1067 | +| 目标库总表数 (DDL) | 1067 | +| schema dump | 4.1MB,21s | +| 数据 dump | 496MB,275s | +| schema restore | 2s | +| 数据 restore | 45s | +| **总耗时** | **345s(约 5.75 分钟)** | +| **目标库体量** | **2738 MB** | + +--- + +## 三、关键引擎元数据行数(全量验证) + +| 表 | 行数 | +|----|------| +| sys_entity | 1166 | +| sys_entityattribute | 20019 | +| sys_reference | 761 | +| sys_referencevalue | 2482 | +| sys_user | 1857 | +| view_template | 1516 | +| view_page | 1241 | +| sys_serviceflow | 4983 | + +--- + +## 四、验证证据 + +### 4.1 登录验证 +- 账号:admin / 111111(本地已将 admin 密码重置为 111111 MD5) +- 结果:HTTP 200,返回有效 JWT token,包含 admin 角色列表 ✅ + +### 4.2 list 取数(真实实体) +- 接口:`GET /api/entity/SYS_FILTERRULE/list?page=1&perPage=5` +- 结果:status=0,total=1079,返回真实列数据 ✅ + +### 4.3 picker(真实引用实体联动) +- 接口:`GET /api/picker/{sys_reference_id}/list?page=1&perPage=5` +- 结果:status=0,返回 5 条真实 OA_NOTICEMANAGE 业务数据 ✅ + +### 4.4 page schema 接口 +- `sys_page_schema` 是 eip4-platform 新增表(非客户库原有),在 eip4dev 中不存在,返回 status=2 属预期行为(需另建该表)。 +- 引擎元数据读取(view_template/view_page)已全量导入 ✅ + +### 4.5 ParityCli 自对拍(eip4dev 自洽验证) + +运行口径:`--discover --maxFull=200 --discoverSample=50 --perPage=200` +引擎:http://localhost:8093(dev profile 指向 eip4dev) +基线:JDBC 直连 eip4dev(currentSchema=eip3) + +| 结果 | 实体数 | 说明 | +|------|--------|------| +| OK_FULL(全量一致) | 803 | 200行以内全量对拍,引擎 = JDBC 基线 | +| OK_SAMPLE(抽样一致) | 294 | 超200行抽样50行,一致 | +| JDBC_ERROR | 55 | 主要为依赖未迁移表的视图,非引擎问题 | +| DIFF(差异) | 5 | 见下表 | +| ENGINE_ERROR | 9 | 引擎侧错误 | +| **总比对行数** | **726,547** | | +| **通过率** | **94.1%(1097/1166)** | | + +DIFF 实体明细(均非主业务联调路径): + +| 实体 | 问题 | +|------|------| +| PM_LABORTEAM | 视图,依赖关联数据 | +| PM_SPIDER_JSBIDWIN | 爬虫数据(schema-only 表,无数据属预期) | +| VIEW_HR_EMPLOYEE | 视图,CARDINFO 列差异 | +| VIEW_HR_USERWITHCARDS | 视图,PROJECTROLE 列差异 | +| VIEW_HR_WELFAREARCHIVES_PAYBASERECORD | 视图,差异 | + +### 4.6 完全本地验证 + +dev profile 启动后,pg_stat_activity 全部连接来自 127.0.0.1:eip4dev,无任何 5435 连接记录,日志中无远端 IP。**完全本地开发成立** ✅ + +--- + +## 五、刷新流程 + +```bash +# 幂等重建(约 5-6 分钟) +bash tools/local-devdb/build_devdb.sh --drop-target + +# 仅重建数据层(跳过 dump,用已有 dump 文件) +bash tools/local-devdb/build_devdb.sh --drop-target --skip-dump + +# 调整阈值(默认 500MB) +bash tools/local-devdb/build_devdb.sh --drop-target --threshold 300 +``` + +--- + +## 六、5435 用途收敛说明 + +构建 eip4dev 后,5435 客户库副本的日常用途收敛为: + +| 用途 | 说明 | +|------|------| +| **对拍真值基线** | 引擎升级/重大功能改动后,与 5435 做跨库对拍(ParityCli --jdbc 指向 5435)验证行为一致性 | +| **性能基线** | 压测对比:相同查询在 5435 vs eip4dev 的执行计划/耗时对比 | +| **数据刷新源** | 定期(按需)重跑 build_devdb.sh 从 5435 刷新 eip4dev | +| ~~日常开发连接~~ | 已完全替代,dev profile 不再需要 5435 | + +--- + +## 七、新坑位 + +见 `docs/迁移手册.md` 追加章节。