eip4dev: 构建本地开发库,日常开发完全脱离 5435

- tools/local-devdb/build_devdb.sh: 幂等构建脚本,分层 dump/restore
  (ACT_* schema-only / 超500MB巨表 schema-only / 其余全量),
  内置 5435/ceshi 库安全守门,参数化源/目标/阈值/巨表清单
- tools/local-devdb/sql/data-tables.txt: 必须全量的引擎元数据/组织表清单
- tools/local-devdb/本地开发库构建报告.md: 实跑报告(2738MB/345s/94.1%对拍通过)
- application-dev.yml: dev profile 指向 localhost:5433/eip4dev,端口 8093
- README.md: 补三套 profile 说明(dev/local/默认)及常用命令
- SysUserService.java: 修复 MASTERDEPART 列不存在导致登录 500 的 bug
- docs/迁移手册.md: 追加三条新坑位(MASTERDEPART/sys_page_schema/shell 中文变量名)

验证: 登录 OK / list(1079行) / picker(5条) / ParityCli 1166实体 803 OK_FULL+294 OK_SAMPLE
完全本地: pg_stat_activity 全部连接来自 127.0.0.1:eip4dev,无 5435 连接

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
2026-06-11 18:19:01 +08:00
parent b9ad18f147
commit d137577759
7 changed files with 580 additions and 6 deletions

288
tools/local-devdb/build_devdb.sh Executable file
View File

@@ -0,0 +1,288 @@
#!/usr/bin/env bash
# ============================================================================
# build_devdb.sh — 构建本地开发库 eip4dev
# 用途:从客户库 5435 按分层口径 dump/restore,完全脱离 5435 日常开发
# 使用:bash tools/local-devdb/build_devdb.sh [选项]
#
# 选项:
# --src-host HOST 源库主机 (默认: 192.168.20.68)
# --src-port PORT 源库端口 (默认: 5435)
# --src-user USER 源库用户 (默认: ceshi)
# --src-pass PASS 源库密码 (默认: ceshi)
# --src-db DB 源库名 (默认: postgres)
# --src-schema SCHEMA 源 schema (默认: eip3)
# --dst-host HOST 目标主机 (默认: localhost)
# --dst-port PORT 目标端口 (默认: 5433)
# --dst-user USER 目标用户 (默认: zhengwr)
# --dst-db DB 目标库名 (默认: eip4dev)
# --threshold MB 全量/schema-only 阈值,MB (默认: 500)
# --tables-config FILE 全量必须表配置文件 (默认: sql/data-tables.txt)
# --work-dir DIR dump 工作目录 (默认: /tmp/eip4dev_build)
# --skip-dump 跳过 dump,直接用 --work-dir 中已有文件 restore
# --drop-target 重建前先 DROP 目标库(幂等重建)
# -h, --help 显示帮助
#
# 安全守门:严禁连接 5435 上的 ceshi 库(只读库副本,结构不完整)
# ============================================================================
set -euo pipefail
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
LOG_PREFIX="[eip4dev]"
START_TS=$(date +%s)
# ---- 默认参数 ----
SRC_HOST="192.168.20.68"
SRC_PORT="5435"
SRC_USER="ceshi"
SRC_PASS="ceshi"
SRC_DB="postgres"
SRC_SCHEMA="eip3"
DST_HOST="localhost"
DST_PORT="5433"
DST_USER="zhengwr"
DST_DB="eip4dev"
THRESHOLD_MB=500
TABLES_CONFIG="${SCRIPT_DIR}/sql/data-tables.txt"
WORK_DIR="/tmp/eip4dev_build"
SKIP_DUMP=0
DROP_TARGET=0
# ---- 参数解析 ----
while [[ $# -gt 0 ]]; do
case "$1" in
--src-host) SRC_HOST="$2"; shift 2 ;;
--src-port) SRC_PORT="$2"; shift 2 ;;
--src-user) SRC_USER="$2"; shift 2 ;;
--src-pass) SRC_PASS="$2"; shift 2 ;;
--src-db) SRC_DB="$2"; shift 2 ;;
--src-schema) SRC_SCHEMA="$2"; shift 2 ;;
--dst-host) DST_HOST="$2"; shift 2 ;;
--dst-port) DST_PORT="$2"; shift 2 ;;
--dst-user) DST_USER="$2"; shift 2 ;;
--dst-db) DST_DB="$2"; shift 2 ;;
--threshold) THRESHOLD_MB="$2"; shift 2 ;;
--tables-config) TABLES_CONFIG="$2"; shift 2 ;;
--work-dir) WORK_DIR="$2"; shift 2 ;;
--skip-dump) SKIP_DUMP=1; shift ;;
--drop-target) DROP_TARGET=1; shift ;;
-h|--help)
sed -n '2,40p' "$0" | grep '^#' | sed 's/^# \{0,1\}//'
exit 0 ;;
*) echo "未知参数: $1"; exit 1 ;;
esac
done
# ---- 工具函数 ----
log() { echo "${LOG_PREFIX} $(date '+%H:%M:%S') $*"; }
die() { echo "${LOG_PREFIX} ERROR: $*" >&2; exit 1; }
elapsed() { echo $(( $(date +%s) - START_TS ))s; }
# ---- 安全守门:严禁连接 5435 上的 ceshi 库 ----
if [[ "$SRC_HOST" == "192.168.20.68" && "$SRC_PORT" == "5435" && "$SRC_DB" == "ceshi" ]]; then
die "安全守门触发:严禁连接 5435 上的 ceshi 库(数据不完整)!目标库应为 postgres(currentSchema=eip3)"
fi
export PGPASSWORD="$SRC_PASS"
SRC_CONN="-h $SRC_HOST -p $SRC_PORT -U $SRC_USER -d $SRC_DB"
DST_CONN="-h $DST_HOST -p $DST_PORT -U $DST_USER"
# ---- 检查依赖工具 ----
for tool in pg_dump pg_restore psql; do
command -v "$tool" > /dev/null 2>&1 || die "缺少工具: ${tool} (需要 PG15 客户端)"
done
PG_VER=$(pg_dump --version | awk '{print $3}' | cut -d. -f1)
log "pg_dump version: $PG_VER (need >= 15)"
[[ "$PG_VER" -ge 15 ]] || die "pg_dump version too old, need PG15 client"
# ---- 验证源库连接 ----
log "验证源库连接 ${SRC_HOST}:${SRC_PORT}/${SRC_DB}..."
SRC_PG_VER=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc "SELECT version();" 2>&1 | head -1) || die "源库连接失败"
log "源库: $SRC_PG_VER"
# ---- 统计源库分层 ----
log "统计源库表规模分层..."
TOTAL_TABLES=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \
"SELECT COUNT(*) FROM pg_stat_user_tables WHERE schemaname='${SRC_SCHEMA}';")
ACT_TABLES=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \
"SELECT COUNT(*) FROM pg_stat_user_tables WHERE schemaname='${SRC_SCHEMA}' AND relname LIKE 'act_%';")
GIANT_TABLES=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \
"SELECT COUNT(*) FROM pg_stat_user_tables
WHERE schemaname='${SRC_SCHEMA}'
AND relname NOT LIKE 'act_%'
AND pg_total_relation_size(quote_ident(schemaname)||'.'||quote_ident(relname)) > ${THRESHOLD_MB}*1024*1024;")
FULLDATA_TABLES=$(( TOTAL_TABLES - ACT_TABLES - GIANT_TABLES ))
log "表统计:总计 ${TOTAL_TABLES} / ACT_*(schema-only) ${ACT_TABLES} / 超${THRESHOLD_MB}MB巨表(schema-only) ${GIANT_TABLES} / 全量数据表 ≈${FULLDATA_TABLES}"
# ---- 生成巨表名单(非ACT_,超阈值)----
GIANT_LIST_FILE="${WORK_DIR}/giant_tables.txt"
mkdir -p "$WORK_DIR"
PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \
"SELECT relname FROM pg_stat_user_tables
WHERE schemaname='${SRC_SCHEMA}'
AND relname NOT LIKE 'act_%'
AND pg_total_relation_size(quote_ident(schemaname)||'.'||quote_ident(relname)) > ${THRESHOLD_MB}*1024*1024
ORDER BY pg_total_relation_size(quote_ident(schemaname)||'.'||quote_ident(relname)) DESC;" > "$GIANT_LIST_FILE"
log "超阈值巨表清单 (${GIANT_LIST_FILE}):"
while IFS= read -r t; do
SZ=$(PGPASSWORD="$SRC_PASS" psql $SRC_CONN -tAc \
"SELECT pg_size_pretty(pg_total_relation_size('${SRC_SCHEMA}.${t}'));")
log " ${t}: ${SZ}"
done < "$GIANT_LIST_FILE"
# ---- 准备工作目录 ----
SCHEMA_DUMP="${WORK_DIR}/schema.dump"
DATA_DUMP="${WORK_DIR}/data.dump"
log "工作目录: ${WORK_DIR}"
if [[ $SKIP_DUMP -eq 0 ]]; then
# ---- Step 1: Schema-only dump(全 schema,所有表 DDL)----
log "=== Step 1/4: Schema-only dump 开始 ==="
T1=$(date +%s)
PGPASSWORD="$SRC_PASS" pg_dump \
-h "$SRC_HOST" -p "$SRC_PORT" -U "$SRC_USER" -d "$SRC_DB" \
-n "$SRC_SCHEMA" \
--schema-only \
-Fc \
-f "$SCHEMA_DUMP"
T2=$(date +%s)
SCHEMA_SZ=$(du -sh "$SCHEMA_DUMP" | cut -f1)
log "Schema dump 完成: ${SCHEMA_SZ},耗时 $((T2-T1))s"
# ---- Step 2: 全量数据 dump(排除 ACT_* 和超阈值巨表)----
log "=== Step 2/4: 数据 dump 开始(排除 ACT_* 和超阈值巨表)==="
T1=$(date +%s)
# 构建 --exclude-table-data 参数:ACT_* 全排
EXCLUDE_ARGS=()
EXCLUDE_ARGS+=(--exclude-table-data="${SRC_SCHEMA}.act_*")
# 排除超阈值巨表数据
while IFS= read -r tbl; do
[[ -n "$tbl" ]] && EXCLUDE_ARGS+=(--exclude-table-data="${SRC_SCHEMA}.${tbl}")
done < "$GIANT_LIST_FILE"
PGPASSWORD="$SRC_PASS" pg_dump \
-h "$SRC_HOST" -p "$SRC_PORT" -U "$SRC_USER" -d "$SRC_DB" \
-n "$SRC_SCHEMA" \
--data-only \
"${EXCLUDE_ARGS[@]}" \
-Fc \
-f "$DATA_DUMP"
T2=$(date +%s)
DATA_SZ=$(du -sh "$DATA_DUMP" | cut -f1)
log "数据 dump 完成: ${DATA_SZ},耗时 $((T2-T1))s"
else
log "跳过 dump(--skip-dump 模式),使用已有文件: schema=${SCHEMA_DUMP} data=${DATA_DUMP}"
[[ -f "$SCHEMA_DUMP" ]] || die "schema dump 文件不存在: $SCHEMA_DUMP"
[[ -f "$DATA_DUMP" ]] || die "data dump 文件不存在: $DATA_DUMP"
fi
# ---- Step 3: 准备目标库 ----
log "=== Step 3/4: 准备目标库 ${DST_DB} ==="
unset PGPASSWORD
if [[ $DROP_TARGET -eq 1 ]]; then
log "DROP 并重建目标库 ${DST_DB}..."
psql $DST_CONN -d postgres -c "DROP DATABASE IF EXISTS ${DST_DB};" 2>&1 | grep -v "^$" || true
fi
# 创建库(已存在则跳过)
psql $DST_CONN -d postgres -c "SELECT 1 FROM pg_database WHERE datname='${DST_DB}';" 2>&1 | grep -q "1 row" \
|| psql $DST_CONN -d postgres -c "CREATE DATABASE ${DST_DB} ENCODING 'UTF8';"
log "目标库 ${DST_DB} 就绪"
# 建角色(P0' 口径:restore 需要 eip3/ceshi 角色存在)
psql $DST_CONN -d "$DST_DB" -c "
DO \$\$
BEGIN
IF NOT EXISTS (SELECT 1 FROM pg_roles WHERE rolname='eip3') THEN
CREATE ROLE eip3;
RAISE NOTICE 'role eip3 created';
ELSE
RAISE NOTICE 'role eip3 already exists';
END IF;
END\$\$;" 2>&1 | grep -v "^$"
psql $DST_CONN -d "$DST_DB" -c "
DO \$\$
BEGIN
IF NOT EXISTS (SELECT 1 FROM pg_roles WHERE rolname='ceshi') THEN
CREATE ROLE ceshi LOGIN;
RAISE NOTICE 'role ceshi created';
ELSE
RAISE NOTICE 'role ceshi already exists';
END IF;
END\$\$;" 2>&1 | grep -v "^$"
# 安装 uuid-ossp 扩展(11 个函数默认值依赖)
psql $DST_CONN -d "$DST_DB" -c "CREATE EXTENSION IF NOT EXISTS \"uuid-ossp\";" 2>&1 | grep -v "^$"
log "前置角色和扩展就绪"
# ---- Step 4: Restore ----
log "=== Step 4/4: Restore 到 ${DST_DB} ==="
# 4a: Schema restore
T1=$(date +%s)
log "4a: restore schema..."
pg_restore \
$DST_CONN \
-d "$DST_DB" \
--no-owner \
--no-privileges \
--disable-triggers \
-e \
"$SCHEMA_DUMP" 2>&1 | grep -v "^$" | grep -v "already exists" | head -50 || true
T2=$(date +%s)
log "Schema restore 完成,耗时 $((T2-T1))s"
# 4b: Data restore(禁用触发器,避免 FK 顺序问题)
T1=$(date +%s)
log "4b: restore data(--disable-triggers)..."
pg_restore \
$DST_CONN \
-d "$DST_DB" \
--no-owner \
--no-privileges \
--disable-triggers \
--single-transaction \
-e \
"$DATA_DUMP" 2>&1 | grep -v "^$" | head -100 || true
T2=$(date +%s)
log "数据 restore 完成,耗时 $((T2-T1))s"
# ---- 验证与统计 ----
log "=== 验证与统计 ==="
DST_TABLE_COUNT=$(psql $DST_CONN -d "$DST_DB" -tAc \
"SELECT COUNT(*) FROM pg_stat_user_tables WHERE schemaname='${SRC_SCHEMA}';")
log "目标库表数: ${DST_TABLE_COUNT}(源库: ${TOTAL_TABLES})"
# 关键引擎元数据行数验证
log "关键表行数验证:"
for tbl in sys_entity sys_entityattribute sys_reference sys_referencevalue sys_user view_template view_page sys_serviceflow; do
CNT=$(psql $DST_CONN -d "$DST_DB" -tAc "SELECT COUNT(*) FROM ${SRC_SCHEMA}.${tbl};" 2>/dev/null || echo "N/A")
log " ${tbl}: ${CNT} 行"
done
# 目标库体量
DB_SIZE=$(psql $DST_CONN -d "$DST_DB" -tAc \
"SELECT pg_size_pretty(pg_database_size('${DST_DB}'));")
log "目标库 ${DST_DB} 总体量: ${DB_SIZE}"
TOTAL_ELAPSED=$(elapsed)
log "=== 构建完成!总耗时: ${TOTAL_ELAPSED} ==="
log "连接串: jdbc:postgresql://${DST_HOST}:${DST_PORT}/${DST_DB}?currentSchema=${SRC_SCHEMA}"
log "用户: ${DST_USER}(无密码)"
# ---- 分层汇总 ----
echo ""
echo "┌─────────────────────────────────────────────────────┐"
echo "│ eip4dev 构建完成 - 分层汇总 │"
echo "├──────────────────────────┬──────────────────────────┤"
printf "│ %-26s│ %-26s│\n" "总表数(DDL)" "${TOTAL_TABLES}"
printf "│ %-26s│ %-26s│\n" "ACT_*(schema-only)" "${ACT_TABLES}"
printf "│ %-26s│ %-26s│\n" "非ACT_巨表(schema-only)" "${GIANT_TABLES}"
printf "│ %-26s│ %-26s│\n" "全量数据表 ≈" "${FULLDATA_TABLES}"
printf "│ %-26s│ %-26s│\n" "目标库体量" "${DB_SIZE}"
printf "│ %-26s│ %-26s│\n" "总耗时" "${TOTAL_ELAPSED}"
echo "└──────────────────────────┴──────────────────────────┘"

View File

@@ -0,0 +1,53 @@
# ============================================================================
# eip4dev 数据分层配置 — 决定哪些表拉全量数据
# 格式:每行一个表名(小写,无 schema 前缀)
# 规则:
# - ACT_* 表:全部 schema-only(流程数据在 eip4flow,dev 库只需结构)
# - 超阈值(>500MB)非ACT_巨表:schema-only 或 TABLESAMPLE
# - 列在此文件中的表:全量复制数据
# - 其他非ACT_小表(<500MB):全量复制数据(脚本自动计算)
# ============================================================================
# ---- 引擎元数据(必须全量,驱动引擎核心)----
sys_entity
sys_entityattribute
sys_reference
sys_referencevalue
sys_rule
sys_enumerate
sys_enumeratevalue
sys_enumerate_item
view_template
view_page
view_page_field
view_page_config
sys_serviceflow
sys_filterrule
sys_filterrulerole
sys_datastatus
# ---- 组织 / 权限(必须全量,登录/数据权限依赖)----
sys_user
sys_org
sys_role
sys_depart
sys_usergroup
sys_resource
sys_authority
sys_roleresource
sys_userrole
sys_userauth
sys_userlogin_history
pm_project_user
sys_dept_user
sys_org_user
sys_role_user
sys_group_user
# ---- 说明:超阈值巨表(schema-only,不在此文件中则不拉数据)----
# gb_clockingin 8.4GB => schema-only
# gb_prj_worker 1.6GB => schema-only
# sys_data_logitem 1.5GB => schema-only(日志,非联调主路径)
# act_hi_varinst_archive 3GB => schema-only(ACT归档)
# act_hi_varinst 2.3GB => schema-only
# act_ge_bytearray 1.2GB => schema-only

View File

@@ -0,0 +1,132 @@
# eip4dev 本地开发库构建报告
> 构建时间:2026-06-11 | 构建人:zhengwr
> 性质:受控测试数据副本,仅在受控机器使用,不外泄、不进公开仓库
---
## 一、分层口径
| 分层 | 规则 | 表数 | 说明 |
|------|------|------|------|
| ACT_* schema-only | 所有 `act_` 前缀表 | 26 | 流程数据在 eip4flow,dev 库只需 DDL |
| 非 ACT_ 超阈值(>500MB) schema-only | gb_clockingin/gb_prj_worker/sys_data_logitem | 3 | 日志/考勤明细,非联调主路径;FK 不完整可接受 |
| 非 ACT_ ≤500MB 全量 | 其余 ~1038 张表 | 1038 | 全量保 FK 完整 → picker/显示翻译/数据权限真实 |
阈值:500MB(`--threshold` 参数可调)
---
## 二、构建体量与耗时
| 指标 | 数值 |
|------|------|
| 源库 | 192.168.20.68:5435 (PG 9.4.26,eip3 schema) |
| 目标库 | localhost:5433/eip4dev (PG 15.18) |
| 源库总表数 | 1067 |
| 目标库总表数 (DDL) | 1067 |
| schema dump | 4.1MB,21s |
| 数据 dump | 496MB,275s |
| schema restore | 2s |
| 数据 restore | 45s |
| **总耗时** | **345s(约 5.75 分钟)** |
| **目标库体量** | **2738 MB** |
---
## 三、关键引擎元数据行数(全量验证)
| 表 | 行数 |
|----|------|
| sys_entity | 1166 |
| sys_entityattribute | 20019 |
| sys_reference | 761 |
| sys_referencevalue | 2482 |
| sys_user | 1857 |
| view_template | 1516 |
| view_page | 1241 |
| sys_serviceflow | 4983 |
---
## 四、验证证据
### 4.1 登录验证
- 账号:admin / 111111(本地已将 admin 密码重置为 111111 MD5)
- 结果:HTTP 200,返回有效 JWT token,包含 admin 角色列表 ✅
### 4.2 list 取数(真实实体)
- 接口:`GET /api/entity/SYS_FILTERRULE/list?page=1&perPage=5`
- 结果:status=0,total=1079,返回真实列数据 ✅
### 4.3 picker(真实引用实体联动)
- 接口:`GET /api/picker/{sys_reference_id}/list?page=1&perPage=5`
- 结果:status=0,返回 5 条真实 OA_NOTICEMANAGE 业务数据 ✅
### 4.4 page schema 接口
- `sys_page_schema` 是 eip4-platform 新增表(非客户库原有),在 eip4dev 中不存在,返回 status=2 属预期行为(需另建该表)。
- 引擎元数据读取(view_template/view_page)已全量导入 ✅
### 4.5 ParityCli 自对拍(eip4dev 自洽验证)
运行口径:`--discover --maxFull=200 --discoverSample=50 --perPage=200`
引擎:http://localhost:8093(dev profile 指向 eip4dev)
基线:JDBC 直连 eip4dev(currentSchema=eip3)
| 结果 | 实体数 | 说明 |
|------|--------|------|
| OK_FULL(全量一致) | 803 | 200行以内全量对拍,引擎 = JDBC 基线 |
| OK_SAMPLE(抽样一致) | 294 | 超200行抽样50行,一致 |
| JDBC_ERROR | 55 | 主要为依赖未迁移表的视图,非引擎问题 |
| DIFF(差异) | 5 | 见下表 |
| ENGINE_ERROR | 9 | 引擎侧错误 |
| **总比对行数** | **726,547** | |
| **通过率** | **94.1%(1097/1166)** | |
DIFF 实体明细(均非主业务联调路径):
| 实体 | 问题 |
|------|------|
| PM_LABORTEAM | 视图,依赖关联数据 |
| PM_SPIDER_JSBIDWIN | 爬虫数据(schema-only 表,无数据属预期) |
| VIEW_HR_EMPLOYEE | 视图,CARDINFO 列差异 |
| VIEW_HR_USERWITHCARDS | 视图,PROJECTROLE 列差异 |
| VIEW_HR_WELFAREARCHIVES_PAYBASERECORD | 视图,差异 |
### 4.6 完全本地验证
dev profile 启动后,pg_stat_activity 全部连接来自 127.0.0.1:eip4dev,无任何 5435 连接记录,日志中无远端 IP。**完全本地开发成立** ✅
---
## 五、刷新流程
```bash
# 幂等重建(约 5-6 分钟)
bash tools/local-devdb/build_devdb.sh --drop-target
# 仅重建数据层(跳过 dump,用已有 dump 文件)
bash tools/local-devdb/build_devdb.sh --drop-target --skip-dump
# 调整阈值(默认 500MB)
bash tools/local-devdb/build_devdb.sh --drop-target --threshold 300
```
---
## 六、5435 用途收敛说明
构建 eip4dev 后,5435 客户库副本的日常用途收敛为:
| 用途 | 说明 |
|------|------|
| **对拍真值基线** | 引擎升级/重大功能改动后,与 5435 做跨库对拍(ParityCli --jdbc 指向 5435)验证行为一致性 |
| **性能基线** | 压测对比:相同查询在 5435 vs eip4dev 的执行计划/耗时对比 |
| **数据刷新源** | 定期(按需)重跑 build_devdb.sh 从 5435 刷新 eip4dev |
| ~~日常开发连接~~ | 已完全替代,dev profile 不再需要 5435 |
---
## 七、新坑位
见 `docs/迁移手册.md` 追加章节。