chore(部署): PostgreSQL 升到 18、Redis 升到 8，附生产库升级步骤
线上的库和服务器的 Redis 不归这几份 compose 管，要按 docs/deploy.md「PostgreSQL 升级」 在服务器上手工换；机房的 Redis 随下次部署换成 8。 本机拿 10-13 的生产备份演练过：恢复后生产库口令是 md5 哈希，18 只认 SCRAM， 不重新存一遍口令的话 api 和机房从网络连都会 password authentication failed。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
xuyueandClaude Opus 5.5 committed
1 parent
a085351a2f
commit
67590597f1
5 files changed
+77
-14
No files matched your search
@@ -32,14 +32,17 @@
|
||||
|
||||
services:
|
||||
oj-postgres:
|
||||
image: postgres:16-alpine
|
||||
image: postgres:18-alpine
|
||||
container_name: oj-postgres
|
||||
restart: always
|
||||
# 只在「自带数据」形态下启动。用旧栈的库时不启动它 —— 否则 5445 端口会和
|
||||
# 旧的 postgres 撞，而且两个进程开同一个数据目录本来也起不来。
|
||||
profiles: ["local-data"]
|
||||
# 18 起镜像的数据目录是 /var/lib/postgresql/18/docker，挂载点要是上一级，
|
||||
# 还挂 .../data 的话 18 直接拒绝启动。宿主机目录也换了名：`postgres/` 是 16 的老库，
|
||||
# 18 读不了，分开放才能留着它做回退（升级步骤见 docs/deploy.md「PostgreSQL 升级」）
|
||||
volumes:
|
||||
- ${DATA_DIR:-../data}/postgres:/var/lib/postgresql/data
|
||||
- ${DATA_DIR:-../data}/postgresql:/var/lib/postgresql
|
||||
environment:
|
||||
POSTGRES_DB: onlinejudge
|
||||
POSTGRES_USER: onlinejudge
|
||||
@@ -54,7 +57,7 @@ services:
|
||||
retries: 10
|
||||
|
||||
oj-redis:
|
||||
image: redis:7-alpine
|
||||
image: redis:8-alpine
|
||||
container_name: oj-redis
|
||||
restart: always
|
||||
# 同上：旧栈的 redis 也发布了 5446，两个一起跑会撞端口。
|
||||
|
||||
@@ -12,8 +12,8 @@
|
||||
# 以前这里挂一份 schema dump 当 initdb，现在不需要了 —— 0000 就是完整的建表迁移，
|
||||
# 而且和「灌 dump + 打基线 + 跑迁移」跑出来的结构实测零差异（见 docs/database.md）。
|
||||
#
|
||||
# PostgreSQL 固定 16，与生产版本（16.10）一致 —— 别图新换 17/18，
|
||||
# 开发环境用了生产不支持的特性，要到切换那天才炸。
|
||||
# PostgreSQL 的大版本跟生产走（现在是 18）—— 别图新单独换本机的，
|
||||
# 开发环境用了生产不支持的特性，要到上线那天才炸。
|
||||
#
|
||||
# 判题机 token 必须自己生成，仓库里不留默认值。第一次起服务前：
|
||||
#
|
||||
@@ -27,7 +27,7 @@
|
||||
|
||||
services:
|
||||
postgres:
|
||||
image: postgres:16-alpine
|
||||
image: postgres:18-alpine
|
||||
container_name: oj2-postgres
|
||||
restart: unless-stopped
|
||||
environment:
|
||||
@@ -37,7 +37,10 @@ services:
|
||||
ports:
|
||||
- "127.0.0.1:5433:5432" # 5433 避开可能存在的本机 5432
|
||||
volumes:
|
||||
- oj2-pgdata:/var/lib/postgresql/data
|
||||
# 18 起镜像把数据目录挪到了 /var/lib/postgresql/18/docker，挂载点要是上一级。
|
||||
# 还挂 .../data 的话 18 直接拒绝启动。卷名带版本号：16 的旧卷 oj2-pgdata 不认得，
|
||||
# 换卷才不会撞（docker volume rm docker_oj2-pgdata 可以清掉）
|
||||
- oj2-pgdata18:/var/lib/postgresql
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "pg_isready -U onlinejudge -d onlinejudge"]
|
||||
interval: 5s
|
||||
@@ -45,7 +48,7 @@ services:
|
||||
retries: 10
|
||||
|
||||
redis:
|
||||
image: redis:7-alpine
|
||||
image: redis:8-alpine
|
||||
container_name: oj2-redis
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
@@ -91,4 +94,4 @@ services:
|
||||
mem_limit: 512m
|
||||
|
||||
volumes:
|
||||
oj2-pgdata:
|
||||
oj2-pgdata18:
|
||||
@@ -17,7 +17,7 @@
|
||||
|
||||
services:
|
||||
oj-redis:
|
||||
image: redis:7-alpine
|
||||
image: redis:8-alpine
|
||||
container_name: oj-redis
|
||||
restart: always
|
||||
volumes:
|
||||
|
||||
+8
-4
@@ -132,19 +132,23 @@ docker/.env 里 DB_PORT / REDIS_PORT 是不是也得一并清空？"
|
||||
fi
|
||||
ok "库指向 $(grep -m1 'DATABASE_URL:' <<<"$cfg" | sed 's|.*@||; s|/onlinejudge.*||')"
|
||||
|
||||
# ②b 自带形态下数据目录必须已经是一个 16 版本的库。
|
||||
# ②b 自带形态下数据目录必须已经是一个 18 版本的库。
|
||||
# 这是整个部署里唯一会**静默**走歪的地方：目录不对的话 postgres 当成全新部署，
|
||||
# 在空目录上初始化一个空库 —— 站点起得来、能注册能登录，就是一道题都没有。
|
||||
if [ "$LOCAL_DATA" -eq 1 ]; then
|
||||
data_dir=$(grep -E '^DATA_DIR=' docker/.env | tail -1 | cut -d= -f2- || true)
|
||||
[ -n "$data_dir" ] || die "自带数据形态必须显式设 DATA_DIR。
|
||||
默认值 ../data 解析出来是 OJ2/data，那是个空目录，postgres 会在上面初始化一个全新的空库，而且不报任何错。"
|
||||
pgver_file="$data_dir/postgres/PG_VERSION"
|
||||
pgver_file="$data_dir/postgresql/18/docker/PG_VERSION"
|
||||
if [ ! -f "$pgver_file" ] && [ -f "$data_dir/postgres/PG_VERSION" ]; then
|
||||
die "$data_dir 下只有 postgres/（PostgreSQL $(cat "$data_dir/postgres/PG_VERSION") 的老库），没有 postgresql/18/docker。
|
||||
compose 里已经是 postgres:18-alpine，老库要先倒过去，见 docs/deploy.md「PostgreSQL 升级」。"
|
||||
fi
|
||||
[ -f "$pgver_file" ] || die "找不到 $pgver_file —— DATA_DIR 指的不是一个已有的 postgres 数据目录。
|
||||
就这么起下去会得到一个空库。确认 DATA_DIR=$data_dir 对不对。"
|
||||
pgver=$(cat "$pgver_file")
|
||||
[ "$pgver" = 16 ] || die "$data_dir/postgres 是 PostgreSQL $pgver 的数据目录，但 compose 里是 postgres:16-alpine，起不来。"
|
||||
ok "数据目录 $data_dir/postgres（PostgreSQL $pgver）"
|
||||
[ "$pgver" = 18 ] || die "$data_dir/postgresql 是 PostgreSQL $pgver 的数据目录，但 compose 里是 postgres:18-alpine，起不来。"
|
||||
ok "数据目录 $data_dir/postgresql（PostgreSQL $pgver）"
|
||||
fi
|
||||
|
||||
# ③ 判题机运行目录必须和旧栈分开，否则两个 judger 往同一个目录里写
|
||||
|
||||
@@ -164,6 +164,59 @@ WebSocket）→ 后台判题机列表在线 → 后台题目列表翻页 → 带
|
||||
> **旧栈已经不可逆地下线**（`0002_drop_django_leftovers` 删掉了 Django 的框架表并已在
|
||||
> 生产库执行完毕），所以「停新栈起旧栈」不再是退路，**唯一退路是从数据库备份恢复**。
|
||||
|
||||
## PostgreSQL 升级（16 → 18）与 Redis（7 → 8）
|
||||
|
||||
仓库里的 compose 已经是 `postgres:18-alpine` / `redis:8-alpine`，但**线上的库和服务器的
|
||||
Redis 不归这几份 compose 管**，由 `/root/OJDeploy/docker-compose.yml` 起，得到服务器上
|
||||
手工换。机房的 Redis 是 `compose.school.yml` 起的，部署时自己就换了。
|
||||
|
||||
大版本不能原地换镜像：18 读不了 16 的数据目录。走「备份 → 新目录起 18 → 恢复」，
|
||||
本机拿 2026-10-13 的生产备份完整演练过（13 万条提交，恢复 6 秒）。**两个站点共用这个库**，
|
||||
所以要挑没课的时候，机房那套也一起停。
|
||||
|
||||
```bash
|
||||
# 1. 两边都停应用（机房那台上同样停 oj-api oj-worker）
|
||||
cd /root/OJDeploy/OJ2
|
||||
docker compose -f docker/compose.debian.yml --env-file docker/.env stop oj-api oj-worker
|
||||
docker exec oj-postgres psql -U onlinejudge -d onlinejudge -tAc 'select count(*) from submission' # 记下来
|
||||
|
||||
# 2. 全量备份（会打印文件路径）
|
||||
docker/backup-db.sh
|
||||
|
||||
# 3. 停 16，改 /root/OJDeploy/docker-compose.yml 的 oj-postgres 和 oj-redis：
|
||||
# oj-postgres image: postgres:18-alpine
|
||||
# volumes: - ./data/postgresql:/var/lib/postgresql ← 新目录、挂载点少一级
|
||||
# oj-redis image: redis:8-alpine ← 别的不动，口令那行留着
|
||||
docker compose -f /root/OJDeploy/docker-compose.yml stop oj-postgres
|
||||
docker compose -f /root/OJDeploy/docker-compose.yml up -d oj-postgres oj-redis
|
||||
|
||||
# 4. 恢复。只会有两条 ERROR：current user cannot be dropped / role already exists，正常
|
||||
gzip -cd <备份文件> | docker exec -i oj-postgres psql -q -U onlinejudge -d postgres
|
||||
|
||||
# 5. 口令重新存一遍（输入 docker/.env 里的 POSTGRES_PASSWORD），再收集统计信息
|
||||
docker exec -it oj-postgres psql -U onlinejudge -d postgres -c '\password onlinejudge'
|
||||
docker exec oj-postgres vacuumdb -U onlinejudge --all --analyze-in-stages
|
||||
docker exec oj-postgres psql -U onlinejudge -d onlinejudge -tAc 'select count(*) from submission' # 和第 1 步对上
|
||||
|
||||
# 6. 起应用（机房那台同样 up -d）
|
||||
docker compose -f docker/compose.debian.yml --env-file docker/.env up -d oj-api oj-worker
|
||||
```
|
||||
|
||||
**第 5 步的改口令不能省。** 生产库的口令是 md5 哈希存的（老库从 Django 时代沿用下来），
|
||||
dump 原样带过去；而 18 的镜像新建的库 `pg_hba.conf` 只认 `scram-sha-256`，md5 存的口令
|
||||
**永远验不过**，报 `password authentication failed`。容器里 `docker exec psql` 走本地
|
||||
socket 是 trust，一切正常，只有 api 和机房从网络连进来才炸 —— 演练时就是这么发现的。
|
||||
`\password` 让 psql 在本地算好 SCRAM 哈希再发过去，明文不进服务端日志。
|
||||
|
||||
**第 5 步的 `vacuumdb` 也别省**：dump 恢复不带统计信息，不跑的话查询计划全靠瞎猜，
|
||||
排名、统计这类大查询会慢一阵，直到 autovacuum 自己补上。
|
||||
|
||||
**Redis 8 直接读 7 留下的 `dump.rdb`**（实测），会话和判题队列都在，学生不用重新登录。
|
||||
|
||||
**回退**：`./data/postgres` 那个 16 的老目录没动过。把 compose 改回 `postgres:16-alpine`
|
||||
+ `./data/postgres:/var/lib/postgresql/data`，`up -d oj-postgres` 就回去了 —— 升级之后
|
||||
写进 18 的数据不会跟着回去。确认 18 稳了再删老目录。
|
||||
|
||||
## 镜像体积
|
||||
|
||||
| 镜像 | 体积 | |
|
||||
|
||||
Reference in new issue
Block a user