|
|
586c88f629
|
build(数据库): 改用 drizzle migration，加提交列表索引、清掉 Django 残留
Deploy / deploy (push) Has been cancelled
一条线上的三件事：让 drizzle 的迁移机制真正可用 → 用它加索引 → 用它清掉
不再需要的 Django 表，最后接进部署和 CI。
## 1. 让 drizzle-kit generate 可用
原本以为不能用：只加一个索引，generate 却吐出一堆噪音，其中 5 条
`DROP SEQUENCE auth_*/django_*` 打到生产库上会直接搞坏旧后端。
逐个查下来全是 `pull` 出的基线自己不能 round-trip，都是可修的：
- **快照里的 Django 序列**：tablesFilter 只过滤表、不过滤它们的序列。
已从 0000_snapshot.json 清掉。
- **bigint 上限精度**：pull 生成的 `maxValue: 9223372036854775807` 是 JS
number 字面量，round-trip 成 ...776000，每次 generate 都多出 10 条
ALTER COLUMN。改成字符串。
- **表达式索引的 opclass**：problem_tag_name_ci_unique 在快照里带
opclass，drizzle 自己序列化不出来，导致每次 drop + recreate。已去掉。
改完 `generate` 是干净的 no-op。
两个改不掉、只能绕的写进了 CLAUDE.md：索引 `.desc()` 生成 SQL 时会被丢
（单列索引不写方向即可，Postgres 用 Index Scan Backward 服务 ORDER BY
DESC，实测同样 0.08ms）；migrator 把所有语句包一个事务，
CREATE INDEX CONCURRENTLY 跑不了。
最容易吃亏的是 drizzle 没有 --fake-initial：对已有数据的库直接 migrate
会从 0000 跑起、撞表回滚，**而且 exit 1 但一个错误都不打印**。
## 2. 0001 提交列表索引
`WHERE contest_id IS NULL ORDER BY create_time DESC LIMIT n` 用不上现有的
contest_create_time_idx (contest_id, create_time DESC) —— Postgres 不把
`IS NULL` 当成能吃掉首列、从而继承第二列有序性的等值条件。把
enable_seqscan / enable_bitmapscan 全关掉逼它用也不肯，宁可走单列
contest_id 索引再全量排序。于是每翻一页都 Parallel Seq Scan 扫完整张表。
换成部分索引后谓词由索引自己保证，索引序就是查询要的排序序。生产快照
（12.3 万条提交）实测首页取 10 行：61.8ms / 读 18936 blocks →
0.22ms / 读 34 blocks。端到端 94ms → 6ms。
真正要命的不是单次 61ms，是每个请求都要把 169MB 的表刷一遍
shared_buffers —— 一节课几十个学生同时开提交列表，磁盘和缓存直接被打穿。
## 3. 0002 删掉 Django 残留
确认旧 Django 后端不再使用、也不再作为回滚路径。删前核实过：没有任何
OJ2 保留的表引用这 7 张，3 条外键全在它们内部（所以不用 CASCADE，真有
漏网的会报错而不是被悄悄级联掉）；5 个序列都由各自的表 owned，随
DROP TABLE 一并消失；数据全是 Django 自身元数据。tablesFilter 随之移除。
**回滚路径就此作废** —— CLAUDE.md 开头和 runbook 的「回滚保证」「七、回滚」
都改了。这条迁移已在本机 dev 库和生产快照副本上跑通，**生产库尚未执行**。
## 4. migrate 接进部署与 CI
deploy.sh 在构建之后、起栈之前跑 `oj2-api migrate`，失败就中止部署（旧
容器原样还在跑）。CI 走的也是 deploy.sh，所以不用给 GitHub 配数据库凭据，
也不用把生产库对外开放。
迁移文件**不内嵌进二进制**，随镜像装在 /usr/local/share/oj2/migrations。
这样 drizzle 的 migrate() 能原样用 —— 靠 _journal.json 自动发现，新增迁移
不用改任何代码，和 Django 扫 migrations/ 是一回事。内嵌就得为每条迁移
手写一行 import，那是迟早会漏的账。（CLAUDE.md 里「单二进制不能读文件」
那条讲的是 node_modules 和 import.meta.dir 推路径，按显式绝对路径读一个
数据目录不在此列。）
三道闸门，都是写完测出来才补上的：
- **破坏性迁移拦截**：DROP TABLE / DROP COLUMN / DROP SCHEMA /
ALTER COLUMN ... TYPE / TRUNCATE 命中就退出 4，需要
`OJ2_ALLOW_DESTRUCTIVE=1` 显式放行。DROP INDEX / DROP CONSTRAINT 不算，
拦了只会让人习惯性带上放行开关。扫描前先剥注释，避免误报。
- **基线缺失**：退出 3 并直接打印该敲的 SQL。注意判的是
`max(created_at) < 0` 而不是「表不存在」—— 表存在而为空（上次迁移失败
留下的）同样是没基线。
- **迁移目录读不到**：这是最可能犯的错（Dockerfile 漏拷），原本是 drizzle
的堆栈，现在直接说该检查哪一行。
另外发现 0000_crazy_gateway.sql 是 pull 的产物，**整份被 /* */ 包着，
可执行语句 0 条**，所以这个库根本不能靠迁移自举建表。原先写的「空库就从
0000 建」跑起来会炸在一个和真实原因毫不相干的 unterminated /* comment 上。
现在如实说明：结构只能来自 docs/specs/schema.sql 或生产 dump。
验证：镜像内编译（ARTIFACTS=build）出的真实镜像跑完五种场景 —— 拦截、
放行、幂等、无基线、漏拷目录，全部符合预期；dev 形态同样五种场景全过。
tsc / 路由遮蔽 / deploy.sh 语法 / generate no-op 都通过。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-26 07:56:30 -06:00 |
|
|
|
dd6a6a04eb
|
refactor(密码): 删掉 PASSWORD_HASH_UPGRADE，无条件写 argon2
Deploy / deploy (push) Has been cancelled
上一个 commit 把五个写入点收进 hashPassword，顺手把开关默认值翻成了 true 并
留下 false 分支当退路。这个退路是假的，删掉。
**开关只能拦住将来，修不了已经发生的。** 等真到了要把旧站拉回来的那天，活跃
账号早就都被登录/重置密码升成 argon2 了，这时候设 `=false` 一个也救不回来。
正经退路是切换手册「万一已经改坏了」那节的脚本 —— 拿 `raw_password` 重算
Django 的 `make_password`，能修已经变成 argon2 的账号。留着一个永远轮不到它
上场的开关，只是给后来人多一件要读懂的东西。
删掉的：`config.passwordHashUpgrade`、`hashDjangoPbkdf2` 和它那套 Django 参数
（1200000 迭代 / 22 位 salt / RANDOM_STRING_CHARS）、两个 compose 里的
`PASSWORD_HASH_UPGRADE` env。auth.ts 的登录升级变成无条件。
保留的：
- `hashPassword()` —— 虽然现在只是一行 argon2，但「只有一个地方写密码」正是上
一个 commit 的重点。五处各写各的才是当初那个 bug 的根。
- `verifyPassword` 的 **pbkdf2 分支** —— 生产库 1710 个账号全是 Django 写的
pbkdf2（迭代次数 120000～1200000），只会在各自下次登录时才迁移。删了就是
全站登不上。代码注释里写死了这句话。
- 切换手册里的 `raw_password` 恢复脚本，以及回滚流程里新加的「密码要额外处理」
那一步。
## 验证
改完重跑了一遍关键路径（临时造一个 Django 生成的 120000 迭代老哈希）：
- 存量账号登录 200 → 哈希变成 argon2 → 再登 200 → 错密码 401
- 后台重置密码 → argon2 → 新密码能登录
- 注册 → argon2 → 能登录
tsc(apps/api) 0 error、check:routes 168 条无遮蔽、vue-tsc 0 error、build 通过、
两个 compose `config -q` 通过。测试用户已删干净。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-25 23:50:55 -06:00 |
|
|
|
694e147a21
|
fix(密码): 五个写入点统一走 hashPassword，默认切 argon2
## 那道「单向门」其实一直开着
`PASSWORD_HASH_UPGRADE` 是并行试跑第一天撞出来的补丁：新后端把 Django 的
pbkdf2 升级成 argon2 之后，旧后端验不了，登录过新站的学生回滚就登不上
（phase5 切换手册里记着这件事）。当时的修法是给**登录时的自动升级**加个开关，
默认关闭。
但写密码的地方有五个，开关只管住了一个：
POST /users 注册
PUT /admin/users/:id 管理员改密码
POST /admin/users 批量导入用户
POST /admin/users/:id/reset-password 重置密码 ← 老师天天在用
登录成功后的自动升级 ← 只有这一处受开关管
后面四处无条件 `Bun.password.hash(argon2id)`。也就是说开关关得好好的，
**老师给学生点一次「重置密码」，那个账号就回不去旧站了** —— 而「老师帮学生
查/改密码」正是这套系统的日常功能，`raw_password` 那一列存在的理由就是它。
所以那半年里「默认关闭 = 回滚安全」是个假象。
## 改法
五处统一走 `auth/password.ts` 的 `hashPassword()`，开关两个方向都变成真的：
- `true`：五处全写 argon2id，登录时把存量 pbkdf2 顺手升级掉。
- `false`：五处全写 Django 格式的 `pbkdf2_sha256$1200000$<22位salt>$<base64>`，
登录时也不动存量哈希 —— 两边都验得了。
新加的 `hashDjangoPbkdf2` 逐项对齐 Django 6 的 `PBKDF2PasswordHasher`：
1200000 迭代、22 位 salt、`RANDOM_STRING_CHARS` 字符集、sha256/32 字节。
**默认值定成 `true`** —— 旧站今天下线了，没有回滚路径要照顾。要把旧站拉回来
就先设 `PASSWORD_HASH_UPGRADE=false`，切换手册三处说明都改了。
⚠️ `verifyPassword` 的 pbkdf2 分支**永远不能删**，代码和注释里都写了：生产库
1710 个账号全是 Django 写的 pbkdf2（迭代次数 120000～1200000，跨了好几个
Django 版本），它们只会在各自下次登录时才升级成 argon2。
## 顺带：dev seed 只有学生号
`seed:dev` 只建 `student`（普通用户），本机想测后台得手工往库里塞 email 和
user_profile —— 而缺 user_profile 的表现极其隐蔽：`/api/me` 返回
profile-not-found → 前端 getMyProfile 抛异常 → localStorage 的 authed 存不进去
→ **所有 /admin 路由被守卫静默弹回首页**，不报错。我在这上面卡了很久。
现在 seed 同时建学生和超管（`devadmin` / `devadmin123`），profile 和 email 一起
建好，并且写密码也走 hashPassword。另外加了一道防呆：DATABASE_URL 不是本机时
直接拒绝执行 —— 这个脚本会重置密码并把明文写进 raw_password，其中一个还是超管，
对着生产库跑一次就是把超管密码改掉。要绕过设 `OJ2_SEED_FORCE=true`。
## 验证
全程拿**旧后端那个真的 Django venv** 对打，不是照着文档推：
- 事实核对：Bun 写的 `$argon2id$…` 在 Django 里 `identify_hasher` 抛
`Unknown password hashing algorithm ''`；换成 Django 格式 `argon2$argon2id$…`
能识别，但 `verify()` 抛 `Couldn't load 'Argon2PasswordHasher' algorithm
library: No module named 'argon2'`（旧后端确实没装 argon2-cffi）。
原注释说的「格式对了也验不了」结论对，机制略有出入。
- 双向互验：OJ2 写的哈希 Django `check_password` 通过、错密码不通过；
Django `make_password` 写的哈希 OJ2 `verifyPassword` 也认。
- 默认（argon2）：拿 Django 现造一个 120000 迭代的老哈希塞进库，登录 200 →
哈希变成 argon2 → 再登一次仍 200。
- 退路（`=false`）：同一个老哈希登录 200 且**哈希不变**；走后台「重置密码」
之后落库是 `pbkdf2_sha256$1200000$…`，**旧站的 Django 验这个新密码通过**。
- 一次 1200000 迭代约 107ms（写密码时的开销；验旧哈希的开销本来就在）。
- tsc(apps/api) 0 error、check:routes 168 条无遮蔽、vue-tsc 0 error、build 通过。
测试用户（pwtest1 / legacyuser）已删干净，本机库用新 seed 复位。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-25 23:47:02 -06:00 |
|
|
|
854895e162
|
docs(手册): 把密码哈希这道单向门写进回滚一节
三处：
- 第一节「回滚保证（已实测）」加了更正框：那句「零差异」只成立在表结构层面。
演练比对的是列，比不出「新站登录过的账号旧后端验不了」这种语义上的单向门。
- 第四节试跑注意事项加一条：PASSWORD_HASH_UPGRADE 必须关着。
- 第七节回滚加了前提说明，以及「万一已经改坏了」的修复步骤 ——
查范围的 SQL，加上用旧后端的 manage.py shell 从 raw_password 重算 pbkdf2。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-16 09:59:12 -06:00 |
|
|
|
eadfa0b04a
|
fix(部署脚本): 改成在服务器上直接跑，加 --check
上一版是从本机 rsync + ssh 过去的，不是想要的形态。改成服务器上跑：
代码怎么上去（rsync / 以后的 git pull）不归它管，脚本只管起栈。
五道自检，前两道是这次在服务器上真撞到的失败：
compose 版本 ≥ 2.20 depends_on.required 是那版才有的字段
DATA_DIR 卷指向 OJ2/data → 中止（空数据，且不报错）
DB_HOST DATABASE_URL 还指着 oj-postgres → 中止
JUDGE_STATE_DIR 没设的话新旧两个判题机共用运行目录
旧栈还活着 oj-postgres / oj-redis 是新栈的上游
--check 只做只读校验，不建目录不动容器（mkdir 挪到起栈那一段了）。
## 跑出来的两个问题
1. 版本比较写反了。原来用 `sort -V -C` 判「这两行本来就有序」，结果本机
compose 5.4.0 被判成「太老」。改成取 min(2.20, ver)，在 1.29.2 / 2.19.9 /
2.20.0 / 2.24.5 / 5.4.0 / 0 六个值上逐个验过分界。
2. --check 里的 mkdir 会真的建目录，本机跑直接撞权限。挪走了。
自检全路径实跑过：旧栈没起时正确拦下；造两个同名容器冒充旧栈后全绿通过；
抹掉 DATA_DIR / DB_HOST 两条守卫都按预期中止并打出可操作的提示。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-16 09:34:39 -06:00 |
|
|
|
eb849ca5ab
|
fix(镜像): apt 换清华源、去掉用不上的 ca-certificates；补部署脚本
## apt-get update 在服务器上卡死
不是慢，是挂住不返回 —— 本机构建从来没事，所以演练没暴露。换清华源。两个细节：
- trixie 的源是 deb822 格式，在 `/etc/apt/sources.list.d/debian.sources`，
老的 `sources.list` 在这个基底里是**空文件**，改它没有任何效果。
- **只能换主机名、必须保持 http。** https 源会在这一步失败，因为镜像里还没有根证书。
`ARG APT_MIRROR` 可覆盖。
## ca-certificates 是多余的
原注释写「给 AI 接口的 https 出站用」，不成立：Bun 和 Node 一样内嵌了一份根证书，
走自己那份，不读系统的 /etc/ssl/certs。
实测：把探针二进制丢进裸 debian:trixie-slim（没有 ca-certificates）请求
api.deepseek.com，握手正常、返回 401（没带 key），和装了的镜像行为一致。
去掉之后重新构建，clang-format / ruff 都在，https 出站照旧，487MB → 483MB。
哪天镜像里加了用 OpenSSL 做 TLS 的东西（curl、wget 之类），这条要重新考虑，
注释里写了。
## docker/deploy.sh
没有 git remote 时的部署路径：本机 rsync 推代码 → 服务器上构建 → 起栈 → 冒烟。
默认不推 docker/.env（两边不是一回事，覆盖掉是静默故障），要同步显式 --env。
起栈前两道守卫，就是今天在服务器上真撞到的那两种失败：DATA_DIR 没生效（卷指向
OJ2/data）、DB_HOST 没生效（DATABASE_URL 还指着试跑形态下并不存在的 oj-postgres）。
两道守卫都用当天那份坏 env 正反跑过：齐全时放行，抹掉这两个变量时都触发。
两半的语法也都 `bash -n` 过（远端那半是 heredoc，单独渲染后再查的）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-16 09:30:50 -06:00 |
|
|
|
1a059d0b88
|
feat(切换): 支持并行试跑，新站先挂 oj2.xuyue.cc 跑几天
设计文档写的是「不双跑不灰度」，这次改主意了。理由：「只换前后端」形态下新栈
本来就不碰数据库进程，双跑的增量风险只剩「两个后端同时写同一个库」这一条；
换来的是**正式切换退化成改一行 NPM 上游**，比停机切换更稳，回滚也不用停任何容器。
## 两个新变量
WEB_PORT 对外端口。8080 还被旧 backend 占着（机房是 81）
JUDGE_STATE_DIR 判题机运行状态目录
JUDGE_STATE_DIR 是必须的：不设的话新旧两个 judger 会同时往
`data/judge_server/{run,log}` 里写。默认值用嵌套写法跟着 DATA_DIR 走
（`${JUDGE_STATE_DIR:-${DATA_DIR:-../data}/judge_server}`，compose 支持嵌套默认值，
试过），所以一次性切换那条路径完全不受影响。
test_case 和 public/upload 仍然共享 —— 那是故意的，测试点和题面图片两边必须
看到同一份。
## 手册
新增第四节「并行试跑」，后面章节顺移（原四~九 → 五~十），两处交叉引用一并改了。
第五节拆成两条路径：试跑过的只需改 NPM 上游 + 事后停旧栈；没试跑的走原来那套。
第七节回滚同理。
试跑那节写明了三件容易踩的：NPM 的 Websockets Support 必须打开（漏了的话页面
一切正常，唯独「判题中…」永远不动，而刷新一下结果就出来，自测很难发现）、
两边登录态不互通、以及双写的是真实数据不是沙盒（别在 oj2 上办正式比赛）。
## 验证
试跑形态 `config` 解析：判题机目录落到 judge_server_oj2、端口 8090、test_case
仍指向共享的那份；不设新变量时默认值一个没变（judge_server / 8080）。
四份 compose `config -q` 全通过。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-16 09:04:16 -06:00 |
|
|
|
cbff292551
|
feat(切换): compose 支持「只换前后端」，接着用旧栈的 postgres/redis
演练把一件事盖住了：当时是把生产 dump 恢复进 `OJ2/data/postgres` 的，
所以没人发现新 compose 在 `OJ2/docker/` 下，`../data` 解析出来是 `OJ2/data`，
而旧栈用的是 `<部署目录>/data`（服务器上是 `/root/OJDeploy/data`）。
照原手册切过去，postgres 会在一个空目录上初始化一个全新的空库 —— 站点起得来，
但没有用户没有题、判题全挂、题面图片 404。旧数据完好，回滚正常，但当天会白吓一场。
## 改法
三组 env 旋钮，默认值保持原样，不影响本机和演练那条路：
DATA_DIR 所有数据卷的根，默认 ../data
DB_HOST/PORT 默认 oj-postgres:5432
REDIS_HOST/PORT 默认 oj-redis:6379
postgres 和 redis 挪进 `profiles: ["local-data"]`，默认不起 —— 否则会跟旧栈
那两个抢 5445 / 5446。配套给 depends_on 加 `required: false`：实测严格的
depends_on 碰上未启用的 profile 会让整个 project 直接 invalid，不是可选项。
代价写进注释了：自带数据形态下 postgres 起不来时 compose 只警告不中止。
给 api / worker 加 host-gateway 映射，DB_HOST 填 host.docker.internal 就行，
不用去猜 docker0 的网段。数据库流量不出本机。
school 那套的 7 个挂载点同样换成 DATA_DIR —— 机房那台也有自己的旧数据目录，
测试点和题面图片都在里面，同一个坑。
## 验证
用 docs/specs/schema.sql 起了个发布在宿主机 5445 的 postgres 冒充旧栈：
正好 4 个容器（没有 postgres/redis）、oj-api healthy、首页与 /api/site
/api/problems 200、未登录进后台 401。读写两个方向都验了 —— 那个库的
pg_stat_activity 里有来自 172.17.0.1 的 postgres.js 连接，judge_server 表里
也出现了新判题机写进去的心跳行。
四份 compose 的 `config -q` 全通过。
手册第三、四、六节按这个形态重写：停旧栈改成只 stop oj-backend / oj-judge
（旧判题机会争 data/judge_server/run，旧 backend 占着 8080），回滚变成把这两个
再 start 起来，数据库进程全程不停。
**DATA_DIR 漏填不会报错**（它有默认值），是切换当天唯一会静默走歪的地方，
手册里给了 `config | grep source:` 的自查和两种症状的区分。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-16 08:57:25 -06:00 |
|
|
|
9a63883f30
|
docs(阶段4评审): 更正一处对旧后端的错误判断
对照表原写 DashboardInfoAPI / RandomUsernameAPI「旧后端任何人可读，含班级用户名
枚举」——不成立。两条都在 /api/admin/ 下，AdminRoleRequiredMiddleware
（account/middleware.py:36）在中间件层就要求登录且 is_admin_role()。
「无装饰器」是真的，「任何人可读」不是。
真实缺口只是「任何管理员可读，而非仅超管」，严重度差很多。
修旧后端时按这条去查，会白改一处不存在的漏洞。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-08 06:50:21 -06:00 |
|
|
|
516929461f
|
docs: 拿阶段 0 的权威清单核对交付，110/110 零缺口
之前那个正则脚本只能说"没发现缺口"，证明不了"没有缺口"。这次拿阶段 0 人工裁决过的
端点清单来对 —— 那 110 条 KEEP 是「必须搬」的权威名单，逐条对到新后端。
**结果 110/110 全部有对应实现，零缺口。**
87 条词元化后自动匹配上；剩下 23 条是 API 重新设计导致路径本来就对不上的，
逐条人工落实，没有一条是真的漏了。一度以为 /api/register 没实现，
查下去是改叫 POST /api/users 了。
把其中**猜不到的那 10 条改名**记进了清单（problemset → problem-sets 这类
一眼能猜的没列）。日后排查「这个功能以前的接口现在在哪」，看这张表就够了：
/api/register → POST /api/users
/api/logout → DELETE /api/auth/session
/api/hitokoto → GET /api/quotes/random
/api/pickone → GET /api/problems/random
/api/user_activity_rank → GET /api/rankings/activity
/api/profile/fresh_display_id → POST /api/me/problem-display-ids/refresh
……
最后一条 /api/judge_server_heartbeat/ → /api/judge-server/heartbeat 单独标了：
判题沙箱镜像是原样复用的，靠 compose 的 BACKEND_URL 找后端，改这条要同步改
compose，否则判题机静默离线。已核对三套 compose 都是新路径。
也写明了方法的局限：词元匹配只能提示「这两条像是同一个」，证明不了行为一致 ——
行为一致靠的是两轮独立评审和阶段 5 的实跑演练，不是这张表。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-08 04:11:39 -06:00 |
|
|
|
a47e051a49
|
docs(阶段5): 补验 WebSocket 经 Caddy 与机房那套 compose
演练报告里原来有两块是没验过的，补上：
## WebSocket 经 Caddy
学生盯着「判题中…」变成结果就靠这条路，而它经过 Caddy 的 handle /ws/*，
是配置最容易写错、又只在生产才暴露的一段。实测 upgrade 成功，301ms 内
收到两条推送：judging → finished（AC）。
## 机房那套 compose.school.yml
和服务器那套差别不小（没有 postgres、连远程库、端口 81、COOKIE_SECURE=false），
之前一次都没跑过。留下 oj-postgres 当「远程库」、其余换成 school 栈跑了一遍：
连库、首页、题目列表、登录、WS、完整判题全通。
其中特意验了 **Cookie 没带 Secure** —— 带了的话机房（http 直连 IP）会出现
「登录成功但立刻又变未登录」，是那种看起来毫无头绪的故障。
顺带确认机房的拓扑是「本地 Redis + 本地判题沙箱 + 远程库」，
判题不跨公网，只有数据库查询走公网。
演练用的是 docs/specs/schema.sql 只灌结构，盘上不留学生数据；跑完已清干净。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-08 03:33:00 -06:00 |
|
|
|
c59ecd6dbb
|
fix(SQL 沙箱 Minor): 让题目的 memoryLimit 对学生真正生效
## M-1
题目写 64MB 也没意义 —— 唯一的硬顶是子进程那个固定 512MB 的 ulimit -d，
学生实际能吃到 8 倍。旧实现是 setlimit(SQLITE_LIMIT_LENGTH, memoryLimit)
把单值长度贴着题目内存限，但 sql.js 的 wasm 没导出 sqlite3_limit（已核对导出表），
复刻不了。
改成引擎侧按字节记账（ByteBudget）：取行时累加，单值超限或结果集累计超限都按 MLE 拒。
max_page_count 管的是库文件页数，管不住「一个 SELECT 拼出一个巨大的值」，所以两者
不重复。查询题和增删改题（dumpTables）两条路都记账，受信脚本不记。
实测 6 条，关键是**同一句 SQL 在 4MB 的题上被拦、在 64MB 的题上放行**，
证明限制跟着题目走而不是一刀切。
第一版测试用的是 100MB 的值，结论是错的：wasm 堆触顶时的兜底和我的记账器报的是
同一句「单个数据值超出内存限制」，大值根本分不清是谁拦的。换成 8MB 才测得准。
这个教训写进注释了。
M-1 的第二半（max_page_count 学生可自行调大）在 I-1 拦 PRAGMA 时已一并修掉。
## M-3
阶段 5 的分阶段兜底超时顺带解决：出题人预览死循环从 25s 降到 13005ms 实测。
## M-2 不修
「强制两个测试点期望结果不同」会把合法出题也挡掉（刻意用两组数据验证同一边界、
结果恰好相同），代价是老师被一条看不懂的错误拦住。评审也确认与旧实现一致、非回归。
更合适的是提示而非拒绝，但要动契约和后台前端。理由写进评审文档，免得下次又当新发现。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-08 02:27:35 -06:00 |
|
|
|
fb22b7d49f
|
docs(阶段5): 用生产快照跑完整切换演练
演练用 compose.debian.yml **本身**在本机 Docker 里跑，不是简化版。
数据是 2026-08-07 的 pg_dumpall 快照：1710 用户 / 956 题 / 123140 提交。
## 出口标准达成
停旧栈 11s，起新栈 34s（镜像预先构建好），全链路验证约 2 分钟 ——
**停机不到 1 分钟**，远在 30 分钟内。真正的时间风险在构建镜像（首次约 5 分钟），
所以手册里第一条就是「镜像必须在停机窗口之前构建好」。
验证到位的：首页、站点配置、题目列表、标签、公告、登录（argon2 新哈希和
Django pbkdf2 旧哈希都支持）、个人页、排行榜、后台四个接口、判题机自动注册，
以及**完整判题**（提交 Python A+B → AC，1.2 秒，两个测试点全过）。
## 两件原以为要做、实测不用做的事
- **不需要任何 DDL**：生产 dump 和新后端在用的库逐列对比，两边都是 278 列，
零差异。新后端直接跑在现有结构上。
- **不需要重置序列**：我在 phase3-coverage.md 里记的那条「切换必做：重置序列」
**是错的**，来自我手工按显式 id 导入、又没补 setval 的本地库。真实的
pg_dumpall 带 30 条 setval，且把快照里所有序列和 max(id) 逐个对过，错位 0 个。
已在原文档上标注更正，没有删掉原文 —— 错误结论本身也是信息。
## 回滚保证已实测
新栈跑完登录、提交、判题之后，再和生产 dump 比一次结构：逐列一致，零差异。
加上数据目录布局照抄旧后端，回滚 = 停新栈 + 起旧栈，约 20 秒，不动任何数据。
（未实测的部分也写明了：本机没构建旧 Django 镜像，「起旧栈」这一步没跑过。）
## 演练抓到的真问题
**pg_dumpall 备份会覆盖数据库口令。** 恢复完快照，新后端立刻报
`password authentication failed` —— 因为 dump 里带
`ALTER ROLE onlinejudge ... PASSWORD 'md5…'`，把角色口令覆盖成了备份时生产的那个。
正常切换不受影响（根本不恢复备份），但灾难恢复时这一条不写下来，
现场会被一个看起来毫不相干的报错卡住。
**恢复备份前必须先停应用**，否则 dump 里的 DROP DATABASE 失败。演练时因为
目标库是空的，数据照样进去了 —— 那是运气，目标库有数据就是满屏主键冲突。
## 镜像体积没达标，写明了原因
api 镜像 487MB，设计文档写的是「数十 MB」。一半以上（269MB）是 clang-format
拖进来的 LLVM，光 libLLVM.so 就 124MB。旧 Python 镜像同样装了 clang-format，
所以新镜像仍明显更小，但当初估「数十 MB」时没把它算进去。
瘦身路径也记了（换静态 clang-format 可砍 265MB），暂不做。
## 清理
演练在 data/postgres 留下了一份完整的生产数据副本，含 1710 名学生的
raw_password 明文列，已删除。手册里留了提醒 —— 那不是测试数据。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-08 02:13:59 -06:00 |
|
|
|
0f94e7ecbd
|
fix(阶段4): 两份独立安全评审的 Critical/Important 全部修掉
## 权限边界评审（后台 86 个 handler）
守卫本身一个没漏，问题全在对象级归属校验：
- C1 跨题单删奖章：先按 (id, problemsetId) 校验奖章归属再删，
否则拿自己的题单 id + 别人的奖章 id 就能把别人的 user_badge 删掉
- C2 make-public 无归属校验：补 canEdit，越权者拿不到题面
- I1 两个分析端点被 `/problems/:id` 遮蔽 —— Hono 按注册顺序匹配，
不是静态优先。挪到 `/problem-analytics/*`
- I2 from-public 只校验目标比赛归属：源题也必须是公开题库题
- I3 克隆比赛回传原比赛明文密码：克隆一律 password: null
- I4 upload-image 守卫比旧后端严，教师写题面会 403：收回 requireAdmin
两个互不可见的教师账号实跑复验，六条全部拦住。
## SQL 判题沙箱评审
- I-1 查询题只读被一句 `PRAGMA query_only=0` 关掉，实测 DML 拿到 AC。
query_only 自己就是个 PRAGMA，旧实现靠 authorizer 把 SQLITE_PRAGMA
一律拒了才没这个洞。现在 runStudent 逐语句拦 PRAGMA（用
sqlite3_normalized_sql 判关键字，注释和大小写由 SQLite 抹平），
并在每条语句前重放 query_only 和 max_page_count 兜底。
顺带修掉 M-1 里 max_page_count 学生可自行调大的部分。
- I-2 单条语句进了 step() 就打断不了，只能等父进程 SIGKILL，
而兜底时限是整个作业一口价 25s —— 1s 限的题要 26s 才判 TLE，
判题池只有 2 个槽，几发死循环就能把所有人堵住。
改成分阶段：子进程用 stderr 报 prepare/student/display，
父进程边读边换表，一进学生 SQL 就把兜底收到「题目时限 + 2s」。
实测 26s → 3.06s。
归因也跟着修了：卡在受信脚本（出题人的初始化脚本、标准答案）
现在报 SYSTEM_ERROR，不再当成学生超时甩 TLE。
engine.ts 头部那张防护对照表按实测重写 —— 原来那版把 query_only
写成等价于 authorizer 白名单，是不成立的。另记一笔：stock sql.js 的
wasm 没导出 progress_handler / interrupt / set_authorizer / limit，
想要得自己编，别再去翻了。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 21:59:42 -06:00 |
|
|
|
e3faa689e7
|
feat(阶段2补课): SQL 判题链路 + 最后两个后台端点
新后端此前完全没有 SQL 判题（旧 judge/sql_runner.py 378 行 + sql_dispatcher.py
113 行无对应实现），阶段 2 纵切时漏了这条与沙箱完全不同的路径。
judge/sql/engine.ts 判题核心，移植自 sql_runner.py，判定口径逐条对齐
judge/sql/child.ts 子进程入口
judge/sql/index.ts 父进程：spawn + 硬超时
judge/run.ts language === "SQL" 时分流，不经判题沙箱
POST admin/sql-test-cases/preview 题目页展示数据预览
POST admin/sql-test-cases/generate AI 按标准答案倒推初始化脚本
题目保存时重新生成 sqlDisplay（对齐旧 generate_sql_display）：取测试点 1 的初始化
脚本 + 标准答案跑一遍，失败一律拦下不让保存 —— 展示数据直接决定学生看到的表结构
与期望结果，宁可不保存也不能存错的。
## 防护换了实现，逐条实测
bun:sqlite 没有 authorizer / progress_handler / setlimit，且实测 Worker.terminate()
杀不掉跑飞的查询（原生代码占着线程）。改用「WASM 引擎 + 独立子进程」：
ATTACH → WASM 无宿主文件系统绑定，结构上够不到（比旧的 authorizer 更强）
查询题只读 → PRAGMA query_only=1
超时 → 子进程外部 SIGKILL
单值内存 → 子进程 ulimit -d
八条提交实测：正确→Accepted；列少一个/漏过滤→Wrong Answer；语法错误→Compile Error；
查询题里 INSERT→运行错误并说明；递归 CTE 死循环→CPU 超时；hex(zeroblob(2e8))→内存超限；
attach '/etc/passwd'→打不开。
## 踩到的两个坑（已写进 docs/specs/phase3-coverage.md）
1. ulimit 必须用 -d 不能用 -v。-v 限虚拟地址空间而 JS 引擎预留巨量地址，实测 -v 之下
Bun 退出时有概率 panic（SIGILL），结果早已写出但进程异常终止，父进程读到空串
误判成超时 —— 6 次里坏 2 次。换 -d 后 12/12 稳定。
2. 子进程写完结果直接 SIGKILL 自己，不走 process.exit()——后者仍有清理会撞限额。
至此 admin/api.ts 已无任何指向旧后端的调用。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 17:03:41 -06:00 |
|
|
|
764e0d28cc
|
feat(阶段4): 标签管理 / 批量打标签 / 题目可见性 / 卡点与 AC 趋势 / 流程图 AI
GET/PUT/DELETE admin/problem-tags[/:id]
POST admin/problems/batch-tag
PUT admin/problems/:id/visibility
GET admin/problems/stuck
GET admin/problems/ac-trend
POST admin/problems/flowchart
要点：
- 后台标签列表用 leftJoin 且不加 having，能看到 problemCount=0 的标签 ——
那正是要清理的那些。oj 侧的 /problem-tags 才过滤 >0。
- 标签改名撞上已有标签视为合并：只给「还没挂目标标签」的题目补关系，
否则会撞 (problem_id, problemtag_id) 唯一约束。
- 批量打标签：add 时按需新建标签、remove 时只认已有标签 ——
否则「移除」会顺手造出一堆空标签。名字去重且大小写不敏感。
- **旧 ProblemVisibleAPI 的 `self.error(...)` 少写了 return**，题目不存在时会继续
往下跑并抛 AttributeError（500）。这里正常返回 404。
顺带记下一条阶段 5 的必做项（见 phase3-coverage.md 文末）：本地库按显式 id 从生产
导入，序列没跟着走，第一次新建标签就撞 problem_tag_pkey。只要切换流程里有
「导出→导入到新库」这一步，就必须重置全部序列，否则读全正常、第一次写才炸。
实测：学生 403；大小写重复与空白名去重后 tagCount=1、重复 add 幂等、
remove 不存在的标签 404 且不新建；纯改名 merged=false、合并 merged=true
affectedCount=1 且只剩一个标签；可见性取反两次复原、不存在的题 404。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 16:30:48 -06:00 |
|
|
|
359b91ab4d
|
docs(阶段3): 记录 7 条 Minor 的逐条结论
其中两条判为无需改动并说明理由：M-2（user-progress 的 realName）已被 F2 的
sampleUser 默认关闭开关覆盖，现在与旧后端一样返回 null；M-3（练习答案下发）
旧后端逐字相同，属教程练习「客户端比对」的既有设计，不是本次重写引入的回归。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 07:01:13 -06:00 |
|
|
|
ced8f3ee1b
|
docs(阶段3): 记录出口标准达成；补跑 prettier
覆盖率对账表更新：admin 侧 3/45 已实现，缺口 42。达成判据是 apps/web 的
oj/ 与 shared/ 两个目录已无指向旧 Django 的运行时调用，残留的 utils/http
引用只剩 ApiResponse 这一个类型。
顺带补跑 npm fmt，几个此前未格式化的文件随之改动，均为纯格式。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 06:48:20 -06:00 |
|
|
|
cb6d42363b
|
docs(阶段3): 修复波复评通过，安全 findings 收口
8 条（F1-F6 + 收尾 F4b/F5b）全部 ADDRESSED，修复 diff 内无新引入破坏。
复评补上了控制方没验充分的 F4b：真造了一条比赛提交，确认数据库存真值
而 API 返回给本人的是 info:{} / ip:null / contestId:null。
另核实 sampleUser() 是真正的默认关闭开关（覆盖全部 14 个下发点）、
isRegularUser 全仓确实只有一个调用点、.env 加载器优先级正确、
限流参数与旧后端 options/options.py 逐值吻合。
评审产物从 gitignore 的 .superpowers/sdd/ 归档进 docs/specs/ 以免丢失。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 06:26:20 -06:00 |
|
|
|
9c04b00e3f
|
docs(阶段3): 权限与泄露双评审报告 + 合并修复清单
两份评审独立进行、互不知情，各自命中同两条问题（匿名可读用户档案、
realName 无条件下发），独立复现提高可信度。严重度取更严一方 ——
使用者是中职学生，姓名邮箱班级属个人信息。
3 Critical / 3 Important，F1-F3 已由控制方独立实跑复现。
无敏感字段泄露、无泄题，比赛权限重建得最好。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 01:43:55 -06:00 |
|
|
|
0f999aa5b1
|
docs: 阶段 0/1/2 出口标准核验 + 阶段 3 覆盖率对账
核验为逐条实跑，不采信文档声称。阶段 0/1/2 出口标准全部通过，
其中阶段 2 判题链路端到端实测（注册→登录→提交→JudgeServer→WS 推送）。
覆盖率对账：oj 侧 65 条已全部实现，admin 侧 45 条一条未做。
新旧路径不同名（API 已重新设计），对照关系为人工按语义逐条比对。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-07 01:25:36 -06:00 |
|
|
|
ec274419c3
|
Build Phase 2 judge vertical slice
|
2026-08-06 22:42:39 -06:00 |
|
|
|
0a8fcef3f2
|
chore(阶段1): 题目样本导入脚本（不含用户数据）
|
2026-08-06 21:14:23 -06:00 |
|
|
|
39ad431e31
|
docs: 阶段 1 骨架实施计划
6 个任务：monorepo 骨架与契约包、drizzle schema 生成剪枝、题目样本导入、
Hono 题目接口、搬入 ojnext、端到端串通。
相对设计文档两处偏离已说明：出口标准改为本地 PG + 生产题目样本（比原设想强，
能在浏览器端到端验证）；不写测试（遵循项目既定策略）。
额外补 Task 3 样本数据 —— 本地库只有结构无数据，否则无法验证出口标准。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 20:36:44 -06:00 |
|
|
|
63faf5c6c0
|
docs: 更正本机开发环境约束 —— Docker 可用
根 CLAUDE.md 长期写着本机跑不了 Docker/PostgreSQL/Redis/判题沙箱，实测不成立：
docker 29.7.2 与 docker-compose 5.4.0 早已安装，只是服务未启用、用户不在 docker 组。
另确认判题沙箱不需要特权模式（read_only + cap_drop，只减能力不加）。
影响：阶段 2 判题竖线可在本机完整验证并反复试错，不必每次推服务器。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 20:30:17 -06:00 |
|
|
|
9f5dd95289
|
docs: raw_password 保留决策及其对 7.1 结论的影响
user.raw_password 明文列是有意的运维需求（教师查学生密码），决定保留。
据此如实收窄 7.1 的结论：argon2id 升级不防"数据库泄露"，只解决 pbkdf2
的 CPU 开销和脱离 Django 哈希格式，不得描述为"提升密码安全性"。
附一条未采纳的备选（应用层可逆加密）供日后备查。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 20:24:01 -06:00 |
|
|
|
1251b4e27d
|
docs(阶段0): 端点清单人工裁决完成
6 条 REVIEW 全判 KEEP：5 条是提取盲点造成的假阴性（原生 fetch 4 条、
动态变量路径 1 条），judge_server_heartbeat 是判题机注册心跳、不经前端，
新架构沙箱镜像原样复用故必须保留。
最终：新后端需实现 110 个端点，砍掉 17 个（13%）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 20:22:34 -06:00 |
|
|
|
f68b04baf0
|
chore(阶段0): 取回生产库 schema，解阻塞阶段 1
34 张表（27 业务 + 7 Django 框架），schema-only，无 COPY/INSERT、
无密码哈希、无邮箱。阶段 1 的 drizzle-kit pull 据此离线生成 TS schema。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 20:20:54 -06:00 |
|
|
|
e3fe9e1ab9
|
docs(阶段0): 更正存量盘点数字，ground truth 改为可独立核验
设计文档 §4 原写「端点 122、DEPRECATED 16、前端调用 78、疑似无人调用约
35%」四项全错：前三项来自漏抓 5 个端点的提取器和只数字面量的前端统计，
35% 是从 (122−78)/122 推的。改为实测值 127 / 17 / 148 条 method+path
（104 条不同路径）/ 23 个无调用 = 18%。减法空间是 18% 不是三分之一，
后续阶段按此排期。
实施计划里的 ground truth 原本就是那个有 bug 的脚本自己产出的，自检退化成
「脚本必须复现自己的 bug」。改为 127 / 17 / 104 并写明独立核验方式。
另：§7 引导语两处改三处；7.3 把「启动时一次性 loadDict」提成衍生约束小节，
附实测数据（200 词逐条 39.4ms vs 一次性 0.98ms，且 loadDict 语义确认为累加）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 20:08:53 -06:00 |
|
|
|
9069b1cdb7
|
chore(阶段0): 补齐 spike 依赖清单与 lockfile
.gitignore 的 docs/spikes/*.json 把 package.json 一起忽略了，bun.lock 也
单独忽略了；package.json 里又缺三个 tree-sitter 依赖（7.2 的 spike 当初在
临时目录跑的），结果 ast-spike.ts 在仓库里直接报 Cannot find package
'web-tree-sitter'。
排除规则改窄为 endpoints-*.json，补上 web-tree-sitter / tree-sitter-c /
tree-sitter-python 并提交 bun.lock。现在 bun install 后三个 spike 都能跑。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 20:08:53 -06:00 |
|
|
|
ae5eea7250
|
fix(阶段0): 端点提取器漏抓 5 个端点，补反向对账
提取器按文件名白名单扫 <app>/urls/{oj,admin}.py，漏掉两类真实挂载：
tutorial/urls/tutorial.py（文件名不在白名单）和 utils/urls.py（没有
urls/ 目录，被 statSync 的 catch 吞掉），共 5 个端点，其中 4 个前端在用。
改为以 OnlineJudge/oj/urls.py 为唯一入口解析 26 条 include，side 与路径
前缀直接取挂载前缀，app 取 Python 模块名首段。127（oj 77 / admin 50），
DEPRECATED 17，与 cat */urls/*.py utils/urls.py | grep -c "path(" 一致。
reconcile.ts 补上反向对账：前端调用了但后端查无此端点的路径会告警并写进
产出的 markdown，让同类系统性盲区不再依赖人眼评审。修完后 orphan 为 0。
另：生成日期改用本地时区（toISOString 是 UTC，本地 UTC+8 晚间会写成前一天）；
补记盲点 3（src/utils/download.ts 的独立 axios 实例，提取器抓不到）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 20:08:53 -06:00 |
|
|
|
ec563ef64b
|
chore(阶段0): 验证 jieba 替代方案
@node-rs/jieba@2.0.1 在 Bun 1.3.11 下通过验证：NAPI 绑定正常加载，
cut 结果符合预期，1000 次切词 2ms。API 与预期有出入——没有
insertWord/addWord，改用 loadDict 加载自定义词典缓冲区达到同等效果。
结论写入设计文档 7.3 节。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 19:48:27 -06:00 |
|
|
|
b4cbfd85b0
|
chore(阶段0): 端点对账脚本与机器初判清单
KEEP 100 / CUT 16 / REVIEW 6，合计 122。
修复 brief key() 里的归一化 bug：/^\/?api\/(admin\/)?/ 会把后端
admin 端点的 admin/ 前缀也剥掉，但前端 http 客户端共用一个 axios
实例（baseURL: /api），admin 接口路径是前端代码里手写的字面
admin/xxx，不该被剥。未修复时 REVIEW 卡在 40（几乎全是被误判的
admin 端点），修复后降到 6。
REVIEW 里 5 条经核实是提取脚本的已知/新发现盲点（动态变量传路径、
原生 fetch() 调用）导致的假阴性，已在生成的 markdown 里写明提示；
唯一真正需要人工裁决的是 judge_server_heartbeat（判题机而非前端
调用的接口）。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 19:40:25 -06:00 |
|
|
|
6b24012dc8
|
chore(阶段0): 前端 API 调用提取器
|
2026-08-06 19:29:57 -06:00 |
|
|
|
3da7482741
|
docs: 阶段 0 实施计划 + 端点提取器
计划覆盖端点盘点、人工裁决、jieba 验证、取回生产库 schema 四件事。
相对设计文档有两处偏离，已在计划内说明：阶段 0 不删旧代码只产出清单
（与"旧仓库全程冻结"一致）；不写测试（遵循项目既定策略）。
盘点中发现两处事实，已修正设计文档：
- /api/sessions 前端从不调用，User.session_keys 只写不读，选 opaque
token 而非 JWT 的原始理由不成立，理由已换成账号封禁需即时生效
- SessionRecordMiddleware 每个已登录请求都写库，新后端不要复刻
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 19:24:41 -06:00 |
|
|
|
ec4f649a2e
|
docs: OJ2 后端重写设计文档
将 Django 后端重写为 Bun + TypeScript 的设计方案，含前后端 monorepo
结构、技术选型与分阶段路线。
两处高风险技术假设已实测验证，spike 代码见 docs/spikes/：
- Django pbkdf2 密码哈希可在 Bun 侧验证，存量密码无需重置
- tree-sitter 可用 WASM 在服务端运行，且比现状更易部署
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
2026-08-06 19:16:57 -06:00 |
|
