xuyue/OJ2
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
60 Commits 1 Branch 0 Tags
967e9ef7f732eb97c767fa59887072597f4a4148
Commit Graph

7 Commits

Author SHA1 Message Date
yuetsh
ce21a2bb8f feat(阶段5): 让 bun build --compile 的产物真正自足 
编译产物拿到没有 node_modules 的目录里跑，原来是一路崩的 —— 而且**在仓库
目录里跑时全都正常**，因为它顺着 cwd 找到了 node_modules，假装没事。
这类问题只会在服务器上第一次启动时暴露。逐个堵掉：

- `import.meta.dir` 在二进制里恒为 `/$bunfs/root`，往上三级就是文件系统根：
  `data/test_case` 悄悄变成 `/data/test_case`，`.env` 去读 `/.env`。
  新增 runtime.ts 显式分叉：编译后按 cwd，开发时按仓库根（后者不能改，
  compose 挂给判题沙箱的是仓库根的 data/test_case）。

- sql.js / tree-sitter 的 wasm、jieba 的 .node 和 4.8MB 词典，
  原来都靠运行时 require.resolve / Bun.resolveSync / __dirname 去 node_modules 里找。
  全部改成 `with { type: "file" }` 内嵌成资源。jieba 尤其绕：它的 index.js
  运行时探测平台再 require 子包，dict.js 用 __dirname 读 dict.txt，两条都
  依赖磁盘布局，所以单独包了 vendor/jieba.ts 直接 require 内嵌的 .node。

- SQL 判题要 spawn 一个能被 SIGKILL 的子进程，原来 spawn 的是 child.ts 的路径，
  编译后那个文件不存在。改成二进制自己按 argv 分发：新增 main.ts 作为唯一入口，
  serve / worker / sql-child 三个子命令，镜像里只需要一份运行时。

## 顺带修掉一个能拖垮生产的坑

「spawn 自己」意味着只要 argv 分发这一环出问题（子命令改名没同步、compose 里
command 写错、拿别的入口编了二进制），「起自己」就变成「把整个程序再跑一遍」，
而那一遍又会 spawn 一个自己 —— 指数增长。

这不是假想：开发时用一个没有分发器的临时入口编了个二进制，一跑就递归 fork
105MB 的进程，几秒触发 global OOM，内核把开发机的终端杀了
（`selftest invoked oom-killer ... Killed process ... Alacritty`）。
同样的错误发生在服务器上就是判题机连同数据库一起拖死。

加了递归闸：父进程 spawn 时打 OJ2_SQL_CHILD 标记，带标记的进程一律拒绝再 spawn，
最多一层就停在一条明确的 SYSTEM_ERROR 上。

## 验证

产物拷进只有它自己一个文件的目录，2G 内存上限下跑，7 项全过：
jieba 分词（自定义词「循环结构」「死循环」命中）、tree-sitter Python3/C 各两条
（含一条**预期失败**的规则做对照，否则「语言没加载成功」和「规则通过」返回值
一模一样，分不出来）、SQL 判题 AC、SQL 只读防护仍拦住 PRAGMA。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 23:13:57 -06:00
yuetsh
cd5dd16f3b feat(阶段4): 测试用例压缩包上传与下载 
POST  admin/test-cases
  GET   admin/problems/:id/test-cases   （返回 zip 二进制）

落盘格式必须与判题沙箱镜像的约定一致（沙箱直接读挂进去的目录），已用真判题验证：
上传 zip → 建题 → 提交 Python 解法 → 沙箱读到用例并判出 Accepted。

安全与健壮性上比旧后端多做的几件事：

- **zip slip 从设计上进不来**：不遍历压缩包条目，只按精确文件名（`N.in`/`N.out`/`N.sql`）
  取内容，条目名一律不参与路径拼接。实测带 `../../etc/passwd` 条目的包能正常处理，
  且只取到 1.in/1.out。
- 单文件 32MB、解压后总量 128MB、测试点数 500 的上限，防 zip bomb 与写满磁盘 ——
  旧后端一概没有，机房那台机器盘写满之后判题也会一起挂。
- 坏 zip 返回 400 而不是 500。

对齐旧后端的细节：CRLF→LF 归一；`stripped_output_md5` 按 Python `bytes.rstrip()`
的口径只剥尾部 ASCII 空白后再算（实测与 hashlib.md5 结果一致）；编号从 1 起连续、
遇缺口即停；SQL 包至少 2 个测试点（题目页会展示测试点 1 的期望结果，只有一个时
学生可以对照着硬编码 AC）；目录 0710、文件 0640。

## 顺带修掉一个只在判题时才暴露的路径 bug

config 里的相对路径（data/test_case、data/avatar、data/upload）原先按进程 cwd 解析，
而起服务的方式会把 cwd 切到 apps/api/，于是测试点落在 apps/api/data/ 下 ——
但 docker/compose.dev.yml 把**仓库根**的 data/test_case 挂进判题沙箱。两边不是同一个
目录，新传的测试点判题时会「找不到测试数据」，且只在真正判题时才暴露。
改成一律按仓库根解析，实测沙箱能看到新传的目录。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 16:42:54 -06:00
yuetsh
bc54fbff98 feat(阶段4): 站点配置 / 判题机 / 孤儿用例 / 概览 / 图片上传 
GET/POST          admin/website
  GET               admin/judge-servers
  PUT               admin/judge-servers/:id
  DELETE            admin/judge-servers/:hostname
  GET/DELETE        admin/orphan-test-cases
  GET               admin/dashboard
  GET               admin/random-usernames
  POST              admin/upload-image

顺带补上配置广播：旧后端改配置会经 WebSocket 推给所有开着页面的人，改完立刻生效。
新后端只服务 /ws/submissions，前端的 ConfigWebSocket 还连着旧 Django Channels。
现在加了 /ws/config 通道（同一个 Bun.serve 只能挂一个 handler，用 socket data 上的
kind 区分），前端 ConfigWebSocket 改走 /ws2/config。

几处判断：

- **判活不能比字符串**。库里 timestamptz 形如 `2026-08-07 13:42:50+00`（空格分隔），
  toISOString() 是 `...T13:42:44.000Z`（T 分隔），字典序空格 < 'T'，同一天的心跳永远
  小于阈值 —— 所有判题机都会显示离线。实测确实复现（dashboard 说 1 台在线、列表却
  两台全 abnormal），已改为 Date.parse 后比较。
- 删指定的孤儿用例时**先确认它确实是孤儿**。旧后端不校验，一个手抖的 id 就能删掉在用
  题目的测试数据，而测试数据没有别处备份。
- 图片上传的文件名完全由服务端生成，不带用户提供的任何一段；另加 10MB 上限 ——
  旧后端靠 nginx 兜，但机房那台机器盘写满之后判题也会一起挂。
- 停用判题机后不再 process_pending_task()：任务在 BullMQ 里排着，worker 恢复自己接着
  消费，不存在旧自研分发器那种「没有新提交就一直 waiting」的问题。
- dashboard 不再下发 env.FORCE_HTTPS / STATIC_CDN_HOST，前端从未读过。

实测：学生 403；配置读写回读 + oj 侧 /site 同步生效 + 还原；判题机列表带 token、
状态判定正确（一台 normal 一台 abnormal，与 dashboard 计数一致）；删不存在 404；
删非孤儿用例 404；随机点名缺班级号 400。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 07:43:38 -06:00
yuetsh
f548aef9f0 fix(阶段3): 补齐 contestId 脱敏与仓库根 .env 加载 
两处是首轮六条修复的收尾，均由验证过程暴露：

1. contestId 未脱敏 —— 旧后端 SubmissionSafeModelSerializer 排除的是
   info/contest/ip 三个字段，首轮只处理了 info 与 ip。

2. 根 .env 读不到 —— Bun 只自动加载 cwd 下的 .env，而启动方式
   (bun run --filter '@oj2/api' dev) 会把 cwd 切到 apps/api/，
   于是 .env.example 教人写在仓库根的 JUDGE_SERVER_TOKEN 静默失效，
   后端降级成随机 token，判题全部卡在 PENDING。config 改为显式补读
   根 .env，且只填充未设置的键（真实环境变量与 cwd 下的 .env 优先）。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 02:12:31 -06:00
yuetsh
b7adf2993d fix(阶段3): 去掉判题机 token 的弱默认值 
F5：token 校验实现本身是对的（用了 timingSafeEqual），问题是缺省值
"oj2-dev-token" 写死在仓库里 —— 写死在仓库里的 token 等于没有 token。

后端改为对齐旧后端 options/options.py:93 的 fail-safe：
env 缺失时生成随机值并在启动日志里告警，判题机连不上，但不会静默用弱默认值。
compose 改为 ${OJ2_JUDGE_TOKEN:?...}，未设置直接报错退出。

本地开发怎么设写在 docker/compose.dev.yml 顶部与 .env.example 里：
两个变量名不同（判题机镜像认 TOKEN，后端认 JUDGE_SERVER_TOKEN）但值必须相同。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 01:59:27 -06:00
yuetsh
8c00cdc947 feat(阶段3): oj 侧端点铺开（基线提交，未经评审） 
由外部 agent (Codex) 在本会话额度中断期间完成。原样提交作为基线，
后续修复单独成 commit，便于区分与回退。

覆盖 oj 侧 65 个端点，新增 9 组路由（account/achievement/ai/classroom/
content/contest/flowchart/problemset/site）与对应 Zod 契约。

已核验：tsc --noEmit 退出码 0；API 可启动；/api/problems 返回真实数据；
judge 与 flowchart worker 均 ready。
未核验：权限边界与数据泄露，评审进行中。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 01:25:36 -06:00
yuetsh
ec274419c3 Build Phase 2 judge vertical slice 2026-08-06 22:42:39 -06:00