xuyue/OJ2
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
68 Commits 1 Branch 0 Tags
1a059d0b88a457dbd41b1749a5541a58561d687f
Commit Graph

8 Commits

Author SHA1 Message Date
yuetsh
e2c6ee69da fix(阶段5): jieba 资源导入不能用在 dev；补上 /public/upload 的伺服 
## jieba：两种形态得走两条路

上一条 commit 把 jieba 的 .node 改成 `with { type: "file" }` 内嵌，只验证了
编译产物，没跑 `bun run` —— 结果 dev 直接起不来：

    TypeError: To load Node-API modules, use require() or process.dlopen
               instead of import.

`.node` 的资源导入只有打包器认，运行时不认。而且必须是**动态** import：
静态 import 在模块加载时就求值，拿 isCompiled 判断也来不及。

所以分两条路：dev 用包自己的入口（那条路 bun run 下是好的），编译形态才走
内嵌资源。两边都实测过了。.wasm 没这个毛病，两种形态都正常。

withBuiltinDict 因此变成 async，连带 buildWordFrequencies 也是。
jieba 实例改成缓存 Promise 而不是结果，并发进来两个请求只会建一次词典。

## /public/upload 之前根本没人伺服

后台上传图片存盘、返回 `/public/upload/<name>`，但没有任何路由处理这个前缀 ——
题面里插的图片一律 404。补上，并和头像共用一个 serveUpload：只取路径最后一段
且要求它和原样一致，`..`、子目录、编码斜杠都在这里被拒。

生产环境这些请求也走后端（Caddy 反代整段 /public），不让 Caddy 直接读盘，
这样开发和生产是同一条代码路径。

dev 模式 8 项实测：上传图片/头像/默认头像回退 200，不存在、`..`、编码穿越、
子目录、编码斜杠全 404。编译产物在干净目录里 7 项照旧全过。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 23:20:12 -06:00
yuetsh
ce21a2bb8f feat(阶段5): 让 bun build --compile 的产物真正自足 
编译产物拿到没有 node_modules 的目录里跑，原来是一路崩的 —— 而且**在仓库
目录里跑时全都正常**，因为它顺着 cwd 找到了 node_modules，假装没事。
这类问题只会在服务器上第一次启动时暴露。逐个堵掉：

- `import.meta.dir` 在二进制里恒为 `/$bunfs/root`，往上三级就是文件系统根：
  `data/test_case` 悄悄变成 `/data/test_case`，`.env` 去读 `/.env`。
  新增 runtime.ts 显式分叉：编译后按 cwd，开发时按仓库根（后者不能改，
  compose 挂给判题沙箱的是仓库根的 data/test_case）。

- sql.js / tree-sitter 的 wasm、jieba 的 .node 和 4.8MB 词典，
  原来都靠运行时 require.resolve / Bun.resolveSync / __dirname 去 node_modules 里找。
  全部改成 `with { type: "file" }` 内嵌成资源。jieba 尤其绕：它的 index.js
  运行时探测平台再 require 子包，dict.js 用 __dirname 读 dict.txt，两条都
  依赖磁盘布局，所以单独包了 vendor/jieba.ts 直接 require 内嵌的 .node。

- SQL 判题要 spawn 一个能被 SIGKILL 的子进程，原来 spawn 的是 child.ts 的路径，
  编译后那个文件不存在。改成二进制自己按 argv 分发：新增 main.ts 作为唯一入口，
  serve / worker / sql-child 三个子命令，镜像里只需要一份运行时。

## 顺带修掉一个能拖垮生产的坑

「spawn 自己」意味着只要 argv 分发这一环出问题（子命令改名没同步、compose 里
command 写错、拿别的入口编了二进制），「起自己」就变成「把整个程序再跑一遍」，
而那一遍又会 spawn 一个自己 —— 指数增长。

这不是假想：开发时用一个没有分发器的临时入口编了个二进制，一跑就递归 fork
105MB 的进程，几秒触发 global OOM，内核把开发机的终端杀了
（`selftest invoked oom-killer ... Killed process ... Alacritty`）。
同样的错误发生在服务器上就是判题机连同数据库一起拖死。

加了递归闸：父进程 spawn 时打 OJ2_SQL_CHILD 标记，带标记的进程一律拒绝再 spawn，
最多一层就停在一条明确的 SYSTEM_ERROR 上。

## 验证

产物拷进只有它自己一个文件的目录，2G 内存上限下跑，7 项全过：
jieba 分词（自定义词「循环结构」「死循环」命中）、tree-sitter Python3/C 各两条
（含一条**预期失败**的规则做对照，否则「语言没加载成功」和「规则通过」返回值
一模一样，分不出来）、SQL 判题 AC、SQL 只读防护仍拦住 PRAGMA。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 23:13:57 -06:00
yuetsh
cd5dd16f3b feat(阶段4): 测试用例压缩包上传与下载 
POST  admin/test-cases
  GET   admin/problems/:id/test-cases   （返回 zip 二进制）

落盘格式必须与判题沙箱镜像的约定一致（沙箱直接读挂进去的目录），已用真判题验证：
上传 zip → 建题 → 提交 Python 解法 → 沙箱读到用例并判出 Accepted。

安全与健壮性上比旧后端多做的几件事：

- **zip slip 从设计上进不来**：不遍历压缩包条目，只按精确文件名（`N.in`/`N.out`/`N.sql`）
  取内容，条目名一律不参与路径拼接。实测带 `../../etc/passwd` 条目的包能正常处理，
  且只取到 1.in/1.out。
- 单文件 32MB、解压后总量 128MB、测试点数 500 的上限，防 zip bomb 与写满磁盘 ——
  旧后端一概没有，机房那台机器盘写满之后判题也会一起挂。
- 坏 zip 返回 400 而不是 500。

对齐旧后端的细节：CRLF→LF 归一；`stripped_output_md5` 按 Python `bytes.rstrip()`
的口径只剥尾部 ASCII 空白后再算（实测与 hashlib.md5 结果一致）；编号从 1 起连续、
遇缺口即停；SQL 包至少 2 个测试点（题目页会展示测试点 1 的期望结果，只有一个时
学生可以对照着硬编码 AC）；目录 0710、文件 0640。

## 顺带修掉一个只在判题时才暴露的路径 bug

config 里的相对路径（data/test_case、data/avatar、data/upload）原先按进程 cwd 解析，
而起服务的方式会把 cwd 切到 apps/api/，于是测试点落在 apps/api/data/ 下 ——
但 docker/compose.dev.yml 把**仓库根**的 data/test_case 挂进判题沙箱。两边不是同一个
目录，新传的测试点判题时会「找不到测试数据」，且只在真正判题时才暴露。
改成一律按仓库根解析，实测沙箱能看到新传的目录。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 16:42:54 -06:00
yuetsh
7e1a782747 feat(阶段4): 用户管理 + 成就管理；补上 rescan 与 contest_joined 
GET/POST/DELETE   admin/users            （DELETE 走 body 传 ids）
  GET/PUT           admin/users/:id
  POST              admin/users/:id/reset-password
  GET               admin/achievement-metrics
  GET/POST          admin/achievements
  GET/PUT/DELETE    admin/achievements/:id

顺带补了新后端缺失的两块（不补的话成就后台建出来的东西是坏的）：

1. **rescanAchievement**：旧后端 `rescan_achievement` 的对应实现。判定平时只在判题
   结算时发生，后台新建成就或调低阈值不会自动补发，必须显式扫一遍。补发标记
   backfilled=true —— 前端据此只显示「已获得」不显示日期，否则一次补发会给几百人
   盖同一个时间戳，把「最近获得」板块冲垮。
   触发判据包含 metric 与 visible 的变化，不只看 operator/threshold：换维度、
   以及从下架改上架（草稿期已达标的人）这两种都会漏。
2. **contest_joined 指标整个漏掉了**。旧 METRIC_REGISTRY 有 18 个指标，新后端只算
   17 个，配在这个指标上的成就永远解锁不了。已补上计算，并把注册表抽成
   services/achievement-metrics.ts 作为单一事实源 —— 后台下拉框和参数校验都读它，
   避免「下拉框里选得到但没人算」这种组合。

用户管理的几处要点：

- className 解析位数不对**直接报错不猜**。猜错会把 class_name 存歪，而剥前缀显示
  姓名、班级下拉、统计页都依赖它准确。
- problem_permission 按 admin_type 归一（超管恒 All、普通用户恒 None），否则把超管
  降级成普通用户后他还留着 All。
- 改用户名要同步 submission.username 这个冗余列，否则历史提交查不到。
- openApi 已开着就不重置 appkey，否则每次保存用户都把对方的 key 换掉。
- **删除用户不复刻 Django 的应用层级联硬删**。用户是被引用最广的一张表，改成让
  数据库外键拦下来：撞外键说明还有历史数据，应当禁用而不是删除，返回 409 并说明。

实测：学生 403；导入 2 人 / 重复 409 / 班级号位数报错文案正确；改名+降权后
permission 归一为 None、重名 409；重置密码 6 位无 0；删自己 400；
成就指标 18 项、新建后补发 unlockCount=2、野指标与野稀有度均 400。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 07:27:36 -06:00
yuetsh
20ecc05f63 fix(Minor M2): 比赛权限加中间件兜底 
旧后端用 @check_contest_permission 装饰器，漏挂一眼看得出来；新后端手工在 handler
里调 canAccessContest，漏调一次就是静默放行，而且这类路由挂的是 optionalAuth
（本身不拦人），从路由注册那一行完全看不出它受保护。

新增 requireContestAccess(checkType, paramName)，把「取比赛 → 404 → 鉴权 →
401/403」四步收进注册行。手工调用点 5 → 2：

- GET /contests/:id/access —— 报告权限而非强制，不能 403，留手工
- POST /submissions —— 比赛 id 来自请求体，中间件跑时 body 还没解析，留手工

两处都就地写了说明。canAccessContest 改成泛型，因为 Hono 的 Context 在
Variables 上逆变，写死 Context<AppEnv> 与 ContestEnv 不兼容。

实测拦截行为不变：匿名 401、登录 200、密码赛未过密码 403。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 07:00:58 -06:00
yuetsh
836d97847e feat(阶段3): 补齐用户侧依赖的三个 admin 端点 
重判、提交统计、流程图统计这三条挂在旧后端的 admin 路由下，权限也确实是
teacher/super admin，但入口在用户侧页面里（提交列表页的重判按钮、两个统计面板）。
不做完，阶段 3 的出口标准「用户侧全部功能跑在新后端上」就不成立 —— 按 URL
前缀切阶段会漏掉它们。

- POST submissions/:id/rejudge     ← GET admin/submission/rejudge
- GET  submissions/statistics      ← GET admin/submission/statistics
- GET  flowcharts/statistics       ← GET admin/flowchart/statistics

几处对齐旧后端的细节：
- AST_CHECK_FAILED(10) 与 ACCEPTED(0) 同算通过
- 完成度先用原始花名册人数算、再修正 person_count，顺序照搬，兜住「学生已删号
  但提交记录还在」
- 有提交但零通过的学生，两个名单里都不出现（旧后端同样口径）
- 词云用 @node-rs/jieba，STOPWORDS 与 38 个自定义词逐词照搬；jieba@2 没有
  insertWord，改用 loadDict 加载用户词典
- avgScore 分母是有分数的条数，对齐 Django Avg() 跳过 NULL

rejudge 的 jobId 带时间戳。队列保留最近 100 个已完成任务，沿用 submissionId
做 jobId 的话 BullMQ 会认为任务已存在，重判会静默变成空操作。

correctRate 改成数值不带 %，展示格式化交给前端。stripClassPrefix 用
startsWith+slice 而不是 replace，前缀对不上时不会从中间截出乱码；site.ts
原有的 replace 写法一并改掉。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 06:48:05 -06:00
yuetsh
8237909d00 fix(阶段3): 提交可见性守卫补上匿名，详情脱敏，提交接口加限流 
F3：`isRegularUser(user)` 对匿名用户（user 为 null）返回 false，
`submission_list_show_all` 关闭时守卫整体短路 —— 匿名能看到全部提交，
权限反而大于登录学生。实测开关关闭时匿名 total=23、登录学生 total=0。
而关闭这个开关的典型场景正是考试。改为 `!isAdminRole(user)`（非管理员即受限），
并删掉 isRegularUser（全仓只有这一处调用，留着就是下一个坑）。

F4：提交详情把 info（含每个测试点的 test_case 编号与 output_md5）与 ip
按「是不是自己的提交」下发。旧后端 submission/views/oj.py 把关的是角色：
is_admin_role() 决定用 SubmissionModelSerializer 还是
SubmissionSafeModelSerializer(exclude=("info", "contest", "ip"))。改为仅管理员可见。

F6：旧后端 SubmissionAPI.throttling 的 TokenBucket 没搬过来。
按旧参数重建（options/options.py:120 的 user 桶：capacity 20、fill_rate 0.03、
default_capacity 10，实际值仍以数据库 throttling 配置项为准），
落在 redis 上并改用 Lua 脚本做成原子操作 —— 旧实现自己注明「不是线程安全的」，
而限流要挡的正是并发突发。挂点位置与旧后端一致：比赛权限校验之后、取题目之前。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 01:59:19 -06:00
yuetsh
8c00cdc947 feat(阶段3): oj 侧端点铺开（基线提交，未经评审） 
由外部 agent (Codex) 在本会话额度中断期间完成。原样提交作为基线，
后续修复单独成 commit，便于区分与回退。

覆盖 oj 侧 65 个端点，新增 9 组路由（account/achievement/ai/classroom/
content/contest/flowchart/problemset/site）与对应 Zod 契约。

已核验：tsc --noEmit 退出码 0；API 可启动；/api/problems 返回真实数据；
judge 与 flowchart worker 均 ready。
未核验：权限边界与数据泄露，评审进行中。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-08-07 01:25:36 -06:00