From a00622be1503370fbb387cc824af446b3939bfc9 Mon Sep 17 00:00:00 2001 From: yuetsh <517252939@qq.com> Date: Thu, 22 Oct 2026 16:41:50 +0800 Subject: [PATCH] =?UTF-8?q?=E9=83=A8=E7=BD=B2=E6=94=B9=E4=B8=BA=E5=9C=A8?= =?UTF-8?q?=E6=9C=8D=E5=8A=A1=E5=99=A8=E4=B8=8A=E6=9E=84=E5=BB=BA=EF=BC=9A?= =?UTF-8?q?Actions=20=E6=B5=8B=E8=AF=95=E9=80=9A=E8=BF=87=E5=90=8E=20SSH?= =?UTF-8?q?=20=E6=89=A7=E8=A1=8C=20deploy/update.sh?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 跨境上传 130 MB 镜像 40 分钟没传完。改为服务器从 origin（git.xuyue.cc）拉代码、 构建镜像、重启，等编译服务就绪；提交还没到 origin 时等待重试。 部署任务加 20 分钟超时，SSH 认证失败立即报错。去掉 deploy/deploy.sh。 Co-Authored-By: Claude Opus 5.5 --- .github/workflows/ci.yml | 29 ++++++-------------- README.md | 2 +- deploy/README.md | 37 ++++++++++++++++--------- deploy/deploy.sh | 57 --------------------------------------- deploy/update.sh | 58 ++++++++++++++++++++++++++++++++++++++++ docs/设计方案.md | 2 +- 6 files changed, 93 insertions(+), 92 deletions(-) delete mode 100755 deploy/deploy.sh create mode 100755 deploy/update.sh diff --git a/.github/workflows/ci.yml b/.github/workflows/ci.yml index 53d2fa5..3712fcf 100644 --- a/.github/workflows/ci.yml +++ b/.github/workflows/ci.yml @@ -1,4 +1,4 @@ -# 每次推送和 PR 都跑测试；推送到 main 且测试通过后，构建镜像并经 SSH 部署到服务器。 +# 每次推送和 PR 都跑测试；推送到 main 且测试通过后，SSH 到服务器执行 deploy/update.sh（服务器从 origin 拉代码、构建、重启）。 # 部署需要的 Secrets 见 deploy/README.md 的"自动部署"一节。 # 只在 github.com 上运行；仓库同时推到 git.xuyue.cc，那边的 Gitea Actions 也会读这个目录，用 if 跳过。 name: CI/CD @@ -51,6 +51,8 @@ jobs: needs: test if: github.server_url == 'https://github.com' && github.ref == 'refs/heads/main' && github.event_name != 'pull_request' runs-on: ubuntu-24.04 + # 服务器构建约几分钟；卡住时及时失败，不要一直占着 + timeout-minutes: 20 # 连续推送时排队部署，不会两次部署同时进行 concurrency: group: deploy @@ -69,22 +71,6 @@ jobs: echo "::notice::没有配置 DEPLOY_HOST 等 Secrets，跳过部署（配置方法见 deploy/README.md）" fi - - uses: actions/checkout@v4 - if: steps.check.outputs.configured == 'true' - - - uses: docker/setup-buildx-action@v3 - if: steps.check.outputs.configured == 'true' - - - name: 构建镜像（带缓存） - if: steps.check.outputs.configured == 'true' - uses: docker/build-push-action@v6 - with: - context: . - load: true - tags: iot-sim:latest - cache-from: type=gha - cache-to: type=gha,mode=max - - name: 配置 SSH if: steps.check.outputs.configured == 'true' env: @@ -105,11 +91,12 @@ jobs: IdentitiesOnly yes # 不预先登记服务器公钥，第一次连接时自动接受 StrictHostKeyChecking accept-new + # 认证失败立即报错，不等输入密码 + BatchMode yes + ConnectTimeout 30 ServerAliveInterval 30 EOF - - name: 部署 + - name: 部署（在服务器上拉代码、构建、重启） if: steps.check.outputs.configured == 'true' - env: - SKIP_BUILD: '1' - run: deploy/deploy.sh deploy-target "${{ vars.DEPLOY_DIR || 'IOT_SIM' }}" + run: ssh deploy-target "cd ${{ vars.DEPLOY_DIR || 'IOT_SIM' }} && deploy/update.sh ${{ github.sha }}" diff --git a/README.md b/README.md index 20f9228..e4eeef4 100644 --- a/README.md +++ b/README.md @@ -37,7 +37,7 @@ bun test/load.ts 100 # 压力测试：同时运行 100 个学生程序 ## 部署 -Docker Compose，HTTPS 由服务器上的 Nginx Proxy Manager 负责。推送到 GitHub 的 main 后，GitHub Actions 跑完测试自动部署；也可以在开发机执行 `deploy/deploy.sh 用户@服务器`。详见 [deploy/README.md](deploy/README.md)。 +Docker Compose，HTTPS 由服务器上的 Nginx Proxy Manager 负责。推送到 GitHub 的 main 后，GitHub Actions 跑完测试，SSH 到服务器执行 `deploy/update.sh`：服务器从 git.xuyue.cc 拉代码、构建镜像、重启。详见 [deploy/README.md](deploy/README.md)。 ## 运行器的两种模式 diff --git a/deploy/README.md b/deploy/README.md index d0de401..f9d3549 100644 --- a/deploy/README.md +++ b/deploy/README.md @@ -26,44 +26,57 @@ ## 第一次部署 -1. 在服务器上准备目录和口令： +服务器上的 `~/IOT_SIM` 是从 origin（git.xuyue.cc）克隆的仓库，镜像在服务器上构建；配置只放在 `.env`（不进 git）。 + +1. 服务器要能拉取 origin：仓库是私有的话，在服务器上生成一把密钥（`ssh-keygen -t ed25519`），把公钥加到 git.xuyue.cc 仓库的部署密钥（只读）里。 + +2. 克隆仓库，准备口令： ```bash - mkdir -p ~/IOT_SIM && cd ~/IOT_SIM - # 部署脚本会上传 .env.example；也可以直接新建 .env： + git clone git@git.xuyue.cc:xuyue/IOT_SIM.git ~/IOT_SIM + cd ~/IOT_SIM echo 'ACCESS_PASSWORD=换成你的口令' > .env chmod 600 .env ``` -2. 在本机（开发机）执行： + `~/IOT_SIM` 已经存在（比如以前用脚本上传过文件）时，就地变成仓库，已有的 `.env` 会保留： ```bash - deploy/deploy.sh 用户@服务器 + cd ~/IOT_SIM + git init -q && git remote add origin git@git.xuyue.cc:xuyue/IOT_SIM.git + git fetch origin && git checkout -f -B main origin/main ``` - 脚本在本机构建镜像，通过 ssh 传到服务器并启动。日志最后应看到"C# 编译服务已就绪"，且没有"沙箱无法启动"。 +3. 构建并启动： -3. 在 Nginx Proxy Manager 里添加 Proxy Host： + ```bash + deploy/update.sh + ``` + + 拉取代码、构建镜像（第一次要下载 .NET SDK、Bun 等镜像和依赖，之后有缓存）、启动，最后应看到"部署成功"。 + +4. 在 Nginx Proxy Manager 里添加 Proxy Host： - Domain Names：已备案的域名 - Scheme：`http`，Forward Hostname / IP：`iot-sim`，Forward Port：`80` - **打开 Websockets Support**（运行程序靠 WebSocket，不打开会一直连不上） - SSL：申请证书，打开 Force SSL -4. 浏览器打开域名，输入口令进入。 +5. 浏览器打开域名，输入口令进入。 ## 自动部署（GitHub Actions） `.github/workflows/ci.yml`： - 每次推送和 PR：编译 C# 运行时，跑服务端测试（含沙箱）、网页端测试和类型检查。 -- 推送到 GitHub 的 main 且测试通过：构建镜像，经 SSH 传到服务器并重启，等到"编译服务已就绪"才算成功。**重启会结束正在运行的学生程序**，上课时间尽量不要推送 main。 +- 推送到 GitHub 的 main 且测试通过：SSH 到服务器执行 `deploy/update.sh <提交号>`，服务器从 origin 拉代码、构建、重启，等到"编译服务已就绪"才算成功。**重启会结束正在运行的学生程序**，上课时间尽量不要推送 main。 +- 服务器从 origin 拉代码，所以**两个仓库都要推送**（`git push origin main`、`git push github main`）。GitHub 先到时，脚本会等 origin 最多约 100 秒。 - 在 GitHub 的 Actions 页面点 Run workflow 可以手动重新部署。 - 只在 github.com 上运行；推到 git.xuyue.cc 不会触发。 一次性配置（在本机执行，需要已登录的 `gh`）： -1. 服务器上的部署用户要能运行 docker（在 docker 组里），并按上面"第一次部署"第 1 步准备好 `~/IOT_SIM/.env`。 -2. 生成部署专用的 SSH 密钥，公钥放到服务器，私钥和服务器信息存进仓库 Secrets： +1. 服务器上的部署用户要能运行 docker（在 docker 组里），并按上面"第一次部署"准备好 `~/IOT_SIM`。 +2. 生成部署专用的 SSH 密钥（GitHub Actions 用它登录服务器），公钥放到服务器，私钥和服务器信息存进仓库 Secrets： ```bash ssh-keygen -t ed25519 -N '' -C iot-sim-deploy -f /tmp/iot_deploy @@ -82,7 +95,7 @@ | 做什么 | 命令 | |---|---| -| 更新到新版本 | 推送到 GitHub 的 main（自动部署），或在本机执行 `deploy/deploy.sh 用户@服务器` | +| 更新到新版本 | 推送到两个仓库的 main（GitHub 测试通过后自动部署），或在服务器上执行 `deploy/update.sh` | | 换口令 | 修改 `.env` 后 `docker compose up -d`（所有人要重新输入口令） | | 看日志 | `docker compose logs -f app` | | 看资源占用 | `docker stats` | diff --git a/deploy/deploy.sh b/deploy/deploy.sh deleted file mode 100755 index 88c9b56..0000000 --- a/deploy/deploy.sh +++ /dev/null @@ -1,57 +0,0 @@ -#!/usr/bin/env bash -# 构建镜像，传到服务器后启动（服务器不需要访问 Docker Hub，也不用自己编译）。 -# 本机手动部署和 GitHub Actions 自动部署都用这个脚本。 -# 用法：deploy/deploy.sh 用户@服务器 [服务器上的目录，默认 ~/IOT_SIM] -# SKIP_BUILD=1 时不构建，直接用已有的 iot-sim:latest 镜像（Actions 里已带缓存构建好） -# 第一次部署前，先按 deploy/README.md 在服务器上准备好 .env -set -euo pipefail - -host=${1:?用法：deploy/deploy.sh 用户@服务器 [目录]} -dir=${2:-IOT_SIM} -cd "$(dirname "$0")/.." - -if [[ -z "${SKIP_BUILD:-}" ]]; then - echo "== 构建镜像" - docker compose build app -fi -docker pull -q caddy:2-alpine - -echo "== 上传配置文件到 $host:$dir" -ssh "$host" "mkdir -p $dir/deploy" -scp -q compose.yaml .env.example "$host:$dir/" -scp -q deploy/Caddyfile "$host:$dir/deploy/" - -echo "== 上传镜像（约 130 MB）" -docker save iot-sim:latest | gzip -1 | ssh "$host" 'gunzip | docker load' -if ! ssh "$host" 'docker image inspect caddy:2-alpine >/dev/null 2>&1'; then - docker save caddy:2-alpine | gzip -1 | ssh "$host" 'gunzip | docker load' -fi - -echo "== 启动" -ssh "$host" bash -s -- "$dir" <<'EOF' -set -euo pipefail -cd "$1" -if [[ ! -f .env ]]; then - echo '服务器上还没有 .env：cp .env.example .env 后设置 ACCESS_PASSWORD' - exit 1 -fi -docker compose up -d --no-build --remove-orphans -docker image prune -f >/dev/null - -# 等编译服务就绪；沙箱自检失败时部署算失败 -for _ in $(seq 60); do - logs=$(docker compose logs app 2>&1) - if grep -q '沙箱（bubblewrap）无法启动' <<<"$logs"; then - echo "$logs" | tail -5 - exit 1 - fi - if grep -q 'C# 编译服务已就绪' <<<"$logs"; then - echo '== 部署成功' - exit 0 - fi - sleep 2 -done -echo '== 120 秒内没有启动完成' -docker compose logs --tail 20 app -exit 1 -EOF diff --git a/deploy/update.sh b/deploy/update.sh new file mode 100755 index 0000000..6b07c1c --- /dev/null +++ b/deploy/update.sh @@ -0,0 +1,58 @@ +#!/usr/bin/env bash +# 在服务器上执行：拉取代码、构建镜像、重启，等到编译服务就绪才算成功。 +# GitHub Actions 测试通过后通过 SSH 调用它，也可以登录服务器手动执行。 +# 用法：deploy/update.sh [提交号，默认 origin/main] +# 第一次部署前，按 deploy/README.md 在服务器上克隆仓库、准备好 .env +set -euo pipefail + +# 整个脚本包在函数里：git reset 会在运行中替换本文件，bash 先读完函数再执行，不受影响 +main() { + cd "$(dirname "$0")/.." + local ref=${1:-origin/main} + + if [[ ! -f .env ]]; then + echo '还没有 .env：cp .env.example .env 后设置 ACCESS_PASSWORD' + exit 1 + fi + + echo "== 拉取代码" + # 代码从 origin（git.xuyue.cc）拉取。Actions 由推送到 GitHub 触发， + # 两个仓库推送有先后，这个提交可能还没到 origin，多等一会儿 + for attempt in $(seq 10); do + git fetch --quiet origin + if git rev-parse --quiet --verify "$ref^{commit}" >/dev/null; then break; fi + if [[ $attempt == 10 ]]; then + echo "origin 上没有 $ref：先 git push origin main，再重新运行部署" + exit 1 + fi + echo "origin 上还没有 $ref，10 秒后重试" + sleep 10 + done + # 服务器上不改代码，配置都在 .env（不进 git，不受影响） + git checkout --quiet -B main + git reset --quiet --hard "$ref" + git log --oneline -1 + + echo "== 构建镜像并重启" + docker compose up -d --build --remove-orphans + docker image prune -f >/dev/null + + # 等编译服务就绪；沙箱自检失败时部署失败 + for _ in $(seq 60); do + logs=$(docker compose logs app 2>&1) + if grep -q '沙箱（bubblewrap）无法启动' <<<"$logs"; then + echo "$logs" | tail -5 + exit 1 + fi + if grep -q 'C# 编译服务已就绪' <<<"$logs"; then + echo '== 部署成功' + exit 0 + fi + sleep 2 + done + echo '== 120 秒内没有启动完成' + docker compose logs --tail 20 app + exit 1 +} + +main "$@" diff --git a/docs/设计方案.md b/docs/设计方案.md index c7617ba..6324b1d 100644 --- a/docs/设计方案.md +++ b/docs/设计方案.md @@ -174,7 +174,7 @@ IOT/ | 部署 | 沙箱 | bubblewrap：每次运行一个独立命名空间（断网、只读、看不到其他进程），加 .NET 堆上限、CPU 时间上限 | | 部署 | HTTPS | Nginx Proxy Manager（服务器上已有），经外部网络 `npm_proxy` 转发 | | 部署 | 反向代理 / 压缩 | Caddy（只收 HTTP），网页文件由 Bun 直接提供 | -| 部署 | 进程管理 | Docker Compose；镜像在开发机构建后经 ssh 传到服务器（`deploy/deploy.sh`） | +| 部署 | 进程管理 | Docker Compose；GitHub Actions 测试通过后 SSH 到服务器，服务器从 git.xuyue.cc 拉代码并构建（`deploy/update.sh`）。不从国外传镜像：跨境上传 130 MB 镜像 40 分钟传不完 | | 部署 | 备份 | 计划：定时 `sqlite3 .backup` + 异地拷贝 | ## 安全与服务器资源