ci: отдельная база для каждого стенда

deploy-staging создаёт роль и БД ветки через staging-db-postgres до
docker compose up, cleanup.yaml удаляет их при удалении ветки (гасит
стек раньше, иначе DROP DATABASE не пройдёт). POSTGRES_* в compose
читаются из .env, куда инструмент пишет доступы.

Попутно: DEPLOY_URL стенда из env и в summary, версия сборки — ветка и
короткий sha, в проде APP_VERSION берётся из VERSION, health в Caddyfile
одной строкой.
This commit is contained in:
arswarog committed 2026-10-29 14:59:51 +03:00
1 parent fc13c66b0d
commit ae812b0dfa
6 files changed
+62 -42

No files matched your search

+14 -3
View File
@@ -44,8 +44,16 @@ jobs:
- name: Check migrations list
run: yarn ts-node tools/buildDataSource.ts --check
- name: Compute version
id: version
env:
REF_NAME: ${{ github.head_ref || github.ref_name }}
run: echo "VERSION=$REF_NAME-$(git rev-parse --short HEAD)" >> "$GITHUB_OUTPUT"
- name: Build
run: yarn build
env:
APP_VERSION: ${{ steps.version.outputs.VERSION }}
- name: Check data-source
run: yarn ts-node tools/checkDataSource.ts
@@ -79,6 +87,8 @@ jobs:
name: Деплой на стейджинг
runs-on: ubuntu-latest
needs: build
env:
DEPLOY_URL: https://${{ github.head_ref || github.ref_name }}.jt4d.jt4d.ru.net
steps:
- name: Checkout
uses: actions/checkout@v4
@@ -113,6 +123,7 @@ jobs:
# $BRANCH — имя ветки из окружения.
sed -i "s/\${BRANCH}/$BRANCH/g" docker-compose.yml
docker compose pull --quiet
staging-db-postgres create "${{ github.repository }}" "$BRANCH"
docker compose down
docker compose up -d
@@ -121,14 +132,11 @@ jobs:
# echo "Применение миграций"
# docker compose exec -T api node_modules/.bin/typeorm migration:run -t each -d data-source.js
# Если migration:run упадёт, prune под `set -e` не выполнится —
# почистится на следующем деплое.
docker system prune -f
- name: Set deployment status
env:
BRANCH: ${{ github.head_ref || github.ref_name }}
DEPLOY_URL: http://${{ github.head_ref || github.ref_name }}.geo-platform.geo-helm.jt4d.ru.net
run: |
curl -s -X POST \
-H "Authorization: token ${{ secrets.GITHUB_TOKEN }}" \
@@ -141,6 +149,9 @@ jobs:
}' \
"${{ github.server_url }}/api/v1/repos/${{ github.repository }}/statuses/${{ github.sha }}"
- name: Write stand URL to summary
run: echo "**Стенд:** $DEPLOY_URL" >> "$GITHUB_STEP_SUMMARY"
check:
name: Проверка кода
runs-on: ubuntu-latest
+18 -5
View File
@@ -2,12 +2,22 @@ name: Cleanup
on:
delete:
pull_request:
types: [closed]
workflow_dispatch:
concurrency:
group: cleanup-${{ github.event.pull_request.head.ref || github.event.ref || github.ref_name }}
jobs:
cleanup:
name: Удаление стенда
runs-on: ubuntu-latest
if: github.event.ref_type == 'branch'
if: >-
github.event_name == 'workflow_dispatch' ||
(github.event_name == 'delete' && github.event.ref_type == 'branch') ||
(github.event_name == 'pull_request' &&
github.event.pull_request.head.repo.full_name == github.repository)
steps:
- name: Удаление стенда
uses: appleboy/ssh-action@v1
@@ -17,22 +27,25 @@ jobs:
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
port: ${{ vars.STAGING_PORT }}
script: |
BRANCH_NAME="${{ github.event.ref }}"
set -e
BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}"
BRANCH_NAME="${BRANCH_NAME#refs/heads/}"
DEPLOY_DIR="/home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${BRANCH_NAME}"
echo "Deleting stand for branch: ${BRANCH_NAME}"
echo $DEPLOY_DIR
# Стек гасим до удаления базы: DROP DATABASE не пройдёт при живом подключении api.
if [ -d "$DEPLOY_DIR" ]; then
cd "$DEPLOY_DIR"
docker compose down --rmi all || true
cd ..
fi
staging-db-postgres delete "${{ github.repository }}" "$BRANCH_NAME"
cd "$HOME"
rm -rf "$DEPLOY_DIR"
docker system prune -f
fi
- name: Удаление docker образов
run: |
BRANCH_NAME="${{ github.event.ref }}"
BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}"
BRANCH_NAME="${BRANCH_NAME#refs/heads/}"
OWNER="${{ github.repository_owner }}"
REPO_NAME="${{ github.event.repository.name }}"
+1 -1
View File
@@ -63,7 +63,7 @@ jobs:
- name: Build
run: yarn build
env:
APP_VERSION: ${{ steps.version.outputs.version }}
APP_VERSION: ${{ steps.version.outputs.VERSION }}
- name: Check data-source
run: yarn ts-node tools/checkDataSource.ts
+1 -2
View File
@@ -1,6 +1,5 @@
:80 {
respond /health 200 {
body "OK"
respond /health "OK" {
close
}
}
+8 -9
View File
@@ -5,6 +5,7 @@ services:
environment:
VIRTUAL_PORT: 80
VIRTUAL_HOST: ${BRANCH}.jt4d.jt4d.ru.net
LETSENCRYPT_HOST: ${BRANCH}.jt4d.jt4d.ru.net
HTTPS_METHOD: noredirect
restart: always
networks:
@@ -14,15 +15,13 @@ services:
container_name: jt4d_${BRANCH}_api
image: git.jt4d.ru/jt4d/jt4d/api:${BRANCH}
environment:
# Приложение и typeorm CLI читают только POSTGRES_*; в .env каталога
# деплоя переменные исторически называются DB_*. Синтаксис ${X:-}
# намеренно необязательный, заданность проверяет ci.yaml (job
# deploy-staging, шаг "Deploy via SSH"): docs/90-deploy/10-migrations.md
POSTGRES_USER: ${DB_USERNAME:-}
POSTGRES_PASSWORD: ${DB_PASSWORD:-}
POSTGRES_DB: ${DB_DATABASE:-}
POSTGRES_HOST: ${DB_HOST:-}
POSTGRES_PORT: ${DB_PORT:-5432}
# POSTGRES_* пишет staging-db-postgres в .env каталога деплоя.
# Синтаксис ${X:-} намеренно необязательный: ${X:?} валит и pull, и down.
POSTGRES_USER: ${POSTGRES_USER:-}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-}
POSTGRES_DB: ${POSTGRES_DB:-}
POSTGRES_HOST: ${POSTGRES_HOST:-}
POSTGRES_PORT: ${POSTGRES_PORT:-5432}
restart: always
networks:
- 'net'
+20 -22
View File
@@ -2,7 +2,7 @@
Миграции TypeORM применяются **автоматически при деплое** — и на проде (на каждый тег), и на
стейджинге (на каждый push/PR); деплой падает, если миграция не прошла. См.
[Обязательные переменные `.env` на стейджинг-хосте](#обязательные-переменные-env-на-стейджинг-хосте).
[База и переменные `.env` на стейджинг-хосте](#база-и-переменные-env-на-стейджинг-хосте).
⚠️ Перед первым прод-деплоем убедитесь, что `aigeo_app` имеет права на DDL и что таблица
`migrations` согласована со схемой — см. [Права на БД](#права-на-бд). Автоматического бэкапа перед
@@ -160,7 +160,7 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на
1. `migration:show` (в лог), затем `migration:run -t each` — через `docker compose exec -T api …`.
Отдельного ожидания готовности контейнера нет: живой/healthy HTTP-слой NestJS для
`typeorm migration:run` не нужен, он идёт отдельным процессом через `data-source.js`. Если
контейнер всё же не поднялся (например, при пустых `DB_*`), `docker compose exec` упадёт с
контейнер всё же не поднялся (например, при пустых `POSTGRES_*`), `docker compose exec` упадёт с
понятной ошибкой сам.
2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run`
упадёт, под `set -e` prune не выполнится — почистится на следующем деплое.
@@ -168,35 +168,33 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на
Ненулевой код валит job: у шага стоит `script_stop: true` (штатный механизм `appleboy/ssh-action`),
а первой строкой скрипта — `set -e`.
### Обязательные переменные `.env` на стейджинг-хосте
### База и переменные `.env` на стейджинг-хосте
`docker-compose.staging.yml` берёт креды БД из `.env` в каталоге деплоя (`~/<repo>_<branch>/`) и
мапит их в `POSTGRES_*`, которые единственные читают и приложение (`app.module.ts`), и typeorm CLI.
Полный список — в [Configuration](20-configuration.md#переменные-окружения-деплоя).
Роль и базу стенда создаёт `staging-db-postgres` на стейджинг-хосте — шаг `deploy-staging` в
`ci.yaml`, до `docker compose up`:
Переменные объявлены через `${DB_HOST:-}`, то есть **не** обязательные. Обязательный синтаксис
`${DB_HOST:?…}` здесь применять нельзя: он валит любую подкоманду compose, включая `pull` и `down`.
Каталог деплоя создаётся заново для каждой новой ветки (его делает `appleboy/scp-action`), `.env`
туда не кладёт ни CI, ни кто-либо ещё — обязательные переменные означали бы красный `deploy-staging`
на первом же пуше любой новой ветки и невозможность даже погасить полуподнятый стек.
```bash
staging-db-postgres create <org/project> <branch>
```
Ценой этого при пустых `DB_*` api не подключится к БД, и `docker compose exec … migration:show`
упадёт с ошибкой подключения — это и есть сигнал, что в `.env` каталога деплоя не заданы `DB_HOST` /
`DB_USERNAME` / `DB_PASSWORD` / `DB_DATABASE`.
Имя роли и БД — `<org_project_branch>` после нормализации (всё не-алфанумерическое заменяется на
`_`, длиннее 63 байт — обрезается с хешем). Пароль генерируется при первом создании и
переиспользуется при повторных деплоях ветки. Доступы инструмент пишет в `.env` каталога деплоя
(`~/<repo>_<branch>/`): `POSTGRES_USER`, `POSTGRES_PASSWORD`, `POSTGRES_DB`, `POSTGRES_HOST`,
`POSTGRES_PORT`. Те же имена `docker-compose.staging.yml` пробрасывает в api, их единственные читают
и приложение (`typeorm.config.ts`), и typeorm CLI. При удалении ветки или закрытии PR — с вливанием
или без — `cleanup.yaml` вызывает `staging-db-postgres delete`: удаляются БД, роль и строки
`POSTGRES_*` из `.env`.
⚠️ **Ветки не делят одну базу.** Стейджинг-БД в compose не поднимается, она внешняя и общая по сети
`net`. Общая база означает, что миграция из одного PR меняет схему для всех остальных веток и для
master, а закрытый без мержа PR оставляет свою миграцию применённой навсегда — автоматического
отката нет.
В compose переменные объявлены через `${POSTGRES_HOST:-}`, то есть **не** обязательные. Обязательный
синтаксис `${POSTGRES_HOST:?…}` здесь применять нельзя: он валит любую подкоманду compose, включая
`pull` и `down`, — а полуподнятый стек надо уметь погасить.
`concurrency.cancel-in-progress` в `ci.yaml` оставлен `true` (в отличие от прода). Группа привязана
к ветке, поэтому отменяется только предыдущий прогон той же ветки, а быстрая итерация по PR важнее.
Плата реальна: отмена посреди `migration:run -t each` оставит стейджинг-БД частично мигрированной
Плата реальна: отмена посреди `migration:run -t each` оставит базу ветки частично мигрированной
(лечится повторным прогоном job).
Кроме того, TypeORM не берёт кросс-процессную блокировку: два одновременных прогона `migration:run`
по одной базе (разные PR при общей БД) попытаются применить один и тот же набор.
## Применение на проде
Job `deploy-production` в `.gitea/workflows/production.yaml`, блок `Deploy via SSH` (heredoc — не