ci: отдельная база для каждого стенда
deploy-staging создаёт роль и БД ветки через staging-db-postgres до docker compose up, cleanup.yaml удаляет их при удалении ветки (гасит стек раньше, иначе DROP DATABASE не пройдёт). POSTGRES_* в compose читаются из .env, куда инструмент пишет доступы. Попутно: DEPLOY_URL стенда из env и в summary, версия сборки — ветка и короткий sha, в проде APP_VERSION берётся из VERSION, health в Caddyfile одной строкой.
This commit is contained in:
1 parent
fc13c66b0d
commit
ae812b0dfa
6 files changed
+62
-42
No files matched your search
@@ -44,8 +44,16 @@ jobs:
|
||||
- name: Check migrations list
|
||||
run: yarn ts-node tools/buildDataSource.ts --check
|
||||
|
||||
- name: Compute version
|
||||
id: version
|
||||
env:
|
||||
REF_NAME: ${{ github.head_ref || github.ref_name }}
|
||||
run: echo "VERSION=$REF_NAME-$(git rev-parse --short HEAD)" >> "$GITHUB_OUTPUT"
|
||||
|
||||
- name: Build
|
||||
run: yarn build
|
||||
env:
|
||||
APP_VERSION: ${{ steps.version.outputs.VERSION }}
|
||||
|
||||
- name: Check data-source
|
||||
run: yarn ts-node tools/checkDataSource.ts
|
||||
@@ -79,6 +87,8 @@ jobs:
|
||||
name: Деплой на стейджинг
|
||||
runs-on: ubuntu-latest
|
||||
needs: build
|
||||
env:
|
||||
DEPLOY_URL: https://${{ github.head_ref || github.ref_name }}.jt4d.jt4d.ru.net
|
||||
steps:
|
||||
- name: Checkout
|
||||
uses: actions/checkout@v4
|
||||
@@ -113,6 +123,7 @@ jobs:
|
||||
# $BRANCH — имя ветки из окружения.
|
||||
sed -i "s/\${BRANCH}/$BRANCH/g" docker-compose.yml
|
||||
docker compose pull --quiet
|
||||
staging-db-postgres create "${{ github.repository }}" "$BRANCH"
|
||||
docker compose down
|
||||
docker compose up -d
|
||||
|
||||
@@ -121,14 +132,11 @@ jobs:
|
||||
# echo "Применение миграций"
|
||||
# docker compose exec -T api node_modules/.bin/typeorm migration:run -t each -d data-source.js
|
||||
|
||||
# Если migration:run упадёт, prune под `set -e` не выполнится —
|
||||
# почистится на следующем деплое.
|
||||
docker system prune -f
|
||||
|
||||
- name: Set deployment status
|
||||
env:
|
||||
BRANCH: ${{ github.head_ref || github.ref_name }}
|
||||
DEPLOY_URL: http://${{ github.head_ref || github.ref_name }}.geo-platform.geo-helm.jt4d.ru.net
|
||||
run: |
|
||||
curl -s -X POST \
|
||||
-H "Authorization: token ${{ secrets.GITHUB_TOKEN }}" \
|
||||
@@ -141,6 +149,9 @@ jobs:
|
||||
}' \
|
||||
"${{ github.server_url }}/api/v1/repos/${{ github.repository }}/statuses/${{ github.sha }}"
|
||||
|
||||
- name: Write stand URL to summary
|
||||
run: echo "**Стенд:** $DEPLOY_URL" >> "$GITHUB_STEP_SUMMARY"
|
||||
|
||||
check:
|
||||
name: Проверка кода
|
||||
runs-on: ubuntu-latest
|
||||
|
||||
@@ -2,12 +2,22 @@ name: Cleanup
|
||||
|
||||
on:
|
||||
delete:
|
||||
pull_request:
|
||||
types: [closed]
|
||||
workflow_dispatch:
|
||||
|
||||
concurrency:
|
||||
group: cleanup-${{ github.event.pull_request.head.ref || github.event.ref || github.ref_name }}
|
||||
|
||||
jobs:
|
||||
cleanup:
|
||||
name: Удаление стенда
|
||||
runs-on: ubuntu-latest
|
||||
if: github.event.ref_type == 'branch'
|
||||
if: >-
|
||||
github.event_name == 'workflow_dispatch' ||
|
||||
(github.event_name == 'delete' && github.event.ref_type == 'branch') ||
|
||||
(github.event_name == 'pull_request' &&
|
||||
github.event.pull_request.head.repo.full_name == github.repository)
|
||||
steps:
|
||||
- name: Удаление стенда
|
||||
uses: appleboy/ssh-action@v1
|
||||
@@ -17,22 +27,25 @@ jobs:
|
||||
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
|
||||
port: ${{ vars.STAGING_PORT }}
|
||||
script: |
|
||||
BRANCH_NAME="${{ github.event.ref }}"
|
||||
set -e
|
||||
BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}"
|
||||
BRANCH_NAME="${BRANCH_NAME#refs/heads/}"
|
||||
DEPLOY_DIR="/home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${BRANCH_NAME}"
|
||||
echo "Deleting stand for branch: ${BRANCH_NAME}"
|
||||
echo $DEPLOY_DIR
|
||||
# Стек гасим до удаления базы: DROP DATABASE не пройдёт при живом подключении api.
|
||||
if [ -d "$DEPLOY_DIR" ]; then
|
||||
cd "$DEPLOY_DIR"
|
||||
docker compose down --rmi all || true
|
||||
cd ..
|
||||
fi
|
||||
staging-db-postgres delete "${{ github.repository }}" "$BRANCH_NAME"
|
||||
cd "$HOME"
|
||||
rm -rf "$DEPLOY_DIR"
|
||||
docker system prune -f
|
||||
fi
|
||||
|
||||
- name: Удаление docker образов
|
||||
run: |
|
||||
BRANCH_NAME="${{ github.event.ref }}"
|
||||
BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}"
|
||||
BRANCH_NAME="${BRANCH_NAME#refs/heads/}"
|
||||
OWNER="${{ github.repository_owner }}"
|
||||
REPO_NAME="${{ github.event.repository.name }}"
|
||||
|
||||
@@ -63,7 +63,7 @@ jobs:
|
||||
- name: Build
|
||||
run: yarn build
|
||||
env:
|
||||
APP_VERSION: ${{ steps.version.outputs.version }}
|
||||
APP_VERSION: ${{ steps.version.outputs.VERSION }}
|
||||
|
||||
- name: Check data-source
|
||||
run: yarn ts-node tools/checkDataSource.ts
|
||||
|
||||
+1
-2
@@ -1,6 +1,5 @@
|
||||
:80 {
|
||||
respond /health 200 {
|
||||
body "OK"
|
||||
respond /health "OK" {
|
||||
close
|
||||
}
|
||||
}
|
||||
|
||||
@@ -5,6 +5,7 @@ services:
|
||||
environment:
|
||||
VIRTUAL_PORT: 80
|
||||
VIRTUAL_HOST: ${BRANCH}.jt4d.jt4d.ru.net
|
||||
LETSENCRYPT_HOST: ${BRANCH}.jt4d.jt4d.ru.net
|
||||
HTTPS_METHOD: noredirect
|
||||
restart: always
|
||||
networks:
|
||||
@@ -14,15 +15,13 @@ services:
|
||||
container_name: jt4d_${BRANCH}_api
|
||||
image: git.jt4d.ru/jt4d/jt4d/api:${BRANCH}
|
||||
environment:
|
||||
# Приложение и typeorm CLI читают только POSTGRES_*; в .env каталога
|
||||
# деплоя переменные исторически называются DB_*. Синтаксис ${X:-}
|
||||
# намеренно необязательный, заданность проверяет ci.yaml (job
|
||||
# deploy-staging, шаг "Deploy via SSH"): docs/90-deploy/10-migrations.md
|
||||
POSTGRES_USER: ${DB_USERNAME:-}
|
||||
POSTGRES_PASSWORD: ${DB_PASSWORD:-}
|
||||
POSTGRES_DB: ${DB_DATABASE:-}
|
||||
POSTGRES_HOST: ${DB_HOST:-}
|
||||
POSTGRES_PORT: ${DB_PORT:-5432}
|
||||
# POSTGRES_* пишет staging-db-postgres в .env каталога деплоя.
|
||||
# Синтаксис ${X:-} намеренно необязательный: ${X:?} валит и pull, и down.
|
||||
POSTGRES_USER: ${POSTGRES_USER:-}
|
||||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-}
|
||||
POSTGRES_DB: ${POSTGRES_DB:-}
|
||||
POSTGRES_HOST: ${POSTGRES_HOST:-}
|
||||
POSTGRES_PORT: ${POSTGRES_PORT:-5432}
|
||||
restart: always
|
||||
networks:
|
||||
- 'net'
|
||||
|
||||
@@ -2,7 +2,7 @@
|
||||
|
||||
Миграции TypeORM применяются **автоматически при деплое** — и на проде (на каждый тег), и на
|
||||
стейджинге (на каждый push/PR); деплой падает, если миграция не прошла. См.
|
||||
[Обязательные переменные `.env` на стейджинг-хосте](#обязательные-переменные-env-на-стейджинг-хосте).
|
||||
[База и переменные `.env` на стейджинг-хосте](#база-и-переменные-env-на-стейджинг-хосте).
|
||||
|
||||
⚠️ Перед первым прод-деплоем убедитесь, что `aigeo_app` имеет права на DDL и что таблица
|
||||
`migrations` согласована со схемой — см. [Права на БД](#права-на-бд). Автоматического бэкапа перед
|
||||
@@ -160,7 +160,7 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на
|
||||
1. `migration:show` (в лог), затем `migration:run -t each` — через `docker compose exec -T api …`.
|
||||
Отдельного ожидания готовности контейнера нет: живой/healthy HTTP-слой NestJS для
|
||||
`typeorm migration:run` не нужен, он идёт отдельным процессом через `data-source.js`. Если
|
||||
контейнер всё же не поднялся (например, при пустых `DB_*`), `docker compose exec` упадёт с
|
||||
контейнер всё же не поднялся (например, при пустых `POSTGRES_*`), `docker compose exec` упадёт с
|
||||
понятной ошибкой сам.
|
||||
2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run`
|
||||
упадёт, под `set -e` prune не выполнится — почистится на следующем деплое.
|
||||
@@ -168,35 +168,33 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на
|
||||
Ненулевой код валит job: у шага стоит `script_stop: true` (штатный механизм `appleboy/ssh-action`),
|
||||
а первой строкой скрипта — `set -e`.
|
||||
|
||||
### Обязательные переменные `.env` на стейджинг-хосте
|
||||
### База и переменные `.env` на стейджинг-хосте
|
||||
|
||||
`docker-compose.staging.yml` берёт креды БД из `.env` в каталоге деплоя (`~/<repo>_<branch>/`) и
|
||||
мапит их в `POSTGRES_*`, которые единственные читают и приложение (`app.module.ts`), и typeorm CLI.
|
||||
Полный список — в [Configuration](20-configuration.md#переменные-окружения-деплоя).
|
||||
Роль и базу стенда создаёт `staging-db-postgres` на стейджинг-хосте — шаг `deploy-staging` в
|
||||
`ci.yaml`, до `docker compose up`:
|
||||
|
||||
Переменные объявлены через `${DB_HOST:-}`, то есть **не** обязательные. Обязательный синтаксис
|
||||
`${DB_HOST:?…}` здесь применять нельзя: он валит любую подкоманду compose, включая `pull` и `down`.
|
||||
Каталог деплоя создаётся заново для каждой новой ветки (его делает `appleboy/scp-action`), `.env`
|
||||
туда не кладёт ни CI, ни кто-либо ещё — обязательные переменные означали бы красный `deploy-staging`
|
||||
на первом же пуше любой новой ветки и невозможность даже погасить полуподнятый стек.
|
||||
```bash
|
||||
staging-db-postgres create <org/project> <branch>
|
||||
```
|
||||
|
||||
Ценой этого при пустых `DB_*` api не подключится к БД, и `docker compose exec … migration:show`
|
||||
упадёт с ошибкой подключения — это и есть сигнал, что в `.env` каталога деплоя не заданы `DB_HOST` /
|
||||
`DB_USERNAME` / `DB_PASSWORD` / `DB_DATABASE`.
|
||||
Имя роли и БД — `<org_project_branch>` после нормализации (всё не-алфанумерическое заменяется на
|
||||
`_`, длиннее 63 байт — обрезается с хешем). Пароль генерируется при первом создании и
|
||||
переиспользуется при повторных деплоях ветки. Доступы инструмент пишет в `.env` каталога деплоя
|
||||
(`~/<repo>_<branch>/`): `POSTGRES_USER`, `POSTGRES_PASSWORD`, `POSTGRES_DB`, `POSTGRES_HOST`,
|
||||
`POSTGRES_PORT`. Те же имена `docker-compose.staging.yml` пробрасывает в api, их единственные читают
|
||||
и приложение (`typeorm.config.ts`), и typeorm CLI. При удалении ветки или закрытии PR — с вливанием
|
||||
или без — `cleanup.yaml` вызывает `staging-db-postgres delete`: удаляются БД, роль и строки
|
||||
`POSTGRES_*` из `.env`.
|
||||
|
||||
⚠️ **Ветки не делят одну базу.** Стейджинг-БД в compose не поднимается, она внешняя и общая по сети
|
||||
`net`. Общая база означает, что миграция из одного PR меняет схему для всех остальных веток и для
|
||||
master, а закрытый без мержа PR оставляет свою миграцию применённой навсегда — автоматического
|
||||
отката нет.
|
||||
В compose переменные объявлены через `${POSTGRES_HOST:-}`, то есть **не** обязательные. Обязательный
|
||||
синтаксис `${POSTGRES_HOST:?…}` здесь применять нельзя: он валит любую подкоманду compose, включая
|
||||
`pull` и `down`, — а полуподнятый стек надо уметь погасить.
|
||||
|
||||
`concurrency.cancel-in-progress` в `ci.yaml` оставлен `true` (в отличие от прода). Группа привязана
|
||||
к ветке, поэтому отменяется только предыдущий прогон той же ветки, а быстрая итерация по PR важнее.
|
||||
Плата реальна: отмена посреди `migration:run -t each` оставит стейджинг-БД частично мигрированной
|
||||
Плата реальна: отмена посреди `migration:run -t each` оставит базу ветки частично мигрированной
|
||||
(лечится повторным прогоном job).
|
||||
|
||||
Кроме того, TypeORM не берёт кросс-процессную блокировку: два одновременных прогона `migration:run`
|
||||
по одной базе (разные PR при общей БД) попытаются применить один и тот же набор.
|
||||
|
||||
## Применение на проде
|
||||
|
||||
Job `deploy-production` в `.gitea/workflows/production.yaml`, блок `Deploy via SSH` (heredoc — не
|
||||
|
||||
Reference in new issue
Block a user