diff --git a/.gitea/workflows/ci.yaml b/.gitea/workflows/ci.yaml index 060642b..a238a5c 100644 --- a/.gitea/workflows/ci.yaml +++ b/.gitea/workflows/ci.yaml @@ -44,8 +44,16 @@ jobs: - name: Check migrations list run: yarn ts-node tools/buildDataSource.ts --check + - name: Compute version + id: version + env: + REF_NAME: ${{ github.head_ref || github.ref_name }} + run: echo "VERSION=$REF_NAME-$(git rev-parse --short HEAD)" >> "$GITHUB_OUTPUT" + - name: Build run: yarn build + env: + APP_VERSION: ${{ steps.version.outputs.VERSION }} - name: Check data-source run: yarn ts-node tools/checkDataSource.ts @@ -79,6 +87,8 @@ jobs: name: Деплой на стейджинг runs-on: ubuntu-latest needs: build + env: + DEPLOY_URL: https://${{ github.head_ref || github.ref_name }}.jt4d.jt4d.ru.net steps: - name: Checkout uses: actions/checkout@v4 @@ -113,6 +123,7 @@ jobs: # $BRANCH — имя ветки из окружения. sed -i "s/\${BRANCH}/$BRANCH/g" docker-compose.yml docker compose pull --quiet + staging-db-postgres create "${{ github.repository }}" "$BRANCH" docker compose down docker compose up -d @@ -121,14 +132,11 @@ jobs: # echo "Применение миграций" # docker compose exec -T api node_modules/.bin/typeorm migration:run -t each -d data-source.js - # Если migration:run упадёт, prune под `set -e` не выполнится — - # почистится на следующем деплое. docker system prune -f - name: Set deployment status env: BRANCH: ${{ github.head_ref || github.ref_name }} - DEPLOY_URL: http://${{ github.head_ref || github.ref_name }}.geo-platform.geo-helm.jt4d.ru.net run: | curl -s -X POST \ -H "Authorization: token ${{ secrets.GITHUB_TOKEN }}" \ @@ -141,6 +149,9 @@ jobs: }' \ "${{ github.server_url }}/api/v1/repos/${{ github.repository }}/statuses/${{ github.sha }}" + - name: Write stand URL to summary + run: echo "**Стенд:** $DEPLOY_URL" >> "$GITHUB_STEP_SUMMARY" + check: name: Проверка кода runs-on: ubuntu-latest diff --git a/.gitea/workflows/cleanup.yaml b/.gitea/workflows/cleanup.yaml index ec78108..cf57bf5 100644 --- a/.gitea/workflows/cleanup.yaml +++ b/.gitea/workflows/cleanup.yaml @@ -2,12 +2,22 @@ name: Cleanup on: delete: + pull_request: + types: [closed] + workflow_dispatch: + +concurrency: + group: cleanup-${{ github.event.pull_request.head.ref || github.event.ref || github.ref_name }} jobs: cleanup: name: Удаление стенда runs-on: ubuntu-latest - if: github.event.ref_type == 'branch' + if: >- + github.event_name == 'workflow_dispatch' || + (github.event_name == 'delete' && github.event.ref_type == 'branch') || + (github.event_name == 'pull_request' && + github.event.pull_request.head.repo.full_name == github.repository) steps: - name: Удаление стенда uses: appleboy/ssh-action@v1 @@ -17,22 +27,25 @@ jobs: key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }} port: ${{ vars.STAGING_PORT }} script: | - BRANCH_NAME="${{ github.event.ref }}" + set -e + BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}" BRANCH_NAME="${BRANCH_NAME#refs/heads/}" DEPLOY_DIR="/home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${BRANCH_NAME}" echo "Deleting stand for branch: ${BRANCH_NAME}" echo $DEPLOY_DIR + # Стек гасим до удаления базы: DROP DATABASE не пройдёт при живом подключении api. if [ -d "$DEPLOY_DIR" ]; then cd "$DEPLOY_DIR" docker compose down --rmi all || true - cd .. - rm -rf "$DEPLOY_DIR" - docker system prune -f fi + staging-db-postgres delete "${{ github.repository }}" "$BRANCH_NAME" + cd "$HOME" + rm -rf "$DEPLOY_DIR" + docker system prune -f - name: Удаление docker образов run: | - BRANCH_NAME="${{ github.event.ref }}" + BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}" BRANCH_NAME="${BRANCH_NAME#refs/heads/}" OWNER="${{ github.repository_owner }}" REPO_NAME="${{ github.event.repository.name }}" diff --git a/.gitea/workflows/production.yaml b/.gitea/workflows/production.yaml index a435632..d4a053f 100644 --- a/.gitea/workflows/production.yaml +++ b/.gitea/workflows/production.yaml @@ -63,7 +63,7 @@ jobs: - name: Build run: yarn build env: - APP_VERSION: ${{ steps.version.outputs.version }} + APP_VERSION: ${{ steps.version.outputs.VERSION }} - name: Check data-source run: yarn ts-node tools/checkDataSource.ts diff --git a/apps/web/Caddyfile b/apps/web/Caddyfile index 6292369..511cb03 100644 --- a/apps/web/Caddyfile +++ b/apps/web/Caddyfile @@ -1,6 +1,5 @@ :80 { - respond /health 200 { - body "OK" + respond /health "OK" { close } } diff --git a/docker-compose.staging.yml b/docker-compose.staging.yml index e461a4b..ac54f55 100644 --- a/docker-compose.staging.yml +++ b/docker-compose.staging.yml @@ -5,6 +5,7 @@ services: environment: VIRTUAL_PORT: 80 VIRTUAL_HOST: ${BRANCH}.jt4d.jt4d.ru.net + LETSENCRYPT_HOST: ${BRANCH}.jt4d.jt4d.ru.net HTTPS_METHOD: noredirect restart: always networks: @@ -14,15 +15,13 @@ services: container_name: jt4d_${BRANCH}_api image: git.jt4d.ru/jt4d/jt4d/api:${BRANCH} environment: - # Приложение и typeorm CLI читают только POSTGRES_*; в .env каталога - # деплоя переменные исторически называются DB_*. Синтаксис ${X:-} - # намеренно необязательный, заданность проверяет ci.yaml (job - # deploy-staging, шаг "Deploy via SSH"): docs/90-deploy/10-migrations.md - POSTGRES_USER: ${DB_USERNAME:-} - POSTGRES_PASSWORD: ${DB_PASSWORD:-} - POSTGRES_DB: ${DB_DATABASE:-} - POSTGRES_HOST: ${DB_HOST:-} - POSTGRES_PORT: ${DB_PORT:-5432} + # POSTGRES_* пишет staging-db-postgres в .env каталога деплоя. + # Синтаксис ${X:-} намеренно необязательный: ${X:?} валит и pull, и down. + POSTGRES_USER: ${POSTGRES_USER:-} + POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:-} + POSTGRES_DB: ${POSTGRES_DB:-} + POSTGRES_HOST: ${POSTGRES_HOST:-} + POSTGRES_PORT: ${POSTGRES_PORT:-5432} restart: always networks: - 'net' diff --git a/docs/90-deploy/10-migrations.md b/docs/90-deploy/10-migrations.md index c041dd1..a6a4e01 100644 --- a/docs/90-deploy/10-migrations.md +++ b/docs/90-deploy/10-migrations.md @@ -2,7 +2,7 @@ Миграции TypeORM применяются **автоматически при деплое** — и на проде (на каждый тег), и на стейджинге (на каждый push/PR); деплой падает, если миграция не прошла. См. -[Обязательные переменные `.env` на стейджинг-хосте](#обязательные-переменные-env-на-стейджинг-хосте). +[База и переменные `.env` на стейджинг-хосте](#база-и-переменные-env-на-стейджинг-хосте). ⚠️ Перед первым прод-деплоем убедитесь, что `aigeo_app` имеет права на DDL и что таблица `migrations` согласована со схемой — см. [Права на БД](#права-на-бд). Автоматического бэкапа перед @@ -160,7 +160,7 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на 1. `migration:show` (в лог), затем `migration:run -t each` — через `docker compose exec -T api …`. Отдельного ожидания готовности контейнера нет: живой/healthy HTTP-слой NestJS для `typeorm migration:run` не нужен, он идёт отдельным процессом через `data-source.js`. Если - контейнер всё же не поднялся (например, при пустых `DB_*`), `docker compose exec` упадёт с + контейнер всё же не поднялся (например, при пустых `POSTGRES_*`), `docker compose exec` упадёт с понятной ошибкой сам. 2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run` упадёт, под `set -e` prune не выполнится — почистится на следующем деплое. @@ -168,35 +168,33 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на Ненулевой код валит job: у шага стоит `script_stop: true` (штатный механизм `appleboy/ssh-action`), а первой строкой скрипта — `set -e`. -### Обязательные переменные `.env` на стейджинг-хосте +### База и переменные `.env` на стейджинг-хосте -`docker-compose.staging.yml` берёт креды БД из `.env` в каталоге деплоя (`~/_/`) и -мапит их в `POSTGRES_*`, которые единственные читают и приложение (`app.module.ts`), и typeorm CLI. -Полный список — в [Configuration](20-configuration.md#переменные-окружения-деплоя). +Роль и базу стенда создаёт `staging-db-postgres` на стейджинг-хосте — шаг `deploy-staging` в +`ci.yaml`, до `docker compose up`: -Переменные объявлены через `${DB_HOST:-}`, то есть **не** обязательные. Обязательный синтаксис -`${DB_HOST:?…}` здесь применять нельзя: он валит любую подкоманду compose, включая `pull` и `down`. -Каталог деплоя создаётся заново для каждой новой ветки (его делает `appleboy/scp-action`), `.env` -туда не кладёт ни CI, ни кто-либо ещё — обязательные переменные означали бы красный `deploy-staging` -на первом же пуше любой новой ветки и невозможность даже погасить полуподнятый стек. +```bash +staging-db-postgres create +``` -Ценой этого при пустых `DB_*` api не подключится к БД, и `docker compose exec … migration:show` -упадёт с ошибкой подключения — это и есть сигнал, что в `.env` каталога деплоя не заданы `DB_HOST` / -`DB_USERNAME` / `DB_PASSWORD` / `DB_DATABASE`. +Имя роли и БД — `` после нормализации (всё не-алфанумерическое заменяется на +`_`, длиннее 63 байт — обрезается с хешем). Пароль генерируется при первом создании и +переиспользуется при повторных деплоях ветки. Доступы инструмент пишет в `.env` каталога деплоя +(`~/_/`): `POSTGRES_USER`, `POSTGRES_PASSWORD`, `POSTGRES_DB`, `POSTGRES_HOST`, +`POSTGRES_PORT`. Те же имена `docker-compose.staging.yml` пробрасывает в api, их единственные читают +и приложение (`typeorm.config.ts`), и typeorm CLI. При удалении ветки или закрытии PR — с вливанием +или без — `cleanup.yaml` вызывает `staging-db-postgres delete`: удаляются БД, роль и строки +`POSTGRES_*` из `.env`. -⚠️ **Ветки не делят одну базу.** Стейджинг-БД в compose не поднимается, она внешняя и общая по сети -`net`. Общая база означает, что миграция из одного PR меняет схему для всех остальных веток и для -master, а закрытый без мержа PR оставляет свою миграцию применённой навсегда — автоматического -отката нет. +В compose переменные объявлены через `${POSTGRES_HOST:-}`, то есть **не** обязательные. Обязательный +синтаксис `${POSTGRES_HOST:?…}` здесь применять нельзя: он валит любую подкоманду compose, включая +`pull` и `down`, — а полуподнятый стек надо уметь погасить. `concurrency.cancel-in-progress` в `ci.yaml` оставлен `true` (в отличие от прода). Группа привязана к ветке, поэтому отменяется только предыдущий прогон той же ветки, а быстрая итерация по PR важнее. -Плата реальна: отмена посреди `migration:run -t each` оставит стейджинг-БД частично мигрированной +Плата реальна: отмена посреди `migration:run -t each` оставит базу ветки частично мигрированной (лечится повторным прогоном job). -Кроме того, TypeORM не берёт кросс-процессную блокировку: два одновременных прогона `migration:run` -по одной базе (разные PR при общей БД) попытаются применить один и тот же набор. - ## Применение на проде Job `deploy-production` в `.gitea/workflows/production.yaml`, блок `Deploy via SSH` (heredoc — не