ci: перенос миграций к модулям, деплой стендов через jt4d-lab/ssh-action и caddy-лейблы

- миграции лежат по модулям в `apps/api/src/<module>/migrations/`; `tools/buildDataSource.ts`
  сканирует `apps/api/src/**/migrations/` и генерирует список в `apps/api/src/migrations.ts`
- `deploy-staging` накатывает миграции шагами `migration:show` и `migration:run -t each`
- стенды получают маршрутизацию через лейблы `caddy` и `caddy.reverse_proxy`, web-образ стенда
  собирается с `CADDYFILE=Caddyfile.staging`

## Мотивация

Миграции нужно накатывать на стендах автоматически и держать рядом с модулем, которому они
принадлежат, а деплой — сводить к одному шагу, который сам копирует компоуз-файл на хост и выполняет
скрипт.

## Ключевые моменты реализации

- `Caddyfile.staging` слушает `:80` без хостового матчера и HTTPS: имена стендов динамические,
  маршрутизацию и TLS берёт внешний caddy-docker-proxy по лейблам

Reviewed-on: jt4d/jt4d#2
Co-authored-by: Arswarog <arswarog@yandex.ru>
This commit is contained in:
arswarog authored and Евгений committed 2026-10-31 16:13:13 +03:00
1 parent ae812b0dfa
commit 1d80630fb2
12 files changed
+146 -108

No files matched your search

+25 -20
View File
@@ -19,10 +19,11 @@
Webpack не умеет runtime-glob: запись `migrations: ['*.js']` внутри бандла не работает в принципе.
Поэтому список миграций генерируется статически на этапе сборки.
1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/database/migrations/*.ts`,
вытаскивает имена экспортируемых классов и пишет `apps/api/src/database/migrations.ts` со
статическими импортами. Сортировка — по числовому timestamp из имени файла (возрастание).
Результат прогоняется через Prettier внутри генератора и **коммитится в репозиторий**.
1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/**/migrations/*.ts`
(миграции лежат по модулям — `apps/api/src/<module>/migrations/`), вытаскивает имена
экспортируемых классов и пишет `apps/api/src/migrations.ts` со статическими импортами. Сортировка
— по числовому timestamp из имени файла (возрастание) независимо от модуля. Результат прогоняется
через Prettier внутри генератора и **коммитится в репозиторий**.
2. **Единый DataSource.** `apps/api/src/config/typeorm.config.ts` берёт `migrations` из
сгенерированного файла. Один и тот же файл работает локально через `typeorm-ts-node-commonjs` и в
собранном виде внутри контейнера.
@@ -53,7 +54,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
## Как добавить миграцию
1. Создать файл в `apps/api/src/database/migrations/` — вручную или через
1. Создать файл в `apps/api/src/<module>/migrations/` — вручную или через
`typeorm migration:generate`. Имя файла обязано начинаться с **13-значного** timestamp:
`1774001000000-fix-subscription-plan-id-default.ts`, а имя класса — оканчиваться тем же timestamp
(`FixSubscriptionPlanIdDefault1774001000000`). TypeORM берёт timestamp как
@@ -68,7 +69,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
TS_NODE_PROJECT=apps/api/tsconfig.app.json \
NODE_OPTIONS="-r tsconfig-paths/register" \
yarn typeorm-ts-node-commonjs migration:generate \
apps/api/src/database/migrations/add-something \
apps/api/src/<module>/migrations/add-something \
-d apps/api/src/config/typeorm.config.ts
```
@@ -83,15 +84,16 @@ yarn nx run api:db-migrations-list # только перегенерация с
2. Перегенерировать список: `yarn nx run api:db-migrations-list` (или просто
`yarn nx run api:build`).
3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/database/migrations.ts`.
3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/migrations.ts`.
4. Проверить локально: `yarn nx run api:db-show` (миграция должна появиться в списке), затем цикл
накат → откат → накат — см.
[Проверка перед коммитом](../50-developing/20-migrations.md#проверка-перед-коммитом).
Генератор падает с ненулевым кодом, если: в файле нет `export class`; в файле больше одного
`export class`; имя файла не начинается с 13-значного timestamp; суффикс имени класса не совпадает с
префиксом имени файла; файлов не найдено вовсе; два файла дают одинаковое имя класса. Так как он
висит на `dependsOn` у `build`, любая из этих ошибок валит сборку.
префиксом имени файла; два файла дают одинаковое имя класса. Так как он висит на `dependsOn` у
`build`, любая из этих ошибок валит сборку. Отсутствие каталогов `migrations` — не ошибка: список
тогда пустой.
Файлы-спутники (`*.d.ts`, `*.spec.ts`, `*.test.ts`) в директории миграций игнорируются и
генератором, и `tools/checkDataSource.ts` — последний вызывает `readMigrations()` генератора, так
@@ -123,9 +125,9 @@ POSTGRES_DB=aigeo_migtest yarn nx run api:db-migrate
`.gitea/workflows/ci.yaml`:
- **`Check migrations list`** — `yarn ts-node tools/buildDataSource.ts --check`. Генератор рендерит
список, сравнивает с содержимым `apps/api/src/database/migrations.ts` и падает при расхождении,
ничего не записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git
в проверке не участвует вовсе.
список, сравнивает с содержимым `apps/api/src/migrations.ts` и падает при расхождении, ничего не
записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git в проверке
не участвует вовсе.
- **`Check data-source`** (после `yarn build`) — `yarn ts-node tools/checkDataSource.ts` загружает
собранный `apps/api/dist/data-source.js`, проверяет, что экспорт ведёт себя как `DataSource`
(`initialize()` + объект `options`), и что список классов в бандле **посимвольно совпадает** с
@@ -165,8 +167,8 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на
2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run`
упадёт, под `set -e` prune не выполнится — почистится на следующем деплое.
Ненулевой код валит job: у шага стоит `script_stop: true` (штатный механизм `appleboy/ssh-action`),
а первой строкой скрипта — `set -e`.
Ненулевой код валит job: у шага стоит `script_stop: true` — действие открывает скрипт строкой
`set -e`, поэтому упавшая команда завершает его с её кодом выхода, а не продолжает выполнение.
### База и переменные `.env` на стейджинг-хосте
@@ -197,8 +199,10 @@ staging-db-postgres create <org/project> <branch>
## Применение на проде
Job `deploy-production` в `.gitea/workflows/production.yaml`, блок `Deploy via SSH` (heredoc — не
`appleboy/ssh-action`, синтаксис отличается от стейджинга). Порядок:
Job `deploy-production` в `.gitea/workflows/production.yaml`, шаг `Deploy via SSH` — тот же
`jt4d-lab/ssh-action`, что и на стейджинге, плюс `workdir: /srv/geo-platform` и
`files: docker-compose.production.yml`: компоуз-файл приезжает тем же шагом, отдельного `scp` нет.
Порядок:
1. `docker-compose pull` → `down` → `up -d`.
2. Сразу после `up -d` — `migration:show` (в лог видно, что именно будет применено), затем
@@ -234,10 +238,11 @@ DDL, — и упадёт после того, как новый образ уш
блокировки у TypeORM нет. `cancel-in-progress: false` — отмена job посреди набора рвёт SSH-сессию и
оставляет БД частично мигрированной.
`VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага, а не подстановкой `${{ … }}` в
тело heredoc: `VERSION` приходит из git-тега, а в имени ref допустимы кавычки, `;`, `$` и обратные
кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла. Оба значения к тому же
валидируются по белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — перед `ssh`).
`VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага и вход `envs:`, а не
подстановкой `${{ … }}` в тело скрипта: `VERSION` приходит из git-тега, а в имени ref допустимы
кавычки, `;`, `$` и обратные кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла.
`envs` к тому же всегда оборачивает значение в одинарные кавычки. Оба значения валидируются по
белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — отдельным шагом перед деплоем).
### Почему `-t each`