ci: перенос миграций к модулям, деплой стендов через jt4d-lab/ssh-action и caddy-лейблы
- миграции лежат по модулям в `apps/api/src/<module>/migrations/`; `tools/buildDataSource.ts` сканирует `apps/api/src/**/migrations/` и генерирует список в `apps/api/src/migrations.ts` - `deploy-staging` накатывает миграции шагами `migration:show` и `migration:run -t each` - стенды получают маршрутизацию через лейблы `caddy` и `caddy.reverse_proxy`, web-образ стенда собирается с `CADDYFILE=Caddyfile.staging` ## Мотивация Миграции нужно накатывать на стендах автоматически и держать рядом с модулем, которому они принадлежат, а деплой — сводить к одному шагу, который сам копирует компоуз-файл на хост и выполняет скрипт. ## Ключевые моменты реализации - `Caddyfile.staging` слушает `:80` без хостового матчера и HTTPS: имена стендов динамические, маршрутизацию и TLS берёт внешний caddy-docker-proxy по лейблам Reviewed-on: jt4d/jt4d#2 Co-authored-by: Arswarog <arswarog@yandex.ru>
This commit is contained in:
1 parent
ae812b0dfa
commit
1d80630fb2
12 files changed
+146
-108
No files matched your search
@@ -19,10 +19,11 @@
|
||||
Webpack не умеет runtime-glob: запись `migrations: ['*.js']` внутри бандла не работает в принципе.
|
||||
Поэтому список миграций генерируется статически на этапе сборки.
|
||||
|
||||
1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/database/migrations/*.ts`,
|
||||
вытаскивает имена экспортируемых классов и пишет `apps/api/src/database/migrations.ts` со
|
||||
статическими импортами. Сортировка — по числовому timestamp из имени файла (возрастание).
|
||||
Результат прогоняется через Prettier внутри генератора и **коммитится в репозиторий**.
|
||||
1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/**/migrations/*.ts`
|
||||
(миграции лежат по модулям — `apps/api/src/<module>/migrations/`), вытаскивает имена
|
||||
экспортируемых классов и пишет `apps/api/src/migrations.ts` со статическими импортами. Сортировка
|
||||
— по числовому timestamp из имени файла (возрастание) независимо от модуля. Результат прогоняется
|
||||
через Prettier внутри генератора и **коммитится в репозиторий**.
|
||||
2. **Единый DataSource.** `apps/api/src/config/typeorm.config.ts` берёт `migrations` из
|
||||
сгенерированного файла. Один и тот же файл работает локально через `typeorm-ts-node-commonjs` и в
|
||||
собранном виде внутри контейнера.
|
||||
@@ -53,7 +54,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
|
||||
|
||||
## Как добавить миграцию
|
||||
|
||||
1. Создать файл в `apps/api/src/database/migrations/` — вручную или через
|
||||
1. Создать файл в `apps/api/src/<module>/migrations/` — вручную или через
|
||||
`typeorm migration:generate`. Имя файла обязано начинаться с **13-значного** timestamp:
|
||||
`1774001000000-fix-subscription-plan-id-default.ts`, а имя класса — оканчиваться тем же timestamp
|
||||
(`FixSubscriptionPlanIdDefault1774001000000`). TypeORM берёт timestamp как
|
||||
@@ -68,7 +69,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
|
||||
TS_NODE_PROJECT=apps/api/tsconfig.app.json \
|
||||
NODE_OPTIONS="-r tsconfig-paths/register" \
|
||||
yarn typeorm-ts-node-commonjs migration:generate \
|
||||
apps/api/src/database/migrations/add-something \
|
||||
apps/api/src/<module>/migrations/add-something \
|
||||
-d apps/api/src/config/typeorm.config.ts
|
||||
```
|
||||
|
||||
@@ -83,15 +84,16 @@ yarn nx run api:db-migrations-list # только перегенерация с
|
||||
|
||||
2. Перегенерировать список: `yarn nx run api:db-migrations-list` (или просто
|
||||
`yarn nx run api:build`).
|
||||
3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/database/migrations.ts`.
|
||||
3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/migrations.ts`.
|
||||
4. Проверить локально: `yarn nx run api:db-show` (миграция должна появиться в списке), затем цикл
|
||||
накат → откат → накат — см.
|
||||
[Проверка перед коммитом](../50-developing/20-migrations.md#проверка-перед-коммитом).
|
||||
|
||||
Генератор падает с ненулевым кодом, если: в файле нет `export class`; в файле больше одного
|
||||
`export class`; имя файла не начинается с 13-значного timestamp; суффикс имени класса не совпадает с
|
||||
префиксом имени файла; файлов не найдено вовсе; два файла дают одинаковое имя класса. Так как он
|
||||
висит на `dependsOn` у `build`, любая из этих ошибок валит сборку.
|
||||
префиксом имени файла; два файла дают одинаковое имя класса. Так как он висит на `dependsOn` у
|
||||
`build`, любая из этих ошибок валит сборку. Отсутствие каталогов `migrations` — не ошибка: список
|
||||
тогда пустой.
|
||||
|
||||
Файлы-спутники (`*.d.ts`, `*.spec.ts`, `*.test.ts`) в директории миграций игнорируются и
|
||||
генератором, и `tools/checkDataSource.ts` — последний вызывает `readMigrations()` генератора, так
|
||||
@@ -123,9 +125,9 @@ POSTGRES_DB=aigeo_migtest yarn nx run api:db-migrate
|
||||
`.gitea/workflows/ci.yaml`:
|
||||
|
||||
- **`Check migrations list`** — `yarn ts-node tools/buildDataSource.ts --check`. Генератор рендерит
|
||||
список, сравнивает с содержимым `apps/api/src/database/migrations.ts` и падает при расхождении,
|
||||
ничего не записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git
|
||||
в проверке не участвует вовсе.
|
||||
список, сравнивает с содержимым `apps/api/src/migrations.ts` и падает при расхождении, ничего не
|
||||
записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git в проверке
|
||||
не участвует вовсе.
|
||||
- **`Check data-source`** (после `yarn build`) — `yarn ts-node tools/checkDataSource.ts` загружает
|
||||
собранный `apps/api/dist/data-source.js`, проверяет, что экспорт ведёт себя как `DataSource`
|
||||
(`initialize()` + объект `options`), и что список классов в бандле **посимвольно совпадает** с
|
||||
@@ -165,8 +167,8 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на
|
||||
2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run`
|
||||
упадёт, под `set -e` prune не выполнится — почистится на следующем деплое.
|
||||
|
||||
Ненулевой код валит job: у шага стоит `script_stop: true` (штатный механизм `appleboy/ssh-action`),
|
||||
а первой строкой скрипта — `set -e`.
|
||||
Ненулевой код валит job: у шага стоит `script_stop: true` — действие открывает скрипт строкой
|
||||
`set -e`, поэтому упавшая команда завершает его с её кодом выхода, а не продолжает выполнение.
|
||||
|
||||
### База и переменные `.env` на стейджинг-хосте
|
||||
|
||||
@@ -197,8 +199,10 @@ staging-db-postgres create <org/project> <branch>
|
||||
|
||||
## Применение на проде
|
||||
|
||||
Job `deploy-production` в `.gitea/workflows/production.yaml`, блок `Deploy via SSH` (heredoc — не
|
||||
`appleboy/ssh-action`, синтаксис отличается от стейджинга). Порядок:
|
||||
Job `deploy-production` в `.gitea/workflows/production.yaml`, шаг `Deploy via SSH` — тот же
|
||||
`jt4d-lab/ssh-action`, что и на стейджинге, плюс `workdir: /srv/geo-platform` и
|
||||
`files: docker-compose.production.yml`: компоуз-файл приезжает тем же шагом, отдельного `scp` нет.
|
||||
Порядок:
|
||||
|
||||
1. `docker-compose pull` → `down` → `up -d`.
|
||||
2. Сразу после `up -d` — `migration:show` (в лог видно, что именно будет применено), затем
|
||||
@@ -234,10 +238,11 @@ DDL, — и упадёт после того, как новый образ уш
|
||||
блокировки у TypeORM нет. `cancel-in-progress: false` — отмена job посреди набора рвёт SSH-сессию и
|
||||
оставляет БД частично мигрированной.
|
||||
|
||||
`VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага, а не подстановкой `${{ … }}` в
|
||||
тело heredoc: `VERSION` приходит из git-тега, а в имени ref допустимы кавычки, `;`, `$` и обратные
|
||||
кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла. Оба значения к тому же
|
||||
валидируются по белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — перед `ssh`).
|
||||
`VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага и вход `envs:`, а не
|
||||
подстановкой `${{ … }}` в тело скрипта: `VERSION` приходит из git-тега, а в имени ref допустимы
|
||||
кавычки, `;`, `$` и обратные кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла.
|
||||
`envs` к тому же всегда оборачивает значение в одинарные кавычки. Оба значения валидируются по
|
||||
белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — отдельным шагом перед деплоем).
|
||||
|
||||
### Почему `-t each`
|
||||
|
||||
|
||||
Reference in new issue
Block a user