ci: перенос миграций к модулям, деплой стендов через jt4d-lab/ssh-action и caddy-лейблы

- миграции лежат по модулям в `apps/api/src/<module>/migrations/`; `tools/buildDataSource.ts`
  сканирует `apps/api/src/**/migrations/` и генерирует список в `apps/api/src/migrations.ts`
- `deploy-staging` накатывает миграции шагами `migration:show` и `migration:run -t each`
- стенды получают маршрутизацию через лейблы `caddy` и `caddy.reverse_proxy`, web-образ стенда
  собирается с `CADDYFILE=Caddyfile.staging`

## Мотивация

Миграции нужно накатывать на стендах автоматически и держать рядом с модулем, которому они
принадлежат, а деплой — сводить к одному шагу, который сам копирует компоуз-файл на хост и выполняет
скрипт.

## Ключевые моменты реализации

- `Caddyfile.staging` слушает `:80` без хостового матчера и HTTPS: имена стендов динамические,
  маршрутизацию и TLS берёт внешний caddy-docker-proxy по лейблам

Reviewed-on: jt4d/jt4d#2
Co-authored-by: Arswarog <arswarog@yandex.ru>
This commit is contained in:
arswarog authored and Евгений committed 2026-10-31 16:13:13 +03:00
1 parent ae812b0dfa
commit 1d80630fb2
12 files changed
+137 -99

No files matched your search

+11 -20
View File
@@ -64,6 +64,8 @@ jobs:
context: apps/web
file: apps/web/Dockerfile
push: true
build-args: |
CADDYFILE=Caddyfile.staging
tags: git.jt4d.ru/${{ github.repository }}/web:${{ github.head_ref || github.ref_name }}
cache-from: git.jt4d.ru/${{ github.repository }}/web:latest
labels: |
@@ -93,32 +95,21 @@ jobs:
- name: Checkout
uses: actions/checkout@v4
- name: Copy docker-compose file
uses: appleboy/scp-action@v1
with:
host: ${{ vars.STAGING_HOST }}
username: ${{ vars.STAGING_USER }}
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
port: ${{ vars.STAGING_PORT }}
source: 'docker-compose.staging.yml'
target: /home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${{ github.head_ref || github.ref_name }}
- name: Deploy via SSH
uses: appleboy/ssh-action@v1
uses: jt4d-lab/ssh-action@v1
env:
DEPLOY_DIR: ${{ github.event.repository.name }}_${{ github.head_ref || github.ref_name }}
BRANCH: ${{ github.head_ref || github.ref_name }}
with:
host: ${{ vars.STAGING_HOST }}
username: ${{ vars.STAGING_USER }}
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
port: ${{ vars.STAGING_PORT }}
workdir: /home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${{ github.head_ref || github.ref_name }}
files: docker-compose.staging.yml
script_stop: true
envs: DEPLOY_DIR,BRANCH
envs: BRANCH
script: |
set -e
cd "/home/${{ vars.STAGING_USER }}/$DEPLOY_DIR"
mv -f docker-compose.*.yml docker-compose.yml
mv -f docker-compose.staging.yml docker-compose.yml
# \${BRANCH} — литеральный плейсхолдер в docker-compose.staging.yml,
# $BRANCH — имя ветки из окружения.
sed -i "s/\${BRANCH}/$BRANCH/g" docker-compose.yml
@@ -127,10 +118,10 @@ jobs:
docker compose down
docker compose up -d
# echo "Список миграций"
# docker compose exec -T api node_modules/.bin/typeorm migration:show -d data-source.js
# echo "Применение миграций"
# docker compose exec -T api node_modules/.bin/typeorm migration:run -t each -d data-source.js
echo "Список миграций"
docker compose exec -T api node_modules/.bin/typeorm migration:show -d data-source.js
echo "Применение миграций"
docker compose exec -T api node_modules/.bin/typeorm migration:run -t each -d data-source.js
docker system prune -f
+2 -2
View File
@@ -20,14 +20,14 @@ jobs:
github.event.pull_request.head.repo.full_name == github.repository)
steps:
- name: Удаление стенда
uses: appleboy/ssh-action@v1
uses: jt4d-lab/ssh-action@v1
with:
host: ${{ vars.STAGING_HOST }}
username: ${{ vars.STAGING_USER }}
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
port: ${{ vars.STAGING_PORT }}
script_stop: true
script: |
set -e
BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}"
BRANCH_NAME="${BRANCH_NAME#refs/heads/}"
DEPLOY_DIR="/home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${BRANCH_NAME}"
+16 -27
View File
@@ -101,27 +101,8 @@ jobs:
- name: Checkout
uses: actions/checkout@v4
- name: Setup SSH key
uses: shimataro/ssh-key-action@v2
with:
key: ${{ secrets.PROD_SSH_PRIVATE_KEY }}
known_hosts: unnecessary
- name: Add prod host to known_hosts
run: ssh-keyscan -p ${{ vars.PROD_PORT }} ${{ vars.PROD_HOST }} >> ~/.ssh/known_hosts
- name: Copy docker-compose file
run: |
ssh -p ${{ vars.PROD_PORT }} \
${{ vars.PROD_USER }}@${{ vars.PROD_HOST }} \
"mkdir -p /srv/geo-platform"
scp -P ${{ vars.PROD_PORT }} \
docker-compose.production.yml \
${{ vars.PROD_USER }}@${{ vars.PROD_HOST }}:/srv/geo-platform/
- name: Deploy via SSH
- name: Check log level
env:
VERSION: ${{ needs.build.outputs.version }}
LOG_LEVEL: ${{ inputs.logLevel }}
run: |
# VERSION проверен regexp-ом в job build (шаг Compute version) и приходит
@@ -134,12 +115,21 @@ jobs:
;;
esac
ssh -p ${{ vars.PROD_PORT }} \
${{ vars.PROD_USER }}@${{ vars.PROD_HOST }} \
"VERSION=$VERSION LOG_LEVEL=$LOG_LEVEL bash -s" << 'EOF'
set -e
export VERSION LOG_LEVEL
cd /srv/geo-platform
- name: Deploy via SSH
uses: jt4d-lab/ssh-action@v1
env:
VERSION: ${{ needs.build.outputs.version }}
LOG_LEVEL: ${{ inputs.logLevel }}
with:
host: ${{ vars.PROD_HOST }}
username: ${{ vars.PROD_USER }}
key: ${{ secrets.PROD_SSH_PRIVATE_KEY }}
port: ${{ vars.PROD_PORT }}
workdir: /srv/geo-platform
files: docker-compose.production.yml
envs: VERSION,LOG_LEVEL
script_stop: true
script: |
mv -f docker-compose.production.yml docker-compose.yml
docker-compose pull --quiet
@@ -151,4 +141,3 @@ jobs:
docker exec geo-platform_api node_modules/.bin/typeorm migration:show -d data-source.js
echo "Применение миграций"
docker exec geo-platform_api node_modules/.bin/typeorm migration:run -t each -d data-source.js
EOF
+5 -4
View File
@@ -56,14 +56,15 @@ yarn nx run api:db-migrations-list # Перегенерировать спис
#### Миграции БД
- Миграции лежат в `apps/api/src/database/migrations/`
- Список миграций **генерируется статически** (`tools/buildDataSource.ts` →
`apps/api/src/database/migrations.ts`), потому что webpack не умеет runtime-glob
- Миграции лежат по модулям: `apps/api/src/<module>/migrations/`
- Список миграций **генерируется статически** (`tools/buildDataSource.ts` сканирует
`apps/api/src/**/migrations/` → `apps/api/src/migrations.ts`), потому что webpack не умеет
runtime-glob
- Имя файла обязано начинаться с **13-значного** timestamp, а имя класса — оканчиваться тем же
timestamp: TypeORM берёт его как `parseInt(className.substr(-13))`. Расхождение валит сборку
- **После добавления или удаления миграции список нужно перегенерировать и закоммитить**
(`yarn nx run api:db-migrations-list`, либо это сделает `yarn nx run api:build` через
`dependsOn`). Иначе CI упадёт на шаге `Check migrations list` (`git diff --exit-code`)
`dependsOn`). Иначе CI упадёт на шаге `Check migrations list`
- Деплой применяет миграции автоматически (`migration:run -t each` через `docker exec` на проде /
`docker compose exec` на стейджинге) — на каждый тег на проде и на каждый push/PR на стейджинге.
Автоматического бэкапа перед миграцией нет. Подробнее: `docs/90-deploy/10-migrations.md`
+1 -1
View File
@@ -106,7 +106,7 @@ yarn nx affected -t <target> # только по затронутым про
4. **Убрать демо-код.** `apps/web/src/app/nx-welcome.tsx` и демо-страница в `apps/web/src/app`,
тестовый контроллер и сервис в `apps/api/src/app`.
5. **Пересобрать миграции.** Удалить тестовую миграцию из `apps/api/src/database/migrations/` и
выполнить `yarn db-migrations-list`; список `apps/api/src/database/migrations.ts` коммитится.
выполнить `yarn db-migrations-list`; список `apps/api/src/migrations.ts` коммитится.
6. **Обновить тексты под проект.** `docs/index.md`, документы в `docs/`, `AGENTS.md`, этот
`README.md`.
7. **Проверить ветку в CI.** Первый пуш должен пройти `yarn lint:check` и сборку, а стенд —
+1 -1
View File
@@ -3,7 +3,7 @@ import * as path from 'path';
import { config } from 'dotenv';
import { DataSource } from 'typeorm';
import { migrations } from '../database/migrations';
import { migrations } from '../migrations';
// Загружаем env файлы в правильном порядке.
// Внутри контейнера файлов нет — dotenv молча пропустит их, значения берутся из окружения.
File renamed without changes.
+16
View File
@@ -0,0 +1,16 @@
:80 {
root * /app
encode gzip
handle /api/* {
reverse_proxy api:5000
}
handle {
try_files {path} /index.html
file_server
@static path *.js *.css *.woff *.woff2 *.svg *.png *.jpg *.jpeg *.gif *.ico
header @static Cache-Control "public, max-age=31536000, immutable"
}
}
+3 -1
View File
@@ -1,10 +1,12 @@
FROM git.jt4d.ru/jt4d/caddy:2-alpine
ARG CADDYFILE=Caddyfile
COPY ./dist /app
EXPOSE 80 443
COPY Caddyfile /etc/caddy/Caddyfile
COPY ${CADDYFILE} /etc/caddy/Caddyfile
HEALTHCHECK --interval=10s --timeout=3s --retries=3 \
CMD curl -f http://localhost:80/health || exit 1
+5 -5
View File
@@ -2,12 +2,11 @@ services:
web:
container_name: jt4d_${BRANCH}_web
image: git.jt4d.ru/jt4d/jt4d/web:${BRANCH}
environment:
VIRTUAL_PORT: 80
VIRTUAL_HOST: ${BRANCH}.jt4d.jt4d.ru.net
LETSENCRYPT_HOST: ${BRANCH}.jt4d.jt4d.ru.net
HTTPS_METHOD: noredirect
labels:
caddy: ${BRANCH}.jt4d.jt4d.ru.net
caddy.reverse_proxy: '{{upstreams 80}}'
restart: always
init: true
networks:
- 'net'
@@ -23,6 +22,7 @@ services:
POSTGRES_HOST: ${POSTGRES_HOST:-}
POSTGRES_PORT: ${POSTGRES_PORT:-5432}
restart: always
init: true
networks:
- 'net'
+25 -20
View File
@@ -19,10 +19,11 @@
Webpack не умеет runtime-glob: запись `migrations: ['*.js']` внутри бандла не работает в принципе.
Поэтому список миграций генерируется статически на этапе сборки.
1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/database/migrations/*.ts`,
вытаскивает имена экспортируемых классов и пишет `apps/api/src/database/migrations.ts` со
статическими импортами. Сортировка — по числовому timestamp из имени файла (возрастание).
Результат прогоняется через Prettier внутри генератора и **коммитится в репозиторий**.
1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/**/migrations/*.ts`
(миграции лежат по модулям — `apps/api/src/<module>/migrations/`), вытаскивает имена
экспортируемых классов и пишет `apps/api/src/migrations.ts` со статическими импортами. Сортировка
— по числовому timestamp из имени файла (возрастание) независимо от модуля. Результат прогоняется
через Prettier внутри генератора и **коммитится в репозиторий**.
2. **Единый DataSource.** `apps/api/src/config/typeorm.config.ts` берёт `migrations` из
сгенерированного файла. Один и тот же файл работает локально через `typeorm-ts-node-commonjs` и в
собранном виде внутри контейнера.
@@ -53,7 +54,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
## Как добавить миграцию
1. Создать файл в `apps/api/src/database/migrations/` — вручную или через
1. Создать файл в `apps/api/src/<module>/migrations/` — вручную или через
`typeorm migration:generate`. Имя файла обязано начинаться с **13-значного** timestamp:
`1774001000000-fix-subscription-plan-id-default.ts`, а имя класса — оканчиваться тем же timestamp
(`FixSubscriptionPlanIdDefault1774001000000`). TypeORM берёт timestamp как
@@ -68,7 +69,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
TS_NODE_PROJECT=apps/api/tsconfig.app.json \
NODE_OPTIONS="-r tsconfig-paths/register" \
yarn typeorm-ts-node-commonjs migration:generate \
apps/api/src/database/migrations/add-something \
apps/api/src/<module>/migrations/add-something \
-d apps/api/src/config/typeorm.config.ts
```
@@ -83,15 +84,16 @@ yarn nx run api:db-migrations-list # только перегенерация с
2. Перегенерировать список: `yarn nx run api:db-migrations-list` (или просто
`yarn nx run api:build`).
3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/database/migrations.ts`.
3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/migrations.ts`.
4. Проверить локально: `yarn nx run api:db-show` (миграция должна появиться в списке), затем цикл
накат → откат → накат — см.
[Проверка перед коммитом](../50-developing/20-migrations.md#проверка-перед-коммитом).
Генератор падает с ненулевым кодом, если: в файле нет `export class`; в файле больше одного
`export class`; имя файла не начинается с 13-значного timestamp; суффикс имени класса не совпадает с
префиксом имени файла; файлов не найдено вовсе; два файла дают одинаковое имя класса. Так как он
висит на `dependsOn` у `build`, любая из этих ошибок валит сборку.
префиксом имени файла; два файла дают одинаковое имя класса. Так как он висит на `dependsOn` у
`build`, любая из этих ошибок валит сборку. Отсутствие каталогов `migrations` — не ошибка: список
тогда пустой.
Файлы-спутники (`*.d.ts`, `*.spec.ts`, `*.test.ts`) в директории миграций игнорируются и
генератором, и `tools/checkDataSource.ts` — последний вызывает `readMigrations()` генератора, так
@@ -123,9 +125,9 @@ POSTGRES_DB=aigeo_migtest yarn nx run api:db-migrate
`.gitea/workflows/ci.yaml`:
- **`Check migrations list`** — `yarn ts-node tools/buildDataSource.ts --check`. Генератор рендерит
список, сравнивает с содержимым `apps/api/src/database/migrations.ts` и падает при расхождении,
ничего не записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git
в проверке не участвует вовсе.
список, сравнивает с содержимым `apps/api/src/migrations.ts` и падает при расхождении, ничего не
записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git в проверке
не участвует вовсе.
- **`Check data-source`** (после `yarn build`) — `yarn ts-node tools/checkDataSource.ts` загружает
собранный `apps/api/dist/data-source.js`, проверяет, что экспорт ведёт себя как `DataSource`
(`initialize()` + объект `options`), и что список классов в бандле **посимвольно совпадает** с
@@ -165,8 +167,8 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на
2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run`
упадёт, под `set -e` prune не выполнится — почистится на следующем деплое.
Ненулевой код валит job: у шага стоит `script_stop: true` (штатный механизм `appleboy/ssh-action`),
а первой строкой скрипта — `set -e`.
Ненулевой код валит job: у шага стоит `script_stop: true` — действие открывает скрипт строкой
`set -e`, поэтому упавшая команда завершает его с её кодом выхода, а не продолжает выполнение.
### База и переменные `.env` на стейджинг-хосте
@@ -197,8 +199,10 @@ staging-db-postgres create <org/project> <branch>
## Применение на проде
Job `deploy-production` в `.gitea/workflows/production.yaml`, блок `Deploy via SSH` (heredoc — не
`appleboy/ssh-action`, синтаксис отличается от стейджинга). Порядок:
Job `deploy-production` в `.gitea/workflows/production.yaml`, шаг `Deploy via SSH` — тот же
`jt4d-lab/ssh-action`, что и на стейджинге, плюс `workdir: /srv/geo-platform` и
`files: docker-compose.production.yml`: компоуз-файл приезжает тем же шагом, отдельного `scp` нет.
Порядок:
1. `docker-compose pull` → `down` → `up -d`.
2. Сразу после `up -d` — `migration:show` (в лог видно, что именно будет применено), затем
@@ -234,10 +238,11 @@ DDL, — и упадёт после того, как новый образ уш
блокировки у TypeORM нет. `cancel-in-progress: false` — отмена job посреди набора рвёт SSH-сессию и
оставляет БД частично мигрированной.
`VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага, а не подстановкой `${{ … }}` в
тело heredoc: `VERSION` приходит из git-тега, а в имени ref допустимы кавычки, `;`, `$` и обратные
кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла. Оба значения к тому же
валидируются по белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — перед `ssh`).
`VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага и вход `envs:`, а не
подстановкой `${{ … }}` в тело скрипта: `VERSION` приходит из git-тега, а в имени ref допустимы
кавычки, `;`, `$` и обратные кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла.
`envs` к тому же всегда оборачивает значение в одинарные кавычки. Оба значения валидируются по
белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — отдельным шагом перед деплоем).
### Почему `-t each`
+52 -18
View File
@@ -1,11 +1,13 @@
import { existsSync, readdirSync, readFileSync, writeFileSync } from 'fs';
import { type Dirent, existsSync, readdirSync, readFileSync, writeFileSync } from 'fs';
import * as path from 'path';
import { format, resolveConfig } from 'prettier';
export const workspaceRoot = path.resolve(__dirname, '..');
const migrationsDir = path.join(workspaceRoot, 'apps', 'api', 'src', 'database', 'migrations');
const outputFile = path.join(workspaceRoot, 'apps', 'api', 'src', 'database', 'migrations.ts');
const apiSrcDir = path.join(workspaceRoot, 'apps', 'api', 'src');
const outputFile = path.join(apiSrcDir, 'migrations.ts');
// Миграции лежат по модулям: apps/api/src/<module>/migrations/<timestamp>-<name>.ts.
const MIGRATIONS_DIR_NAME = 'migrations';
const HEADER =
'// Файл сгенерирован автоматически (tools/buildDataSource.ts). Не редактировать вручную.';
@@ -21,6 +23,7 @@ const TIMESTAMP_PREFIX_RE = /^(\d{13})-/;
const COMPANION_FILE_RE = /\.(d|spec|test)\.ts$/;
export interface MigrationEntry {
/** Путь относительно apps/api/src, с расширением .ts */
file: string;
className: string;
}
@@ -36,27 +39,58 @@ function failBuild(message: string): never {
fail('buildDataSource', message);
}
// Порядок — лексикографический по имени файла. Отдельная числовая сортировка не
// нужна: ниже гарантируется, что имя каждого файла начинается ровно с 13 цифр,
// а при фиксированной длине лексикографический порядок совпадает с числовым.
export function readMigrations(): MigrationEntry[] {
let files: string[];
// Список каталогов миграций: любой apps/api/src/**/migrations.
function findMigrationsDirs(dir: string): string[] {
let entries: Dirent[];
try {
files = readdirSync(migrationsDir);
entries = readdirSync(dir, { withFileTypes: true });
} catch {
failBuild(`директория миграций не найдена: ${migrationsDir}`);
failBuild(`не удалось прочитать директорию: ${dir}`);
}
const migrationFiles = files
.filter((file) => file.endsWith('.ts') && !COMPANION_FILE_RE.test(file))
.sort();
const found: string[] = [];
// Пустая директория — легальное состояние: проект может ещё не иметь миграций.
// Тогда список пустой, а сборка не падает.
for (const entry of entries) {
if (!entry.isDirectory() || entry.name === 'node_modules') {
continue;
}
const fullPath = path.join(dir, entry.name);
if (entry.name === MIGRATIONS_DIR_NAME) {
found.push(fullPath);
continue;
}
found.push(...findMigrationsDirs(fullPath));
}
return found;
}
// Порядок — по timestamp из имени файла (возрастание): имя файла начинается ровно с
// 13 цифр, поэтому лексикографическая сортировка совпадает с числовой. Одинаковые
// имена файлов в разных модулях упорядочиваются по пути.
export function readMigrations(): MigrationEntry[] {
const migrationFiles = findMigrationsDirs(apiSrcDir)
.flatMap((dir) =>
readdirSync(dir, { withFileTypes: true })
.filter((entry) => entry.isFile())
.map((entry) => path.posix.join(path.relative(apiSrcDir, dir), entry.name))
.filter((file) => file.endsWith('.ts') && !COMPANION_FILE_RE.test(file)),
)
.sort((a, b) => {
const byName = path.posix.basename(a).localeCompare(path.posix.basename(b));
return byName !== 0 ? byName : a.localeCompare(b);
});
// Каталогов migrations может не быть ни одного: проект может ещё не иметь
// миграций. Тогда список пустой, а сборка не падает.
const entries = migrationFiles.map((file): MigrationEntry => {
const timestampMatch = TIMESTAMP_PREFIX_RE.exec(file);
const timestampMatch = TIMESTAMP_PREFIX_RE.exec(path.posix.basename(file));
if (!timestampMatch) {
failBuild(
@@ -65,7 +99,7 @@ export function readMigrations(): MigrationEntry[] {
);
}
const source = readFileSync(path.join(migrationsDir, file), 'utf8');
const source = readFileSync(path.join(apiSrcDir, file), 'utf8');
const classNames = [...source.matchAll(EXPORT_CLASS_RE)].map((match) => match[1]);
if (classNames.length === 0) {
@@ -123,7 +157,7 @@ function render(entries: MigrationEntry[]): string {
const imports = entries
.map(
(entry) =>
`import { ${entry.className} } from './migrations/${entry.file.slice(0, -'.ts'.length)}';`,
`import { ${entry.className} } from './${entry.file.slice(0, -'.ts'.length)}';`,
)
.join('\n');