ci: перенос миграций к модулям, деплой стендов через jt4d-lab/ssh-action и caddy-лейблы

- миграции лежат по модулям в `apps/api/src/<module>/migrations/`; `tools/buildDataSource.ts`
  сканирует `apps/api/src/**/migrations/` и генерирует список в `apps/api/src/migrations.ts`
- `deploy-staging` накатывает миграции шагами `migration:show` и `migration:run -t each`
- стенды получают маршрутизацию через лейблы `caddy` и `caddy.reverse_proxy`, web-образ стенда
  собирается с `CADDYFILE=Caddyfile.staging`

## Мотивация

Миграции нужно накатывать на стендах автоматически и держать рядом с модулем, которому они
принадлежат, а деплой — сводить к одному шагу, который сам копирует компоуз-файл на хост и выполняет
скрипт.

## Ключевые моменты реализации

- `Caddyfile.staging` слушает `:80` без хостового матчера и HTTPS: имена стендов динамические,
  маршрутизацию и TLS берёт внешний caddy-docker-proxy по лейблам

Reviewed-on: jt4d/jt4d#2
Co-authored-by: Arswarog <arswarog@yandex.ru>
This commit is contained in:
arswarog authored and Евгений committed 2026-10-31 16:13:13 +03:00
1 parent ae812b0dfa
commit 1d80630fb2
12 files changed
+146 -108

No files matched your search

+11 -20
View File
@@ -64,6 +64,8 @@ jobs:
context: apps/web context: apps/web
file: apps/web/Dockerfile file: apps/web/Dockerfile
push: true push: true
build-args: |
CADDYFILE=Caddyfile.staging
tags: git.jt4d.ru/${{ github.repository }}/web:${{ github.head_ref || github.ref_name }} tags: git.jt4d.ru/${{ github.repository }}/web:${{ github.head_ref || github.ref_name }}
cache-from: git.jt4d.ru/${{ github.repository }}/web:latest cache-from: git.jt4d.ru/${{ github.repository }}/web:latest
labels: | labels: |
@@ -93,32 +95,21 @@ jobs:
- name: Checkout - name: Checkout
uses: actions/checkout@v4 uses: actions/checkout@v4
- name: Copy docker-compose file
uses: appleboy/scp-action@v1
with:
host: ${{ vars.STAGING_HOST }}
username: ${{ vars.STAGING_USER }}
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
port: ${{ vars.STAGING_PORT }}
source: 'docker-compose.staging.yml'
target: /home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${{ github.head_ref || github.ref_name }}
- name: Deploy via SSH - name: Deploy via SSH
uses: appleboy/ssh-action@v1 uses: jt4d-lab/ssh-action@v1
env: env:
DEPLOY_DIR: ${{ github.event.repository.name }}_${{ github.head_ref || github.ref_name }}
BRANCH: ${{ github.head_ref || github.ref_name }} BRANCH: ${{ github.head_ref || github.ref_name }}
with: with:
host: ${{ vars.STAGING_HOST }} host: ${{ vars.STAGING_HOST }}
username: ${{ vars.STAGING_USER }} username: ${{ vars.STAGING_USER }}
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }} key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
port: ${{ vars.STAGING_PORT }} port: ${{ vars.STAGING_PORT }}
workdir: /home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${{ github.head_ref || github.ref_name }}
files: docker-compose.staging.yml
script_stop: true script_stop: true
envs: DEPLOY_DIR,BRANCH envs: BRANCH
script: | script: |
set -e mv -f docker-compose.staging.yml docker-compose.yml
cd "/home/${{ vars.STAGING_USER }}/$DEPLOY_DIR"
mv -f docker-compose.*.yml docker-compose.yml
# \${BRANCH} — литеральный плейсхолдер в docker-compose.staging.yml, # \${BRANCH} — литеральный плейсхолдер в docker-compose.staging.yml,
# $BRANCH — имя ветки из окружения. # $BRANCH — имя ветки из окружения.
sed -i "s/\${BRANCH}/$BRANCH/g" docker-compose.yml sed -i "s/\${BRANCH}/$BRANCH/g" docker-compose.yml
@@ -127,10 +118,10 @@ jobs:
docker compose down docker compose down
docker compose up -d docker compose up -d
# echo "Список миграций" echo "Список миграций"
# docker compose exec -T api node_modules/.bin/typeorm migration:show -d data-source.js docker compose exec -T api node_modules/.bin/typeorm migration:show -d data-source.js
# echo "Применение миграций" echo "Применение миграций"
# docker compose exec -T api node_modules/.bin/typeorm migration:run -t each -d data-source.js docker compose exec -T api node_modules/.bin/typeorm migration:run -t each -d data-source.js
docker system prune -f docker system prune -f
+2 -2
View File
@@ -20,14 +20,14 @@ jobs:
github.event.pull_request.head.repo.full_name == github.repository) github.event.pull_request.head.repo.full_name == github.repository)
steps: steps:
- name: Удаление стенда - name: Удаление стенда
uses: appleboy/ssh-action@v1 uses: jt4d-lab/ssh-action@v1
with: with:
host: ${{ vars.STAGING_HOST }} host: ${{ vars.STAGING_HOST }}
username: ${{ vars.STAGING_USER }} username: ${{ vars.STAGING_USER }}
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }} key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
port: ${{ vars.STAGING_PORT }} port: ${{ vars.STAGING_PORT }}
script_stop: true
script: | script: |
set -e
BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}" BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}"
BRANCH_NAME="${BRANCH_NAME#refs/heads/}" BRANCH_NAME="${BRANCH_NAME#refs/heads/}"
DEPLOY_DIR="/home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${BRANCH_NAME}" DEPLOY_DIR="/home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${BRANCH_NAME}"
+25 -36
View File
@@ -101,27 +101,8 @@ jobs:
- name: Checkout - name: Checkout
uses: actions/checkout@v4 uses: actions/checkout@v4
- name: Setup SSH key - name: Check log level
uses: shimataro/ssh-key-action@v2
with:
key: ${{ secrets.PROD_SSH_PRIVATE_KEY }}
known_hosts: unnecessary
- name: Add prod host to known_hosts
run: ssh-keyscan -p ${{ vars.PROD_PORT }} ${{ vars.PROD_HOST }} >> ~/.ssh/known_hosts
- name: Copy docker-compose file
run: |
ssh -p ${{ vars.PROD_PORT }} \
${{ vars.PROD_USER }}@${{ vars.PROD_HOST }} \
"mkdir -p /srv/geo-platform"
scp -P ${{ vars.PROD_PORT }} \
docker-compose.production.yml \
${{ vars.PROD_USER }}@${{ vars.PROD_HOST }}:/srv/geo-platform/
- name: Deploy via SSH
env: env:
VERSION: ${{ needs.build.outputs.version }}
LOG_LEVEL: ${{ inputs.logLevel }} LOG_LEVEL: ${{ inputs.logLevel }}
run: | run: |
# VERSION проверен regexp-ом в job build (шаг Compute version) и приходит # VERSION проверен regexp-ом в job build (шаг Compute version) и приходит
@@ -134,21 +115,29 @@ jobs:
;; ;;
esac esac
ssh -p ${{ vars.PROD_PORT }} \ - name: Deploy via SSH
${{ vars.PROD_USER }}@${{ vars.PROD_HOST }} \ uses: jt4d-lab/ssh-action@v1
"VERSION=$VERSION LOG_LEVEL=$LOG_LEVEL bash -s" << 'EOF' env:
set -e VERSION: ${{ needs.build.outputs.version }}
export VERSION LOG_LEVEL LOG_LEVEL: ${{ inputs.logLevel }}
cd /srv/geo-platform with:
mv -f docker-compose.production.yml docker-compose.yml host: ${{ vars.PROD_HOST }}
username: ${{ vars.PROD_USER }}
key: ${{ secrets.PROD_SSH_PRIVATE_KEY }}
port: ${{ vars.PROD_PORT }}
workdir: /srv/geo-platform
files: docker-compose.production.yml
envs: VERSION,LOG_LEVEL
script_stop: true
script: |
mv -f docker-compose.production.yml docker-compose.yml
docker-compose pull --quiet docker-compose pull --quiet
docker-compose down docker-compose down
docker-compose up -d docker-compose up -d
# Ожидания готовности нет намеренно # Ожидания готовности нет намеренно
echo "Список миграций" echo "Список миграций"
docker exec geo-platform_api node_modules/.bin/typeorm migration:show -d data-source.js docker exec geo-platform_api node_modules/.bin/typeorm migration:show -d data-source.js
echo "Применение миграций" echo "Применение миграций"
docker exec geo-platform_api node_modules/.bin/typeorm migration:run -t each -d data-source.js docker exec geo-platform_api node_modules/.bin/typeorm migration:run -t each -d data-source.js
EOF
+5 -4
View File
@@ -56,14 +56,15 @@ yarn nx run api:db-migrations-list # Перегенерировать спис
#### Миграции БД #### Миграции БД
- Миграции лежат в `apps/api/src/database/migrations/` - Миграции лежат по модулям: `apps/api/src/<module>/migrations/`
- Список миграций **генерируется статически** (`tools/buildDataSource.ts` → - Список миграций **генерируется статически** (`tools/buildDataSource.ts` сканирует
`apps/api/src/database/migrations.ts`), потому что webpack не умеет runtime-glob `apps/api/src/**/migrations/` → `apps/api/src/migrations.ts`), потому что webpack не умеет
runtime-glob
- Имя файла обязано начинаться с **13-значного** timestamp, а имя класса — оканчиваться тем же - Имя файла обязано начинаться с **13-значного** timestamp, а имя класса — оканчиваться тем же
timestamp: TypeORM берёт его как `parseInt(className.substr(-13))`. Расхождение валит сборку timestamp: TypeORM берёт его как `parseInt(className.substr(-13))`. Расхождение валит сборку
- **После добавления или удаления миграции список нужно перегенерировать и закоммитить** - **После добавления или удаления миграции список нужно перегенерировать и закоммитить**
(`yarn nx run api:db-migrations-list`, либо это сделает `yarn nx run api:build` через (`yarn nx run api:db-migrations-list`, либо это сделает `yarn nx run api:build` через
`dependsOn`). Иначе CI упадёт на шаге `Check migrations list` (`git diff --exit-code`) `dependsOn`). Иначе CI упадёт на шаге `Check migrations list`
- Деплой применяет миграции автоматически (`migration:run -t each` через `docker exec` на проде / - Деплой применяет миграции автоматически (`migration:run -t each` через `docker exec` на проде /
`docker compose exec` на стейджинге) — на каждый тег на проде и на каждый push/PR на стейджинге. `docker compose exec` на стейджинге) — на каждый тег на проде и на каждый push/PR на стейджинге.
Автоматического бэкапа перед миграцией нет. Подробнее: `docs/90-deploy/10-migrations.md` Автоматического бэкапа перед миграцией нет. Подробнее: `docs/90-deploy/10-migrations.md`
+1 -1
View File
@@ -106,7 +106,7 @@ yarn nx affected -t <target> # только по затронутым про
4. **Убрать демо-код.** `apps/web/src/app/nx-welcome.tsx` и демо-страница в `apps/web/src/app`, 4. **Убрать демо-код.** `apps/web/src/app/nx-welcome.tsx` и демо-страница в `apps/web/src/app`,
тестовый контроллер и сервис в `apps/api/src/app`. тестовый контроллер и сервис в `apps/api/src/app`.
5. **Пересобрать миграции.** Удалить тестовую миграцию из `apps/api/src/database/migrations/` и 5. **Пересобрать миграции.** Удалить тестовую миграцию из `apps/api/src/database/migrations/` и
выполнить `yarn db-migrations-list`; список `apps/api/src/database/migrations.ts` коммитится. выполнить `yarn db-migrations-list`; список `apps/api/src/migrations.ts` коммитится.
6. **Обновить тексты под проект.** `docs/index.md`, документы в `docs/`, `AGENTS.md`, этот 6. **Обновить тексты под проект.** `docs/index.md`, документы в `docs/`, `AGENTS.md`, этот
`README.md`. `README.md`.
7. **Проверить ветку в CI.** Первый пуш должен пройти `yarn lint:check` и сборку, а стенд — 7. **Проверить ветку в CI.** Первый пуш должен пройти `yarn lint:check` и сборку, а стенд —
+1 -1
View File
@@ -3,7 +3,7 @@ import * as path from 'path';
import { config } from 'dotenv'; import { config } from 'dotenv';
import { DataSource } from 'typeorm'; import { DataSource } from 'typeorm';
import { migrations } from '../database/migrations'; import { migrations } from '../migrations';
// Загружаем env файлы в правильном порядке. // Загружаем env файлы в правильном порядке.
// Внутри контейнера файлов нет — dotenv молча пропустит их, значения берутся из окружения. // Внутри контейнера файлов нет — dotenv молча пропустит их, значения берутся из окружения.
File renamed without changes.
+16
View File
@@ -0,0 +1,16 @@
:80 {
root * /app
encode gzip
handle /api/* {
reverse_proxy api:5000
}
handle {
try_files {path} /index.html
file_server
@static path *.js *.css *.woff *.woff2 *.svg *.png *.jpg *.jpeg *.gif *.ico
header @static Cache-Control "public, max-age=31536000, immutable"
}
}
+3 -1
View File
@@ -1,10 +1,12 @@
FROM git.jt4d.ru/jt4d/caddy:2-alpine FROM git.jt4d.ru/jt4d/caddy:2-alpine
ARG CADDYFILE=Caddyfile
COPY ./dist /app COPY ./dist /app
EXPOSE 80 443 EXPOSE 80 443
COPY Caddyfile /etc/caddy/Caddyfile COPY ${CADDYFILE} /etc/caddy/Caddyfile
HEALTHCHECK --interval=10s --timeout=3s --retries=3 \ HEALTHCHECK --interval=10s --timeout=3s --retries=3 \
CMD curl -f http://localhost:80/health || exit 1 CMD curl -f http://localhost:80/health || exit 1
+5 -5
View File
@@ -2,12 +2,11 @@ services:
web: web:
container_name: jt4d_${BRANCH}_web container_name: jt4d_${BRANCH}_web
image: git.jt4d.ru/jt4d/jt4d/web:${BRANCH} image: git.jt4d.ru/jt4d/jt4d/web:${BRANCH}
environment: labels:
VIRTUAL_PORT: 80 caddy: ${BRANCH}.jt4d.jt4d.ru.net
VIRTUAL_HOST: ${BRANCH}.jt4d.jt4d.ru.net caddy.reverse_proxy: '{{upstreams 80}}'
LETSENCRYPT_HOST: ${BRANCH}.jt4d.jt4d.ru.net
HTTPS_METHOD: noredirect
restart: always restart: always
init: true
networks: networks:
- 'net' - 'net'
@@ -23,6 +22,7 @@ services:
POSTGRES_HOST: ${POSTGRES_HOST:-} POSTGRES_HOST: ${POSTGRES_HOST:-}
POSTGRES_PORT: ${POSTGRES_PORT:-5432} POSTGRES_PORT: ${POSTGRES_PORT:-5432}
restart: always restart: always
init: true
networks: networks:
- 'net' - 'net'
+25 -20
View File
@@ -19,10 +19,11 @@
Webpack не умеет runtime-glob: запись `migrations: ['*.js']` внутри бандла не работает в принципе. Webpack не умеет runtime-glob: запись `migrations: ['*.js']` внутри бандла не работает в принципе.
Поэтому список миграций генерируется статически на этапе сборки. Поэтому список миграций генерируется статически на этапе сборки.
1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/database/migrations/*.ts`, 1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/**/migrations/*.ts`
вытаскивает имена экспортируемых классов и пишет `apps/api/src/database/migrations.ts` со (миграции лежат по модулям — `apps/api/src/<module>/migrations/`), вытаскивает имена
статическими импортами. Сортировка — по числовому timestamp из имени файла (возрастание). экспортируемых классов и пишет `apps/api/src/migrations.ts` со статическими импортами. Сортировка
Результат прогоняется через Prettier внутри генератора и **коммитится в репозиторий**. — по числовому timestamp из имени файла (возрастание) независимо от модуля. Результат прогоняется
через Prettier внутри генератора и **коммитится в репозиторий**.
2. **Единый DataSource.** `apps/api/src/config/typeorm.config.ts` берёт `migrations` из 2. **Единый DataSource.** `apps/api/src/config/typeorm.config.ts` берёт `migrations` из
сгенерированного файла. Один и тот же файл работает локально через `typeorm-ts-node-commonjs` и в сгенерированного файла. Один и тот же файл работает локально через `typeorm-ts-node-commonjs` и в
собранном виде внутри контейнера. собранном виде внутри контейнера.
@@ -53,7 +54,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
## Как добавить миграцию ## Как добавить миграцию
1. Создать файл в `apps/api/src/database/migrations/` — вручную или через 1. Создать файл в `apps/api/src/<module>/migrations/` — вручную или через
`typeorm migration:generate`. Имя файла обязано начинаться с **13-значного** timestamp: `typeorm migration:generate`. Имя файла обязано начинаться с **13-значного** timestamp:
`1774001000000-fix-subscription-plan-id-default.ts`, а имя класса — оканчиваться тем же timestamp `1774001000000-fix-subscription-plan-id-default.ts`, а имя класса — оканчиваться тем же timestamp
(`FixSubscriptionPlanIdDefault1774001000000`). TypeORM берёт timestamp как (`FixSubscriptionPlanIdDefault1774001000000`). TypeORM берёт timestamp как
@@ -68,7 +69,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
TS_NODE_PROJECT=apps/api/tsconfig.app.json \ TS_NODE_PROJECT=apps/api/tsconfig.app.json \
NODE_OPTIONS="-r tsconfig-paths/register" \ NODE_OPTIONS="-r tsconfig-paths/register" \
yarn typeorm-ts-node-commonjs migration:generate \ yarn typeorm-ts-node-commonjs migration:generate \
apps/api/src/database/migrations/add-something \ apps/api/src/<module>/migrations/add-something \
-d apps/api/src/config/typeorm.config.ts -d apps/api/src/config/typeorm.config.ts
``` ```
@@ -83,15 +84,16 @@ yarn nx run api:db-migrations-list # только перегенерация с
2. Перегенерировать список: `yarn nx run api:db-migrations-list` (или просто 2. Перегенерировать список: `yarn nx run api:db-migrations-list` (или просто
`yarn nx run api:build`). `yarn nx run api:build`).
3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/database/migrations.ts`. 3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/migrations.ts`.
4. Проверить локально: `yarn nx run api:db-show` (миграция должна появиться в списке), затем цикл 4. Проверить локально: `yarn nx run api:db-show` (миграция должна появиться в списке), затем цикл
накат → откат → накат — см. накат → откат → накат — см.
[Проверка перед коммитом](../50-developing/20-migrations.md#проверка-перед-коммитом). [Проверка перед коммитом](../50-developing/20-migrations.md#проверка-перед-коммитом).
Генератор падает с ненулевым кодом, если: в файле нет `export class`; в файле больше одного Генератор падает с ненулевым кодом, если: в файле нет `export class`; в файле больше одного
`export class`; имя файла не начинается с 13-значного timestamp; суффикс имени класса не совпадает с `export class`; имя файла не начинается с 13-значного timestamp; суффикс имени класса не совпадает с
префиксом имени файла; файлов не найдено вовсе; два файла дают одинаковое имя класса. Так как он префиксом имени файла; два файла дают одинаковое имя класса. Так как он висит на `dependsOn` у
висит на `dependsOn` у `build`, любая из этих ошибок валит сборку. `build`, любая из этих ошибок валит сборку. Отсутствие каталогов `migrations` — не ошибка: список
тогда пустой.
Файлы-спутники (`*.d.ts`, `*.spec.ts`, `*.test.ts`) в директории миграций игнорируются и Файлы-спутники (`*.d.ts`, `*.spec.ts`, `*.test.ts`) в директории миграций игнорируются и
генератором, и `tools/checkDataSource.ts` — последний вызывает `readMigrations()` генератора, так генератором, и `tools/checkDataSource.ts` — последний вызывает `readMigrations()` генератора, так
@@ -123,9 +125,9 @@ POSTGRES_DB=aigeo_migtest yarn nx run api:db-migrate
`.gitea/workflows/ci.yaml`: `.gitea/workflows/ci.yaml`:
- **`Check migrations list`** — `yarn ts-node tools/buildDataSource.ts --check`. Генератор рендерит - **`Check migrations list`** — `yarn ts-node tools/buildDataSource.ts --check`. Генератор рендерит
список, сравнивает с содержимым `apps/api/src/database/migrations.ts` и падает при расхождении, список, сравнивает с содержимым `apps/api/src/migrations.ts` и падает при расхождении, ничего не
ничего не записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git в проверке
в проверке не участвует вовсе. не участвует вовсе.
- **`Check data-source`** (после `yarn build`) — `yarn ts-node tools/checkDataSource.ts` загружает - **`Check data-source`** (после `yarn build`) — `yarn ts-node tools/checkDataSource.ts` загружает
собранный `apps/api/dist/data-source.js`, проверяет, что экспорт ведёт себя как `DataSource` собранный `apps/api/dist/data-source.js`, проверяет, что экспорт ведёт себя как `DataSource`
(`initialize()` + объект `options`), и что список классов в бандле **посимвольно совпадает** с (`initialize()` + объект `options`), и что список классов в бандле **посимвольно совпадает** с
@@ -165,8 +167,8 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на
2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run` 2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run`
упадёт, под `set -e` prune не выполнится — почистится на следующем деплое. упадёт, под `set -e` prune не выполнится — почистится на следующем деплое.
Ненулевой код валит job: у шага стоит `script_stop: true` (штатный механизм `appleboy/ssh-action`), Ненулевой код валит job: у шага стоит `script_stop: true` — действие открывает скрипт строкой
а первой строкой скрипта — `set -e`. `set -e`, поэтому упавшая команда завершает его с её кодом выхода, а не продолжает выполнение.
### База и переменные `.env` на стейджинг-хосте ### База и переменные `.env` на стейджинг-хосте
@@ -197,8 +199,10 @@ staging-db-postgres create <org/project> <branch>
## Применение на проде ## Применение на проде
Job `deploy-production` в `.gitea/workflows/production.yaml`, блок `Deploy via SSH` (heredoc — не Job `deploy-production` в `.gitea/workflows/production.yaml`, шаг `Deploy via SSH` — тот же
`appleboy/ssh-action`, синтаксис отличается от стейджинга). Порядок: `jt4d-lab/ssh-action`, что и на стейджинге, плюс `workdir: /srv/geo-platform` и
`files: docker-compose.production.yml`: компоуз-файл приезжает тем же шагом, отдельного `scp` нет.
Порядок:
1. `docker-compose pull` → `down` → `up -d`. 1. `docker-compose pull` → `down` → `up -d`.
2. Сразу после `up -d` — `migration:show` (в лог видно, что именно будет применено), затем 2. Сразу после `up -d` — `migration:show` (в лог видно, что именно будет применено), затем
@@ -234,10 +238,11 @@ DDL, — и упадёт после того, как новый образ уш
блокировки у TypeORM нет. `cancel-in-progress: false` — отмена job посреди набора рвёт SSH-сессию и блокировки у TypeORM нет. `cancel-in-progress: false` — отмена job посреди набора рвёт SSH-сессию и
оставляет БД частично мигрированной. оставляет БД частично мигрированной.
`VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага, а не подстановкой `${{ … }}` в `VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага и вход `envs:`, а не
тело heredoc: `VERSION` приходит из git-тега, а в имени ref допустимы кавычки, `;`, `$` и обратные подстановкой `${{ … }}` в тело скрипта: `VERSION` приходит из git-тега, а в имени ref допустимы
кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла. Оба значения к тому же кавычки, `;`, `$` и обратные кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла.
валидируются по белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — перед `ssh`). `envs` к тому же всегда оборачивает значение в одинарные кавычки. Оба значения валидируются по
белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — отдельным шагом перед деплоем).
### Почему `-t each` ### Почему `-t each`
+52 -18
View File
@@ -1,11 +1,13 @@
import { existsSync, readdirSync, readFileSync, writeFileSync } from 'fs'; import { type Dirent, existsSync, readdirSync, readFileSync, writeFileSync } from 'fs';
import * as path from 'path'; import * as path from 'path';
import { format, resolveConfig } from 'prettier'; import { format, resolveConfig } from 'prettier';
export const workspaceRoot = path.resolve(__dirname, '..'); export const workspaceRoot = path.resolve(__dirname, '..');
const migrationsDir = path.join(workspaceRoot, 'apps', 'api', 'src', 'database', 'migrations'); const apiSrcDir = path.join(workspaceRoot, 'apps', 'api', 'src');
const outputFile = path.join(workspaceRoot, 'apps', 'api', 'src', 'database', 'migrations.ts'); const outputFile = path.join(apiSrcDir, 'migrations.ts');
// Миграции лежат по модулям: apps/api/src/<module>/migrations/<timestamp>-<name>.ts.
const MIGRATIONS_DIR_NAME = 'migrations';
const HEADER = const HEADER =
'// Файл сгенерирован автоматически (tools/buildDataSource.ts). Не редактировать вручную.'; '// Файл сгенерирован автоматически (tools/buildDataSource.ts). Не редактировать вручную.';
@@ -21,6 +23,7 @@ const TIMESTAMP_PREFIX_RE = /^(\d{13})-/;
const COMPANION_FILE_RE = /\.(d|spec|test)\.ts$/; const COMPANION_FILE_RE = /\.(d|spec|test)\.ts$/;
export interface MigrationEntry { export interface MigrationEntry {
/** Путь относительно apps/api/src, с расширением .ts */
file: string; file: string;
className: string; className: string;
} }
@@ -36,27 +39,58 @@ function failBuild(message: string): never {
fail('buildDataSource', message); fail('buildDataSource', message);
} }
// Порядок — лексикографический по имени файла. Отдельная числовая сортировка не // Список каталогов миграций: любой apps/api/src/**/migrations.
// нужна: ниже гарантируется, что имя каждого файла начинается ровно с 13 цифр, function findMigrationsDirs(dir: string): string[] {
// а при фиксированной длине лексикографический порядок совпадает с числовым. let entries: Dirent[];
export function readMigrations(): MigrationEntry[] {
let files: string[];
try { try {
files = readdirSync(migrationsDir); entries = readdirSync(dir, { withFileTypes: true });
} catch { } catch {
failBuild(`директория миграций не найдена: ${migrationsDir}`); failBuild(`не удалось прочитать директорию: ${dir}`);
} }
const migrationFiles = files const found: string[] = [];
.filter((file) => file.endsWith('.ts') && !COMPANION_FILE_RE.test(file))
.sort();
// Пустая директория — легальное состояние: проект может ещё не иметь миграций. for (const entry of entries) {
// Тогда список пустой, а сборка не падает. if (!entry.isDirectory() || entry.name === 'node_modules') {
continue;
}
const fullPath = path.join(dir, entry.name);
if (entry.name === MIGRATIONS_DIR_NAME) {
found.push(fullPath);
continue;
}
found.push(...findMigrationsDirs(fullPath));
}
return found;
}
// Порядок — по timestamp из имени файла (возрастание): имя файла начинается ровно с
// 13 цифр, поэтому лексикографическая сортировка совпадает с числовой. Одинаковые
// имена файлов в разных модулях упорядочиваются по пути.
export function readMigrations(): MigrationEntry[] {
const migrationFiles = findMigrationsDirs(apiSrcDir)
.flatMap((dir) =>
readdirSync(dir, { withFileTypes: true })
.filter((entry) => entry.isFile())
.map((entry) => path.posix.join(path.relative(apiSrcDir, dir), entry.name))
.filter((file) => file.endsWith('.ts') && !COMPANION_FILE_RE.test(file)),
)
.sort((a, b) => {
const byName = path.posix.basename(a).localeCompare(path.posix.basename(b));
return byName !== 0 ? byName : a.localeCompare(b);
});
// Каталогов migrations может не быть ни одного: проект может ещё не иметь
// миграций. Тогда список пустой, а сборка не падает.
const entries = migrationFiles.map((file): MigrationEntry => { const entries = migrationFiles.map((file): MigrationEntry => {
const timestampMatch = TIMESTAMP_PREFIX_RE.exec(file); const timestampMatch = TIMESTAMP_PREFIX_RE.exec(path.posix.basename(file));
if (!timestampMatch) { if (!timestampMatch) {
failBuild( failBuild(
@@ -65,7 +99,7 @@ export function readMigrations(): MigrationEntry[] {
); );
} }
const source = readFileSync(path.join(migrationsDir, file), 'utf8'); const source = readFileSync(path.join(apiSrcDir, file), 'utf8');
const classNames = [...source.matchAll(EXPORT_CLASS_RE)].map((match) => match[1]); const classNames = [...source.matchAll(EXPORT_CLASS_RE)].map((match) => match[1]);
if (classNames.length === 0) { if (classNames.length === 0) {
@@ -123,7 +157,7 @@ function render(entries: MigrationEntry[]): string {
const imports = entries const imports = entries
.map( .map(
(entry) => (entry) =>
`import { ${entry.className} } from './migrations/${entry.file.slice(0, -'.ts'.length)}';`, `import { ${entry.className} } from './${entry.file.slice(0, -'.ts'.length)}';`,
) )
.join('\n'); .join('\n');