ci: перенос миграций к модулям, деплой стендов через jt4d-lab/ssh-action и caddy-лейблы
- миграции лежат по модулям в `apps/api/src/<module>/migrations/`; `tools/buildDataSource.ts` сканирует `apps/api/src/**/migrations/` и генерирует список в `apps/api/src/migrations.ts` - `deploy-staging` накатывает миграции шагами `migration:show` и `migration:run -t each` - стенды получают маршрутизацию через лейблы `caddy` и `caddy.reverse_proxy`, web-образ стенда собирается с `CADDYFILE=Caddyfile.staging` ## Мотивация Миграции нужно накатывать на стендах автоматически и держать рядом с модулем, которому они принадлежат, а деплой — сводить к одному шагу, который сам копирует компоуз-файл на хост и выполняет скрипт. ## Ключевые моменты реализации - `Caddyfile.staging` слушает `:80` без хостового матчера и HTTPS: имена стендов динамические, маршрутизацию и TLS берёт внешний caddy-docker-proxy по лейблам Reviewed-on: jt4d/jt4d#2 Co-authored-by: Arswarog <arswarog@yandex.ru>
This commit is contained in:
1 parent
ae812b0dfa
commit
1d80630fb2
12 files changed
+146
-108
No files matched your search
+11
-20
@@ -64,6 +64,8 @@ jobs:
|
|||||||
context: apps/web
|
context: apps/web
|
||||||
file: apps/web/Dockerfile
|
file: apps/web/Dockerfile
|
||||||
push: true
|
push: true
|
||||||
|
build-args: |
|
||||||
|
CADDYFILE=Caddyfile.staging
|
||||||
tags: git.jt4d.ru/${{ github.repository }}/web:${{ github.head_ref || github.ref_name }}
|
tags: git.jt4d.ru/${{ github.repository }}/web:${{ github.head_ref || github.ref_name }}
|
||||||
cache-from: git.jt4d.ru/${{ github.repository }}/web:latest
|
cache-from: git.jt4d.ru/${{ github.repository }}/web:latest
|
||||||
labels: |
|
labels: |
|
||||||
@@ -93,32 +95,21 @@ jobs:
|
|||||||
- name: Checkout
|
- name: Checkout
|
||||||
uses: actions/checkout@v4
|
uses: actions/checkout@v4
|
||||||
|
|
||||||
- name: Copy docker-compose file
|
|
||||||
uses: appleboy/scp-action@v1
|
|
||||||
with:
|
|
||||||
host: ${{ vars.STAGING_HOST }}
|
|
||||||
username: ${{ vars.STAGING_USER }}
|
|
||||||
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
|
|
||||||
port: ${{ vars.STAGING_PORT }}
|
|
||||||
source: 'docker-compose.staging.yml'
|
|
||||||
target: /home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${{ github.head_ref || github.ref_name }}
|
|
||||||
|
|
||||||
- name: Deploy via SSH
|
- name: Deploy via SSH
|
||||||
uses: appleboy/ssh-action@v1
|
uses: jt4d-lab/ssh-action@v1
|
||||||
env:
|
env:
|
||||||
DEPLOY_DIR: ${{ github.event.repository.name }}_${{ github.head_ref || github.ref_name }}
|
|
||||||
BRANCH: ${{ github.head_ref || github.ref_name }}
|
BRANCH: ${{ github.head_ref || github.ref_name }}
|
||||||
with:
|
with:
|
||||||
host: ${{ vars.STAGING_HOST }}
|
host: ${{ vars.STAGING_HOST }}
|
||||||
username: ${{ vars.STAGING_USER }}
|
username: ${{ vars.STAGING_USER }}
|
||||||
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
|
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
|
||||||
port: ${{ vars.STAGING_PORT }}
|
port: ${{ vars.STAGING_PORT }}
|
||||||
|
workdir: /home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${{ github.head_ref || github.ref_name }}
|
||||||
|
files: docker-compose.staging.yml
|
||||||
script_stop: true
|
script_stop: true
|
||||||
envs: DEPLOY_DIR,BRANCH
|
envs: BRANCH
|
||||||
script: |
|
script: |
|
||||||
set -e
|
mv -f docker-compose.staging.yml docker-compose.yml
|
||||||
cd "/home/${{ vars.STAGING_USER }}/$DEPLOY_DIR"
|
|
||||||
mv -f docker-compose.*.yml docker-compose.yml
|
|
||||||
# \${BRANCH} — литеральный плейсхолдер в docker-compose.staging.yml,
|
# \${BRANCH} — литеральный плейсхолдер в docker-compose.staging.yml,
|
||||||
# $BRANCH — имя ветки из окружения.
|
# $BRANCH — имя ветки из окружения.
|
||||||
sed -i "s/\${BRANCH}/$BRANCH/g" docker-compose.yml
|
sed -i "s/\${BRANCH}/$BRANCH/g" docker-compose.yml
|
||||||
@@ -127,10 +118,10 @@ jobs:
|
|||||||
docker compose down
|
docker compose down
|
||||||
docker compose up -d
|
docker compose up -d
|
||||||
|
|
||||||
# echo "Список миграций"
|
echo "Список миграций"
|
||||||
# docker compose exec -T api node_modules/.bin/typeorm migration:show -d data-source.js
|
docker compose exec -T api node_modules/.bin/typeorm migration:show -d data-source.js
|
||||||
# echo "Применение миграций"
|
echo "Применение миграций"
|
||||||
# docker compose exec -T api node_modules/.bin/typeorm migration:run -t each -d data-source.js
|
docker compose exec -T api node_modules/.bin/typeorm migration:run -t each -d data-source.js
|
||||||
|
|
||||||
docker system prune -f
|
docker system prune -f
|
||||||
|
|
||||||
|
|||||||
@@ -20,14 +20,14 @@ jobs:
|
|||||||
github.event.pull_request.head.repo.full_name == github.repository)
|
github.event.pull_request.head.repo.full_name == github.repository)
|
||||||
steps:
|
steps:
|
||||||
- name: Удаление стенда
|
- name: Удаление стенда
|
||||||
uses: appleboy/ssh-action@v1
|
uses: jt4d-lab/ssh-action@v1
|
||||||
with:
|
with:
|
||||||
host: ${{ vars.STAGING_HOST }}
|
host: ${{ vars.STAGING_HOST }}
|
||||||
username: ${{ vars.STAGING_USER }}
|
username: ${{ vars.STAGING_USER }}
|
||||||
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
|
key: ${{ secrets.STAGING_SSH_PRIVATE_KEY }}
|
||||||
port: ${{ vars.STAGING_PORT }}
|
port: ${{ vars.STAGING_PORT }}
|
||||||
|
script_stop: true
|
||||||
script: |
|
script: |
|
||||||
set -e
|
|
||||||
BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}"
|
BRANCH_NAME="${{ github.event.ref || github.event.pull_request.head.ref || github.ref_name }}"
|
||||||
BRANCH_NAME="${BRANCH_NAME#refs/heads/}"
|
BRANCH_NAME="${BRANCH_NAME#refs/heads/}"
|
||||||
DEPLOY_DIR="/home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${BRANCH_NAME}"
|
DEPLOY_DIR="/home/${{ vars.STAGING_USER }}/${{ github.event.repository.name }}_${BRANCH_NAME}"
|
||||||
|
|||||||
@@ -101,27 +101,8 @@ jobs:
|
|||||||
- name: Checkout
|
- name: Checkout
|
||||||
uses: actions/checkout@v4
|
uses: actions/checkout@v4
|
||||||
|
|
||||||
- name: Setup SSH key
|
- name: Check log level
|
||||||
uses: shimataro/ssh-key-action@v2
|
|
||||||
with:
|
|
||||||
key: ${{ secrets.PROD_SSH_PRIVATE_KEY }}
|
|
||||||
known_hosts: unnecessary
|
|
||||||
|
|
||||||
- name: Add prod host to known_hosts
|
|
||||||
run: ssh-keyscan -p ${{ vars.PROD_PORT }} ${{ vars.PROD_HOST }} >> ~/.ssh/known_hosts
|
|
||||||
|
|
||||||
- name: Copy docker-compose file
|
|
||||||
run: |
|
|
||||||
ssh -p ${{ vars.PROD_PORT }} \
|
|
||||||
${{ vars.PROD_USER }}@${{ vars.PROD_HOST }} \
|
|
||||||
"mkdir -p /srv/geo-platform"
|
|
||||||
scp -P ${{ vars.PROD_PORT }} \
|
|
||||||
docker-compose.production.yml \
|
|
||||||
${{ vars.PROD_USER }}@${{ vars.PROD_HOST }}:/srv/geo-platform/
|
|
||||||
|
|
||||||
- name: Deploy via SSH
|
|
||||||
env:
|
env:
|
||||||
VERSION: ${{ needs.build.outputs.version }}
|
|
||||||
LOG_LEVEL: ${{ inputs.logLevel }}
|
LOG_LEVEL: ${{ inputs.logLevel }}
|
||||||
run: |
|
run: |
|
||||||
# VERSION проверен regexp-ом в job build (шаг Compute version) и приходит
|
# VERSION проверен regexp-ом в job build (шаг Compute version) и приходит
|
||||||
@@ -134,21 +115,29 @@ jobs:
|
|||||||
;;
|
;;
|
||||||
esac
|
esac
|
||||||
|
|
||||||
ssh -p ${{ vars.PROD_PORT }} \
|
- name: Deploy via SSH
|
||||||
${{ vars.PROD_USER }}@${{ vars.PROD_HOST }} \
|
uses: jt4d-lab/ssh-action@v1
|
||||||
"VERSION=$VERSION LOG_LEVEL=$LOG_LEVEL bash -s" << 'EOF'
|
env:
|
||||||
set -e
|
VERSION: ${{ needs.build.outputs.version }}
|
||||||
export VERSION LOG_LEVEL
|
LOG_LEVEL: ${{ inputs.logLevel }}
|
||||||
cd /srv/geo-platform
|
with:
|
||||||
mv -f docker-compose.production.yml docker-compose.yml
|
host: ${{ vars.PROD_HOST }}
|
||||||
|
username: ${{ vars.PROD_USER }}
|
||||||
|
key: ${{ secrets.PROD_SSH_PRIVATE_KEY }}
|
||||||
|
port: ${{ vars.PROD_PORT }}
|
||||||
|
workdir: /srv/geo-platform
|
||||||
|
files: docker-compose.production.yml
|
||||||
|
envs: VERSION,LOG_LEVEL
|
||||||
|
script_stop: true
|
||||||
|
script: |
|
||||||
|
mv -f docker-compose.production.yml docker-compose.yml
|
||||||
|
|
||||||
docker-compose pull --quiet
|
docker-compose pull --quiet
|
||||||
docker-compose down
|
docker-compose down
|
||||||
docker-compose up -d
|
docker-compose up -d
|
||||||
|
|
||||||
# Ожидания готовности нет намеренно
|
# Ожидания готовности нет намеренно
|
||||||
echo "Список миграций"
|
echo "Список миграций"
|
||||||
docker exec geo-platform_api node_modules/.bin/typeorm migration:show -d data-source.js
|
docker exec geo-platform_api node_modules/.bin/typeorm migration:show -d data-source.js
|
||||||
echo "Применение миграций"
|
echo "Применение миграций"
|
||||||
docker exec geo-platform_api node_modules/.bin/typeorm migration:run -t each -d data-source.js
|
docker exec geo-platform_api node_modules/.bin/typeorm migration:run -t each -d data-source.js
|
||||||
EOF
|
|
||||||
@@ -56,14 +56,15 @@ yarn nx run api:db-migrations-list # Перегенерировать спис
|
|||||||
|
|
||||||
#### Миграции БД
|
#### Миграции БД
|
||||||
|
|
||||||
- Миграции лежат в `apps/api/src/database/migrations/`
|
- Миграции лежат по модулям: `apps/api/src/<module>/migrations/`
|
||||||
- Список миграций **генерируется статически** (`tools/buildDataSource.ts` →
|
- Список миграций **генерируется статически** (`tools/buildDataSource.ts` сканирует
|
||||||
`apps/api/src/database/migrations.ts`), потому что webpack не умеет runtime-glob
|
`apps/api/src/**/migrations/` → `apps/api/src/migrations.ts`), потому что webpack не умеет
|
||||||
|
runtime-glob
|
||||||
- Имя файла обязано начинаться с **13-значного** timestamp, а имя класса — оканчиваться тем же
|
- Имя файла обязано начинаться с **13-значного** timestamp, а имя класса — оканчиваться тем же
|
||||||
timestamp: TypeORM берёт его как `parseInt(className.substr(-13))`. Расхождение валит сборку
|
timestamp: TypeORM берёт его как `parseInt(className.substr(-13))`. Расхождение валит сборку
|
||||||
- **После добавления или удаления миграции список нужно перегенерировать и закоммитить**
|
- **После добавления или удаления миграции список нужно перегенерировать и закоммитить**
|
||||||
(`yarn nx run api:db-migrations-list`, либо это сделает `yarn nx run api:build` через
|
(`yarn nx run api:db-migrations-list`, либо это сделает `yarn nx run api:build` через
|
||||||
`dependsOn`). Иначе CI упадёт на шаге `Check migrations list` (`git diff --exit-code`)
|
`dependsOn`). Иначе CI упадёт на шаге `Check migrations list`
|
||||||
- Деплой применяет миграции автоматически (`migration:run -t each` через `docker exec` на проде /
|
- Деплой применяет миграции автоматически (`migration:run -t each` через `docker exec` на проде /
|
||||||
`docker compose exec` на стейджинге) — на каждый тег на проде и на каждый push/PR на стейджинге.
|
`docker compose exec` на стейджинге) — на каждый тег на проде и на каждый push/PR на стейджинге.
|
||||||
Автоматического бэкапа перед миграцией нет. Подробнее: `docs/90-deploy/10-migrations.md`
|
Автоматического бэкапа перед миграцией нет. Подробнее: `docs/90-deploy/10-migrations.md`
|
||||||
|
|||||||
@@ -106,7 +106,7 @@ yarn nx affected -t <target> # только по затронутым про
|
|||||||
4. **Убрать демо-код.** `apps/web/src/app/nx-welcome.tsx` и демо-страница в `apps/web/src/app`,
|
4. **Убрать демо-код.** `apps/web/src/app/nx-welcome.tsx` и демо-страница в `apps/web/src/app`,
|
||||||
тестовый контроллер и сервис в `apps/api/src/app`.
|
тестовый контроллер и сервис в `apps/api/src/app`.
|
||||||
5. **Пересобрать миграции.** Удалить тестовую миграцию из `apps/api/src/database/migrations/` и
|
5. **Пересобрать миграции.** Удалить тестовую миграцию из `apps/api/src/database/migrations/` и
|
||||||
выполнить `yarn db-migrations-list`; список `apps/api/src/database/migrations.ts` коммитится.
|
выполнить `yarn db-migrations-list`; список `apps/api/src/migrations.ts` коммитится.
|
||||||
6. **Обновить тексты под проект.** `docs/index.md`, документы в `docs/`, `AGENTS.md`, этот
|
6. **Обновить тексты под проект.** `docs/index.md`, документы в `docs/`, `AGENTS.md`, этот
|
||||||
`README.md`.
|
`README.md`.
|
||||||
7. **Проверить ветку в CI.** Первый пуш должен пройти `yarn lint:check` и сборку, а стенд —
|
7. **Проверить ветку в CI.** Первый пуш должен пройти `yarn lint:check` и сборку, а стенд —
|
||||||
|
|||||||
@@ -3,7 +3,7 @@ import * as path from 'path';
|
|||||||
import { config } from 'dotenv';
|
import { config } from 'dotenv';
|
||||||
import { DataSource } from 'typeorm';
|
import { DataSource } from 'typeorm';
|
||||||
|
|
||||||
import { migrations } from '../database/migrations';
|
import { migrations } from '../migrations';
|
||||||
|
|
||||||
// Загружаем env файлы в правильном порядке.
|
// Загружаем env файлы в правильном порядке.
|
||||||
// Внутри контейнера файлов нет — dotenv молча пропустит их, значения берутся из окружения.
|
// Внутри контейнера файлов нет — dotenv молча пропустит их, значения берутся из окружения.
|
||||||
|
|||||||
File renamed without changes.
@@ -0,0 +1,16 @@
|
|||||||
|
:80 {
|
||||||
|
root * /app
|
||||||
|
encode gzip
|
||||||
|
|
||||||
|
handle /api/* {
|
||||||
|
reverse_proxy api:5000
|
||||||
|
}
|
||||||
|
|
||||||
|
handle {
|
||||||
|
try_files {path} /index.html
|
||||||
|
file_server
|
||||||
|
|
||||||
|
@static path *.js *.css *.woff *.woff2 *.svg *.png *.jpg *.jpeg *.gif *.ico
|
||||||
|
header @static Cache-Control "public, max-age=31536000, immutable"
|
||||||
|
}
|
||||||
|
}
|
||||||
+3
-1
@@ -1,10 +1,12 @@
|
|||||||
FROM git.jt4d.ru/jt4d/caddy:2-alpine
|
FROM git.jt4d.ru/jt4d/caddy:2-alpine
|
||||||
|
|
||||||
|
ARG CADDYFILE=Caddyfile
|
||||||
|
|
||||||
COPY ./dist /app
|
COPY ./dist /app
|
||||||
|
|
||||||
EXPOSE 80 443
|
EXPOSE 80 443
|
||||||
|
|
||||||
COPY Caddyfile /etc/caddy/Caddyfile
|
COPY ${CADDYFILE} /etc/caddy/Caddyfile
|
||||||
|
|
||||||
HEALTHCHECK --interval=10s --timeout=3s --retries=3 \
|
HEALTHCHECK --interval=10s --timeout=3s --retries=3 \
|
||||||
CMD curl -f http://localhost:80/health || exit 1
|
CMD curl -f http://localhost:80/health || exit 1
|
||||||
@@ -2,12 +2,11 @@ services:
|
|||||||
web:
|
web:
|
||||||
container_name: jt4d_${BRANCH}_web
|
container_name: jt4d_${BRANCH}_web
|
||||||
image: git.jt4d.ru/jt4d/jt4d/web:${BRANCH}
|
image: git.jt4d.ru/jt4d/jt4d/web:${BRANCH}
|
||||||
environment:
|
labels:
|
||||||
VIRTUAL_PORT: 80
|
caddy: ${BRANCH}.jt4d.jt4d.ru.net
|
||||||
VIRTUAL_HOST: ${BRANCH}.jt4d.jt4d.ru.net
|
caddy.reverse_proxy: '{{upstreams 80}}'
|
||||||
LETSENCRYPT_HOST: ${BRANCH}.jt4d.jt4d.ru.net
|
|
||||||
HTTPS_METHOD: noredirect
|
|
||||||
restart: always
|
restart: always
|
||||||
|
init: true
|
||||||
networks:
|
networks:
|
||||||
- 'net'
|
- 'net'
|
||||||
|
|
||||||
@@ -23,6 +22,7 @@ services:
|
|||||||
POSTGRES_HOST: ${POSTGRES_HOST:-}
|
POSTGRES_HOST: ${POSTGRES_HOST:-}
|
||||||
POSTGRES_PORT: ${POSTGRES_PORT:-5432}
|
POSTGRES_PORT: ${POSTGRES_PORT:-5432}
|
||||||
restart: always
|
restart: always
|
||||||
|
init: true
|
||||||
networks:
|
networks:
|
||||||
- 'net'
|
- 'net'
|
||||||
|
|
||||||
|
|||||||
@@ -19,10 +19,11 @@
|
|||||||
Webpack не умеет runtime-glob: запись `migrations: ['*.js']` внутри бандла не работает в принципе.
|
Webpack не умеет runtime-glob: запись `migrations: ['*.js']` внутри бандла не работает в принципе.
|
||||||
Поэтому список миграций генерируется статически на этапе сборки.
|
Поэтому список миграций генерируется статически на этапе сборки.
|
||||||
|
|
||||||
1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/database/migrations/*.ts`,
|
1. **Кодогенерация.** `tools/buildDataSource.ts` сканирует `apps/api/src/**/migrations/*.ts`
|
||||||
вытаскивает имена экспортируемых классов и пишет `apps/api/src/database/migrations.ts` со
|
(миграции лежат по модулям — `apps/api/src/<module>/migrations/`), вытаскивает имена
|
||||||
статическими импортами. Сортировка — по числовому timestamp из имени файла (возрастание).
|
экспортируемых классов и пишет `apps/api/src/migrations.ts` со статическими импортами. Сортировка
|
||||||
Результат прогоняется через Prettier внутри генератора и **коммитится в репозиторий**.
|
— по числовому timestamp из имени файла (возрастание) независимо от модуля. Результат прогоняется
|
||||||
|
через Prettier внутри генератора и **коммитится в репозиторий**.
|
||||||
2. **Единый DataSource.** `apps/api/src/config/typeorm.config.ts` берёт `migrations` из
|
2. **Единый DataSource.** `apps/api/src/config/typeorm.config.ts` берёт `migrations` из
|
||||||
сгенерированного файла. Один и тот же файл работает локально через `typeorm-ts-node-commonjs` и в
|
сгенерированного файла. Один и тот же файл работает локально через `typeorm-ts-node-commonjs` и в
|
||||||
собранном виде внутри контейнера.
|
собранном виде внутри контейнера.
|
||||||
@@ -53,7 +54,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
|
|||||||
|
|
||||||
## Как добавить миграцию
|
## Как добавить миграцию
|
||||||
|
|
||||||
1. Создать файл в `apps/api/src/database/migrations/` — вручную или через
|
1. Создать файл в `apps/api/src/<module>/migrations/` — вручную или через
|
||||||
`typeorm migration:generate`. Имя файла обязано начинаться с **13-значного** timestamp:
|
`typeorm migration:generate`. Имя файла обязано начинаться с **13-значного** timestamp:
|
||||||
`1774001000000-fix-subscription-plan-id-default.ts`, а имя класса — оканчиваться тем же timestamp
|
`1774001000000-fix-subscription-plan-id-default.ts`, а имя класса — оканчиваться тем же timestamp
|
||||||
(`FixSubscriptionPlanIdDefault1774001000000`). TypeORM берёт timestamp как
|
(`FixSubscriptionPlanIdDefault1774001000000`). TypeORM берёт timestamp как
|
||||||
@@ -68,7 +69,7 @@ yarn nx run api:db-migrations-list # только перегенерация с
|
|||||||
TS_NODE_PROJECT=apps/api/tsconfig.app.json \
|
TS_NODE_PROJECT=apps/api/tsconfig.app.json \
|
||||||
NODE_OPTIONS="-r tsconfig-paths/register" \
|
NODE_OPTIONS="-r tsconfig-paths/register" \
|
||||||
yarn typeorm-ts-node-commonjs migration:generate \
|
yarn typeorm-ts-node-commonjs migration:generate \
|
||||||
apps/api/src/database/migrations/add-something \
|
apps/api/src/<module>/migrations/add-something \
|
||||||
-d apps/api/src/config/typeorm.config.ts
|
-d apps/api/src/config/typeorm.config.ts
|
||||||
```
|
```
|
||||||
|
|
||||||
@@ -83,15 +84,16 @@ yarn nx run api:db-migrations-list # только перегенерация с
|
|||||||
|
|
||||||
2. Перегенерировать список: `yarn nx run api:db-migrations-list` (или просто
|
2. Перегенерировать список: `yarn nx run api:db-migrations-list` (или просто
|
||||||
`yarn nx run api:build`).
|
`yarn nx run api:build`).
|
||||||
3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/database/migrations.ts`.
|
3. **Закоммитить оба файла** — саму миграцию и `apps/api/src/migrations.ts`.
|
||||||
4. Проверить локально: `yarn nx run api:db-show` (миграция должна появиться в списке), затем цикл
|
4. Проверить локально: `yarn nx run api:db-show` (миграция должна появиться в списке), затем цикл
|
||||||
накат → откат → накат — см.
|
накат → откат → накат — см.
|
||||||
[Проверка перед коммитом](../50-developing/20-migrations.md#проверка-перед-коммитом).
|
[Проверка перед коммитом](../50-developing/20-migrations.md#проверка-перед-коммитом).
|
||||||
|
|
||||||
Генератор падает с ненулевым кодом, если: в файле нет `export class`; в файле больше одного
|
Генератор падает с ненулевым кодом, если: в файле нет `export class`; в файле больше одного
|
||||||
`export class`; имя файла не начинается с 13-значного timestamp; суффикс имени класса не совпадает с
|
`export class`; имя файла не начинается с 13-значного timestamp; суффикс имени класса не совпадает с
|
||||||
префиксом имени файла; файлов не найдено вовсе; два файла дают одинаковое имя класса. Так как он
|
префиксом имени файла; два файла дают одинаковое имя класса. Так как он висит на `dependsOn` у
|
||||||
висит на `dependsOn` у `build`, любая из этих ошибок валит сборку.
|
`build`, любая из этих ошибок валит сборку. Отсутствие каталогов `migrations` — не ошибка: список
|
||||||
|
тогда пустой.
|
||||||
|
|
||||||
Файлы-спутники (`*.d.ts`, `*.spec.ts`, `*.test.ts`) в директории миграций игнорируются и
|
Файлы-спутники (`*.d.ts`, `*.spec.ts`, `*.test.ts`) в директории миграций игнорируются и
|
||||||
генератором, и `tools/checkDataSource.ts` — последний вызывает `readMigrations()` генератора, так
|
генератором, и `tools/checkDataSource.ts` — последний вызывает `readMigrations()` генератора, так
|
||||||
@@ -123,9 +125,9 @@ POSTGRES_DB=aigeo_migtest yarn nx run api:db-migrate
|
|||||||
`.gitea/workflows/ci.yaml`:
|
`.gitea/workflows/ci.yaml`:
|
||||||
|
|
||||||
- **`Check migrations list`** — `yarn ts-node tools/buildDataSource.ts --check`. Генератор рендерит
|
- **`Check migrations list`** — `yarn ts-node tools/buildDataSource.ts --check`. Генератор рендерит
|
||||||
список, сравнивает с содержимым `apps/api/src/database/migrations.ts` и падает при расхождении,
|
список, сравнивает с содержимым `apps/api/src/migrations.ts` и падает при расхождении, ничего не
|
||||||
ничего не записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git
|
записывая. Сравнение идёт с тем же отформатированным текстом, что и запись, поэтому git в проверке
|
||||||
в проверке не участвует вовсе.
|
не участвует вовсе.
|
||||||
- **`Check data-source`** (после `yarn build`) — `yarn ts-node tools/checkDataSource.ts` загружает
|
- **`Check data-source`** (после `yarn build`) — `yarn ts-node tools/checkDataSource.ts` загружает
|
||||||
собранный `apps/api/dist/data-source.js`, проверяет, что экспорт ведёт себя как `DataSource`
|
собранный `apps/api/dist/data-source.js`, проверяет, что экспорт ведёт себя как `DataSource`
|
||||||
(`initialize()` + объект `options`), и что список классов в бандле **посимвольно совпадает** с
|
(`initialize()` + объект `options`), и что список классов в бандле **посимвольно совпадает** с
|
||||||
@@ -165,8 +167,8 @@ Job `deploy-staging` в `.gitea/workflows/ci.yaml` (запускается на
|
|||||||
2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run`
|
2. `docker system prune -f` — после миграций, одним вызовом в конце скрипта. Если `migration:run`
|
||||||
упадёт, под `set -e` prune не выполнится — почистится на следующем деплое.
|
упадёт, под `set -e` prune не выполнится — почистится на следующем деплое.
|
||||||
|
|
||||||
Ненулевой код валит job: у шага стоит `script_stop: true` (штатный механизм `appleboy/ssh-action`),
|
Ненулевой код валит job: у шага стоит `script_stop: true` — действие открывает скрипт строкой
|
||||||
а первой строкой скрипта — `set -e`.
|
`set -e`, поэтому упавшая команда завершает его с её кодом выхода, а не продолжает выполнение.
|
||||||
|
|
||||||
### База и переменные `.env` на стейджинг-хосте
|
### База и переменные `.env` на стейджинг-хосте
|
||||||
|
|
||||||
@@ -197,8 +199,10 @@ staging-db-postgres create <org/project> <branch>
|
|||||||
|
|
||||||
## Применение на проде
|
## Применение на проде
|
||||||
|
|
||||||
Job `deploy-production` в `.gitea/workflows/production.yaml`, блок `Deploy via SSH` (heredoc — не
|
Job `deploy-production` в `.gitea/workflows/production.yaml`, шаг `Deploy via SSH` — тот же
|
||||||
`appleboy/ssh-action`, синтаксис отличается от стейджинга). Порядок:
|
`jt4d-lab/ssh-action`, что и на стейджинге, плюс `workdir: /srv/geo-platform` и
|
||||||
|
`files: docker-compose.production.yml`: компоуз-файл приезжает тем же шагом, отдельного `scp` нет.
|
||||||
|
Порядок:
|
||||||
|
|
||||||
1. `docker-compose pull` → `down` → `up -d`.
|
1. `docker-compose pull` → `down` → `up -d`.
|
||||||
2. Сразу после `up -d` — `migration:show` (в лог видно, что именно будет применено), затем
|
2. Сразу после `up -d` — `migration:show` (в лог видно, что именно будет применено), затем
|
||||||
@@ -234,10 +238,11 @@ DDL, — и упадёт после того, как новый образ уш
|
|||||||
блокировки у TypeORM нет. `cancel-in-progress: false` — отмена job посреди набора рвёт SSH-сессию и
|
блокировки у TypeORM нет. `cancel-in-progress: false` — отмена job посреди набора рвёт SSH-сессию и
|
||||||
оставляет БД частично мигрированной.
|
оставляет БД частично мигрированной.
|
||||||
|
|
||||||
`VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага, а не подстановкой `${{ … }}` в
|
`VERSION` и `LOG_LEVEL` передаются в remote-скрипт через `env:` шага и вход `envs:`, а не
|
||||||
тело heredoc: `VERSION` приходит из git-тега, а в имени ref допустимы кавычки, `;`, `$` и обратные
|
подстановкой `${{ … }}` в тело скрипта: `VERSION` приходит из git-тега, а в имени ref допустимы
|
||||||
кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла. Оба значения к тому же
|
кавычки, `;`, `$` и обратные кавычки — шаблонизатор вписал бы их в текст скрипта до запуска шелла.
|
||||||
валидируются по белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — перед `ssh`).
|
`envs` к тому же всегда оборачивает значение в одинарные кавычки. Оба значения валидируются по
|
||||||
|
белому списку символов (`VERSION` — в job `build`, `LOG_LEVEL` — отдельным шагом перед деплоем).
|
||||||
|
|
||||||
### Почему `-t each`
|
### Почему `-t each`
|
||||||
|
|
||||||
|
|||||||
+52
-18
@@ -1,11 +1,13 @@
|
|||||||
import { existsSync, readdirSync, readFileSync, writeFileSync } from 'fs';
|
import { type Dirent, existsSync, readdirSync, readFileSync, writeFileSync } from 'fs';
|
||||||
import * as path from 'path';
|
import * as path from 'path';
|
||||||
|
|
||||||
import { format, resolveConfig } from 'prettier';
|
import { format, resolveConfig } from 'prettier';
|
||||||
|
|
||||||
export const workspaceRoot = path.resolve(__dirname, '..');
|
export const workspaceRoot = path.resolve(__dirname, '..');
|
||||||
const migrationsDir = path.join(workspaceRoot, 'apps', 'api', 'src', 'database', 'migrations');
|
const apiSrcDir = path.join(workspaceRoot, 'apps', 'api', 'src');
|
||||||
const outputFile = path.join(workspaceRoot, 'apps', 'api', 'src', 'database', 'migrations.ts');
|
const outputFile = path.join(apiSrcDir, 'migrations.ts');
|
||||||
|
// Миграции лежат по модулям: apps/api/src/<module>/migrations/<timestamp>-<name>.ts.
|
||||||
|
const MIGRATIONS_DIR_NAME = 'migrations';
|
||||||
|
|
||||||
const HEADER =
|
const HEADER =
|
||||||
'// Файл сгенерирован автоматически (tools/buildDataSource.ts). Не редактировать вручную.';
|
'// Файл сгенерирован автоматически (tools/buildDataSource.ts). Не редактировать вручную.';
|
||||||
@@ -21,6 +23,7 @@ const TIMESTAMP_PREFIX_RE = /^(\d{13})-/;
|
|||||||
const COMPANION_FILE_RE = /\.(d|spec|test)\.ts$/;
|
const COMPANION_FILE_RE = /\.(d|spec|test)\.ts$/;
|
||||||
|
|
||||||
export interface MigrationEntry {
|
export interface MigrationEntry {
|
||||||
|
/** Путь относительно apps/api/src, с расширением .ts */
|
||||||
file: string;
|
file: string;
|
||||||
className: string;
|
className: string;
|
||||||
}
|
}
|
||||||
@@ -36,27 +39,58 @@ function failBuild(message: string): never {
|
|||||||
fail('buildDataSource', message);
|
fail('buildDataSource', message);
|
||||||
}
|
}
|
||||||
|
|
||||||
// Порядок — лексикографический по имени файла. Отдельная числовая сортировка не
|
// Список каталогов миграций: любой apps/api/src/**/migrations.
|
||||||
// нужна: ниже гарантируется, что имя каждого файла начинается ровно с 13 цифр,
|
function findMigrationsDirs(dir: string): string[] {
|
||||||
// а при фиксированной длине лексикографический порядок совпадает с числовым.
|
let entries: Dirent[];
|
||||||
export function readMigrations(): MigrationEntry[] {
|
|
||||||
let files: string[];
|
|
||||||
|
|
||||||
try {
|
try {
|
||||||
files = readdirSync(migrationsDir);
|
entries = readdirSync(dir, { withFileTypes: true });
|
||||||
} catch {
|
} catch {
|
||||||
failBuild(`директория миграций не найдена: ${migrationsDir}`);
|
failBuild(`не удалось прочитать директорию: ${dir}`);
|
||||||
}
|
}
|
||||||
|
|
||||||
const migrationFiles = files
|
const found: string[] = [];
|
||||||
.filter((file) => file.endsWith('.ts') && !COMPANION_FILE_RE.test(file))
|
|
||||||
.sort();
|
|
||||||
|
|
||||||
// Пустая директория — легальное состояние: проект может ещё не иметь миграций.
|
for (const entry of entries) {
|
||||||
// Тогда список пустой, а сборка не падает.
|
if (!entry.isDirectory() || entry.name === 'node_modules') {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
const fullPath = path.join(dir, entry.name);
|
||||||
|
|
||||||
|
if (entry.name === MIGRATIONS_DIR_NAME) {
|
||||||
|
found.push(fullPath);
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
found.push(...findMigrationsDirs(fullPath));
|
||||||
|
}
|
||||||
|
|
||||||
|
return found;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Порядок — по timestamp из имени файла (возрастание): имя файла начинается ровно с
|
||||||
|
// 13 цифр, поэтому лексикографическая сортировка совпадает с числовой. Одинаковые
|
||||||
|
// имена файлов в разных модулях упорядочиваются по пути.
|
||||||
|
export function readMigrations(): MigrationEntry[] {
|
||||||
|
const migrationFiles = findMigrationsDirs(apiSrcDir)
|
||||||
|
.flatMap((dir) =>
|
||||||
|
readdirSync(dir, { withFileTypes: true })
|
||||||
|
.filter((entry) => entry.isFile())
|
||||||
|
.map((entry) => path.posix.join(path.relative(apiSrcDir, dir), entry.name))
|
||||||
|
.filter((file) => file.endsWith('.ts') && !COMPANION_FILE_RE.test(file)),
|
||||||
|
)
|
||||||
|
.sort((a, b) => {
|
||||||
|
const byName = path.posix.basename(a).localeCompare(path.posix.basename(b));
|
||||||
|
|
||||||
|
return byName !== 0 ? byName : a.localeCompare(b);
|
||||||
|
});
|
||||||
|
|
||||||
|
// Каталогов migrations может не быть ни одного: проект может ещё не иметь
|
||||||
|
// миграций. Тогда список пустой, а сборка не падает.
|
||||||
|
|
||||||
const entries = migrationFiles.map((file): MigrationEntry => {
|
const entries = migrationFiles.map((file): MigrationEntry => {
|
||||||
const timestampMatch = TIMESTAMP_PREFIX_RE.exec(file);
|
const timestampMatch = TIMESTAMP_PREFIX_RE.exec(path.posix.basename(file));
|
||||||
|
|
||||||
if (!timestampMatch) {
|
if (!timestampMatch) {
|
||||||
failBuild(
|
failBuild(
|
||||||
@@ -65,7 +99,7 @@ export function readMigrations(): MigrationEntry[] {
|
|||||||
);
|
);
|
||||||
}
|
}
|
||||||
|
|
||||||
const source = readFileSync(path.join(migrationsDir, file), 'utf8');
|
const source = readFileSync(path.join(apiSrcDir, file), 'utf8');
|
||||||
const classNames = [...source.matchAll(EXPORT_CLASS_RE)].map((match) => match[1]);
|
const classNames = [...source.matchAll(EXPORT_CLASS_RE)].map((match) => match[1]);
|
||||||
|
|
||||||
if (classNames.length === 0) {
|
if (classNames.length === 0) {
|
||||||
@@ -123,7 +157,7 @@ function render(entries: MigrationEntry[]): string {
|
|||||||
const imports = entries
|
const imports = entries
|
||||||
.map(
|
.map(
|
||||||
(entry) =>
|
(entry) =>
|
||||||
`import { ${entry.className} } from './migrations/${entry.file.slice(0, -'.ts'.length)}';`,
|
`import { ${entry.className} } from './${entry.file.slice(0, -'.ts'.length)}';`,
|
||||||
)
|
)
|
||||||
.join('\n');
|
.join('\n');
|
||||||
|
|
||||||
|
|||||||
Reference in new issue
Block a user