도커 교과서 10장 도커 컴포즈를 이용한 여러 환경 구성

10장 도커 컴포즈를 이용한 여러 환경 구성

• 배포가 실패하는 주된 원인은 환경 차이다.
• 도커는 패키지에 모든 의존 모듈이 함께 들어가기 떄문에 해당 문제를 해결할 수 있다.
• 하지만, 환경에따라 동작을 다르게 해야 할 필요가 있다.
• 도커 컴포즈의 고급 기능을 사용하여 이를 해결할 수 있다.

10.1 도커 컴포즈로 여러 개의 애플리케이션 배포하기

• 같은 애플리케이션을 버전을 다르게 구동해야하는 경우가 있따.
• 여러 환경을 구성해 사용하려면, 환경마다 애플리케이션이 다르게 동작하게 해야 한다.
• 도커 컴포즈 파일에서 해당 구성을 명시해야 한다.
• 도커 컴포즈 파일은 레이블 명명 규칙을 통해 도커 리소스를 컨테이너와 서비스로 구분하며 관리한다.

도커 컴포즈 리소스 이름 규칙

• 도커 컴포즈 파일이 위치한 디렉토리의 이름을 기본으로 프로젝트 라고 한다.
• 프로젝트는 도커 리소스가 어떤 애플리케이션의 일부인지 아닌지를 판별하기 위해 사용된다.
• 도커 컴포즈에서 관리하는 모든 객체를 리소스 라고 한다.
• 여러 개의 도커 컴포즈 프로젝트를 동시에 실행하는 경우, 프로젝트 이름을 접두사로 붙여서 구분한다.
• 동일한 서비스의 복수 인스턴스를 구분하기 위해 접미사로 증가하는 숫자를 사용한다.

# docker compose 가 사용하는 프로제트 이름 변경
$ docker compose -f ./todo-list/docker-compose.yml -p todo-test up -d

$ docker ps

CONTAINER ID   IMAGE                   COMMAND                 CREATED         STATUS         PORTS                                       NAMES
e0645d889591   diamol/ch06-todo-list   "dotnet ToDoList.dll"   2 seconds ago   Up 1 second    0.0.0.0:32776->80/tcp, [::]:32776->80/tcp   todo-test-todo-web-1
290efebd5094   diamol/ch06-todo-list   "dotnet ToDoList.dll"   7 minutes ago   Up 7 minutes   0.0.0.0:32775->80/tcp, [::]:32775->80/tcp   todo-list-todo-web-1

$ docker container port todo-test_todo_web_1 80

• 복수 인스턴스를 사용하는 경우 인스턴스 각각의 설정을 찾아서 변경하는 것은 번거롭다.
• 매번 컴포즈 파일을 복사하여 수정하는 것은 비효율적이고 관리가 어렵다.
• 도커 컴포즈는 설정을 오버라이드하는 기능을 제공하여 위의 문제를 해결한다.

10.2 도커 컴포즈의 오버라이드 파일

• 하나의 애플리케이션을 여러 설정으로 실행할 필요가 있을 경우, 대부분은 컴포즈 파일을 여러개 정의하여 사용한다.
• 그러나, 이 방법은 유지보수 측면에서 바람직하지 않다.
• 오버라이드 파일을 사용하면 이러한 문제를 해결할 수 있다.
• 도커 컴포즈는 여러 파일을 합쳐 컴포즈 파일을 구성하고, 나중에 지정된 파일의 내용이 이전 파일의 내용을 덮어쓴다.

# docker-compose.yml 기본 파일
$ vi docker-compose.yml

services:
	todo-web:
		imageL: diamol/ch06-todo-list
		ports:
			- 80
		environment:
			- Database:Provider=Sqlite
		networks:
			- app-net

# docker-compose-v2.yml 오버라이드 파일
$ vi docker-compose-v2.yml

services:
	todo-web:
		image: diamol/ch06-todo-list:v2
		
$ docker compose -f docker-compose.yml -f docker-compose-v2.yml config

name: todo-list
services:
  todo-web:
    environment:
      Database:Provider: Sqlite
    image: diamol/ch06-todo-list:v2
    networks:
      app-net: null
    ports:
      - mode: ingress
        target: 80
        protocol: tcp
networks:
  app-net:
    name: todo-list_app-net

• 두 docker-compose 파을 모두 유효한 도커 컴포즈 파일 형식을 유지해야 한다.
• 기본이 되는 컴포즈 파일의 구조를 유지해야 도커 컴포즈가 두 정의를 연결할 수 있다.
• config 명령어를 통패 병합된 파일의 내용이 유효한지 검사할 수 있다.
• 도커 컴포즈가 오버라이드 파일을 병합하는 순서는 인자의 순서를 따른다.

$ docker compose -f docker-compose.yml -f docker-compose-dev.yml -p number-dev up -d
[+] Running 3/3
 ✔ Network numbers-dev                 Created                                                                                                                                                         0.1s 
 ✔ Container number-dev-numbers-web-1  Started                                                                                                                                                         0.3s 
 ✔ Container number-dev-numbers-api-1  Started                                                                                                                                                         0.2s 
$ docker compose -f docker-compose.yml -f docker-compose-test.yml -p number-test up -d
[+] Running 3/3
 ✔ Network numbers-test                 Created                                                                                                                                                        0.1s 
 ✔ Container number-test-numbers-api-1  Started                                                                                                                                                        0.2s 
 ✔ Container number-test-numbers-web-1  Started                                                                                                                                                        0.2s 
$ docker compose -f docker-compose.yml -f docker-compose-uat.yml -p number-uat up -d
[+] Running 3/3
 ✔ Network numbers-uat                 Created                                                                                                                                                         0.1s 
 ✔ Container number-uat-numbers-api-1  Started                                                                                                                                                         0.2s 
 ✔ Container number-uat-numbers-web-1  Started                                                              
 
 $ docker compose -f docker-compose.yml -f docker-compose-test.yml -p number-test down
[+] Running 3/3
 ✔ Container number-test-numbers-api-1  Removed                                                                                                                                                        0.1s 
 ✔ Container number-test-numbers-web-1  Removed                                                                                                                                                       10.2s 
 ✔ Network numbers-test                 Removed                                                

• 환경별로 실행된 컨테이너는 도메인 네임을 사용해 서로를 식별하지만, 같은 도커 네트워크에 접속한 컨테이너끼리만 통신이 가능하다.
• 오버라이드 파일을 사용하면 애플리케이션 재정의 이점이 존재한다.
• 그러나, 오버라이드 관리에 드는 오버헤드도 발생한다.
• 따라서, 오버라이드 파일관련 배포 관련 자동화 구성하여 오버헤드를 최소화 하는것이 좋다.

10.3 환경 변수와 비밀값을 이용해 설정 주입하기

• 도커 컴포즈는 각 컨테이너에 필요한 환경 변수와 비밀값을 설정하여 애플리케이션을 유연하게 운영할 수 있다.

# docker-compose.yml
services:
	todo-web:
		image: diamol/ch06-todo-list
		secrets:
			- source: todo-db-connection
			  target: /app/config/secrets.json

• source: 원본 위치, 컨테이너 런타임이 비밀값을 읽어오는 곳.
• target: 컨테이너 내부에 비밀값이 위치할 경로.

# docker-compmose-dev.yml
# 개발 환경만을 위한 추가 설정과 비밀값이 정의된 오버라이드 파일
services:
	todo-web:
		ports:
			- 8089:80
		environment:
			- Database:Provider=Sqlite
		env_file:
			- ./config/logging.debug.env
secrets:
	todo-db-connection:
		file: ./config/empty.json
			

• environment
  • 컨테이너 안에서만 사용되는 환경 변수를 추가한다.
• env_file
  • 텍스트 파일의 경로를 값으로 받는다.
  • 이 파일에 정의된 환경 변수가 컨테이너에 적용된다.
  • 텍스트 파일에 변수 이름과 값을 등호로 구분해 한 줄에 하나씩 정의한다.
• secrets
  • 컴포즈 파일의 최상위 프로퍼티
  • todo-db-connection의 실제 값 혹은 경로가 정의된다.

$ docker compose -f ./todo-list-configured/docekr-compose.yml -f ./todo-list-configured/docker-compose-dev.yml -p todo-dev up -d

Creating network "todo-dev_default" with the default driver
Creating todo-dev_todo-web_1 ... done

• 도커 컴포즈는 애플리케이션 한 개마다 도커 네트워크를 하나씩 사용하므로 컴포즈 파일에 정의된 네트워크가 없어도 기본 네트워크에 컨테이너를 연결한다.

Docker 기본 네트워크 (bridge)

• 도커 컴포즈는 애플리케이션의 여러 서비스 간의 네트워킹을 쉽게 설정하고 관리할 수 있는 도구이다.
• Docker 는 기본적으로 모든 컨테이너를 연결하는 bridge 라는 가상 네트워크를 생성한다.
• bridge 는 도커 데몬이 관리하는 가상 네트워크로, 동일한 브리지 네트워크에 연결된 컨테이너들은 서로 IP 주소를 통해 통신한다.
• 또한, bridge 네트워크는 외부 네트워크와 격리되어 있어 보안을 강화할 수 있다.
• 컴포즈 파일에서 네트워크를 명시적으로 정의하지 않으면, Docker 는 기본 네트워크를 사용하여 컨테이너를 연결한다.

호스트 컴퓨터의 환경 변수를 컨테이너에 전달하기

todo-web:
	ports:
		- "$(TODO_WEB_PORT):80"
	environment:
		- Database:Provider=Postgres
	env_file:
		- ./config/logging.information.env
	networks:
		- app-net

$ vi .env

TODO_WEB_PORT=8877
TODO_DB_PORT=5432

COMPOSE_PATH_SEPARATOR=;
COMPOSE_FILE=docker-compose.yml;docker-compose-test.yml
COMPOSE_PROJECT_NAME=todo_ch10

• .env 파일을 사용하면 docker-compose.yml 파일을 수정하지 않고, 설정값을 변경할 수 있기 때문에 애플리케이션의 이식성이 향상 된다.
• env_file 키를 사용하여 외부 파일에서 환경 변수를 읽어 올 수 있다.
• 컴포즈 파일에서 $ 기호를 사용하여 환경 변수를 차모할 수 있다.
• 컴포즈 파일과 동일한 디렉토리에서 .env 파일을 생성 및 정의하여, 컴포즈는 해당 파일을 자동으로 읽어온다.

10.4 확장 필드로 중복 제거하기

• 도커 컴포즈를 사용하다보면 서비스 간 많은 설정값을 공유하는 컴포즈 파일의 덩치가 점점 커지는 것이 문제다.
• 이런 문제를 해결하기 위해 확장 필드를 사용할 수 있다.
• 확장 필드는 컴포즈 파일을 관리하는 베스트 프렉티스 중 한가지 방법이다.
• 확장 필드를 잘 사용할 경우 중복되는 설정을 상당부분 재사용할 수 있다.
• 하지만, 확장 필드에도 여러 컴포즈 파일에 한꺼번에 적용할 수 없다.
• 따라서, 코어 컴포즈 파일에 정의된 확장 필드를 오버라이드 파일에서 사용할수는 없다.

version: "3.7"

x-labels: &logging
  logging:
    options:
      max-size: '100m'
      max-file: '10'

x-labels: &labels
  app-name: image-gallery

services:
  accesslog:
    <<: *logging
    labels:
      <<: *labels

  iotd:
    ports:
      - 8080:80
    <<: *logging
    labels:
      <<: *labels
      public: api

  image-gallery:
    ports:
      - 80:80
    <<: *logging
    labels:
      <<: *labels
      public: web

  prometheus:
    image: diamol/ch09-prometheus
    ports:
      - "9090:9090"
    environment:

• 도커 컴포즈의 확장 필드는 앰퍼샌드 문법을 사용한다.
• <<:* 위치에 해당 YAML 파일의 확장 필드값이 병합된다.

$ docker-compose -f ./image-gallery/docker-compose.yml -f ./image-gallery/docker-compose-prod.yml config

WARN[0000] /home/gwanii/docker_textbook/080258-main/ch10/exercises/image-gallery/docker-compose.yml: the attribute `version` is obsolete, it will be ignored, please remove it to avoid potential confusion 
WARN[0000] The "HOST_IP" variable is not set. Defaulting to a blank string. 
WARN[0000] /home/gwanii/docker_textbook/080258-main/ch10/exercises/image-gallery/docker-compose-prod.yml: the attribute `version` is obsolete, it will be ignored, please remove it to avoid potential confusion 
name: image-gallery
services:
  accesslog:
    image: diamol/ch09-access-log
    labels:
      app-name: image-gallery
    logging:
      options:
        max-file: "10"
        max-size: 100m
    networks:
      app-net: null
  grafana:
    depends_on:
      prometheus:
        condition: service_started
        required: true
    image: diamol/ch09-grafana
    labels:
      app-name: image-gallery
    logging:
      options:
        max-file: "10"
        max-size: 100m
    networks:
      app-net: null
    ports:
      - mode: ingress
        target: 3000
        published: "3000"
        protocol: tcp
  image-gallery:
    image: diamol/ch09-image-gallery
    labels:
      app-name: image-gallery
      public: web
    logging:
      options:
        max-file: "10"
        max-size: 100m
    networks:
      app-net: null
    ports:
      - mode: ingress
        target: 80
        published: "80"
        protocol: tcp
  iotd:
    image: diamol/ch09-image-of-the-day
    labels:
      app-name: image-gallery
      public: api
    logging:
      options:
        max-file: "10"
        max-size: 100m
    networks:
      app-net: null
    ports:
      - mode: ingress
        target: 80
        published: "8080"
        protocol: tcp
  prometheus:
    environment:
      DOCKER_HOST: ""
    image: diamol/ch09-prometheus
    labels:
      app-name: image-gallery
    logging:
      options:
        max-file: "10"
        max-size: 100m
    networks:
      app-net: null
    ports:
      - mode: ingress
        target: 9090
        published: "9090"
        protocol: tcp
networks:
  app-net:
    name: image-gallery-prod
x-labels:
  app-name: image-gallery
x-logging:
  logging:
    options:
      max-file: "10"
      max-size: 100m

참고 - 책 예시를 따라할 경우 발생하는 에러.

• 책에 나와있는 예제를 따라할 경우 아래와 같은 에러가 발생할 것이다.

WARN[0000] /home/gwanii/docker_textbook/080258-main/ch10/exercises/image-gallery/docker-compose.yml: the attribute `version` is obsolete, it will be ignored, please remove it to avoid potential confusion 
yaml: unmarshal errors:
  line 9: mapping key "x-labels" already defined at line 3

• Docker Compose V2 버전부터는 x-fileds 가 중복으로 선언되는 것이 불가능하다.
• 정확히는 사용할 수는 있지만, 권장되지 않는다고 한다.
• 그 이유는 유지보수 차원에서 확장 필드를 명확히 분리하는 방식 사용을 권장한다.

x-logging: &logging
  logging:
    options:
      max-size: '100m'
      max-file: '10'

x-labels: &labels
  app-name: image-gallery

• 이와 같이 작성하는 것이 Docker Compose V2 방식에서 권장되는 방식이라고 한다.

10.5 도커를 이용한 설정 워크플로 이해하기

• 설정 워크플로에서 가장 중요한 점은 모든 환경에서 같은 이미지를 사용한다는 것이다.
• 모든 환경에서 같은 이미지를 사용하지만, 컨테이너 플랫폼에서 제공된 설정값에 따라 다르게 동작되는 것이 핵심이다.
• 도커 컴포즈를 이용해 각 단계별 설정 워크플로 설정 방법을 크게 3가지로 분류 하였다.

애플리케이션 구성 요소의 조합

• 오버라이드 파일을 사용하여, 공통된 서비스는 재사용하고 필요한 설정을 깔끔하고 간편하게 작성할 수 있다.

컨테이너 설정

• 오버라이드 파일과 도커 네트워크로 각 애플리케이션을 분리하면서 단일 서버에 여러 개의 애플리케이션을 실행할 수 있다.

애플리케이션 설정

• 오버라이드 파일과 환경 파일, 비밀값을 이용해 상황에 맞는 애플리케이션 설정 값을 컨테이너에 주입할 수 있다.