도커 교과서 9장 컨테이너 모니터링으로 투명성 있는 애플리케이션 만들기

9장 컨테이너 모니터링으로 투명성 있는 애플리케이션 만들기

• 컨테이너에서 실행되는 애플리케이션의 투명성은 매우 중요한 요소다.
• 투명성을 확보해야 애플리케이션의 동작 및 상태, 문제의 원인을 정확히 파악할 수 있다.

9.1 컨테이너화된 애플리케이션에서 사용되는 모니터링 기술 스택

• 프로메테우스를 사용하면 모니터링의 중요한 측면인 일관성이 확보된다.
• 모든 애플리케이션을 똑같은 측정값을 통해 표준적인 형태로 모니터링할 수 있다.
• 도커 엔진의 측정값도 같은 형식으로 추출할 수 있다.
• 해당 기능을 사용하려면 프로메테우스 측정 기능을 명시적으로 활성화해야 한다.

$ vi /etc/docker/daemon.json

{
	"metrics-addr" : "0.0.0.0:9323",
	"experimental" : true
}

$ sudo systemctl restart docker

http://[IP]:9323/metrics

# HELP builder_builds_failed_total Number of failed image builds
# TYPE builder_builds_failed_total counter
builder_builds_failed_total{reason="build_canceled"} 0
builder_builds_failed_total{reason="build_target_not_reachable_error"} 0
builder_builds_failed_total{reason="command_not_supported_error"} 0
builder_builds_failed_total{reason="dockerfile_empty_error"} 0
builder_builds_failed_total{reason="dockerfile_syntax_error"} 0
builder_builds_failed_total{reason="error_processing_commands_error"} 0
builder_builds_failed_total{reason="missing_onbuild_arguments_error"} 0
builder_builds_failed_total{reason="unknown_instruction_error"} 0
# HELP builder_builds_triggered_total Number of triggered image builds
# TYPE builder_builds_triggered_total counter
builder_builds_triggered_total 0
# HELP engine_daemon_container_actions_seconds The number of seconds it takes to process each container action
# TYPE engine_daemon_container_actions_seconds histogram
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.005"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.01"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.025"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.05"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.25"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="2.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="10"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="+Inf"} 1

...

• 측정된 각 상태정보가 Key Value 형태로 표현되는 텍스트 기반 포맷이다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker container run -e DOCKER_HOST=$hostIP -d -p 9090:9090 diamol/prometheus:2.13.1

• prometheus 는 UI 를 통해 측정값을 확인하거나 쿼리를 실행할 수 있다.
• 각 상태별 컨테이너 수나 실패한 헬스 체크 횟수 같은 고수준 정보부터 도커 엔진이 점유 중인 메모리 용량 같은 저수준 정보까지 얻을 수 있다.

9.2 애플리케이션의 측정값 출력하기

• 애플리케이션의 경우 메트릭 수집 엔드포인트를 통해 수집할 수 있다.
• 주요 언어들은 프로메테우스의 라이브러가 제공된다.
• 라이브러리를 통해 수집된 정보는 런타임 수준의 측정값으로, 해당 컨테이너가 처리하는 작업과 부하의 정도의 정보가 런타임의 관점에서 표현된다.

$ vi docker-compose.yml

version: "3.7"

services:
  accesslog:
    image: diamol/ch09-access-log
    ports:
      - "8012:80"
    networks:
      - app-net

  iotd:
    image: diamol/ch09-image-of-the-day
    ports:
      - "8011:80"
    networks:
      - app-net

  image-gallery:
    image: diamol/ch09-image-gallery
    ports:
      - "8010:80"
    depends_on:
      - accesslog
      - iotd
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-prometheus
    ports:
      - "9090:9090"
    environment:
      - DOCKER_HOST=${HOST_IP}
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat

$ docker rm -f $(docker ps -aq)

$ docker network create nat

$ docker compose -f docker-comopose.yml up -d

# http://[HOST_IP]:8010/metrics

# HELP go_gc_duration_seconds A summary of the GC invocation durations.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 0
go_gc_duration_seconds{quantile="0.25"} 0
go_gc_duration_seconds{quantile="0.5"} 0
go_gc_duration_seconds{quantile="0.75"} 0
go_gc_duration_seconds{quantile="1"} 0
go_gc_duration_seconds_sum 0
go_gc_duration_seconds_count 0

...

• 이러한 런타임 상태 측정값은 도커 엔진에서 얻은 인프라스트러처 측정값과는 또 다른 수준의 정보를 제공한다.
• 애플리케이션의 이벤트 수, 평균 응답 처리 시간, 활성 사용자 수 등의 애플리케이션 연산 정보 부터 비즈니스 정보 등을 표현할 수 있다.

9.3 측정값 수집을 맡을 프로메테우스 컨테이너 실행하기

• prometheus 는 직접 측정값을 대상 시스템에서 받아서 수집하는 풀링 방식으로 동작한다.
• prometheus 에서 측정값을 수집하는 과정을 스크래핑 이라고 한다.
• 스크래핑을 하기 위해서는 대상 애플리케이션의 엔드포인트를 설정해야 한다.

global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "image-gallery"
    metrics_path: /metrics
    static_configs:
      - targets: ["image-gallery"]

  - job_name: "iotd-api"
    metrics_path: /actuator/prometheus
    static_configs:
      - targets: ["iotd"]

  - job_name: "access-log"
    metrics_path: /metrics
    scrape_interval: 3s
    dns_sd_configs:
      - names:
          - accesslog
        type: A
        port: 80
        
  - job_name: "docker"
    metrics_path: /metrics
    static_configs:
      - targets: ["DOCKER_HOST:9323"]

• global scrape_interval 설정은 전체 대상의 스크래핑의 주기를 설정한다. (10초)
• access-log 컨테이너의 경우 dns_sd_configs 설정을 통해 DNS 기반 서비스 디스커버리를 사용한다.
• 그 이유는 access-log 의 경우 서버가 Scale Out 되어 있어 도커 DNS 를 통해 내부 IP 를 찾아서 통신하기 위함이다.
• type: A 는 도메인 이름을 IPv4 주소로 매핑하는 것이다.

$ docker compose -f docker-compose-scale.yml up -d --scale accesslog=3

[+] Running 6/6
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                               0.5s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                               0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                               0.3s 
 ✔ Container exercises-image-gallery-1  Started                 
 
$ for i in {1..10}; do curl <http://localhost:8010> > /dev/null; done      

access_log_total                             

• 기본 설정이 되어있는 프로메테우스 이미지를 만들면 매번 추라고 설정을 작성하지 않아도 되며, 필요한 경우 기본값을 수정할 수 있다.
• 프로메테우스는 레이블을 붙여 메트릭에 대해 다양한 컨텍스트를 추가할 수 있다.
• 또한, 레이블을 이용해 프로메테우스 쿼리를 이용해 집계 및 분석이 가능하다.

access_log_total{instance="172.20.0.6:80"}

sum(image_gallery_requests_total{code="200"}) without(instance)

9.4 측정값 시각화를 위한 그라파나 컨테이너 실행하기

• 측정값을 가공하는 것은 promethus 에서 진행하고, 가공된 측정값을 통해 대시보드를 구성하는 것은 grafana 를 사용한다.
• 그라파나 대시보드는 애플리케이션의 핵심 정보를 다양한 수준에서 제공한다.
• 시각화된 그래프는 PromQL(Prometheus Query Language) 로 작성된 단일 쿼리로 그려진다.
• PromQL 강력하고 직관적인 방식으로 데이터를 필터링, 집계, 계산할 수 있도록 설계되어있다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker compose -f docker-compose-with-grafana.yml up -d --scale accesslog=3

[+] Running 10/10
 ✔ grafana Pulled                                                                                                                                                                                     11.6s 
   ✔ 29bddadc8f3f Pull complete                                                                                                                                                                        2.2s 
   ✔ d9b0d74c7b70 Pull complete                                                                                                                                                                        2.2s 
   ✔ 3fb7e7639feb Pull complete                                                                                                                                                                        2.5s 
   ✔ 3cd42e0f5101 Pull complete                                                                                                                                                                        8.0s 
   ✔ af31ba937280 Pull complete                                                                                                                                                                        8.0s 
   ✔ 7c7f1ccbce63 Pull complete                                                                                                                                                                        8.0s 
   ✔ fc130f9b4964 Pull complete                                                                                                                                                                        8.0s 
   ✔ ca4c94507a97 Pull complete                                                                                                                                                                        8.0s 
   ✔ a2a6b53e5a03 Pull complete                                                                                                                                                                        8.0s 
[+] Running 7/7
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                        0.8s 
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                        0.4s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                        0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                        0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                        0.3s 
 ✔ Container exercises-grafana-1        Started                                                                                                                                                        0.7s 
 ✔ Container exercises-image-gallery-1  Started           
 
 $ for i in {1..20}; do curl <http://localhost:8010> > /dev/null; done

PromQL 예시

# 200 응답 count
sum(image_gallery_requests_total{code="200"}) without(instance)

# 현재 처리 중인 요청 수
sum(image_gallery_requests) without(instance)

# 메모리 사용량
go_memstats_bytes{job="image-gallery"}

# 고루틴 활성 수
sum(go_goroutinces{job="image_gallery"}) without(instance)

• 대시보드의 그래프는 절대적인 값보다는 변화하는 추세에서 알 수 있는 정봐 많다.
• 평균값에서 수치가 크게 올라가는 순간이 언제인지를 파악하는것이 중요하다.
• 컴퍼넌트의 측정값을 조합해 애플리케이션의 이상 현상과 상관관계를 찾아야 한다.

9.5 투명성의 수준

• 간단한 개념 검증 수준의 프로덕트에서 실제 서비스 수준으로 나아가기 위해 투명성은 반드시 필요하다.
• 실제 운영환경의 경우 자세한 상황을 알 수 있는 모니터링 대시보드는 반드시 필요하다.
• 애플리케이션의 전체 상황을 조망하는 대시보드는 가장 중요하다.
• 디스크 용량, CPU, 메모리, 네트워크 자원 등 모든 서버의 상황을 보여주는 인프라스트럭처 대시보드도 좋다.
• 측정값 중에서 애플리케이션에 중요한 데이터를 모아 하나의 화면으로 구성할 수 있어야 한다.

9.6 연습문제

• Prometheus 와 Grafana 를 통한 모니터링 구축해보기.
• docker compose 사용하기

Prometheus

# prometheus.yml
global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "todo-list"
    metrics_path: /metrics
    static_configs:
      - targets: ["todo-list"]

# Dockerfile
FROM diamol/prometheus:2.13.1

COPY prometheus.yml /etc/prometheus/prometheus.yml

Grafana

Provision dashboards and data sources | Grafana Labs

Provision dashboards and data sources | Grafana Labs

 

Prometheus data source | Grafana documentation

Prometheus data source | Grafana documentation

 

# Dockerfile
FROM diamol/grafana:6.4.3

COPY datasource-prometheus.yaml ${GF_PATHS_PROVISIONING}/datasources/
COPY dashboard-provider.yaml ${GF_PATHS_PROVISIONING}/dashboards/
COPY dashboard.json /var/lib/grafana/dashboards/

# dashboard-provider.yml
apiVersion: 1

providers:
- name: 'default'
  orgId: 1
  folder: ''
  type: file
  disableDeletion: true
  updateIntervalSeconds: 0
  options:
    path: /var/lib/grafana/dashboards

# datasoruce-prometheus.yml
apiVersion: 1

datasources:
- name: Prometheus
  type: prometheus
  access: proxy
  url: <http://prometheus:9090>
  basicAuth: false
  version: 1
  editable: true

Docker Compose

version: "3.7"

services:
  todo-list:
    image: diamol/ch09-todo-list
    ports:
      - "8050:80"
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-lab-prometheus
    ports:
      - "9090:9090"
    networks:
      - app-net

  grafana:
    image: diamol/ch09-lab-grafana
    ports:
      - "3000:3000"
    depends_on:
      - prometheus
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat

9장 컨테이너 모니터링으로 투명성 있는 애플리케이션 만들기

• 컨테이너에서 실행되는 애플리케이션의 투명성은 매우 중요한 요소다.
• 투명성을 확보해야 애플리케이션의 동작 및 상태, 문제의 원인을 정확히 파악할 수 있다.

9.1 컨테이너화된 애플리케이션에서 사용되는 모니터링 기술 스택

• 프로메테우스를 사용하면 모니터링의 중요한 측면인 일관성이 확보된다.
• 모든 애플리케이션을 똑같은 측정값을 통해 표준적인 형태로 모니터링할 수 있다.
• 도커 엔진의 측정값도 같은 형식으로 추출할 수 있다.
• 해당 기능을 사용하려면 프로메테우스 측정 기능을 명시적으로 활성화해야 한다.

$ vi /etc/docker/daemon.json

{
	"metrics-addr" : "0.0.0.0:9323",
	"experimental" : true
}

$ sudo systemctl restart docker

http://[IP]:9323/metrics

# HELP builder_builds_failed_total Number of failed image builds
# TYPE builder_builds_failed_total counter
builder_builds_failed_total{reason="build_canceled"} 0
builder_builds_failed_total{reason="build_target_not_reachable_error"} 0
builder_builds_failed_total{reason="command_not_supported_error"} 0
builder_builds_failed_total{reason="dockerfile_empty_error"} 0
builder_builds_failed_total{reason="dockerfile_syntax_error"} 0
builder_builds_failed_total{reason="error_processing_commands_error"} 0
builder_builds_failed_total{reason="missing_onbuild_arguments_error"} 0
builder_builds_failed_total{reason="unknown_instruction_error"} 0
# HELP builder_builds_triggered_total Number of triggered image builds
# TYPE builder_builds_triggered_total counter
builder_builds_triggered_total 0
# HELP engine_daemon_container_actions_seconds The number of seconds it takes to process each container action
# TYPE engine_daemon_container_actions_seconds histogram
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.005"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.01"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.025"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.05"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.25"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="2.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="10"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="+Inf"} 1

...

• 측정된 각 상태정보가 Key Value 형태로 표현되는 텍스트 기반 포맷이다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker container run -e DOCKER_HOST=$hostIP -d -p 9090:9090 diamol/prometheus:2.13.1

hostIP=$(ifconfig en0 | grep -e 'inet\\s' | awk '{print $2}')

# 환경 변수로 로컬 컴퓨터의 IP 주소를 전달해 컨테이너를 실행
docker container run -e DOCKER_HOST=$hostIP -d -p 9090:9090 diamol/prometheus:2.13.1

• prometheus 는 UI 를 통해 측정값을 확인하거나 쿼리를 실행할 수 있다.
• 각 상태별 컨테이너 수나 실패한 헬스 체크 횟수 같은 고수준 정보부터 도커 엔진이 점유 중인 메모리 용량 같은 저수준 정보까지 얻을 수 있다.

9.2 애플리케이션의 측정값 출력하기

• 애플리케이션의 경우 메트릭 수집 엔드포인트를 통해 수집할 수 있다.
• 주요 언어들은 프로메테우스의 라이브러가 제공된다.
• 라이브러리를 통해 수집된 정보는 런타임 수준의 측정값으로, 해당 컨테이너가 처리하는 작업과 부하의 정도의 정보가 런타임의 관점에서 표현된다.

$ vi docker-compose.yml

version: "3.7"

services:
  accesslog:
    image: diamol/ch09-access-log
    ports:
      - "8012:80"
    networks:
      - app-net

  iotd:
    image: diamol/ch09-image-of-the-day
    ports:
      - "8011:80"
    networks:
      - app-net

  image-gallery:
    image: diamol/ch09-image-gallery
    ports:
      - "8010:80"
    depends_on:
      - accesslog
      - iotd
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-prometheus
    ports:
      - "9090:9090"
    environment:
      - DOCKER_HOST=${HOST_IP}
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat

$ docker rm -f $(docker ps -aq)

$ docker network create nat

$ docker compose -f docker-comopose.yml up -d

# http://[HOST_IP]:8010/metrics

# HELP go_gc_duration_seconds A summary of the GC invocation durations.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 0
go_gc_duration_seconds{quantile="0.25"} 0
go_gc_duration_seconds{quantile="0.5"} 0
go_gc_duration_seconds{quantile="0.75"} 0
go_gc_duration_seconds{quantile="1"} 0
go_gc_duration_seconds_sum 0
go_gc_duration_seconds_count 0

...

• 이러한 런타임 상태 측정값은 도커 엔진에서 얻은 인프라스트러처 측정값과는 또 다른 수준의 정보를 제공한다.
• 애플리케이션의 이벤트 수, 평균 응답 처리 시간, 활성 사용자 수 등의 애플리케이션 연산 정보 부터 비즈니스 정보 등을 표현할 수 있다.

9.3 측정값 수집을 맡을 프로메테우스 컨테이너 실행하기

• prometheus 는 직접 측정값을 대상 시스템에서 받아서 수집하는 풀링 방식으로 동작한다.
• prometheus 에서 측정값을 수집하는 과정을 스크래핑 이라고 한다.
• 스크래핑을 하기 위해서는 대상 애플리케이션의 엔드포인트를 설정해야 한다.

global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "image-gallery"
    metrics_path: /metrics
    static_configs:
      - targets: ["image-gallery"]

  - job_name: "iotd-api"
    metrics_path: /actuator/prometheus
    static_configs:
      - targets: ["iotd"]

  - job_name: "access-log"
    metrics_path: /metrics
    scrape_interval: 3s
    dns_sd_configs:
      - names:
          - accesslog
        type: A
        port: 80
        
  - job_name: "docker"
    metrics_path: /metrics
    static_configs:
      - targets: ["DOCKER_HOST:9323"]

• global scrape_interval 설정은 전체 대상의 스크래핑의 주기를 설정한다. (10초)
• access-log 컨테이너의 경우 dns_sd_configs 설정을 통해 DNS 기반 서비스 디스커버리를 사용한다.
• 그 이유는 access-log 의 경우 서버가 Scale Out 되어 있어 도커 DNS 를 통해 내부 IP 를 찾아서 통신하기 위함이다.
• type: A 는 도메인 이름을 IPv4 주소로 매핑하는 것이다.

$ docker compose -f docker-compose-scale.yml up -d --scale accesslog=3

[+] Running 6/6
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                               0.5s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                               0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                               0.3s 
 ✔ Container exercises-image-gallery-1  Started                 
 
$ for i in {1..10}; do curl <http://localhost:8010> > /dev/null; done      

access_log_total                             

• 기본 설정이 되어있는 프로메테우스 이미지를 만들면 매번 추라고 설정을 작성하지 않아도 되며, 필요한 경우 기본값을 수정할 수 있다.
• 프로메테우스는 레이블을 붙여 메트릭에 대해 다양한 컨텍스트를 추가할 수 있다.
• 또한, 레이블을 이용해 프로메테우스 쿼리를 이용해 집계 및 분석이 가능하다.

access_log_total{instance="172.20.0.6:80"}

sum(image_gallery_requests_total{code="200"}) without(instance)

9.4 측정값 시각화를 위한 그라파나 컨테이너 실행하기

• 측정값을 가공하는 것은 promethus 에서 진행하고, 가공된 측정값을 통해 대시보드를 구성하는 것은 grafana 를 사용한다.
• 그라파나 대시보드는 애플리케이션의 핵심 정보를 다양한 수준에서 제공한다.
• 시각화된 그래프는 PromQL(Prometheus Query Language) 로 작성된 단일 쿼리로 그려진다.
• PromQL 강력하고 직관적인 방식으로 데이터를 필터링, 집계, 계산할 수 있도록 설계되어있다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker compose -f docker-compose-with-grafana.yml up -d --scale accesslog=3

[+] Running 10/10
 ✔ grafana Pulled                                                                                                                                                                                     11.6s 
   ✔ 29bddadc8f3f Pull complete                                                                                                                                                                        2.2s 
   ✔ d9b0d74c7b70 Pull complete                                                                                                                                                                        2.2s 
   ✔ 3fb7e7639feb Pull complete                                                                                                                                                                        2.5s 
   ✔ 3cd42e0f5101 Pull complete                                                                                                                                                                        8.0s 
   ✔ af31ba937280 Pull complete                                                                                                                                                                        8.0s 
   ✔ 7c7f1ccbce63 Pull complete                                                                                                                                                                        8.0s 
   ✔ fc130f9b4964 Pull complete                                                                                                                                                                        8.0s 
   ✔ ca4c94507a97 Pull complete                                                                                                                                                                        8.0s 
   ✔ a2a6b53e5a03 Pull complete                                                                                                                                                                        8.0s 
[+] Running 7/7
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                        0.8s 
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                        0.4s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                        0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                        0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                        0.3s 
 ✔ Container exercises-grafana-1        Started                                                                                                                                                        0.7s 
 ✔ Container exercises-image-gallery-1  Started           
 
 $ for i in {1..20}; do curl <http://localhost:8010> > /dev/null; done

PromQL 예시

# 200 응답 count
sum(image_gallery_requests_total{code="200"}) without(instance)

# 현재 처리 중인 요청 수
sum(image_gallery_requests) without(instance)

# 메모리 사용량
go_memstats_bytes{job="image-gallery"}

# 고루틴 활성 수
sum(go_goroutinces{job="image_gallery"}) without(instance)

• 대시보드의 그래프는 절대적인 값보다는 변화하는 추세에서 알 수 있는 정봐 많다.
• 평균값에서 수치가 크게 올라가는 순간이 언제인지를 파악하는것이 중요하다.
• 컴퍼넌트의 측정값을 조합해 애플리케이션의 이상 현상과 상관관계를 찾아야 한다.

9.5 투명성의 수준

• 간단한 개념 검증 수준의 프로덕트에서 실제 서비스 수준으로 나아가기 위해 투명성은 반드시 필요하다.
• 실제 운영환경의 경우 자세한 상황을 알 수 있는 모니터링 대시보드는 반드시 필요하다.
• 애플리케이션의 전체 상황을 조망하는 대시보드는 가장 중요하다.
• 디스크 용량, CPU, 메모리, 네트워크 자원 등 모든 서버의 상황을 보여주는 인프라스트럭처 대시보드도 좋다.
• 측정값 중에서 애플리케이션에 중요한 데이터를 모아 하나의 화면으로 구성할 수 있어야 한다.

9.6 연습문제

• Prometheus 와 Grafana 를 통한 모니터링 구축해보기.
• docker compose 사용하기

Prometheus

# prometheus.yml
global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "todo-list"
    metrics_path: /metrics
    static_configs:
      - targets: ["todo-list"]

# Dockerfile
FROM diamol/prometheus:2.13.1

COPY prometheus.yml /etc/prometheus/prometheus.yml

Grafana

Provision dashboards and data sources | Grafana Labs

Prometheus data source | Grafana documentation

# Dockerfile
FROM diamol/grafana:6.4.3

COPY datasource-prometheus.yaml ${GF_PATHS_PROVISIONING}/datasources/
COPY dashboard-provider.yaml ${GF_PATHS_PROVISIONING}/dashboards/
COPY dashboard.json /var/lib/grafana/dashboards/

# dashboard-provider.yml
apiVersion: 1

providers:
- name: 'default'
  orgId: 1
  folder: ''
  type: file
  disableDeletion: true
  updateIntervalSeconds: 0
  options:
    path: /var/lib/grafana/dashboards

# datasoruce-prometheus.yml
apiVersion: 1

datasources:
- name: Prometheus
  type: prometheus
  access: proxy
  url: <http://prometheus:9090>
  basicAuth: false
  version: 1
  editable: true

Docker Compose

version: "3.7"

services:
  todo-list:
    image: diamol/ch09-todo-list
    ports:
      - "8050:80"
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-lab-prometheus
    ports:
      - "9090:9090"
    networks:
      - app-net

  grafana:
    image: diamol/ch09-lab-grafana
    ports:
      - "3000:3000"
    depends_on:
      - prometheus
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat

9장 컨테이너 모니터링으로 투명성 있는 애플리케이션 만들기

• 컨테이너에서 실행되는 애플리케이션의 투명성은 매우 중요한 요소다.
• 투명성을 확보해야 애플리케이션의 동작 및 상태, 문제의 원인을 정확히 파악할 수 있다.

9.1 컨테이너화된 애플리케이션에서 사용되는 모니터링 기술 스택

• 프로메테우스를 사용하면 모니터링의 중요한 측면인 일관성이 확보된다.
• 모든 애플리케이션을 똑같은 측정값을 통해 표준적인 형태로 모니터링할 수 있다.
• 도커 엔진의 측정값도 같은 형식으로 추출할 수 있다.
• 해당 기능을 사용하려면 프로메테우스 측정 기능을 명시적으로 활성화해야 한다.

$ vi /etc/docker/daemon.json

{
	"metrics-addr" : "0.0.0.0:9323",
	"experimental" : true
}

$ sudo systemctl restart docker

http://[IP]:9323/metrics

# HELP builder_builds_failed_total Number of failed image builds
# TYPE builder_builds_failed_total counter
builder_builds_failed_total{reason="build_canceled"} 0
builder_builds_failed_total{reason="build_target_not_reachable_error"} 0
builder_builds_failed_total{reason="command_not_supported_error"} 0
builder_builds_failed_total{reason="dockerfile_empty_error"} 0
builder_builds_failed_total{reason="dockerfile_syntax_error"} 0
builder_builds_failed_total{reason="error_processing_commands_error"} 0
builder_builds_failed_total{reason="missing_onbuild_arguments_error"} 0
builder_builds_failed_total{reason="unknown_instruction_error"} 0
# HELP builder_builds_triggered_total Number of triggered image builds
# TYPE builder_builds_triggered_total counter
builder_builds_triggered_total 0
# HELP engine_daemon_container_actions_seconds The number of seconds it takes to process each container action
# TYPE engine_daemon_container_actions_seconds histogram
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.005"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.01"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.025"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.05"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.25"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="2.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="10"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="+Inf"} 1

...

• 측정된 각 상태정보가 Key Value 형태로 표현되는 텍스트 기반 포맷이다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker container run -e DOCKER_HOST=$hostIP -d -p 9090:9090 diamol/prometheus:2.13.1

hostIP=$(ifconfig en0 | grep -e 'inet\\s' | awk '{print $2}')

# 환경 변수로 로컬 컴퓨터의 IP 주소를 전달해 컨테이너를 실행
docker container run -e DOCKER_HOST=$hostIP -d -p 9090:9090 diamol/prometheus:2.13.1

• prometheus 는 UI 를 통해 측정값을 확인하거나 쿼리를 실행할 수 있다.
• 각 상태별 컨테이너 수나 실패한 헬스 체크 횟수 같은 고수준 정보부터 도커 엔진이 점유 중인 메모리 용량 같은 저수준 정보까지 얻을 수 있다.

9.2 애플리케이션의 측정값 출력하기

• 애플리케이션의 경우 메트릭 수집 엔드포인트를 통해 수집할 수 있다.
• 주요 언어들은 프로메테우스의 라이브러가 제공된다.
• 라이브러리를 통해 수집된 정보는 런타임 수준의 측정값으로, 해당 컨테이너가 처리하는 작업과 부하의 정도의 정보가 런타임의 관점에서 표현된다.

$ vi docker-compose.yml

version: "3.7"

services:
  accesslog:
    image: diamol/ch09-access-log
    ports:
      - "8012:80"
    networks:
      - app-net

  iotd:
    image: diamol/ch09-image-of-the-day
    ports:
      - "8011:80"
    networks:
      - app-net

  image-gallery:
    image: diamol/ch09-image-gallery
    ports:
      - "8010:80"
    depends_on:
      - accesslog
      - iotd
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-prometheus
    ports:
      - "9090:9090"
    environment:
      - DOCKER_HOST=${HOST_IP}
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat

$ docker rm -f $(docker ps -aq)

$ docker network create nat

$ docker compose -f docker-comopose.yml up -d

# http://[HOST_IP]:8010/metrics

# HELP go_gc_duration_seconds A summary of the GC invocation durations.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 0
go_gc_duration_seconds{quantile="0.25"} 0
go_gc_duration_seconds{quantile="0.5"} 0
go_gc_duration_seconds{quantile="0.75"} 0
go_gc_duration_seconds{quantile="1"} 0
go_gc_duration_seconds_sum 0
go_gc_duration_seconds_count 0

...

• 이러한 런타임 상태 측정값은 도커 엔진에서 얻은 인프라스트러처 측정값과는 또 다른 수준의 정보를 제공한다.
• 애플리케이션의 이벤트 수, 평균 응답 처리 시간, 활성 사용자 수 등의 애플리케이션 연산 정보 부터 비즈니스 정보 등을 표현할 수 있다.

9.3 측정값 수집을 맡을 프로메테우스 컨테이너 실행하기

• prometheus 는 직접 측정값을 대상 시스템에서 받아서 수집하는 풀링 방식으로 동작한다.
• prometheus 에서 측정값을 수집하는 과정을 스크래핑 이라고 한다.
• 스크래핑을 하기 위해서는 대상 애플리케이션의 엔드포인트를 설정해야 한다.

global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "image-gallery"
    metrics_path: /metrics
    static_configs:
      - targets: ["image-gallery"]

  - job_name: "iotd-api"
    metrics_path: /actuator/prometheus
    static_configs:
      - targets: ["iotd"]

  - job_name: "access-log"
    metrics_path: /metrics
    scrape_interval: 3s
    dns_sd_configs:
      - names:
          - accesslog
        type: A
        port: 80
        
  - job_name: "docker"
    metrics_path: /metrics
    static_configs:
      - targets: ["DOCKER_HOST:9323"]

• global scrape_interval 설정은 전체 대상의 스크래핑의 주기를 설정한다. (10초)
• access-log 컨테이너의 경우 dns_sd_configs 설정을 통해 DNS 기반 서비스 디스커버리를 사용한다.
• 그 이유는 access-log 의 경우 서버가 Scale Out 되어 있어 도커 DNS 를 통해 내부 IP 를 찾아서 통신하기 위함이다.
• type: A 는 도메인 이름을 IPv4 주소로 매핑하는 것이다.

$ docker compose -f docker-compose-scale.yml up -d --scale accesslog=3

[+] Running 6/6
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                               0.5s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                               0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                               0.3s 
 ✔ Container exercises-image-gallery-1  Started                 
 
$ for i in {1..10}; do curl <http://localhost:8010> > /dev/null; done      

access_log_total                             

• 기본 설정이 되어있는 프로메테우스 이미지를 만들면 매번 추라고 설정을 작성하지 않아도 되며, 필요한 경우 기본값을 수정할 수 있다.
• 프로메테우스는 레이블을 붙여 메트릭에 대해 다양한 컨텍스트를 추가할 수 있다.
• 또한, 레이블을 이용해 프로메테우스 쿼리를 이용해 집계 및 분석이 가능하다.

access_log_total{instance="172.20.0.6:80"}

sum(image_gallery_requests_total{code="200"}) without(instance)

9.4 측정값 시각화를 위한 그라파나 컨테이너 실행하기

• 측정값을 가공하는 것은 promethus 에서 진행하고, 가공된 측정값을 통해 대시보드를 구성하는 것은 grafana 를 사용한다.
• 그라파나 대시보드는 애플리케이션의 핵심 정보를 다양한 수준에서 제공한다.
• 시각화된 그래프는 PromQL(Prometheus Query Language) 로 작성된 단일 쿼리로 그려진다.
• PromQL 강력하고 직관적인 방식으로 데이터를 필터링, 집계, 계산할 수 있도록 설계되어있다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker compose -f docker-compose-with-grafana.yml up -d --scale accesslog=3

[+] Running 10/10
 ✔ grafana Pulled                                                                                                                                                                                     11.6s 
   ✔ 29bddadc8f3f Pull complete                                                                                                                                                                        2.2s 
   ✔ d9b0d74c7b70 Pull complete                                                                                                                                                                        2.2s 
   ✔ 3fb7e7639feb Pull complete                                                                                                                                                                        2.5s 
   ✔ 3cd42e0f5101 Pull complete                                                                                                                                                                        8.0s 
   ✔ af31ba937280 Pull complete                                                                                                                                                                        8.0s 
   ✔ 7c7f1ccbce63 Pull complete                                                                                                                                                                        8.0s 
   ✔ fc130f9b4964 Pull complete                                                                                                                                                                        8.0s 
   ✔ ca4c94507a97 Pull complete                                                                                                                                                                        8.0s 
   ✔ a2a6b53e5a03 Pull complete                                                                                                                                                                        8.0s 
[+] Running 7/7
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                        0.8s 
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                        0.4s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                        0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                        0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                        0.3s 
 ✔ Container exercises-grafana-1        Started                                                                                                                                                        0.7s 
 ✔ Container exercises-image-gallery-1  Started           
 
 $ for i in {1..20}; do curl <http://localhost:8010> > /dev/null; done

PromQL 예시

# 200 응답 count
sum(image_gallery_requests_total{code="200"}) without(instance)

# 현재 처리 중인 요청 수
sum(image_gallery_requests) without(instance)

# 메모리 사용량
go_memstats_bytes{job="image-gallery"}

# 고루틴 활성 수
sum(go_goroutinces{job="image_gallery"}) without(instance)

• 대시보드의 그래프는 절대적인 값보다는 변화하는 추세에서 알 수 있는 정봐 많다.
• 평균값에서 수치가 크게 올라가는 순간이 언제인지를 파악하는것이 중요하다.
• 컴퍼넌트의 측정값을 조합해 애플리케이션의 이상 현상과 상관관계를 찾아야 한다.

9.5 투명성의 수준

• 간단한 개념 검증 수준의 프로덕트에서 실제 서비스 수준으로 나아가기 위해 투명성은 반드시 필요하다.
• 실제 운영환경의 경우 자세한 상황을 알 수 있는 모니터링 대시보드는 반드시 필요하다.
• 애플리케이션의 전체 상황을 조망하는 대시보드는 가장 중요하다.
• 디스크 용량, CPU, 메모리, 네트워크 자원 등 모든 서버의 상황을 보여주는 인프라스트럭처 대시보드도 좋다.
• 측정값 중에서 애플리케이션에 중요한 데이터를 모아 하나의 화면으로 구성할 수 있어야 한다.

9.6 연습문제

• Prometheus 와 Grafana 를 통한 모니터링 구축해보기.
• docker compose 사용하기

Prometheus

# prometheus.yml
global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "todo-list"
    metrics_path: /metrics
    static_configs:
      - targets: ["todo-list"]

# Dockerfile
FROM diamol/prometheus:2.13.1

COPY prometheus.yml /etc/prometheus/prometheus.yml

Grafana

Provision dashboards and data sources | Grafana Labs

Prometheus data source | Grafana documentation

# Dockerfile
FROM diamol/grafana:6.4.3

COPY datasource-prometheus.yaml ${GF_PATHS_PROVISIONING}/datasources/
COPY dashboard-provider.yaml ${GF_PATHS_PROVISIONING}/dashboards/
COPY dashboard.json /var/lib/grafana/dashboards/

# dashboard-provider.yml
apiVersion: 1

providers:
- name: 'default'
  orgId: 1
  folder: ''
  type: file
  disableDeletion: true
  updateIntervalSeconds: 0
  options:
    path: /var/lib/grafana/dashboards

# datasoruce-prometheus.yml
apiVersion: 1

datasources:
- name: Prometheus
  type: prometheus
  access: proxy
  url: <http://prometheus:9090>
  basicAuth: false
  version: 1
  editable: true

Docker Compose

version: "3.7"

services:
  todo-list:
    image: diamol/ch09-todo-list
    ports:
      - "8050:80"
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-lab-prometheus
    ports:
      - "9090:9090"
    networks:
      - app-net

  grafana:
    image: diamol/ch09-lab-grafana
    ports:
      - "3000:3000"
    depends_on:
      - prometheus
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat

9장 컨테이너 모니터링으로 투명성 있는 애플리케이션 만들기

• 컨테이너에서 실행되는 애플리케이션의 투명성은 매우 중요한 요소다.
• 투명성을 확보해야 애플리케이션의 동작 및 상태, 문제의 원인을 정확히 파악할 수 있다.

9.1 컨테이너화된 애플리케이션에서 사용되는 모니터링 기술 스택

• 프로메테우스를 사용하면 모니터링의 중요한 측면인 일관성이 확보된다.
• 모든 애플리케이션을 똑같은 측정값을 통해 표준적인 형태로 모니터링할 수 있다.
• 도커 엔진의 측정값도 같은 형식으로 추출할 수 있다.
• 해당 기능을 사용하려면 프로메테우스 측정 기능을 명시적으로 활성화해야 한다.

$ vi /etc/docker/daemon.json

{
	"metrics-addr" : "0.0.0.0:9323",
	"experimental" : true
}

$ sudo systemctl restart docker

http://[IP]:9323/metrics

# HELP builder_builds_failed_total Number of failed image builds
# TYPE builder_builds_failed_total counter
builder_builds_failed_total{reason="build_canceled"} 0
builder_builds_failed_total{reason="build_target_not_reachable_error"} 0
builder_builds_failed_total{reason="command_not_supported_error"} 0
builder_builds_failed_total{reason="dockerfile_empty_error"} 0
builder_builds_failed_total{reason="dockerfile_syntax_error"} 0
builder_builds_failed_total{reason="error_processing_commands_error"} 0
builder_builds_failed_total{reason="missing_onbuild_arguments_error"} 0
builder_builds_failed_total{reason="unknown_instruction_error"} 0
# HELP builder_builds_triggered_total Number of triggered image builds
# TYPE builder_builds_triggered_total counter
builder_builds_triggered_total 0
# HELP engine_daemon_container_actions_seconds The number of seconds it takes to process each container action
# TYPE engine_daemon_container_actions_seconds histogram
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.005"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.01"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.025"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.05"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.25"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="2.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="10"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="+Inf"} 1

...

• 측정된 각 상태정보가 Key Value 형태로 표현되는 텍스트 기반 포맷이다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker container run -e DOCKER_HOST=$hostIP -d -p 9090:9090 diamol/prometheus:2.13.1

hostIP=$(ifconfig en0 | grep -e 'inet\\s' | awk '{print $2}')

# 환경 변수로 로컬 컴퓨터의 IP 주소를 전달해 컨테이너를 실행
docker container run -e DOCKER_HOST=$hostIP -d -p 9090:9090 diamol/prometheus:2.13.1

• prometheus 는 UI 를 통해 측정값을 확인하거나 쿼리를 실행할 수 있다.
• 각 상태별 컨테이너 수나 실패한 헬스 체크 횟수 같은 고수준 정보부터 도커 엔진이 점유 중인 메모리 용량 같은 저수준 정보까지 얻을 수 있다.

9.2 애플리케이션의 측정값 출력하기

• 애플리케이션의 경우 메트릭 수집 엔드포인트를 통해 수집할 수 있다.
• 주요 언어들은 프로메테우스의 라이브러가 제공된다.
• 라이브러리를 통해 수집된 정보는 런타임 수준의 측정값으로, 해당 컨테이너가 처리하는 작업과 부하의 정도의 정보가 런타임의 관점에서 표현된다.

$ vi docker-compose.yml

version: "3.7"

services:
  accesslog:
    image: diamol/ch09-access-log
    ports:
      - "8012:80"
    networks:
      - app-net

  iotd:
    image: diamol/ch09-image-of-the-day
    ports:
      - "8011:80"
    networks:
      - app-net

  image-gallery:
    image: diamol/ch09-image-gallery
    ports:
      - "8010:80"
    depends_on:
      - accesslog
      - iotd
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-prometheus
    ports:
      - "9090:9090"
    environment:
      - DOCKER_HOST=${HOST_IP}
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat

$ docker rm -f $(docker ps -aq)

$ docker network create nat

$ docker compose -f docker-comopose.yml up -d

# http://[HOST_IP]:8010/metrics

# HELP go_gc_duration_seconds A summary of the GC invocation durations.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 0
go_gc_duration_seconds{quantile="0.25"} 0
go_gc_duration_seconds{quantile="0.5"} 0
go_gc_duration_seconds{quantile="0.75"} 0
go_gc_duration_seconds{quantile="1"} 0
go_gc_duration_seconds_sum 0
go_gc_duration_seconds_count 0

...

• 이러한 런타임 상태 측정값은 도커 엔진에서 얻은 인프라스트러처 측정값과는 또 다른 수준의 정보를 제공한다.
• 애플리케이션의 이벤트 수, 평균 응답 처리 시간, 활성 사용자 수 등의 애플리케이션 연산 정보 부터 비즈니스 정보 등을 표현할 수 있다.

9.3 측정값 수집을 맡을 프로메테우스 컨테이너 실행하기

• prometheus 는 직접 측정값을 대상 시스템에서 받아서 수집하는 풀링 방식으로 동작한다.
• prometheus 에서 측정값을 수집하는 과정을 스크래핑 이라고 한다.
• 스크래핑을 하기 위해서는 대상 애플리케이션의 엔드포인트를 설정해야 한다.

global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "image-gallery"
    metrics_path: /metrics
    static_configs:
      - targets: ["image-gallery"]

  - job_name: "iotd-api"
    metrics_path: /actuator/prometheus
    static_configs:
      - targets: ["iotd"]

  - job_name: "access-log"
    metrics_path: /metrics
    scrape_interval: 3s
    dns_sd_configs:
      - names:
          - accesslog
        type: A
        port: 80
        
  - job_name: "docker"
    metrics_path: /metrics
    static_configs:
      - targets: ["DOCKER_HOST:9323"]

• global scrape_interval 설정은 전체 대상의 스크래핑의 주기를 설정한다. (10초)
• access-log 컨테이너의 경우 dns_sd_configs 설정을 통해 DNS 기반 서비스 디스커버리를 사용한다.
• 그 이유는 access-log 의 경우 서버가 Scale Out 되어 있어 도커 DNS 를 통해 내부 IP 를 찾아서 통신하기 위함이다.
• type: A 는 도메인 이름을 IPv4 주소로 매핑하는 것이다.

$ docker compose -f docker-compose-scale.yml up -d --scale accesslog=3

[+] Running 6/6
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                               0.5s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                               0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                               0.3s 
 ✔ Container exercises-image-gallery-1  Started                 
 
$ for i in {1..10}; do curl <http://localhost:8010> > /dev/null; done      

access_log_total                             

• 기본 설정이 되어있는 프로메테우스 이미지를 만들면 매번 추라고 설정을 작성하지 않아도 되며, 필요한 경우 기본값을 수정할 수 있다.
• 프로메테우스는 레이블을 붙여 메트릭에 대해 다양한 컨텍스트를 추가할 수 있다.
• 또한, 레이블을 이용해 프로메테우스 쿼리를 이용해 집계 및 분석이 가능하다.

access_log_total{instance="172.20.0.6:80"}

sum(image_gallery_requests_total{code="200"}) without(instance)

9.4 측정값 시각화를 위한 그라파나 컨테이너 실행하기

• 측정값을 가공하는 것은 promethus 에서 진행하고, 가공된 측정값을 통해 대시보드를 구성하는 것은 grafana 를 사용한다.
• 그라파나 대시보드는 애플리케이션의 핵심 정보를 다양한 수준에서 제공한다.
• 시각화된 그래프는 PromQL(Prometheus Query Language) 로 작성된 단일 쿼리로 그려진다.
• PromQL 강력하고 직관적인 방식으로 데이터를 필터링, 집계, 계산할 수 있도록 설계되어있다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker compose -f docker-compose-with-grafana.yml up -d --scale accesslog=3

[+] Running 10/10
 ✔ grafana Pulled                                                                                                                                                                                     11.6s 
   ✔ 29bddadc8f3f Pull complete                                                                                                                                                                        2.2s 
   ✔ d9b0d74c7b70 Pull complete                                                                                                                                                                        2.2s 
   ✔ 3fb7e7639feb Pull complete                                                                                                                                                                        2.5s 
   ✔ 3cd42e0f5101 Pull complete                                                                                                                                                                        8.0s 
   ✔ af31ba937280 Pull complete                                                                                                                                                                        8.0s 
   ✔ 7c7f1ccbce63 Pull complete                                                                                                                                                                        8.0s 
   ✔ fc130f9b4964 Pull complete                                                                                                                                                                        8.0s 
   ✔ ca4c94507a97 Pull complete                                                                                                                                                                        8.0s 
   ✔ a2a6b53e5a03 Pull complete                                                                                                                                                                        8.0s 
[+] Running 7/7
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                        0.8s 
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                        0.4s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                        0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                        0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                        0.3s 
 ✔ Container exercises-grafana-1        Started                                                                                                                                                        0.7s 
 ✔ Container exercises-image-gallery-1  Started           
 
 $ for i in {1..20}; do curl <http://localhost:8010> > /dev/null; done

PromQL 예시

# 200 응답 count
sum(image_gallery_requests_total{code="200"}) without(instance)

# 현재 처리 중인 요청 수
sum(image_gallery_requests) without(instance)

# 메모리 사용량
go_memstats_bytes{job="image-gallery"}

# 고루틴 활성 수
sum(go_goroutinces{job="image_gallery"}) without(instance)

• 대시보드의 그래프는 절대적인 값보다는 변화하는 추세에서 알 수 있는 정봐 많다.
• 평균값에서 수치가 크게 올라가는 순간이 언제인지를 파악하는것이 중요하다.
• 컴퍼넌트의 측정값을 조합해 애플리케이션의 이상 현상과 상관관계를 찾아야 한다.

9.5 투명성의 수준

• 간단한 개념 검증 수준의 프로덕트에서 실제 서비스 수준으로 나아가기 위해 투명성은 반드시 필요하다.
• 실제 운영환경의 경우 자세한 상황을 알 수 있는 모니터링 대시보드는 반드시 필요하다.
• 애플리케이션의 전체 상황을 조망하는 대시보드는 가장 중요하다.
• 디스크 용량, CPU, 메모리, 네트워크 자원 등 모든 서버의 상황을 보여주는 인프라스트럭처 대시보드도 좋다.
• 측정값 중에서 애플리케이션에 중요한 데이터를 모아 하나의 화면으로 구성할 수 있어야 한다.

9.6 연습문제

• Prometheus 와 Grafana 를 통한 모니터링 구축해보기.
• docker compose 사용하기

Prometheus

# prometheus.yml
global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "todo-list"
    metrics_path: /metrics
    static_configs:
      - targets: ["todo-list"]

# Dockerfile
FROM diamol/prometheus:2.13.1

COPY prometheus.yml /etc/prometheus/prometheus.yml

Grafana

Provision dashboards and data sources | Grafana Labs

Prometheus data source | Grafana documentation

# Dockerfile
FROM diamol/grafana:6.4.3

COPY datasource-prometheus.yaml ${GF_PATHS_PROVISIONING}/datasources/
COPY dashboard-provider.yaml ${GF_PATHS_PROVISIONING}/dashboards/
COPY dashboard.json /var/lib/grafana/dashboards/

# dashboard-provider.yml
apiVersion: 1

providers:
- name: 'default'
  orgId: 1
  folder: ''
  type: file
  disableDeletion: true
  updateIntervalSeconds: 0
  options:
    path: /var/lib/grafana/dashboards

# datasoruce-prometheus.yml
apiVersion: 1

datasources:
- name: Prometheus
  type: prometheus
  access: proxy
  url: <http://prometheus:9090>
  basicAuth: false
  version: 1
  editable: true

Docker Compose

version: "3.7"

services:
  todo-list:
    image: diamol/ch09-todo-list
    ports:
      - "8050:80"
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-lab-prometheus
    ports:
      - "9090:9090"
    networks:
      - app-net

  grafana:
    image: diamol/ch09-lab-grafana
    ports:
      - "3000:3000"
    depends_on:
      - prometheus
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat

9장 컨테이너 모니터링으로 투명성 있는 애플리케이션 만들기

• 컨테이너에서 실행되는 애플리케이션의 투명성은 매우 중요한 요소다.
• 투명성을 확보해야 애플리케이션의 동작 및 상태, 문제의 원인을 정확히 파악할 수 있다.

9.1 컨테이너화된 애플리케이션에서 사용되는 모니터링 기술 스택

• 프로메테우스를 사용하면 모니터링의 중요한 측면인 일관성이 확보된다.
• 모든 애플리케이션을 똑같은 측정값을 통해 표준적인 형태로 모니터링할 수 있다.
• 도커 엔진의 측정값도 같은 형식으로 추출할 수 있다.
• 해당 기능을 사용하려면 프로메테우스 측정 기능을 명시적으로 활성화해야 한다.

$ vi /etc/docker/daemon.json

{
	"metrics-addr" : "0.0.0.0:9323",
	"experimental" : true
}

$ sudo systemctl restart docker

http://[IP]:9323/metrics

# HELP builder_builds_failed_total Number of failed image builds
# TYPE builder_builds_failed_total counter
builder_builds_failed_total{reason="build_canceled"} 0
builder_builds_failed_total{reason="build_target_not_reachable_error"} 0
builder_builds_failed_total{reason="command_not_supported_error"} 0
builder_builds_failed_total{reason="dockerfile_empty_error"} 0
builder_builds_failed_total{reason="dockerfile_syntax_error"} 0
builder_builds_failed_total{reason="error_processing_commands_error"} 0
builder_builds_failed_total{reason="missing_onbuild_arguments_error"} 0
builder_builds_failed_total{reason="unknown_instruction_error"} 0
# HELP builder_builds_triggered_total Number of triggered image builds
# TYPE builder_builds_triggered_total counter
builder_builds_triggered_total 0
# HELP engine_daemon_container_actions_seconds The number of seconds it takes to process each container action
# TYPE engine_daemon_container_actions_seconds histogram
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.005"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.01"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.025"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.05"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.25"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="0.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="1"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="2.5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="5"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="10"} 1
engine_daemon_container_actions_seconds_bucket{action="changes",le="+Inf"} 1

...

• 측정된 각 상태정보가 Key Value 형태로 표현되는 텍스트 기반 포맷이다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker container run -e DOCKER_HOST=$hostIP -d -p 9090:9090 diamol/prometheus:2.13.1

hostIP=$(ifconfig en0 | grep -e 'inet\\s' | awk '{print $2}')

# 환경 변수로 로컬 컴퓨터의 IP 주소를 전달해 컨테이너를 실행
docker container run -e DOCKER_HOST=$hostIP -d -p 9090:9090 diamol/prometheus:2.13.1

• prometheus 는 UI 를 통해 측정값을 확인하거나 쿼리를 실행할 수 있다.
• 각 상태별 컨테이너 수나 실패한 헬스 체크 횟수 같은 고수준 정보부터 도커 엔진이 점유 중인 메모리 용량 같은 저수준 정보까지 얻을 수 있다.

9.2 애플리케이션의 측정값 출력하기

• 애플리케이션의 경우 메트릭 수집 엔드포인트를 통해 수집할 수 있다.
• 주요 언어들은 프로메테우스의 라이브러가 제공된다.
• 라이브러리를 통해 수집된 정보는 런타임 수준의 측정값으로, 해당 컨테이너가 처리하는 작업과 부하의 정도의 정보가 런타임의 관점에서 표현된다.

$ vi docker-compose.yml

version: "3.7"

services:
  accesslog:
    image: diamol/ch09-access-log
    ports:
      - "8012:80"
    networks:
      - app-net

  iotd:
    image: diamol/ch09-image-of-the-day
    ports:
      - "8011:80"
    networks:
      - app-net

  image-gallery:
    image: diamol/ch09-image-gallery
    ports:
      - "8010:80"
    depends_on:
      - accesslog
      - iotd
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-prometheus
    ports:
      - "9090:9090"
    environment:
      - DOCKER_HOST=${HOST_IP}
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat

$ docker rm -f $(docker ps -aq)

$ docker network create nat

$ docker compose -f docker-comopose.yml up -d

# http://[HOST_IP]:8010/metrics

# HELP go_gc_duration_seconds A summary of the GC invocation durations.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 0
go_gc_duration_seconds{quantile="0.25"} 0
go_gc_duration_seconds{quantile="0.5"} 0
go_gc_duration_seconds{quantile="0.75"} 0
go_gc_duration_seconds{quantile="1"} 0
go_gc_duration_seconds_sum 0
go_gc_duration_seconds_count 0

...

• 이러한 런타임 상태 측정값은 도커 엔진에서 얻은 인프라스트러처 측정값과는 또 다른 수준의 정보를 제공한다.
• 애플리케이션의 이벤트 수, 평균 응답 처리 시간, 활성 사용자 수 등의 애플리케이션 연산 정보 부터 비즈니스 정보 등을 표현할 수 있다.

9.3 측정값 수집을 맡을 프로메테우스 컨테이너 실행하기

• prometheus 는 직접 측정값을 대상 시스템에서 받아서 수집하는 풀링 방식으로 동작한다.
• prometheus 에서 측정값을 수집하는 과정을 스크래핑 이라고 한다.
• 스크래핑을 하기 위해서는 대상 애플리케이션의 엔드포인트를 설정해야 한다.

global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "image-gallery"
    metrics_path: /metrics
    static_configs:
      - targets: ["image-gallery"]

  - job_name: "iotd-api"
    metrics_path: /actuator/prometheus
    static_configs:
      - targets: ["iotd"]

  - job_name: "access-log"
    metrics_path: /metrics
    scrape_interval: 3s
    dns_sd_configs:
      - names:
          - accesslog
        type: A
        port: 80
        
  - job_name: "docker"
    metrics_path: /metrics
    static_configs:
      - targets: ["DOCKER_HOST:9323"]

• global scrape_interval 설정은 전체 대상의 스크래핑의 주기를 설정한다. (10초)
• access-log 컨테이너의 경우 dns_sd_configs 설정을 통해 DNS 기반 서비스 디스커버리를 사용한다.
• 그 이유는 access-log 의 경우 서버가 Scale Out 되어 있어 도커 DNS 를 통해 내부 IP 를 찾아서 통신하기 위함이다.
• type: A 는 도메인 이름을 IPv4 주소로 매핑하는 것이다.

$ docker compose -f docker-compose-scale.yml up -d --scale accesslog=3

[+] Running 6/6
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                               0.5s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                               0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                               0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                               0.3s 
 ✔ Container exercises-image-gallery-1  Started                 
 
$ for i in {1..10}; do curl <http://localhost:8010> > /dev/null; done      

access_log_total                             

• 기본 설정이 되어있는 프로메테우스 이미지를 만들면 매번 추라고 설정을 작성하지 않아도 되며, 필요한 경우 기본값을 수정할 수 있다.
• 프로메테우스는 레이블을 붙여 메트릭에 대해 다양한 컨텍스트를 추가할 수 있다.
• 또한, 레이블을 이용해 프로메테우스 쿼리를 이용해 집계 및 분석이 가능하다.

access_log_total{instance="172.20.0.6:80"}

sum(image_gallery_requests_total{code="200"}) without(instance)

9.4 측정값 시각화를 위한 그라파나 컨테이너 실행하기

• 측정값을 가공하는 것은 promethus 에서 진행하고, 가공된 측정값을 통해 대시보드를 구성하는 것은 grafana 를 사용한다.
• 그라파나 대시보드는 애플리케이션의 핵심 정보를 다양한 수준에서 제공한다.
• 시각화된 그래프는 PromQL(Prometheus Query Language) 로 작성된 단일 쿼리로 그려진다.
• PromQL 강력하고 직관적인 방식으로 데이터를 필터링, 집계, 계산할 수 있도록 설계되어있다.

$ hostIP=$(ip addr show enp0s5 | grep -oP '(?<=inet\\s)\\d+(\\.\\d+){3}')

$ docker compose -f docker-compose-with-grafana.yml up -d --scale accesslog=3

[+] Running 10/10
 ✔ grafana Pulled                                                                                                                                                                                     11.6s 
   ✔ 29bddadc8f3f Pull complete                                                                                                                                                                        2.2s 
   ✔ d9b0d74c7b70 Pull complete                                                                                                                                                                        2.2s 
   ✔ 3fb7e7639feb Pull complete                                                                                                                                                                        2.5s 
   ✔ 3cd42e0f5101 Pull complete                                                                                                                                                                        8.0s 
   ✔ af31ba937280 Pull complete                                                                                                                                                                        8.0s 
   ✔ 7c7f1ccbce63 Pull complete                                                                                                                                                                        8.0s 
   ✔ fc130f9b4964 Pull complete                                                                                                                                                                        8.0s 
   ✔ ca4c94507a97 Pull complete                                                                                                                                                                        8.0s 
   ✔ a2a6b53e5a03 Pull complete                                                                                                                                                                        8.0s 
[+] Running 7/7
 ✔ Container exercises-accesslog-3      Started                                                                                                                                                        0.8s 
 ✔ Container exercises-prometheus-1     Started                                                                                                                                                        0.4s 
 ✔ Container exercises-accesslog-1      Started                                                                                                                                                        0.3s 
 ✔ Container exercises-accesslog-2      Started                                                                                                                                                        0.6s 
 ✔ Container exercises-iotd-1           Started                                                                                                                                                        0.3s 
 ✔ Container exercises-grafana-1        Started                                                                                                                                                        0.7s 
 ✔ Container exercises-image-gallery-1  Started           
 
 $ for i in {1..20}; do curl <http://localhost:8010> > /dev/null; done

PromQL 예시

# 200 응답 count
sum(image_gallery_requests_total{code="200"}) without(instance)

# 현재 처리 중인 요청 수
sum(image_gallery_requests) without(instance)

# 메모리 사용량
go_memstats_bytes{job="image-gallery"}

# 고루틴 활성 수
sum(go_goroutinces{job="image_gallery"}) without(instance)

• 대시보드의 그래프는 절대적인 값보다는 변화하는 추세에서 알 수 있는 정봐 많다.
• 평균값에서 수치가 크게 올라가는 순간이 언제인지를 파악하는것이 중요하다.
• 컴퍼넌트의 측정값을 조합해 애플리케이션의 이상 현상과 상관관계를 찾아야 한다.

9.5 투명성의 수준

• 간단한 개념 검증 수준의 프로덕트에서 실제 서비스 수준으로 나아가기 위해 투명성은 반드시 필요하다.
• 실제 운영환경의 경우 자세한 상황을 알 수 있는 모니터링 대시보드는 반드시 필요하다.
• 애플리케이션의 전체 상황을 조망하는 대시보드는 가장 중요하다.
• 디스크 용량, CPU, 메모리, 네트워크 자원 등 모든 서버의 상황을 보여주는 인프라스트럭처 대시보드도 좋다.
• 측정값 중에서 애플리케이션에 중요한 데이터를 모아 하나의 화면으로 구성할 수 있어야 한다.

9.6 연습문제

• Prometheus 와 Grafana 를 통한 모니터링 구축해보기.
• docker compose 사용하기

Prometheus

# prometheus.yml
global:
  scrape_interval: 10s

scrape_configs:
  - job_name: "todo-list"
    metrics_path: /metrics
    static_configs:
      - targets: ["todo-list"]

# Dockerfile
FROM diamol/prometheus:2.13.1

COPY prometheus.yml /etc/prometheus/prometheus.yml

Grafana

Provision dashboards and data sources | Grafana Labs

Prometheus data source | Grafana documentation

# Dockerfile
FROM diamol/grafana:6.4.3

COPY datasource-prometheus.yaml ${GF_PATHS_PROVISIONING}/datasources/
COPY dashboard-provider.yaml ${GF_PATHS_PROVISIONING}/dashboards/
COPY dashboard.json /var/lib/grafana/dashboards/

# dashboard-provider.yml
apiVersion: 1

providers:
- name: 'default'
  orgId: 1
  folder: ''
  type: file
  disableDeletion: true
  updateIntervalSeconds: 0
  options:
    path: /var/lib/grafana/dashboards

# datasoruce-prometheus.yml
apiVersion: 1

datasources:
- name: Prometheus
  type: prometheus
  access: proxy
  url: <http://prometheus:9090>
  basicAuth: false
  version: 1
  editable: true

Docker Compose

version: "3.7"

services:
  todo-list:
    image: diamol/ch09-todo-list
    ports:
      - "8050:80"
    networks:
      - app-net

  prometheus:
    image: diamol/ch09-lab-prometheus
    ports:
      - "9090:9090"
    networks:
      - app-net

  grafana:
    image: diamol/ch09-lab-grafana
    ports:
      - "3000:3000"
    depends_on:
      - prometheus
    networks:
      - app-net

networks:
  app-net:
    external:
      name: nat