도커 교과서 8장 헬스 체크와 디펜던시 체크로 애플리케이션의 신뢰성 확보하기

8장 헬스 체크와 디펜던시 체크로 애플리케이션의 신뢰성 확보하기

• 도커 스웜이나 쿠버네티스의 경우 컨테이너 플랫폼상에서 애플리케이션이 스스로 이상에서 회복할 수 있도록 해 주는 기능을 제공한다.
• 이미지에 애플리케이션의 상태가 정상인지 확인할 수 있는 정보를 함께 패키징한다.
• 애플리케이션이 정상적으로 동작하지 않으면, 플랫폼이 비정상 컨테이너를 삭제하고 새 컨테이너로 교체한다.

8.1 헬스 체크를 지원하는 도커 이미지

• 컨테이너를 실행시키면 내부에서 특정 프로세스가 실행된다.
• 그러나, 해당 프로세스가 실행중이라고 애플리케이션이 정상적인 상태라는 뜻은 아니다.
• 도커는 애플리케이션의 상태가 정상인지 확인할 수 있는 정보를 도커 이미지에 넣을 수 있다.

$ docker container run -d -p 8080:80 diamol/ch08-numbers-api

# API를 세 번 호출
$ curl 
71

$ curl 
55

$ curl 
9

# 네 번째부터 API 호출 실패.
$ curl 
{"type":"<https://tools.ietf.org/html/rfc7231#section-6.6.1","title":"An> error occured while processing your request.","status":500,"traceId":"|7cf3120a-44d7eeec8760b32c."}%

$ docker container ls

• 네번째 부터 500 서버에러를 반환하지만, 컨테이너 상태는 여전히 up 으로 나온다.
• 도커 입장에서는 프로세스 내부 애플리케이션의 상태가 정상인지 알 수 있는 방법이 없다.

HEALTHCHECK 인스트럭션

• 도커는 일정한 시간 간격으로 컨테이너 안에서 HEALTHCHECK 인스트럭션에 정의된 명령을 실행 함으로써 애플리케이션의 상태가 정상인지 확인할 수 있다.

FROM diamol/dotnet-aspnet

ENTRYPOINT ["dotnet", "/app/Numbers.Api.dll"]
HEALTHCHECK CMD curl --fail <http://localhost/health>

WORKDIR /app
COPY --from=builder /out/ .

• -f, --fail 옵션을 통해 실패 응답을 도커에 전달 할 수 있다.
• --interval=DURATION (default: 30s)
  • 요청 반복시간
• --timeout=DURATION (default: 30s)
  • 요청의 응답 타임아웃 시간
• --start-period=DURATION (default: 0s)
  • 컨테이너 시작 후 상태 확인 대기 시간.
• --retires=N (default: 3)
  • N 번 실패시 unhealth 상태 변경.

$ cd /ch08/exercises/numbers/numbers-api

$ docker image build -t diamol/ch08-numbers-api:v2 -f ./Dockerfile.v2 . 

$ doker ps

$ curl localhost:8081/rng
$ curl localhost:8081/rng
$ curl localhost:8081/rng

curl localhost:8081/rng
{"type":"<https://tools.ietf.org/html/rfc7231#section-6.6.1","title":"An> error occured while processing your request.","status":500,"traceId":"|609d0306-4c47a4871ee78355."}

$ docker ps

CONTAINER ID   IMAGE                        COMMAND                  CREATED          STATUS                     PORTS                    NAMES
4d1d67dc1cd9   diamol/ch08-numbers-api:v2   "dotnet /app/Numbers…"   2 minutes ago    Up 2 minutes (unhealthy)   0.0.0.0:8081->80/tcp     xenodochial_lehmann

• 에러가 발생한 후 컨테이너의 상태 unhealth 확인.
• 컨테이너 이상 상태는 도커 API를 통해 보고된다.
• 컨테이너 플랫폼도 컨테이너의 이상 상태를 보고 받아 애플리케이션 복구 조치를 할 수 있다.

$ docker container inspect $(docker container ls --last 1 --format '{{.ID}}'

• docker inspect 를 통해 가장 최근의 헬스 체크 수행 결과를 확인할 수 있다.

8.2 디펜던시 체크가 적용된 컨테이너 실행하기

• 여러 컨테이너에서 실행 되는 분산 애플리케이션의 경우. 이상이 생긴 컨테이너 교체 작업 시 컨테이너 간의 의존성은 고려되지 않는다.
• 따라서, 디펜던시 체크를 통해 애플리케이션 실행 전 필요한 요구 사항을 확인하도록 한다.
• 디펜던시 체크는 별도의 인스트럭션이 아닌 애플리케이션 실행 명령에 로직을 추가하는 방법으로 구현한다.

FROM diamol/dotnet-aspnet

ENV RngApi:Url=http://numbers-api/rng

CMD curl --fail <http://numbers-api/rng> && \\
		dotnet Numbers.Web.dll
		
WORKDIR /app
COPY --from=builder /out/ .

• CMD 인스트럭션은 컨테이너를 실행할 때 실행된다.
• && 은 앞에 오는 명령이 성공하면 뒤에 오는 명령을 실행한다.
• && 명령 앞의 선행조건을 통해 애플리케이션 실행 조건을 구현한다.
• 조건에 실패할 경우 컨테이너는 그대로 종료된다.

8.3 애플리케이션 체크를 위한 커스텀 유틸리티 만들기

• 실무에서는 보안 정책상의 이유로 이미지에 curl 을 포함시킬 수 없기 때문에 curl 을 사용하지 않는다.

curl 을 이미지에 포함시키지 않는 이유와 문제점

회사에서 docker-compose 내부에서 healthcheck 를 많이 사용하는 것을 보았다.

그런데, 위의 저 내용을 보고 ‘왜 보안상 문제가 될까?’에 대한 추가 정리이다.

• 보안
  • curl 은 네트워크 요청을 보내는 도구로, 잘못된 사용 시 보안 취약점 노출 가능.
  • 특히, HEALTHCHECK 는 컨테이너 내부에서 실행되기 때문에, 공격자가 이를 악용하여 컨테이너 데이터 유출 혹은 공격 가능.
• 안정성
  • curl 을 이용한 HEALTHCHECK 는 네트워크 상태, 타 서비스의 응답 속도 등 외부 요인에 영향을 받기 쉬움.
  • 이로 인해 서비스가 정상적으로 작동하고 있음에도 HEALTHCHECK 가 실패할 수 있음.
• 이미지의 크기
  • curl 은 이미지의 크기를 불필요하게 증가시킨다.
  • 특히, 여러 레이러를 사용하는 복잡한 이미지의 경우 문제가 있을 수 있다.
  • 또한, 모든 이미지에 curl 이 반드시 필요한 것은 아니므로 불필요한 자원 낭비.

커스텀 유틸리티의 장점

• 커스텀 유틸리티는 애플리케이션과 같은 언어로 구현한 애플리케이션 체크 도구.

A. 애플리케이션과 같은 도구를 사용하므로 이미지에 추가적인 소프트웨어를 포함시킬 필요가 없다.

B. 쉘 스크립트로 표현하기 까다로운 복잡한 로직을 사용할 수 있다.

C. 애플리케이션과 같은 설정을 사용해. 반복 정의 사용및 수정 누락 등을 방지할 수 있다.

D. 애플리케이션과 동일한 환경에서의 실행 전 확인이 필요한 모든 사항을 검증할 수 있다.

FROM diamol/dotnet-aspnet

ENTRYPOINT ["dotnet", "Numbers.Api.dll"]
HEALTHCHECK CMD ["dotnet", "Utilities.HttpCheck.dll", "-u", "<http://localhost/health>"]

WORKDIR /app
COPY --from=http-check-builder /out/ .
COPY --from=builder /out/ .

FROM diamol/dotnet-aspnet

ENV RngApi:Url=http://numbers-api/rng

CMD dotnet Utilities.HttpCheck.dll -c RngApi:Url -t 900 && \\
    dotnet Numbers.Web.dll
WORKDIR /app
COPY --from=http-check-builder /out/ .
COPY --from=builder /out/ .

8.4 도커 컴포즈에 헬스 체크와 디펜던시 체크 정의하기

• 도커 컴포즈는 애플리케이션의 상태에 이상이 생겼을 때 어느 정도 복원할 수 있는 기능이 있다.
• 그러나, 도커 컴포즈는 이상이 생긴 컨테이너를 새로운 컨테이너로 교체하지 않는다.
• 새로운 컨테이너로 교체 과정 중에 더 큰 장애가 발생할 수 있기 때문이다.
• 도커 컴포즈 파일에서는 헬스 체크의 옵션을 더 세세하게 설정할 수 있다.

numbers-api:
	image: diamol/ch08-numbers-api:v3
	restart: on-failure
	ports:
		- "8080:80"
	healthcheck:
		test: ["CMD", "dotnet", "Utilites.HttpCheck.dll", "-t", "150"]
		interval: 5s
		timeout: 1s
		retries: 2
		start_period: 5s
	networks:
		- app-net

• test : 헬스체크를 위한 명령어.
• restart : 컨테이너 종료시 재시작 관련 옵션

$ docker comopse up -d

WARN[0000] networks.app-net: external.name is deprecated. Please set name and external: true 
[+] Running 13/13
 ✔ numbers-web Pulled                                                                                                                                                                                  6.1s 
   ✔ 2c6f18abfee2 Pull complete                                                                                                                                                                        2.0s 
   ✔ c8933103e3d5 Pull complete                                                                                                                                                                        2.2s 
   ✔ fae779850b6e Pull complete                                                                                                                                                                        2.8s 
 ✔ numbers-api Pulled                                                                                                                                                                                  4.9s 
   ✔ f338bc35613f Already exists                                                                                                                                                                       0.0s 
   ✔ 5636d912c69e Already exists                                                                                                                                                                       0.0s 
   ✔ 362df8b85fca Already exists                                                                                                                                                                       0.0s 
   ✔ 24c3992ceef4 Already exists                                                                                                                                                                       0.0s 
   ✔ 546a81dfea0f Already exists                                                                                                                                                                       0.0s 
   ✔ a1d31c83c9fb Pull complete                                                                                                                                                                        1.1s 
   ✔ b4b21f2c15f2 Pull complete                                                                                                                                                                        1.6s 
   ✔ 5b2370cbc2a2 Pull complete                                                                                                                                                                        1.6s 
[+] Running 2/2
 ✔ Container numbers-numbers-api-1  Started                                                                                                                                                            0.3s 
 ✔ Container numbers-numbers-web-1  Started         
 
$ docker ps
CONTAINER ID   IMAGE                        COMMAND                  CREATED          STATUS                                     PORTS                                     NAMES
a27d8181cf94   diamol/ch08-numbers-web:v3   "/bin/sh -c 'dotnet …"   7 seconds ago    Up Less than a second (health: starting)   0.0.0.0:8088->80/tcp, [::]:8088->80/tcp   numbers-numbers-web-1
25079f8a8819   diamol/ch08-numbers-api:v3   "dotnet Numbers.Api.…"   7 seconds ago    Up 6 seconds (healthy)                     0.0.0.0:8087->80/tcp, [::]:8087->80/tcp   numbers-numbers-api-1
26e8b5893314   diamol/ch08-numbers-web      "dotnet /app/Numbers…"   47 minutes ago   Up 47 minutes                              0.0.0.0:8082->80/tcp, [::]:8082->80/tcp   infallible_maxwell

$ docker logs numbers-numbers-web-1
HTTPCheck: status OK, url <http://numbers-api/rng>, took 5098ms
HTTPCheck: status OK, url <http://numbers-api/rng>, took 39ms

...

8.5 헬스 체크와 디펜던시 체크로 복원력있는 애플리케이션을 만들 수 있는 이유

• dependency 와 healthcheck 를 사용하면, 플랫폼이 실행 순서를 보장하게 할 필요가 없다.
• 의존관계를 만족하지 못한 상태의 경우 설정에 따라 재실행되거나 다른 컨테이너로 교체될 것이다.
• 자가 수복이란 일시적인 오류를 플랫폼이 해소해주는 것이다.

dependency 와 healthcheck 사용에는 주의점.

• healthcheck는 주기적으로 자주 실행되므로, 시스템에 부하를 주는 내용이어서는 안된다.
• 애플리케이션이 실질적으로 동작중인지 검증할 수 있는 핵심적인 부분만을 테스트 해야 된다.
• dependency 는 애플리케이션 시작 시에만 실행된다.
• 따라서, 테스트에 소모되는 리소스는 크게 지장이 없지만, 테스트 대상이 빠짐없도록 해야한다.
• 디펜던시 체크에 누락된 의존 관계는 애플리케이션 장애가 될 수 있다.

Toss Tech 헬스체크 장애 관련 글

Spring Boot Actuator의 헬스체크 살펴보기

Spring Boot Actuator의 헬스체크 살펴보기

8.6 연습문제

• Dockerfile 에 dependency check 와 health check 를 추가해라.

Base Dockerfile

FROM diamol/node

ENV MAX_ALLOCATION_MB=4096 \\
    LOOP_ALLOCATION_MB=512 \\
    LOOP_INTERVAL_MS=2000

CMD ["node", "memory-hog.js"]

WORKDIR /app
COPY src/ .

Solution Dockerfile

FROM diamol/node

ENV MAX_ALLOCATION_MB=4096 \\
    LOOP_ALLOCATION_MB=512 \\
    LOOP_INTERVAL_MS=2000

CMD node memory-check.js && \\
    node memory-hog.js

HEALTHCHECK --interval=5s \\
 CMD node memory-check.js

WORKDIR /app
COPY src/ .