APM(scouter)을 통해 WAS 모니터링하기

개요

지난 9월 서비스 출시이후 사용자들의 데이터를 수집하고 애플리케이션의 가용성을 측정하는 방법에 대한 관심이 커졌다. 특히 로그 모니터링에 대한 관심이 커졌는데, 관련 내용을 찾아보는 과정에서 APM 이라는 키워드를 알게 되었다. 

APM 은 Application Performance Management의 약자로, 애플리케이션 및 코드의 성능 문제를 신속하게 식별하고 해결하기 위한 프로세스이다. 대표적인 APM 으로는  Dynatrace, New relic, AppDynamics, WhaTap 오픈소스로는, Naver의 Pinpoint, LG CNS의 Scouter 가 있다.

우리는 비용과 관리, 운영 측면에서 최소한의 리소스로 사용할 수 있는 도구를 원했기때문에 Scouter를 선택하게되었다. 

GitHub - scouter-project/scouter: Scouter is an open source APM (Application Performance Management) tool.

​

 

Scouter 란?

Scouter는 앞서 설명한 바와 같이 Java 애플리케이션, 특히 Tomcat 과 같은 웹 베이스 애플리케이션에 특화된 오픈소스 APM 도구입니다.

Scouter로 모니터링할 경우에는 CPU, TPS, Active Service EQ, GC time, GC count, Xlog 등의 지표를 구성할 수 있습니다. 이 중 CPU와 TPS는 기간별 지표를 확인할 수 있으며, Active Service EQ는 시각적으로 서비스의 상태를 확인하고 Thread 목록과 StackTrace 목록을 찾아가기 쉽게 구성되어 있어, 문제가 되는 서버를 추적하기가 용이합니다.

Scouter에는 이 외에도 알람, 성능 카운터, Summary, Xlog data 전처리, Xlog 상세 profile 정보 전처리 등을 위한 서버 측의 플러그인을 제공하며 Agent 측에서는 httpservice, httpcall, capture, jdbcpull 등의 다양한 플러그인을 제공하고 있습니다.

Scouter client [출처 - scouter repo readme]

 

 

Scouter 동작 원리

Scouter는 크게 3가지의 모듈을 사용하여 애플리케이션의 지표를 수집하고 표현합니다.

출처 - Scouter Quickstart guide

• Agent : 성능 지표를 수집하고 서버(Collector)에 전송합니다.
  • Java Agent (JVM Agent) : JVM기반의 웹 애플리케이션 서버의 성능 지표와 프로필을 수집합니다. (ex. tomcat)
  • Host Agent (OS Agent) : 서버가 호스팅되는 OS의 성능 지표를 수집합니다. (CPU, MEM, DISK ...)
• Server (Collector) : Agent로부터 받은 성능 지표를 수집하고 저장합니다. 이 데이터는 Client 로 전송됩니다.
• Client (Viewer) : Server에 저장된 성능 지표 데이터를 통해 대시보드를 구성합니다.

 

이해를 돕기 위해 Spring Boot, AWS 기반으로 개발된 API 서버를 예시를 들어 설명하겠습니다.

1. Agent를 통해 WAS 지표와 OS 지표를 수집합니다.
   1. 다음과 같이 여러대의 서버에 대한 지표를 수집하고자 할 경우, 각 WAS 서버가 띄워질 때 javaagent도 함께 띄워지도록 하면 됩니다.
   2. host agent는 OS에 대한 지표를 수집하므로, 서버 마다 프로세스를 실행시킬 필요는 없습니다. 요구사항에 따라 적절하게 구성하시면 됩니다.
2. Collector 서버에서 Agent 가 보내주는 지표를 수집합니다.
   1. 중요한 점은 Agent가 Collector에 지표를 전송할 때 UDP와 TCP를 모두 사용한다는 점입니다. 따라서, Agent가 보내주는 데이터를 수신할 수 있도록, TCP/UDP 6100 포트가 열려있어야합니다.
   2. 외부에서 접근할 수 있도록 6100 포트를 열고 공인 IP를 할당합니다.
   3. 별도의 VM 생성 없이 컨테이너로 띄워주셔도 무방합니다.
3. Client를 통해 Collector 서버에서 지표를 받아, 대시보드를 구성합니다.
   1. 수집한 성능 지표를 보기위해 Client 프로세스를 구동시킵니다. 로컬 PC에서 Client 프로세스를 실행하면 됩니다.

 

로컬 환경에 구축해보기

로컬 환경에 실습해볼 환경은 다음과 같습니다.

• OS: Mac m2
• Java 17, Intellij

1. Scouter 다운

Release v2.20.0 · scouter-project/scouter

다음 링크에서 Scouter 파일을 다운받습니다. 

1. scouter의 Agent, Collector 서버가 포함된 파일입니다.
2. client 파일입니다. 운영체제에 맞게 선택해주시면 됩니다.

다운받은 2개의 압축 파일을 적당한 디렉터리에 풉니다. (필자는 ~/dev/scouter 에 품)

 

 

2. Scouter Server 구동

scouter/server 디렉터리로 이동하여 sh startup.sh 명령을 통해 Collector 서버를 실행합니다. (윈도우는 .bat 파일 실행)

 

Exception이 터지면서 구동이 안되시는 분은 Java 8 버전으로 바꿔서 시도해보시길 바랍니다.
저도 다른 VM 에서는 잘 구동되는데, 로컬에서는 안되네요..ㅠ

# 설치된 java version 확인
$ /usr/libexec/java_home -VCopy

# export JAVA_HOME=$(/usr/libexec/java_home -v 변경할 버전) - 자바 변경하기
$ export JAVA_HOME=$(/usr/libexec/java_home -v 11)


# bash shell 사용할 경우 - 변경 사항 적용
$ source ~/.bash_profile

# zsh shell 사용할 경우 - 변경 사항 적용
$ source ~/.zshrc

# 변경된 자바 버전 확인
$ java -version

 

 

3. Host Agent 구동

scouter/agent.host/conf 디렉터리로 이동한뒤 scouter.conf 파일을 수정해줍니다.

• net_collector_ip = Collector 서버 IP (Collector 서버를 로컬에 띄웠으므로 127.0.0.1)
• net_collector_udp_port = Collector 서버 udp port 지정 (기본 - 6100)
• net_collector_tcp_port = Collector 서버 tcp por 지정 (기본 - 6100)

 

마찬가지로, scouter/agent.host 디렉터리로 이동하여 host.sh 를 실행시켜, Host Agent를 실행시켜줍니다.

 

 

4. Client 실행

앞서 다운받은 client 파일을 압축 해제하고, 실행시킵니다. mac의 경우 다음 명령어를 실행시킨 후에 client를 실행시켜주세요

xattr -cr scouter.client.app

 

 

다음과 같은 화면에서 정보를 입력하고 OK를 클릭합니다.

• Server Address  =  Collector 서버 IP, port
• ID, PW = 기본값 admin, admin

 

접속했을 때, 다음과 같이 2개의 컴포넌트가 보이면 됩니다.

 

Scouter -> Setting 에서 Host OS와 실행시키는 자바 애플리케이션에 맞게 값을 수정해줍니다.

저는 mac을 사용하므로 osx로 지정했습니다. (window, linux 선택 가능)

 

 

5. WAS 구동 (with. Java Agent)

이제 Java Agent와 함께 WAS를 구동시키면 되는데요, 먼저 scouter/agent.java/conf 디렉터리로 이동하여 scouter.conf 파일을 수정해줍니다.

• obj_name = WAS를 식별할 수 있는 이름을 지정합니다.
• net_collector_ip / udp_port / tcp_port = collector 서버 IP, port

 

conf 파일로 지정할 수 있는 옵션은 다음의 링크에서 자세하게 확인하실 수 있습니다.

https://github.com/scouter-project/scouter/blob/master/scouter.document/main/Configuration.md

이제 WAS 기동시 Java Agent가 attach 될 수 있도록 해주면 끝입니다.

 

---

 

Jar 파일 실행

java -javaagent:${scouter_dir}/scouter/agent.java/scouter.agent.jar \
  -Dscouter.config=${scouter_dir}/scouter/agent.java/conf/scouter.conf \
  -jar wemeet-0.0.1.jar

scouter.agent.jar 과 앞서 설정했던 scouter.conf 파일 경로를 각각 javaagent, scouter.config 속성에 지정해주면 됩니다.

이 때, java agent jar 파일의 절대 경로를 잘 입력해주세요. 경로를 잘못입력하면 Java Agent를 찾을 수 없어 MENIFEST 관련 예외 문구가 출력될겁니다.
(필자는 -javaagent:/Users/kai/dev/scouter/agent.java/scouter.agent.jar 경로를 입력함)

 

다음과 같이, Spring Boot 로고가 출력되기 전에 Scouter 문구가 출력되면 성공입니다.

 

이제부터 Client에서 WAS-01 에 해당하는 애플리케이션의 성능 지표를 확인할 수 있습니다.

 

---

 

IntelliJ 실행

Application의 설정을 수정합니다.

 

Modify options를 클릭하여 VM 옵션 입력란을 추가합니다.

 

VM 옵션 입력란에 옵션을 추가합니다.

-javaagent:${scouter_dir}/scouter/agent.java/scouter.agent.jar 
-DScouter.config=${scouter_dir}/scouter/agent.java/conf/scouter.conf

 

 

Application 을 실행시키면 마찬가지로 Scouter 로고가 뜨고 Java Agent 가 붙어 성능 지표를 Collector 서버에 전송하게 됩니다.

 

 

참고

- https://techblog.woowahan.com/2627/

5월 우아한 Tech 세미나 후기 | 우아한형제들 기술블로그

- http://gunsdevlog.blogspot.com/2017/07/scouter-apm-1.html

Scouter APM 소소한 시리즈 #1 - 설치하기

- https://github.com/scouter-project/scouter/blob/master/scouter.document/main/Configuration.md