2021 AWS summit online - 삼성전자 메시징 서비스 아키텍처 사례

국내 통신 3사의 차세대 메시징 서비스로 삼성전자와 협업하여 RCS(Rich Communicatoin Service)라는 서비스를 제공하고 있다고 한다.

해당 서비스는 VM기반의 아키텍처에서 EKS기반으로 변경되었다고 운영이 더 쉬워지고, 비용이 절감 되었다는 등 우리가 일반적으로 알고있는 클라우드 전환의 장점을 이야기했다. (앞쪽에는 별 내용이 없었다...)

뒤 쪽에서는 로그 수집 아키텍처에 대해서는 관심있게 보았다.
EKS로 전환하면서 좀 더 효율적인 로그처리를 위해 로그 수집 아키텍처도 변경했는데,
중요한 비즈니스 로그의 경우

internal Micro Services => fluentd => Amazon Kinesis -> S3

상대적으로 덜 중요한 디버그 로그의 경우

internal Micro Services => fluentd -> s3

와 같은 아키텍처로 구성했다고 한다. 중요한 데이터의 경우 Amazon Kinesis를 사용하여 데이터 유실을 방지하고, 덜 중요한 데이터의 경우 비용을 줄이기 위해서 kinesis를 거치지 않고 바로 s3에 저장되도록 했다.

** => 로 표시한 구간이 데이터가 많이 유입되는 구간임

---

S3를 로그 저장소로 선택한 이유!
1) 11-nines durability
2) 비용적인 측면에서 효과적이다. EBS에 비해 용량 대비 가격이 저렴하다.
3) Scalability가 뛰어나기 때문에 용량 관리(남은 용량을 체크한다던지...)를 하거나, 용량 부족에 대해 걱정할 필요가 없다.

---

S3에 저장된 로그를 분석하기 위해서는 당연히. Athena를 사용했다.
Amazon Athena에 대해 간략하게 설명하자면, Athena는 표준 SQL을 지원하는 서버리스 쿼리 서비스이다.
장점은 다음과 같다.
1) 서버리스이기 때문에, 저장된 로그를 인프라 관리 부담 없이 검색하고 분석 가능
2) 검색 레이어와, 저장 레이어가 분리되어 있는데 저장은 S3에 하기 때문에 별도 스토리지 비용이 발생하지 않음
3) 병렬처리를 지원하기 때문에 빠른 속도로 쿼리 가능

---

용어 설명

• 오브젝트 스토리지 - 오브젝트 스토리지란 한마디로 구조화되지 않은 데이터(동영상, 사진, 오디오, 센서 데이터)를 저장하기 위한 스토리지이다. 데이터 조각을 하나의 객체로 저장한다 (?)
• EKS - Elastic Kubernetes Service의 약자로 AWS의 관리형 쿠버네티스 서비스를 말한다.
• fluentd -
• EFK - Elastic Search(분산 검색 엔진) + Logstash(데이터 수집 및 로그 파싱) + Kibana(분석 및 시각화)
• ELK - Elastic Search + Fluentd + Kibana / fluentd의 경우 CNCF 소프트웨어이기 때문에 쿠버네티스 사례가 많다. 위 삼성전자 사례에서도 fluentd를 사용하고 있다.
• 분산 검색 엔진 - 작성중...