Kafka 개념 정리 (Pub/Sub 모델, Zookeeper, Broker, Topic, Partition, Offset, Producer, Consumer)

🤔 Kafka 가 뭔데?

 

Kafka 는 LinkedIn 에서 개발된 오픈 소스 메시징 시스템입니다.

현재는 Apache Software Foundation 에서 관리되는 Apache Kafka 프로젝트로 발전하였습니다.

 

Kafka 도입 전

 

Kafka 가 도입되기 전에는 위와 같이 end-to-end 연결 방식으로 여러 애플리케이션들이 데이터를 주고 받았습니다. 하지만 서비스가 커지면서 복잡도가 증가했고 확장이 어려워지고 장애 발생 가능성이 커지는 문제점이 발생했습니다.

 

Kafka 도입 후

 

이러한 문제점들을 해결하기 위해 Kafka 가 개발되었습니다.

Kafka 를 도입한 결과 발생되는 모든 데이터와 데이터의 흐름을 중앙에서 관리할 수 있게 되었습니다. 또한 서비스의 특정 부분에서 장애가 발생하더라도 Kafka 는 데이터의 유실 및 중복에 대해 대처할 수 있는 여러 방법이 있기 때문에 장애를 유연하게 처리할 수 있게 되었습니다. scale out 이 용이한 시스템이기 때문에 서비스 확장도 용이해졌습니다.

 

 

👻 Pub/Sub 모델

 

Kafka 는 어떻게 데이터 관리를 중앙집중화 할 수 있었을까요?

이는 Kafka 가 Pub/Sub 모델을 기반으로 만들어진 시스템이기 때문입니다.

 

Pub/Sub 모델이란 Publish/Subscribe 의 줄임말로 메시지 기반 미들웨어 시스템을 의미합니다.

 

Pub/Sub 모델

 

Pub/Sub 모델에는 이벤트(메시지)를 발행하는 Publisher 가 존재하고, Publisher 는 특정 Channel(Topic)에 이벤트를 전송합니다.

해당 이벤트는 특정 Channel(Topic)을 구독하는 Subscriber 에 의해 처리됩니다.

 

이러한 모델을 기반으로 하는 Kafka 를 도입하게 되면, 각 애플리케이션은 이벤트를 발행한 후 이벤트의 처리에 대해서는 신경쓰지 않아도 되기 때문에 복잡도가 감소합니다. 또한 Subscriber 에 장애가 발생하더라도 메시징 시스템만 정상적으로 동작하면 이벤트가 유실되지 않기 때문에 장애를 유연하게 처리할 수 있어졌습니다.

 

 

💡 Kafka 주요 개념

 

Kafka 에 대해 이해하기 위해서는 아래와 같은 개념들에 대해 학습해야합니다.

우선 간단하게 한줄 설명을 보고 넘어가겠습니다.

 

• Zookeeper: Kafka 의 클러스터 메타데이터와 상태 정보를 저장하고 관리하는 분산 코디네이터 시스템입니다.

• Broker: Kafka 클러스터를 구성하는 개별 서버 노드로, 메시지 수신, 저장, 분배 등의 역할을 수행하는 Kafka 서버입니다.

• Topic: Kafka 에서 데이터를 주고받는 주제를 나타내는 단위로, 관련된 메시지들이 그룹화되는 카테고리 또는 피드입니다.

• Partition: Kafka Topic 을 분할하여 여러 파티션으로 나누는 것으로, 각 파티션은 순서가 있는 메시지 스트림을 포함하며 별도의 오프셋을 가지고 있습니다.

• Offset: Kafka Topic 내에서 메시지의 위치를 식별하는 고유한 식별자로, Consumer 가 읽은 메시지의 위치를 추적하고 관리하는데 사용됩니다.

• Producer: Kafka 에 데이터를 생성하여 특정 Topic 으로 보내는 역할을 하는 애플리케이션 또는 컴포넌트입니다.

• Consumer: Kafka 로부터 데이터를 소비하는 역할을 하는 애플리케이션 또는 컴포넌트로, Topic 의 메시지를 읽고 처리합니다. Consumer 는 Consumer Group 에 속할 수 있으며, 메시지를 병렬로 처리할 수 있습니다.

 

 

💎 Zookeeper 와 Broker

 

Zookeeper 와 Broker

 

Broker 는 카프카 서버 중 1대를 의미합니다.

Broker 서버를 여러 대로 구성하여 하나의 클러스터로 구성하는데, 일반적으로 로드밸런싱과 가용성을 유지하기 위해 3개의 Broker 로 클러스터를 구성합니다.

Broker 가 n개라고 했을 때, n개의 Broker 는 리더의 역할을 수행하는 리더(leader) 1개와 나머지 n-1개의 팔로워(follower)로 구분됩니다. 리더의 데이터가 변경될 때 팔로워들에도 데이터가 동기화되기 때문에 리더 노드에 장애가 발생할 경우, 나머지 팔로워들 중 하나를 리더로 선정하여 동작하기 때문에 가용성을 유지할 수 있습니다.

 

Zookeeper 는 Kafka 클러스터를 관리하는 시스템입니다.

Broker 는 상태를 가지지 않기 때문에 Zookeeper 가 Broker 목록, Topic 과 Partition 의 구성, 리더 선출 정보와 같은 클러스터 메타데이터를 관리합니다.

리더를 선출하는 것 또한 Zookeeper 의 역할입니다. 리더 노드에서 장애가 발생할 경우, Zookeeper 는 새로운 노드를 리더 노드로 선출합니다.

 

 

💎 Topic 과 Partition, Offset

 

Topic 과 Partition

 

Topic 은 데이터가 저장되는 공간을 의미하고, 여러 개의 토픽이 생성될 수 있습니다.

Producer 와 Consumer 는 Topic 을 기준으로 데이터를 발행하고 구독합니다.

 

Partition 은 Topic 내에서 데이터를 분산 처리하는 단위로 볼 수 있습니다.

각각의 Topic 은 1개 이상의 Partition 으로 구성되어 있습니다.

Partition 은 Queue 와 같은 FIFO 형태로, Consumer 는 가장 오래된 데이터부터 가져갑니다.

Partition 을 늘리는 이유는 데이터를 분산 처리하기 위함인데, 만약 Producer A, B, C 가 같은 Topic 에 데이터를 전송했다고 가정해보겠습니다. Topic 에 Partition 이 1개 인 경우, 해당 Partition 에서 A, B, C 가 보내는 모든 데이터를 처리해야합니다. 하지만 Partition 이 여러개로 늘어난다면 Topic 안의 여러개의 Partition 들이 데이터를 병렬적으로 처리할 수 있게 됩니다.

 

Offset

 

Offset 은 각 Partition 마다 데이터가 저장되는 위치를 의미합니다.

Offset 은 Partition 마다 유니크한 값을 가지기 때문에 Consumer 가 읽은 메시지의 위치를 추적하고 관리하는 데 사용될 수 있습니다.

 

 

💎 Producer 와 Consumer

 

Producer 와 Consumer

 

Producer 는 Topic 에 데이터를 전송하는 역할을 담당합니다.

직렬화 → 파티셔닝 → 메시지 배치 → 압축 → 전달 의 과정을 거쳐 데이터를 전송합니다.

 

Consumer 는 Broker 에서 데이터를 가져오는 역할을 담당합니다.

하나의 Topic 을 여러 개의 Consumer 들이 구독하는 것도 가능한데, Consumer 가 메시지를 읽었을 때 메시지가 바로 삭제되지 않기 때문에 동일한 데이터를 여러 Consumer 에서 다양하게 처리할 수 있습니다.

또한 하나 이상의 Consumer 로 Consumer Group 을 구성할 수 있습니다.

Consumer Group 은 다른 Consumer Group 과 격리되는 특성을 가지고 있기 때문에 동일한 데이터에 대해 각기 다른 역할을 하는 Consumer Group 끼리 영향을 받지 않게 처리할 수 있다는 특징이 있습니다.