[Kafka] Partitions Count, Replication Factor

'Stéphane Maarek - Learn Apache Kafka for Beginners v2'를 보고 작성한 글입니다. 😀

Partitions Count, Replication Factor

토픽을 만들 때 가장 중요한 두 가지 매개 변수이다

전체 시스템의 성능과 내구성에 영향을 미친다

매개 변수를 처음부터 올바르게 설정하는 것이 가장 좋다

• 토픽 수명주기 동안 파티션 수가 증가하면 키의 순서 보장이 깨진다
• 토픽 수명주기 동안 복제 계수가 증가하면 클러스터에 더 많은 압력을 가하여 예기치 않은 성능 저하로 이어질 수 있다

 

Partitions Count

각 파티션은 MB/s 단위의 처리량을 다룰 수 있다

파티션의 개수가 많을수록 :

• 병렬 처리 및 처리량 향상
• 그룹에서 더 많은 컨슈머를 실행하여 확장 가능
• 대규모 클러스터를 사용하는 경우 더 많은 브로커를 활용 가능
• 그러나 Zookeeper 가 더 많은 리더 선거를 한다
• 그러나 Kafka 에 많은 파일이 열려 있다

 

Replication Factor

최소 2개, 보통 3개, 최대 4개 이다

복제 계수 (N)가 높을수록 :

• 시스템 복원력 향상 (N-1 브로커가 실패할 수 있음)
• 그러나 더 많은 복제 (acks = all 인 경우 더 긴 대기 시간)
• 하지만 시스템에 더 많은 디스크 공간 필요 (RF가 2에서 3으로 증가하면 50 % 증가)

 

---

References

• Stéphane Maarek - Learn Apache Kafka for Beginners v2

---

🏋🏻 개인적으로 공부한 내용을 기록하고 있습니다.
잘못된 부분이 있다면 과감하게 지적해주세요!! 🏋