[Kafka] Advanced Topic Configurations

'Stéphane Maarek - Learn Apache Kafka for Beginners v2'를 보고 작성한 글입니다. 😀

Topic Configurations 에 관심을 가져야하는 이유

브로커에는 모든 Topic Configuration parameter 에 대한 기본값이 있다.

이러한 parameter 는 성능 및 토픽 동작에 영향을 준다.

일부 항목에는 기본값과 다른 값이 필요할 수 있다.

• Replication Factor
• Number of Partitions
• Message size
• Compression level
• Log Cleanup Policy
• Min Insync Replicas
• Other configurations

 

partitions and Segments

토픽은 파티션으로 구성된다.

파티션은 세그먼트(파일)로 구성된다.

하나의 세그먼트만 ACTIVE (하나의 데이터가 기록되고 있음)

두 세그먼트 설정 :

• log.segment.bytes : 단일 세그먼트의 최대 크기 (바이트)
• log.segment.ms : 가득 차 있지 않은 경우 세그먼트를 커밋하기 전에 Kafka가 대기하는 시간

 

---

References

• Stéphane Maarek - Learn Apache Kafka for Beginners v2

---

🏋🏻 개인적으로 공부한 내용을 기록하고 있습니다.
잘못된 부분이 있다면 과감하게 지적해주세요!! 🏋