[Kafka] Extended APIs - Connect, Stream, Schema Registry

'Stéphane Maarek - Learn Apache Kafka for Beginners v2'를 보고 작성한 글입니다. 😀

Kafka Connect and Stream

4가지 일반적인 Kafka 사용 사례

Source => Kafka	Producer API	Kafka Connect Source
Kafka => Kafka	Consumer, Producer API	Kafka Streams
Kafka => Sink	Consumer API	Kafka Connect Sink
Kafka => App	Consumer API

 

Kafka Connect

Source Connector : 공용 데이터 소스에서 데이터를 가져오는 것

Sink Connector : 공용 데이터 저장소에 데이터를 게시하는 것

데이터를 빠르고 안정적으로 Kafka로 쉽게 가져올 수 있다

ETL 파이프 라인의 일부

소규모 파이프 라인에서 전사적 파이프 라인으로 확장이 용이하다

재사용 가능한 코드

 

Kafkf Stream

Kafka 내에서 간편한 데이터 처리 및 변환 라이브러리

표준 자바 애플리케이션

별도의 클러스터 생성 필요 없음

확장성이 뛰어나고 탄력적이며 내결함성이 뛰어나다

Exactly Once 기능

한번에 하나의 레코드 처리 (배치 x)

모든 애플리케이션 크기에서 작동

 

Kafka Schema Registry

Kafka 는 데이터 확인 없이 바이트를 입력으로 받아 게시하여 다음과 같은 오류가 발생할 수 있다

• 프로듀서가 잘못된 데이터를 전송
• 필드 네임이 변경됨
• 데이터 형식이 변경됨

위와 같은 오류를 방지하기 위해 Schema Registry 가 필요하다

• Schema Registry 는 잘못된 데이터를 거부할 수 있다
• 프로듀서와 컨슈머를 위한 스키마 저장 및 검색이 가능

Schema Registry 가 없는 파이프 라인

Confluent Schema Registry 가 있는 파이프 라인

 

---

References

• Stéphane Maarek - Learn Apache Kafka for Beginners v2

---

🏋🏻 개인적으로 공부한 내용을 기록하고 있습니다.
잘못된 부분이 있다면 과감하게 지적해주세요!! 🏋