본문 바로가기

Kafka14

[Kafka] Kafka Stream 에제 4 - user-event-Enricher (join) 'Stéphane Maarek - Kafka Streams'를 보고 작성한 글입니다. 😀 1. 에제 설명 inner join 과 left join 활용 2. build.gradle 설정 plugins { id 'java' } group 'hardenkim.github.io' version '1.0' repositories { mavenCentral() } dependencies { testImplementation 'org.junit.jupiter:junit-jupiter-api:5.6.0' testRuntimeOnly 'org.junit.jupiter:junit-jupiter-engine' compile group: 'org.apache.kafka', name: 'kafka-streams', versi.. 2021. 11. 23.
[Kafka] Kafka Stream 에제 3 - bank-balance-exactly-once 'Stéphane Maarek - Kafka Streams'를 보고 작성한 글입니다. 😀 1. 에제 설명 은행 입출금 예제 Producer exactly once 를 위해 idempotent producer 활용 Ex : { "Name":"John", "amount":100, "time":"2021-04-014T12:00:00"} Stream exactly once processing 활용 사용자의 거래를 처리하고 총 금액과 최신 업데이트 시간을 계산 2. build.gradle 설정 plugins { id 'java' } group 'hardenkim.github.io' version '1.0' repositories { mavenCentral() } dependencies { testImplement.. 2021. 11. 23.
[Kafka] Kafka Stream 에제 2 - FavoriteColor 1. EC2 설정 및 실행 Kafka는 항상 켜져 있어야하므로, EC2에 설치 AMI: Ubuntu 20.04 인스턴스: t2.micro (무조건 프리티어..) Kafka는 9092(default) 포트를 사용하므로, inbound 규칙 추가 port: 9092 / source: anywhere(0.0.0.0/0, ::/0) 2. Java 설치 Apache Kafka는 Java를 지원하는 모든 플랫폼에서 실행할 수 있다. Ubuntu에서 Kafka를 설정하려면 먼저 java 설치 sudo apt update sudo apt-get install openjdk-8-jdk 현재 활성 Java 버전 확인 java --version openjdk 11.0.10 2021-01-19 OpenJDK Runtime E.. 2021. 11. 23.
[Kafka] Kafka Stream 에제 1 - WordCount 'Stéphane Maarek - Kafka Streams'를 보고 작성한 글입니다. 😀 1. build.gradle 설정 plugins { id 'java' } group 'hardenkim.github.io' version '1.0' repositories { mavenCentral() } dependencies { testImplementation 'org.junit.jupiter:junit-jupiter-api:5.6.0' testRuntimeOnly 'org.junit.jupiter:junit-jupiter-engine' compile group: 'org.apache.kafka', name: 'kafka-streams', version: '2.7.0' compile group: 'org.slf.. 2021. 11. 23.
[Kafka] Ubuntu(우분투)에 Kafka 설치 및 실행 (EC2) 1. EC2 설정 및 실행 Kafka는 항상 켜져 있어야하므로, EC2에 설치 AMI: Ubuntu 20.04 인스턴스: t2.micro (무조건 프리티어..) Kafka는 9092(default) 포트를 사용하므로, inbound 규칙 추가 port: 9092 / source: anywhere(0.0.0.0/0, ::/0) 2. Java 설치 Apache Kafka는 Java를 지원하는 모든 플랫폼에서 실행할 수 있다. Ubuntu에서 Kafka를 설정하려면 먼저 java 설치 sudo apt update sudo apt-get install openjdk-8-jdk 현재 활성 Java 버전 확인 java --version openjdk 11.0.10 2021-01-19 OpenJDK Runtime E.. 2021. 11. 23.