반응형 elasticsearch3 [모니터링] 'Elatic Stack'을 이용한 서울시 지하철 대시보드 '김종민님의 'Elastic Stack을 이용한 서울시 지하철 대시보드 다시 만들기''를 보고 작성한 글입니다. 😀 기존의 대시보드와 다른 점 데이터는 2018년이 아닌 2019년 데이터로 진행하였습니다. javascript가 아닌 python으로 진행하였습니다. 공공데이터 '서울시 역코드로 지하철역 위치 조회'가 더이상 서울 열린데이터광장에서 제공하지 않아 지하철역 키워드를 Kakao Map Api를 통해 구현하였습니다. Logstash의 @timestamp를 사용할 때는 한국 시간의 -9시간을 하기 때문에 @timestamp 값을 통해 시간을 구할 때 +9를 하였습니다. kibana의 region map 이 더이상 지원이 되지 않아 Maps -> Cluste.. 2021. 11. 23. [Kafka] 원하는 tweet을 Kafka에서 ElasticSearch로 보내기 'Stéphane Maarek - Learn Apache Kafka for Beginners v2'를 보고 작성한 글입니다. 😀 1. Twitter APPs Twitter Apps 에서 회원가입을 하고 간단한 앱을 만들어 key랑 token을 받는다 2. Producer with Twitter API Twitter API를 통해 원하는 tweet을 kafka로 가져와야한다. 이번 예제에서 사용할 API는 twitter java api를 이용한다 github를 들어가보면 Quickstart를 통해 쉽게 사용이 가능하다 3. Twitter Producer Kafka Producer와 Twitter API를 사용하기 위해 build.gradle에 dependency를 추가한다 dependencies { tes.. 2021. 11. 23. [docker] Ubuntu (우분투)에 docker를 이용해 ELK스택 설치 도커(docker) 설치 도커 설치 curl -fsSL https://get.docker.com/ | sudo sh 사용자 docker 그룹에 추가 (sudo 없이 사용하기 위해) sudo usermod -aG docker UserName # 재부팅하면 권한 적용됨 설치 확인하기 docker version git 설치 패키지 리스트 업데이트 sudo apt-get install git 설치 sudo apt install git 설치 확인 git --version 정보 입력 (push했을때 올라갈 내 정보) git config --global user.name [이름] git config --global user.mail [메일 주소] ELK 스택 설치 (Github Repository 이용) ELK 스택.. 2021. 11. 22. 이전 1 다음 반응형
