반응형 미들웨어/Kafka3 Kafka partition에 message저장 방식 이번 포스팅에서는 message의 병렬처리를 위해 다수의 partition을 생성할 때 partitioner에 따른 동작 방식을 비교해 본다. 1. sticky partitioner(key값이 존재할 때) 3개의 partitions을 갖는 topic을 생성 후 message를 전송한다. [webwas@ip-172-31-39-9 config]$ kafka-topics.sh --create \ > --bootstrap-server localhost:9092,localhost:9093,localhost:9094 \ > --partitions 3 \ > --replication-factor 1 \ > --topic sticky-test Created topic sticky-test. partition을 3개 갖.. 2023. 3. 18. Kafka cluster 구성 및 failover 테스트 이번 포스팅에서는 kafka cluster를 구성해보고 failover 테스트를 진행한다. 환경은 AWS EC2 인스턴스 하나에 kafka broker를 3대 띄워 진행한다. 1. cluster 구성 config zookeeper.properties tickTime=2000 dataDir=/webwas/kafka/zookeeper1(zookeeper2, zookeeper3) clientPort=2181(2182, 2183) server.0=127.0.0.1:2887:3887 server.1=127.0.0.1:2888:3888 server.2=127.0.0.1:2889:3889 initLimit=5 syncLimit=5 옵션명 설명 tickTime zookeeper가 사용하는 기본 시간으로 ms단위이다. .. 2023. 3. 17. Kafka 설치 및 간단 사용법 Kafka는 분산 스트리밍 플랫폼으로 쉽게말해 메시지 큐를 제공하는 솔루션이다. 기본적인 테스트 내용만 정리하였으며 추 후 좀더 공부해서 업데이트 예정이다. 1. Kafka의 필요성 Kafka가 왜 필요한지 가장 잘 이해되는 그림인 것 같아 가져왔다. 기존 구조는 end to end 구조의 복잡성과 어려운 확장성을 가지고 있다. Kafka를 통해 복잡성 해소와 간단한 확장성으로 변경되었다. 2. Kafka의 구성요소 Producer : Kafka에 메시지를 전달하는 Client Consumer : Kafka에서 메시지를 가져가는 Client Topic : 메시지를 구분해 저장하는 공간 Broker : Kafka 서버라고 생각하면 쉬움 Partition : topic을 여럿으로 나누어 놓은 구조 Zooke.. 2023. 3. 16. 이전 1 다음 반응형
