반응형 카프카2 Kafka partition에 message저장 방식 이번 포스팅에서는 message의 병렬처리를 위해 다수의 partition을 생성할 때 partitioner에 따른 동작 방식을 비교해 본다. 1. sticky partitioner(key값이 존재할 때) 3개의 partitions을 갖는 topic을 생성 후 message를 전송한다. [webwas@ip-172-31-39-9 config]$ kafka-topics.sh --create \ > --bootstrap-server localhost:9092,localhost:9093,localhost:9094 \ > --partitions 3 \ > --replication-factor 1 \ > --topic sticky-test Created topic sticky-test. partition을 3개 갖.. 2023. 3. 18. Kafka 설치 및 간단 사용법 Kafka는 분산 스트리밍 플랫폼으로 쉽게말해 메시지 큐를 제공하는 솔루션이다. 기본적인 테스트 내용만 정리하였으며 추 후 좀더 공부해서 업데이트 예정이다. 1. Kafka의 필요성 Kafka가 왜 필요한지 가장 잘 이해되는 그림인 것 같아 가져왔다. 기존 구조는 end to end 구조의 복잡성과 어려운 확장성을 가지고 있다. Kafka를 통해 복잡성 해소와 간단한 확장성으로 변경되었다. 2. Kafka의 구성요소 Producer : Kafka에 메시지를 전달하는 Client Consumer : Kafka에서 메시지를 가져가는 Client Topic : 메시지를 구분해 저장하는 공간 Broker : Kafka 서버라고 생각하면 쉬움 Partition : topic을 여럿으로 나누어 놓은 구조 Zooke.. 2023. 3. 16. 이전 1 다음 반응형
