반응형 미들웨어/Kafka4 Kafka 기본 개념과 싱글 브로커 실습 Kafka 기본개념 및 싱글 브로커 실습 정리1. Kafka란 무엇인가?Kafka는 대용량의 실시간 데이터 스트리밍을 처리하는 분산 메시징 시스템입니다.수많은 서비스와 애플리케이션이 데이터를 주고받을 때 중간에서 데이터를 안정적으로 저장하고 전달하는 역할을 합니다.(예 : 이커머스 플랫폼에서는 주문, 결제, 알림 등의 이벤트를 실시간으로 처리할 때 Kafka를 활용합니다.) Kafka의 핵심 용어 정리Producer: 데이터를 Kafka로 보내는 주체Consumer: Kafka에서 데이터를 읽어가는 주체Topic: 메시지를 저장하는 논리적 단위Partition: Topic을 분할한 단위, 데이터 분산과 병렬 처리에 활용Offset: Partition 내 메시지의 위치 인덱스2. Kafka 싱글 브로커 실.. 2025. 7. 13. Kafka partition에 message저장 방식 이번 포스팅에서는 message의 병렬처리를 위해 다수의 partition을 생성할 때 partitioner에 따른 동작 방식을 비교해 본다. 1. sticky partitioner(key값이 존재할 때) 3개의 partitions을 갖는 topic을 생성 후 message를 전송한다. [webwas@ip-172-31-39-9 config]$ kafka-topics.sh --create \ > --bootstrap-server localhost:9092,localhost:9093,localhost:9094 \ > --partitions 3 \ > --replication-factor 1 \ > --topic sticky-test Created topic sticky-test. partition을 3개 갖.. 2023. 3. 18. Kafka cluster 구성 및 failover 테스트 이번 포스팅에서는 kafka cluster를 구성해보고 failover 테스트를 진행한다. 환경은 AWS EC2 인스턴스 하나에 kafka broker를 3대 띄워 진행한다. 1. cluster 구성 config zookeeper.properties tickTime=2000 dataDir=/webwas/kafka/zookeeper1(zookeeper2, zookeeper3) clientPort=2181(2182, 2183) server.0=127.0.0.1:2887:3887 server.1=127.0.0.1:2888:3888 server.2=127.0.0.1:2889:3889 initLimit=5 syncLimit=5 옵션명 설명 tickTime zookeeper가 사용하는 기본 시간으로 ms단위이다. .. 2023. 3. 17. Kafka 설치 및 간단 사용법 Kafka는 분산 스트리밍 플랫폼으로 쉽게말해 메시지 큐를 제공하는 솔루션이다. 기본적인 테스트 내용만 정리하였으며 추 후 좀더 공부해서 업데이트 예정이다. 1. Kafka의 필요성 Kafka가 왜 필요한지 가장 잘 이해되는 그림인 것 같아 가져왔다. 기존 구조는 end to end 구조의 복잡성과 어려운 확장성을 가지고 있다. Kafka를 통해 복잡성 해소와 간단한 확장성으로 변경되었다. 2. Kafka의 구성요소 Producer : Kafka에 메시지를 전달하는 Client Consumer : Kafka에서 메시지를 가져가는 Client Topic : 메시지를 구분해 저장하는 공간 Broker : Kafka 서버라고 생각하면 쉬움 Partition : topic을 여럿으로 나누어 놓은 구조 Zooke.. 2023. 3. 16. 이전 1 다음 반응형
