[Kafka] Spring Kafka 구성(Broker, Producer, Consumer)

도메인 이벤트를 발생시키는 프로듀서와 이벤트를 가져와 데이터를 변경하는 컨슈머를 구성한다.메시지 중복 저장을 방지하는 멱등성 프로듀서를 구성하고 카프카 클러스터는 3개의 브로커를 가지는 멀티 노드 클러스터로 만들어 가용성을 높인다. 컨슈머는 브로커 파티션의 갯수만큼 멀티 스레드로 구성해 데이터를 병렬로 처리하도록 한다.   1. 개발 환경java 11spring boot 2.7.xgradleconfluent kafka 3.xoracle VM 2. 카프카 환경 설정confluent-kafka 설치$ wget https://packages.confluent.io/archive/7.2/confluent-community-7.2.1.tar.gz$ tar xvf confluen..
Kafka 2023. 3. 21. 13:55
[Kafka] 1. 카프카 기본 개념

목차 1. 카프카 2. 주키퍼, 클러스터, 브로커 3. 프로듀서 4. 컨슈머 1. 카프카 카프카는 링크드인의 데이터팀이 파편화된 데이터 파이프라인의 복잡도를 낮추기 위해 개발한 오픈소스 프로젝트이다. 데이터 파이프라인 엔드 투 엔드 방식의 데이터 수집 및 적재를 개선하고 안정성을 추구하며, 유연하면서도 확장 가능하게 자동화한 것 높은 처리량 카프카는 프로듀서가 브로커로 데이터를 보낼 때와 컨슈머가 브로커로부터 데이터를 받을 때 많은 양의 데이터를 묶음 단위로 처리하기 때문에 네트워크 비용을 최소화할 수 있다. 또한, 파티션을 통해 데이터를 병렬 처리할 수 있어 시간당 데이터 처리량을 늘릴 수 있다. 확장성 카프카는 데이터가 적을 때는 클러스터의 브로커를 최소한의 개수로 운영하다가 데이터가 많아지면 브로커..
Kafka 2023. 2. 1. 13:13
1