[Kafka] 2. 토픽과 파티션

목차 1. 적정 파티션 개수 2. 토픽 정리 정책 3. 멀티 노드 카프카 클러스터 4. 복제와 리더 / 팔로워 파티션 5. ISR 6. Kafka Config 토픽과 파티션을 사용함에 있어 발생하는 여러가지 운영상 고려사항을 확인하고 멀티 노드 카프카 클러스터를 구성한다. 1. 적정 파티션 개수 토픽의 파티션 개수는 카프카의 성능과 관련이 있기 때문에 적절한 파티션 개수를 설정하고 운영하는 것이 매우 중요하다. 토픽 생성시 파티션 개수 고려사항 데이터 처리량 메시지 키 사용 여부 브로커, 컨슈머 영향도 1) 데이터 처리량 데이터 처리량을 늘리기 위해 파티션을 추가하고 파티션 개수만큼 컨슈머를 추가해서 병렬 처리량을 늘릴 수 있다. (컨슈머가 실행되는 서버의 사양을 올리는 스케일업이나 GC 튜닝 등 컨슈머..
Kafka 2023. 2. 2. 10:17
1