DataOps/Kafka15 [카프카] Rebalancing Rebalancing? 컨슈머 그룹에 속한 컨슈머들은 특정 파티션에 대한 소유권을 갖고 있음. (중복 소유x) 따라서 컨슈머에 변동이 있거나, 파티션에 변동이 있으면 이 소유권을 재조정하는데 이 과정이 Rebalancing. 과정 2023. 9. 6. [Kafka] UI Tools 분석글 공유 카프카 클러스터를 운영하려면 적절한 UI 모니터링 도구가 필요하다. 좋은 비교자료가 있어 공유한다. UI for Apache kafka가 가장 좋은 선택지인 것으로 보인다. https://devocean.sk.com/blog/techBoardDetail.do?ID=163980 2023. 3. 13. [Kafka] 카프카란? Kafka?링크드인 사내 프로그램에서 출발하여 정식 Apache 오픈소스로 등록된 분산 이벤트 스트리밍 플랫폼Architecture간단히 알아보기이름 설명주키퍼(ZooKeeper)카프카의 메타데이터(metadata) 관리 및 브로커의 정상상태 점검(health check)을 담당합니다.카프카(Kafka) 또는 카프카 클러스터(Kafka cluster)아파치 프로젝트 애플리케이션 이름입니다. 여러 대의 브로커를 구성한 클러스터를 의미합니다.브로커(broker)카프카 애플리케이션이 설치된 서버 또는 노드를 말합니다.프로듀서(producer)카프카로 메시지를 보내는 역할을 하는 클라이언트를 총칭합니다.컨슈머(consumer)카프카에서 메시지를 꺼내가는 역할을 하는 클라이언트를 총칭합니다.토픽(topic)카프카.. 2023. 3. 10. [Kafka] 토픽 Naming Convention 고민 TL;DR https://cnr.sh/essays/how-paint-bike-shed-kafka-topic-naming-conventions 을 참고한 글입니다. [namespace]-[application name]-[topic type]-[version numbers] 조합을 추천합니다. 개요 카프카 클러스터를 운영하다보면 수많은 토픽을 생성하게 된다. 토픽 이름은 변경할 수 없기 때문에 카프카 도입을 고려하고 있다면 Naming Convention에 대한 고민을 먼저 해보는 것이 좋다. 주의 1. 토픽 이름은 한번 지정하면 바꿀 수 없다 토픽 이름은 변경 불가능한 값이다. 즉 한번 컨벤션을 정하면 수정하기 어렵다. 카프카를 운영하면서 다양한 케이스의 토픽을 생성하게 될 것임으로 최대한 범용적인 이름.. 2023. 3. 9. [KSR] 카프라 스키마 레지스트리(Kafka Schema Registry) 란? Kafka Schema Registry?Kafak 클러스터를 통해 전달되는 데이터 스키마를 관리하는 독립적인 애플리케이션Confluent Server 를 사용하는 경우 Enterprise License 이며, 그렇지 않으면 Community License이다. https://docs.confluent.io/platform/current/installation/license.html#community-license구조 프로듀서컨슈머스키마 레지스트리카프카 클러스터장점1. 시스템 장애 방지기본적으로 카프카 메시지 형태에는 강제성이 없다.무슨 말이냐면 위 A형태의 메시지를 보내다가 갑자기 B형태로 보내는 것이 가능하다는 말이다.소수의 사용자만 카프카 토픽을 소비한다면 큰 문제가 아닐 수 있다. 문제는 실제 카프.. 2023. 3. 9. 이전 1 2 다음
