본문 바로가기
DataOps/Kafka

[Kafka] 컨슈머 그룹 - 토픽 컨슘 관계(?) 삭제

by BenKangKang 2024. 5. 2.

컨슈머 그룹과 특정 토픽의 구독 관계를 끊고 싶은 경우가 있을 수 있다.

unsubscribe(구독 토픽 목록에서 제외) 한다고 컨슘 이력, 관계가 사라지는 것이 아니기 때문에 lag은 계속 쌓이게 된다. 만약 모니터링 도구에서 이를 구별하지 못한다면 lag 이 해소되지 않는 상황이라 판단할 것이고 지속적으로 alert 이 발생하게 된다.

1. 컨슈머 그룹 삭제

  • 컨슈머 그룹에 속한 멤버를 모두 죽인 뒤 컨슈머 그룹 삭제하는 방법.
  • 토픽 메시지를 처리 중이던 컨슈머 그룹은 삭제할 경우 오프셋 날라가서 문제 생길 수 있음 → 되도록 지양하는 것이 좋아보임

2. 컨슈머 그룹 토픽 오프셋 삭제

  • 컨슈머 그룹에 속한 멤버를 모두 죽이고, 특정 토픽에 대한 오프셋 날리는 방법
kafka-consumer-groups \
  --bootstrap-server {host}:9092  \
  --delete-offsets \
  --group {group_name} \
  --topic {topic_name}

댓글