[Kafka] Kafka Connect 란?

- 카프카란? https://mystudylab.tistory.com/105 

 

KafkaConnect

• Kafka Connect는 손쉽게 Kafka를 이용하는 pipeline을 구성해주는 도구.
• 생성되는 Data pipeline은 데이터 이동과 변환이 목적이며 , 분산된 환경에서 수행하기에 고가용성과 부하분산을 구현.
• 다양한 source와 target을 지원하며, source 데이터를 target 에 적재합니다.

 

구성요소

1. Connector

- Source connector: 데이터 소스에서 데이터를 추출해 카프카에 데이터 적재

- Sink connector: Kafka에서 데이터를 목적지로 전송

2. Task

- 커넥터는 하나 이상의 작업을 가질 수 있음

- Task는 실제로 데이터를 이동시키는 단위이며,여러 작업은 connector 통해 병렬로 실행

- 작업은 클러스터 노드에 분산되어 실행 가능

3. Converter

- 데이터 직렬화, 역직렬화

- Avro, JSON, Protobuf

4. Rest API

- REST API 통해 Connector, Task, Config 관리할 수 있는 인터페이스 제공

- Connector 를 동적으로 추가 혹은 수정 가능

 

 

사용예시

CDC