처음 만드는 Kafka ClickPipe
이 가이드에서는 처음 만드는 Kafka ClickPipe를 만드는 과정을 단계별로 안내합니다.
스키마 레지스트리 구성(선택 사항)
Avro 스트림에는 유효한 스키마가 필요합니다. 스키마 레지스트리 구성 방법에 대한 자세한 내용은 Schema registries를 참조하십시오.
Reverse Private Endpoint 구성(선택 사항)
AWS PrivateLink를 사용해 ClickPipes가 Kafka 클러스터에 연결할 수 있도록 Reverse Private Endpoint를 구성하십시오. 자세한 내용은 AWS PrivateLink documentation을 참조하십시오.
SSH 터널링 구성(선택 사항)
Kafka 브로커에 공개적으로 접근할 수 없는 경우 SSH 터널링을 사용할 수 있습니다. 직접 연결하는 대신 ClickPipes는 배스천 호스트(네트워크 내에 있으면서 공개적으로 접근 가능한 서버)에 SSH 연결을 설정한 다음, 이를 통해 프라이빗 네트워크의 Kafka 브로커로 트래픽을 전달합니다.
- "SSH Tunnel" 토글을 활성화하십시오.
- SSH 연결 정보를 입력하십시오:
- SSH Host: 배스천 호스트의 호스트명 또는 IP 주소입니다. 프라이빗 네트워크로 들어가는 게이트웨이 역할을 하는 공개 접근 가능 서버입니다.
- SSH Port: 배스천 호스트의 SSH 포트입니다(기본값
22). - SSH User: 배스천 호스트에서 인증에 사용할 사용자 이름입니다.
- 키 기반 인증을 사용하려면 "Revoke and regenerate key pair"를 클릭하여 새 키 쌍을 생성한 다음, 생성된 공개 키를 SSH 서버의
~/.ssh/authorized_keys에 복사하십시오. - "Verify Connection"을 클릭하여 연결을 확인하십시오.
ClickPipes가 SSH 터널을 설정할 수 있도록 SSH 배스천 호스트의 방화벽 규칙에서 ClickPipes IP addresses를 허용 목록에 추가하십시오.
대상 테이블 구성
다음 단계에서는 데이터를 새 ClickHouse 테이블로 수집할지, 기존 테이블을 재사용할지 선택할 수 있습니다. 화면의 안내에 따라 테이블 이름, 스키마, 설정을 수정하십시오. 상단의 샘플 테이블에서 변경 사항의 실시간 미리보기를 확인할 수 있습니다.
제공된 컨트롤을 사용해 고급 설정을 사용자 지정할 수도 있습니다.
권한 구성
ClickPipes는 대상 테이블에 데이터를 쓰기 위한 전용 사용자를 생성합니다. 이 내부 사용자에 대해 사용자 지정 역할 또는 사전 정의된 역할 중 하나를 선택할 수 있습니다:
Full access: 클러스터에 대한 전체 접근 권한입니다. 대상 테이블과 함께 materialized view 또는 딕셔너리(Dictionary)를 사용하는 경우 유용할 수 있습니다.Only destination table: 대상 테이블에 대한INSERT권한만 부여합니다.
