Kafka Security

이 도메인이 묻는 것

문항은 대개 설정 조각을 주고 결과를 예측하게 하거나, 실패 증상을 주고 원인을 고르게 합니다. "무엇이 안전한가"를 묻는 개념 문항보다 "이 구성에서 클라이언트가 붙는가"를 묻는 판독 문항이 많습니다.

핵심 개념 요약 — 운영 관점

Kafka 보안은 네 겹입니다. 암호화(전송 구간 보호), 인증(누구인지 확인), 인가(무엇을 허용할지), 그리고 감사(누가 무엇을 했는지)입니다. 운영 사고는 거의 전부 앞의 세 겹 사이의 불일치에서 생깁니다 — 예를 들어 인증은 켰는데 인가를 안 켠 상태, 혹은 그 반대입니다.

보안 프로토콜 4종 — SASL_PLAINTEXT를 주의하세요

리스너마다 보안 프로토콜 하나가 붙습니다. 선택지는 네 개뿐이고 (대소문자 구분 없음), 이름이 두 축의 조합이라는 점을 알면 외울 것이 없습니다: 앞부분은 인증 방식, 뒷부분은 전송 암호화입니다.

SASL 메커니즘 5종

보안 프로토콜이 SASL_*이면 그 위에서 메커니즘을 고릅니다. Kafka가 지원하는 메커니즘은 다음 5개입니다. 브로커는 sasl.enabled.mechanisms로 허용 목록을 정하고(기본값은 GSSAPI 하나), 클라이언트는 sasl.mechanism으로 하나를 고릅니다.

리스너 3종 조합 판독 — 운영자 최다 실수

세 설정의 역할은 다음과 같습니다. 이 세 문장만 정확히 구분하면 대부분의 문항이 풀립니다.

핵심 규칙은 네 개입니다.

1. 리스너 이름이 보안 프로토콜 이름이 아니면 listener.security.protocol.map을 반드시 정의해야 합니다.
2. 같은 보안 프로토콜을 두 개 이상의 포트에서 쓰려면 map으로 이름을 갈라 줘야 합니다.
3. advertised.listeners에는 0.0.0.0을 쓸 수 없습니다. listeners에서는 가능합니다.
4. 브로커 간 리스너는 inter.broker.listener.name으로 지정합니다. security.inter.broker.protocol과 동시에 설정하면 오류입니다.

process.roles=broker
node.id=1

# 실제 바인딩: 내부용 9092, 외부용 9094, 컨트롤러 통신 수신은 없음(브로커 전용 노드)
listeners=INTERNAL://0.0.0.0:9092,EXTERNAL://0.0.0.0:9094

# 알려 줄 주소: 내부는 사설 DNS, 외부는 공개 DNS
advertised.listeners=INTERNAL://kafka-1.internal:9092,EXTERNAL://kafka-1.example.com:9094

# 이름 → 프로토콜. 이름이 프로토콜명이 아니므로 반드시 필요
listener.security.protocol.map=INTERNAL:SASL_SSL,EXTERNAL:SASL_SSL,CONTROLLER:SASL_SSL

# 브로커 간 통신은 내부 리스너로
inter.broker.listener.name=INTERNAL

# 컨트롤러 리스너: 브로커 전용 노드도 이름과 보안 설정을 선언해야 합니다
controller.listener.names=CONTROLLER
controller.quorum.bootstrap.servers=controller-1.internal:9093,controller-2.internal:9093,controller-3.internal:9093

sasl.enabled.mechanisms=SCRAM-SHA-512
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-512
authorizer.class.name=org.apache.kafka.metadata.authorizer.StandardAuthorizer

인가 — ACL 모델

KRaft 클러스터의 기본 authorizer는 org.apache.kafka.metadata.authorizer.StandardAuthorizer이고, ACL은 클러스터 메타데이터에 저장됩니다. 이 설정은 브로커·컨트롤러·결합 노드 전부에 넣어야 합니다.

ACL 한 줄은 이렇게 읽습니다 — "프린시펄 P는 호스트 H에서, 리소스 패턴 RP에 매칭되는 리소스 R에 대해 작업 O를 허용/거부한다."

작업(operation) 목록은 다음과 같습니다: Read, Write, Create, Delete, Alter, Describe, ClusterAction, DescribeConfigs, AlterConfigs, IdempotentWrite, CreateTokens, DescribeTokens, All.

필수 CLI 명령어

# [기동 전] 브로커 간 통신용 초기 자격증명을 포맷 단계에서 심는다
bin/kafka-storage.sh format -t $(bin/kafka-storage.sh random-uuid) \
    -c config/server.properties \
    --add-scram 'SCRAM-SHA-256=[name="admin",password="admin-secret"]'

# [기동 후] 클라이언트 사용자 추가 (반복 횟수 지정 가능, 미지정 시 4096)
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter \
    --add-config 'SCRAM-SHA-256=[iterations=8192,password=alice-secret]' \
    --entity-type users --entity-name alice --command-config client.properties

# 등록된 자격증명 확인
bin/kafka-configs.sh --bootstrap-server localhost:9092 --describe \
    --entity-type users --entity-name alice --command-config client.properties

# 삭제 (메커니즘 단위)
bin/kafka-configs.sh --bootstrap-server localhost:9092 --alter \
    --delete-config 'SCRAM-SHA-256' \
    --entity-type users --entity-name alice --command-config client.properties

# 프로듀서 권한 한 번에 (Write + Describe + 필요한 Create)
bin/kafka-acls.sh --bootstrap-server localhost:9092 --add \
    --allow-principal User:Bob --producer --topic orders

# 컨슈머 권한 — 그룹을 반드시 함께 지정해야 합니다
bin/kafka-acls.sh --bootstrap-server localhost:9092 --add \
    --allow-principal User:Alice --consumer --topic orders --group order-workers

# 프리픽스 패턴: orders- 로 시작하는 모든 토픽
bin/kafka-acls.sh --bootstrap-server localhost:9092 --add \
    --allow-principal User:Jane --producer --topic orders- --resource-pattern-type prefixed

# 특정 토픽에 영향을 주는 ACL 전부 보기 (literal + wildcard + prefixed)
bin/kafka-acls.sh --bootstrap-server localhost:9092 --list \
    --topic orders --resource-pattern-type match

# 삭제 — --add 를 --remove 로 바꾸고 나머지는 동일하게
bin/kafka-acls.sh --bootstrap-server localhost:9092 --remove \
    --allow-principal User:Bob --producer --topic orders

# 브로커에 접근할 수 없으면 컨트롤러로
bin/kafka-acls.sh --bootstrap-controller localhost:9093 --list

반드시 외워야 할 설정값

장애 시나리오와 대응

시나리오 1 — 브로커는 떴는데 외부 클라이언트가 붙지 못한다

가장 흔한 보안·네트워크 사고입니다. 증상은 "부트스트랩은 성공했는데 이후 요청이 타임아웃" 또는 "내부 호스트명으로 연결을 시도한다"는 로그입니다. 원인은 거의 항상 advertised.listeners입니다.

listeners=EXTERNAL://0.0.0.0:9094
listener.security.protocol.map=EXTERNAL:SASL_SSL
# advertised.listeners 없음

listeners=EXTERNAL://0.0.0.0:9094
advertised.listeners=EXTERNAL://kafka-1.example.com:9094
listener.security.protocol.map=EXTERNAL:SASL_SSL

1. 클라이언트가 받은 메타데이터를 먼저 확인합니다. 부트스트랩 성공 후 실패라면 광고 주소 문제입니다.
2. 브로커에서 advertised.listeners가 실제 도달 가능한 주소인지 확인합니다.
3. TLS를 쓰면 인증서 SAN에 그 광고 호스트명이 포함되어야 합니다. 없으면 호스트명 검증에서 끊깁니다.
4. 포트가 각각 열려 있는지, 리스너 이름이 map에 정의되어 있는지 확인합니다.
5. 수정 후에는 롤링 재시작이 필요합니다(advertised.listeners는 read-only 설정).

시나리오 2 — 클라이언트가 인증에 실패한다

인증(authentication) 실패와 인가(authorization) 실패는 다른 문제입니다. 먼저 어느 쪽인지 가른 뒤 조치해야 합니다.

시나리오 3 — 프로듀서는 되는데 컨슈머만 실패한다

1. 오류 이름을 확인합니다. GROUP_AUTHORIZATION_FAILED면 그룹 ACL 문제입니다.
2. kafka-acls.sh --add --allow-principal ... --consumer --topic X --group Y로 토픽과 그룹을 함께 부여합니다. --consumer는 그룹 지정이 필수입니다.
3. TOPIC_AUTHORIZATION_FAILED인데 ACL이 있다고 보인다면 --resource-pattern-type match로 실제 적용 ACL을 다시 확인합니다.
4. 멱등 프로듀서가 CLUSTER_AUTHORIZATION_FAILED를 받으면 Cluster 리소스의 IdempotentWrite가 없는 경우입니다. enable.idempotence 기본값이 true이므로 의도하지 않아도 걸립니다.
5. 트랜잭션 프로듀서라면 TransactionalId 리소스에 Write가 필요합니다.

시나리오 4 — 보안을 켠 뒤 브로커가 기동하지 않는다

1. 리스너 이름이 보안 프로토콜명이 아닌데 listener.security.protocol.map에 없는지 확인합니다.
2. inter.broker.listener.name과 security.inter.broker.protocol을 둘 다 설정하지 않았는지 확인합니다. 동시 설정은 오류입니다.
3. controller.listener.names가 inter.broker.listener.name과 같은 값이 아닌지 확인합니다.
4. 브로커 간 통신용 SCRAM 자격증명이 포맷 단계에서 심겼는지 확인합니다. 없으면 브로커끼리 인증하지 못해 복제가 시작되지 않습니다.
5. keystore/truststore 경로와 비밀번호, 파일 권한(브로커 실행 사용자가 읽을 수 있는가)을 확인합니다.

자주 나오는 함정

관련 케이스 스터디

• 케이스 9 · 스키마 배포 후 전체 컨슈머가 죽었다 — 인증·인가 오류와 직렬화 오류를 구분하는 연습
• 케이스 2 · 컨슈머가 무한 리밸런스 루프에 빠졌다 — 그룹 권한 누락이 리밸런스로 보이는 경우

설정 문법과 전체 목록은 보안 설정 치트시트, 운영 배경은 11장 운영 기초에 있습니다. 같은 오류를 인가 관점이 아니라 클러스터 관점에서 보는 방법은 Troubleshooting에서 다룹니다.

미니 퀴즈

리스너 조합 판독과 오류 이름 매칭이 중심입니다.

공식 문서 출처

• Listener Configuration — 보안 프로토콜 4종, listener.security.protocol.map, 컨트롤러 리스너 규칙
• Authentication using SASL — 메커니즘 5종, JAAS 우선순위, SCRAM 자격증명 생성과 기본 반복 횟수 4096
• Authorization and ACLs — StandardAuthorizer, ACL 없는 리소스의 기본 거부, super.users, 리소스·작업 목록, 오류 코드
• Encryption and Authentication using SSL — 키스토어·트러스트스토어, ssl.client.auth
• Incorporating Security Features in a Running Cluster — 무중단 보안 적용 순서
• Broker Configs — listeners, advertised.listeners, sasl.enabled.mechanisms, ssl.client.auth, authorizer.class.name 기본값