메트릭 치트시트

export JMX_PORT=9999
bin/kafka-server-start.sh config/server.properties

# 확인
bin/kafka-run-class.sh kafka.tools.JmxTool \
  --jmx-url service:jmx:rmi:///jndi/rmi://localhost:9999/jmxrmi \
  --object-name 'kafka.server:type=ReplicaManager,name=UnderReplicatedPartitions'

export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true \
-Dcom.sun.management.jmxremote.authenticate=true \
-Dcom.sun.management.jmxremote.ssl=true \
-Dcom.sun.management.jmxremote.password.file=/etc/kafka/jmxremote.password \
-Dcom.sun.management.jmxremote.access.file=/etc/kafka/jmxremote.access \
-Djava.rmi.server.hostname=$(hostname -f)"
export JMX_PORT=9999
bin/kafka-server-start.sh config/server.properties

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --describe --group my-group \
  | awk 'NR>1 && $6 ~ /^[0-9]+$/ { print $6, $1"/"$2"/"$3 }' \
  | sort -rn | head -20

# 출력 예: 사람 눈으로 편중을 바로 확인할 수 있습니다
# 184320 orders/orders/7
# 152011 orders/orders/3
#      0 orders/orders/0

groups:
  - name: kafka-critical
    rules:
      # 1) 리더 없는 파티션 — 읽기·쓰기 모두 불가. for 를 짧게 둡니다.
      - alert: KafkaOfflinePartitions
        expr: sum(kafka_controller_kafkacontroller_offlinepartitionscount) > 0
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "오프라인 파티션 {{ $value }}개 — 읽기·쓰기 불가"
          runbook: "kafka-topics.sh --describe --unavailable-partitions"

      # 2) 활성 컨트롤러가 정확히 하나가 아님 (0 = 없음, 2+ = split-brain 의심)
      - alert: KafkaControllerCountAbnormal
        expr: sum(kafka_controller_kafkacontroller_activecontrollercount) != 1
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "활성 컨트롤러 수 = {{ $value }} (정상은 1)"
          runbook: "kafka-metadata-quorum.sh describe --status"

      # 3) min.insync.replicas 미달 — acks=all 쓰기가 이미 실패하고 있습니다
      - alert: KafkaUnderMinIsr
        expr: sum(kafka_server_replicamanager_underminisrpartitioncount) > 0
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "min.insync.replicas 미달 파티션 {{ $value }}개 — acks=all 쓰기 거부"

  - name: kafka-warning
    rules:
      # 4) URP 지속. 순간적인 URP는 정상이므로 for 를 길게 둡니다.
      - alert: KafkaUnderReplicatedPartitions
        expr: sum(kafka_server_replicamanager_underreplicatedpartitions) > 0
        for: 15m
        labels:
          severity: warning
        annotations:
          summary: "URP {{ $value }}개가 15분 이상 지속"

      # 5) 요청 처리 스레드 포화 — 공식 문서 권장 하한이 0.3 입니다
      - alert: KafkaRequestHandlerSaturated
        expr: kafka_server_kafkarequesthandlerpool_requesthandleravgidlepercent < 0.3
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} I/O 스레드 유휴율 {{ $value }} (권장 > 0.3)"

      # 6) unclean 리더 선거 = 데이터 유실. 발생 자체가 사건입니다.
      - alert: KafkaUncleanLeaderElection
        expr: increase(kafka_controller_controllerstats_uncleanleaderelectionspersec_total[10m]) > 0
        labels:
          severity: warning
        annotations:
          summary: "unclean 리더 선거 발생 — 데이터 유실 가능"

      # 7) Consumer lag 은 절대값이 아니라 기울기로 봅니다.
      #    5분간 계속 증가하면 소비가 생산을 못 따라가고 있습니다.
      - alert: KafkaConsumerLagGrowing
        expr: deriv(kafka_consumer_fetch_manager_records_lag_max[10m]) > 0
        for: 15m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.client_id }} lag 이 15분간 증가 추세"