Đến nội dung chính
notes.vinhnq.com

Tìm kiếm

System DesignSenior23 phút đọc

Cấu hình Kafka theo mục tiêu: throughput, latency, durability, availability

Ôn 19 thẻ
Trong bài này

Cụm bài Kafka và message broker: 1. Message broker: 4 bài toán của request-response và cách chọn broker · 2. Vì sao Kafka nhanh và bền: log, zero-copy, batching, replication · 3. Cấu hình Kafka theo mục tiêu: throughput, latency, durability, availability · 4. Case study: gọi fraud-check đồng bộ qua Kafka và Redis — nên hay không? · 5. Ôn CCDAK: 40 câu hỏi Kafka đáng nhớ

Không bộ tham số Kafka nào tối đa được cùng lúc throughput, latency, durability và availability. Bài này chỉ cách xếp hạng bốn mục tiêu, rồi chọn giá trị cho producer, consumer, topic, broker, Spring Boot 3, kèm lab 3 broker để kiểm chứng. Nên đọc trước bài 2 để hiểu ISR, acks, batching.

Sơ đồ tóm tắt:

flowchart TD
  G{Ưu tiên gì?} -->|Durability| D["acks=all, RF=3, min ISR=2"]
  G -->|Throughput| T["linger.ms, batch.size lớn, zstd"]
  G -->|Latency| L["linger.ms=0, fetch.min.bytes=1"]
  D -.->|đánh đổi| X["Broker chết: partition ngừng ghi"]
  C[Consumer] --> CM[Commit sau khi xử lý]
  CM --> ID[Ghi idempotent]
  B["Mặc định an toàn ở broker"] --> TP[Ghi đè theo topic]
  TP --> BM["Benchmark, monitor, tune"]

1. Xếp hạng mục tiêu trước khi chạm vào tham số

Ý chính: bốn mục tiêu kéo tham số theo các hướng khác nhau, nên phải xếp hạng chúng theo nghiệp vụ của từng luồng dữ liệu rồi mới chọn giá trị.

Mục tiêu Nghĩa Tham số kéo về phía nó
Throughput Bao nhiêu MB hoặc message mỗi giây linger.ms lớn, batch.size lớn, nén, acks=1, nhiều partition
Latency Một message đi từ producer tới consumer mất bao lâu linger.ms=0, không nén hoặc nén nhẹ, fetch.min.bytes=1
Durability Record đã ACK không bao giờ mất acks=all, RF=3, min.insync.replicas=2, idempotence, tắt unclean election
Availability Hệ thống vẫn nhận ghi/đọc khi có node chết min ISR thấp, bật unclean election, phát hiện lỗi nhanh (session.timeout.ms nhỏ)

ISR (in-sync replicas): các replica đang bắt kịp leader. Unclean election: cho replica tụt lại lên làm leader. Idempotence: producer gắn số thứ tự để broker bỏ bản trùng khi retry.

Hai ví dụ trong tài liệu khoá học:

  • Tài chính: durability > availability > latency > throughput. Thà ngừng nhận giao dịch vài giây còn hơn mất một giao dịch đã báo thành công.
  • Nạp data warehouse: throughput > availability > durability > latency. Hàng trăm nghìn event/giây, mất vài event hay trễ vài phút không sao.

Thứ tự có thể đổi: luồng ingestion lúc đầu chỉ cho báo cáo, sau dùng tính hoa hồng thì durability lên đầu.

Trước khi đọc bảng:

  • Mặc định đổi theo phiên bản client: từ 3.0 producer mặc định acks=all, enable.idempotence=true; từ 4.0 linger.ms=5; client 2.x vẫn acks=1. Đặt tường minh và cập nhật client đều.
  • Mức throughput: thấp dưới 10K message/giây, vừa 10K–100K, cao 100K–1M.
  • Giá trị dưới đây là điểm xuất phát: benchmark, monitor, tune.

2. Producer

Ý chính: producer quyết định phần lớn trade-off: acks và idempotence cho durability, linger.ms, batch.size và nén cho throughput hay latency.

Tham số Throughput Latency Durability
acks 1 1 all
enable.idempotence false false true
linger.ms 20 0 5–10
batch.size 32768–65536 16384 16384
compression.type zstd none hoặc lz4 lz4

linger.ms là thời gian producer chờ gom thêm record vào batch; batch đầy thì gửi ngay.

Bảng producer đầy đủ và bẫy delivery.timeout.ms
Tham số Throughput Latency Durability Ghi chú
acks 1 1 all Mặc định all từ 3.0
enable.idempotence false false true Cần acks=all; để mặc định mà đặt acks=1 thì client tắt ngầm, đặt tường minh true với acks=1 thì lỗi cấu hình
retries / delivery.timeout.ms mặc định thấp mặc định hoặc theo SLA Nên điều khiển bằng delivery.timeout.ms (mặc định 120 s), để retries mặc định
linger.ms 20 0 5–10 Tài liệu gợi ý 0 / 8 / 20 cho latency / vừa / throughput
batch.size 32768–65536 16384 16384 Batch đầy thì gửi ngay
compression.type zstd none hoặc lz4 lz4 lz4 là lựa chọn cân bằng
max.in.flight.requests.per.connection 5 5 5 Tối đa 5 khi bật idempotence mà vẫn giữ thứ tự
buffer.memory tăng (64–128 MB) mặc định mặc định Đầy thì send bị chặn tới max.block.ms
Partitioner mặc định mặc định mặc định Không key: uniform sticky; có key: murmur2

Cấu hình durability chỉ có ích nếu code thấy được lỗi gửi:

  • KafkaTemplate.send() bất đồng bộ: lỗi (hết delivery.timeout.ms, NotEnoughReplicasException) nằm trong CompletableFuture, try/catch quanh send() không bắt được; xử lý trong whenComplete.
  • Event đi kèm ghi DB thì acks=all không cứu được dual write (ghi hai nơi, một nơi có thể hỏng): cần transactional outbox.

Cả hai được phân tích trên code thật ở bài Case study: gọi fraud-check đồng bộ qua Kafka (mục send() bất đồng bộ và mục transactional outbox).

3. Consumer

Ý chính: quyết định quan trọng nhất ở consumer là commit offset lúc nào; sau đó là group.id riêng mỗi service và assignor cooperative để rebalance không dừng cả group.

Offset là vị trí consumer group đã đọc tới trong một partition. Rebalance là lúc group chia lại partition giữa các consumer (khi có consumer vào, ra hoặc chết).

  • group.id riêng theo service (ví dụ wallet-balance): hai service chung group sẽ chia nhau message.
  • enable.auto.commit=false cho dữ liệu quan trọng (tài liệu gợi ý true).
  • auto.offset.reset chỉ áp dụng khi group chưa có offset đã commit hoặc offset đã hết hạn.
  • max.poll.interval.ms (mặc định 5 phút): xử lý một batch lâu hơn thì bị đá khỏi group.
Bảng consumer đầy đủ, kiểm chứng auto.offset.reset và giao thức KIP-848
Tham số Gợi ý Ghi chú
group.id Tên cụ thể theo service, ví dụ wallet-balance Hai service dùng chung group sẽ chia nhau message thay vì mỗi bên nhận đủ
enable.auto.commit Tài liệu gợi ý true; dữ liệu quan trọng nên false và commit sau khi xử lý Xem pitfall bên dưới
auto.offset.reset latest hoặc earliest Chỉ áp dụng khi group chưa có offset đã commit hoặc offset đã hết hạn
partition.assignment.strategy CooperativeStickyAssignor Rebalance từng phần, không dừng cả group
fetch.min.bytes 1 (latency) / 50.000 (throughput) Đi kèm fetch.max.wait.ms (mặc định 500 ms)
receive.buffer.bytes 1 MB, hoặc 4 MB nếu đủ RAM Có ích khi mạng có độ trễ cao giữa consumer và broker
session.timeout.ms 45.000 (mặc định từ 3.0) Nhỏ hơn thì phát hiện consumer chết nhanh hơn (availability), nhưng dễ rebalance nhầm khi GC dài
max.poll.interval.ms / max.poll.records 300.000 / 500 (mặc định) Xử lý một batch lâu hơn khoảng này thì consumer bị đá khỏi group

Kiểm chứng auto.offset.reset trên lab: topic payments đã có 12 record. Group mới với latest đọc 0 record cũ, group mới với earliest đọc đủ 12. Consumer ở mục 5 chạy lần hai với earliest xử lý 0 record, vì group đã có offset commit nên auto.offset.reset không còn tác dụng.

4. Topic và broker

Ý chính: đặt RF=3, min.insync.replicas=2, tắt tự tạo topic làm mặc định an toàn; số partition là đánh đổi giữa thứ tự và throughput.

  • replication.factor=3: chịu được một broker chết. min.insync.replicas=2: đi cùng acks=all.
  • unclean.leader.election.enable: false cho durability, true cho availability; ghi đè được theo topic.
  • auto.create.topics.enable=false: gõ nhầm tên không tự tạo topic 1 partition, RF 1.
  • offsets.retention.minutes khoảng 1 tháng (mặc định 7 ngày): group nghỉ lâu hơn sẽ mất offset.
Bảng topic và broker đầy đủ, bẫy offset hết hạn
Phạm vi Tham số Gợi ý Lý do
Topic partitions 1 nếu cần thứ tự toàn cục; nhiều hơn để tăng throughput Xem công thức ở bài 2
Topic replication.factor 3 Chịu được một broker chết
Topic min.insync.replicas 2 Đi cùng acks=all
Topic compression.type producer Broker giữ nguyên batch, không nén lại
Broker auto.create.topics.enable false Gõ nhầm tên topic không tự tạo topic 1 partition, RF 1
Broker num.replica.fetchers 1 (mặc định), 2–4 cho latency Nhiều thread kéo dữ liệu replica hơn, commit nhanh hơn khi nhiều partition giữa một cặp broker
Broker num.io.threads / num.network.threads 16 / 8 Tuỳ số core và số đĩa
Broker unclean.leader.election.enable false (durability) / true (availability) Ghi đè được theo topic
Broker broker.rack Theo rack/AZ Replica được trải trên nhiều rack
Broker offsets.retention.minutes 43.800 (khoảng 1 tháng) Mặc định 10.080 (7 ngày); group nghỉ lâu hơn sẽ mất offset và rơi vào auto.offset.reset
Broker log.flush.interval.messages Mặc định (không ép flush) Đặt thấp thì bền hơn với giá throughput rất lớn

5. Spring Boot 3: cấu hình trong application.yml

Ý chính: Spring Boot ánh xạ spring.kafka.* vào client. Container Spring Kafka commit offset thay auto-commit, và cần error handler có DLT để message lỗi không biến mất.

Ví dụ cho một service ví ưu tiên durability:

spring:
  kafka:
    bootstrap-servers: kafka1:9092,kafka2:9092,kafka3:9092
    producer:
      acks: all
      compression-type: lz4
      batch-size: 32768
      properties:
        enable.idempotence: true
        linger.ms: 10
        max.in.flight.requests.per.connection: 5
        delivery.timeout.ms: 60000
    consumer:
      group-id: wallet-balance
      auto-offset-reset: earliest
      enable-auto-commit: false
      max-poll-records: 200
      properties:
        partition.assignment.strategy: org.apache.kafka.clients.consumer.CooperativeStickyAssignor
    listener:
      ack-mode: record        # commit sau mỗi record xử lý thành công
      concurrency: 3          # 3 consumer trong 1 instance; tổng consumer không nên vượt số partition

DLT (dead letter topic) là topic chứa message xử lý thất bại sau khi hết retry, để xem lại sau thay vì chặn cả luồng.

Listener, error handler có DLT và consumer Java thuần đã chạy
@Component
class BalanceListener {
    private final BalanceService balances;
    BalanceListener(BalanceService balances) { this.balances = balances; }

    @KafkaListener(topics = "wallet-transactions")
    void on(ConsumerRecord<String, TransactionEvent> record) {
        balances.apply(record.value());   // idempotent: unique theo event id trong DB
    }
}

@Configuration
class KafkaErrorConfig {
    @Bean
    DefaultErrorHandler errorHandler(KafkaTemplate<Object, Object> template) {
        var recoverer = new DeadLetterPublishingRecoverer(template);   // mặc định gửi sang <topic>.DLT
        var backOff = new ExponentialBackOffWithMaxRetries(5);          // có giới hạn, đừng retry mãi
        backOff.setInitialInterval(500);
        backOff.setMultiplier(2.0);
        var handler = new DefaultErrorHandler(recoverer, backOff);
        handler.addNotRetryableExceptions(InvalidTransactionException.class); // lỗi nghiệp vụ: vào DLT ngay
        return handler;
    }
}

Đoạn Spring ở trên chưa được chạy: lab chỉ dùng client Java thuần, và message hỏng định dạng cần cấu hình thêm ErrorHandlingDeserializer để vào được DLT. Ý tưởng tương ứng với consumer thuần đã chạy dưới đây: tắt auto-commit, xử lý xong mới commitSync, thoát bằng wakeup().

props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
props.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG, CooperativeStickyAssignor.class.getName());

var consumer = new KafkaConsumer<String, String>(props);
Runtime.getRuntime().addShutdownHook(new Thread(consumer::wakeup)); // poll() ném WakeupException
try {
    consumer.subscribe(List.of("payments"));
    while (true) {
        var records = consumer.poll(Duration.ofMillis(500));
        for (var r : records) applyToBalance(r);   // idempotent
        if (!records.isEmpty()) consumer.commitSync();   // at-least-once
    }
} catch (WakeupException e) {
    // đang tắt
} finally {
    consumer.close();
}

6. Case study: hai cấu hình cho hai hệ thống

Ý chính: hai luồng chung cluster có thể cần cấu hình gần như ngược nhau; xếp hạng riêng từng luồng rồi mới điền bảng.

Bối cảnh. (A) giao dịch ví, khoảng 2.000 message/giây, đã báo thành công thì không được mất. (B) clickstream, 150.000 event/giây lúc cao điểm, cho phân tích, chấp nhận mất vài event và trễ vài phút.

Xếp hạng. (A) durability > availability > latency > throughput. (B) throughput > availability > durability > latency.

(A) Giao dịch ví (B) Clickstream
Producer acks all 1
enable.idempotence true false (đi kèm acks=1; chấp nhận trùng hiếm)
linger.ms / batch.size 5 / 16 KB 50 / 128 KB
compression.type lz4 zstd
Topic partitions 12, key = account_id 48, không key (sticky)
RF / min.insync.replicas 3 / 2 3 / 1
unclean.leader.election.enable false true
Consumer commit Tắt auto-commit, commit sau khi ghi DB idempotent Auto-commit hoặc commit theo batch
fetch.min.bytes 1 100.000
Retention 30 ngày (đối soát, replay) 3 ngày

Rủi ro và cách theo dõi.

  • (A) ngừng nhận ghi nếu hai broker cùng chết. Đó là lựa chọn có chủ đích, nên cần cảnh báo UnderMinIsrPartitionCount > 0 và runbook.
  • (B) có thể mất record khi bầu leader unclean, nên số liệu phân tích có thể lệch nhẹ.
  • Cả hai theo dõi consumer lag (số message consumer còn chưa đọc kịp): (A) ngưỡng vài giây, (B) vài phút.

7. Benchmark, monitor, tune

Ý chính: đọc bảng không ra giá trị tối ưu; đo với dữ liệu thật, theo dõi đúng chỉ số, đổi một tham số mỗi lần.

  1. Benchmark với kích thước message thật: kafka-producer-perf-test --topic t --num-records 1000000 --record-size 1024 --throughput -1 --producer-props acks=all linger.ms=10 và kafka-consumer-perf-test. Đo p99 latency, không chỉ throughput trung bình.
  2. Monitor: consumer lag theo group/partition; UnderReplicatedPartitions, UnderMinIsrPartitionCount, OfflinePartitionsCount; request latency (RequestMetrics produce/fetch); producer record-error-rate, request-latency-avg, batch-size-avg, compression-rate-avg; số rebalance.
  3. Tune một tham số mỗi lần, ghi lại kết quả.

8. Lab: cluster 3 broker KRaft bằng docker compose

Ý chính: dựng 3 broker KRaft (Kafka tự quản metadata, không cần ZooKeeper), dừng một broker để thấy ISR co lại và acks cùng min ISR quyết định có ghi được không.

Docker compose dựng và xoá cluster nhanh, cô lập tài nguyên, chạy được ở mọi máy. File mình viết đã chạy với image confluentinc/cp-kafka:7.5.3, mỗi node vừa là broker vừa là controller (production nên tách controller riêng).

File docker compose và các lệnh chạy lab

Lặp lại khối kafka1 cho kafka2 và kafka3, đổi KAFKA_NODE_ID, container_name, hostname và cổng 19093, 19094:

services:
  kafka1:
    image: confluentinc/cp-kafka:7.5.3
    container_name: kafka1
    hostname: kafka1
    ports: ["19092:19092"]
    environment:
      CLUSTER_ID: "MkU3OEVBNTcwNTJENDM2Qk"
      KAFKA_NODE_ID: 1
      KAFKA_PROCESS_ROLES: "broker,controller"
      KAFKA_CONTROLLER_QUORUM_VOTERS: "1@kafka1:29093,2@kafka2:29093,3@kafka3:29093"
      KAFKA_LISTENERS: "INTERNAL://:29092,CONTROLLER://:29093,EXTERNAL://:19092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka1:29092,EXTERNAL://localhost:19092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_CONTROLLER_LISTENER_NAMES: "CONTROLLER"
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: "false"
      KAFKA_DEFAULT_REPLICATION_FACTOR: 3
      KAFKA_MIN_INSYNC_REPLICAS: 2
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_UNCLEAN_LEADER_ELECTION_ENABLE: "false"
docker compose up -d
docker exec kafka1 kafka-topics --bootstrap-server kafka1:29092 \
  --create --topic payments --partitions 6 --replication-factor 3 --config min.insync.replicas=2
docker exec kafka1 kafka-topics --bootstrap-server kafka1:29092 --describe --topic payments
docker stop kafka3        # quan sát Isr co lại, thử gửi với acks=all và acks=1
docker exec kafka1 kafka-consumer-groups --bootstrap-server kafka1:29092 --describe --group wallet-balance

Bài tập

Bài 1: Xếp hạng và cấu hình

Cho ba hệ thống: (a) gửi thông báo đẩy marketing; (b) đồng bộ đơn hàng sang hệ thống kho; (c) thu log ứng dụng về hệ thống tìm kiếm log. Xếp hạng bốn mục tiêu cho từng hệ thống và chọn acks, min.insync.replicas, linger.ms, compression.type, unclean election.

Lời giải Bài 1
  • (a) Thông báo marketing: latency > availability > throughput > durability (mất một thông báo không sao, gửi trễ 10 phút thì hết giá trị khuyến mãi). acks=1, min ISR 1, linger.ms 0–5, lz4, unclean true.
  • (b) Đơn hàng sang kho: durability > availability > latency > throughput. acks=all, idempotence, min ISR 2, linger.ms 5, lz4, unclean false, key order_id, consumer commit sau khi xử lý.
  • (c) Log ứng dụng: throughput > availability > latency > durability. acks=1, min ISR 1, linger.ms 20–50, batch.size lớn, zstd, unclean true.

Bài 2: Lab mất broker

Dựng lab ở mục 8. Tạo hai topic RF=3, một topic min.insync.replicas=2, một topic min.insync.replicas=3. Dừng một broker. Dự đoán và kiểm chứng: producer acks=all và acks=1 có ghi được vào từng topic không, và lỗi ứng dụng nhận được là gì.

Lời giải Bài 2: kết quả mình chạy
  • Topic min ISR 2: cả acks=all và acks=1 đều ghi được.
  • Topic min ISR 3: acks=1 ghi được, acks=all thất bại. Ứng dụng nhận TimeoutException: Expiring 1 record(s) sau delivery.timeout.ms, vì NotEnoughReplicasException được retry tự động.
  • --describe cho thấy Isr: 1,2. Khởi động lại broker, ISR trở về 1,2,3 sau vài giây.

Bài 3: Consumer không mất, không trùng

Viết consumer cập nhật số dư ví từ topic wallet-transactions sao cho crash ở bất kỳ điểm nào cũng không làm mất hoặc cộng trùng giao dịch.

Lời giải Bài 3: at-least-once cộng consumer idempotent
  • Không mất: tắt auto-commit, chỉ commit offset sau khi ghi DB thành công (consumer thuần ở mục 5, hoặc Spring với ack-mode: record).
  • Không trùng: crash sau khi ghi DB nhưng trước commit offset sẽ khiến record được giao lại, nên phần ghi DB phải idempotent. Trong cùng một transaction DB: INSERT INTO processed_event(event_id) VALUES (?) ON CONFLICT DO NOTHING. Không chèn được dòng nào thì record đã xử lý, bỏ qua; chèn được thì cập nhật số dư.

Kết quả là at-least-once delivery cộng consumer idempotent, tức tác dụng đúng một lần. Một cách khác: lưu offset vào chính DB trong cùng transaction và seek tới đó khi được gán partition.

Ghi nhớ

  • Xếp hạng được bốn mục tiêu cho một luồng cụ thể và nói giá trị acks, min ISR, linger.ms, nén, unclean election tương ứng.
  • Giải thích được vì sao durability và availability kéo ngược nhau ở min.insync.replicas và unclean election.
  • Biết khi nào auto-commit làm mất message, khi nào làm trùng, và cách commit an toàn cho thanh toán.
  • Phân biệt được eager và cooperative rebalance, và biết KIP-848 thay đổi gì ở Kafka 4.0.
  • Biết vì sao nên đặt mặc định an toàn ở broker rồi ghi đè theo topic, và theo dõi những chỉ số nào.

Câu hỏi phỏng vấn

Junior

auto.offset.reset dùng khi nào?

Chỉ khi group chưa có offset đã commit cho partition, hoặc offset đã commit không còn hợp lệ.

Không hợp lệ nghĩa là đã hết hạn theo offsets.retention.minutes, hoặc nằm ngoài khoảng dữ liệu còn giữ. earliest đọc từ record cũ nhất còn giữ, latest chỉ đọc record mới, none ném exception. Group đã có offset thì luôn đọc tiếp từ offset đó.

Ba tham số bắt buộc của một Kafka producer là gì?

bootstrap.servers, key.serializer, value.serializer.

Mọi tham số khác có mặc định, nhưng nên đặt tường minh acks, enable.idempotence, linger.ms, compression.type vì mặc định thay đổi theo phiên bản.

Hai service khác nhau dùng chung group.id thì sao?

Chúng thành cùng một consumer group nên chia nhau partition: mỗi message chỉ đến một trong hai service.

Muốn mỗi service nhận đủ mọi message thì mỗi service phải có group.id riêng.

Mid

Bạn cấu hình producer cho dữ liệu tài chính thế nào?

acks=all, idempotence bật, topic RF=3 với min.insync.replicas=2, tắt unclean election.

  • max.in.flight.requests.per.connection ≤ 5, delivery.timeout.ms theo SLA (và ≥ linger.ms + request.timeout.ms), linger.ms nhỏ, lz4, key theo thực thể cần thứ tự.
  • Lỗi gửi xử lý ở callback, kết hợp outbox nếu sự kiện đi kèm ghi DB.
enable.auto.commit=true có an toàn không?

Chỉ an toàn (at-least-once) khi xử lý đồng bộ trong vòng lặp poll; xử lý bất đồng bộ thì có thể mất message.

Nó commit offset của record đã trả về từ poll, theo chu kỳ, trong lần poll sau. Nếu xử lý trên thread pool, offset có thể được commit trước khi xử lý xong, crash là mất. Với dữ liệu quan trọng: tắt và commit sau khi xử lý, hoặc để container Spring Kafka commit theo AckMode.

Xử lý một batch mất 6 phút thì chuyện gì xảy ra và sửa thế nào?

Vượt max.poll.interval.ms (mặc định 5 phút) nên consumer bị đá khỏi group và batch bị xử lý lại.

Partition được giao cho consumer khác, commit của consumer cũ thất bại. Sửa: giảm max.poll.records, tăng max.poll.interval.ms cho phù hợp, hoặc tách việc nặng ra và pause/resume partition trong lúc xử lý. Các pattern cho tác vụ chạy lâu (async, chỉnh liveness, pipeline) ở §5 bài này.

Senior

Cooperative rebalancing khác eager thế nào?

Eager thu hồi mọi partition và dừng cả group; cooperative chỉ thu hồi partition phải chuyển, phần còn lại vẫn chạy.

Cooperative (CooperativeStickyAssignor) làm qua hai vòng, nên rolling deploy và autoscale ít gián đoạn. Kafka 4.0 có giao thức mới KIP-848 (group.protocol=consumer) đưa việc gán partition về broker và rebalance tăng dần mặc định.

Bạn chọn số partition cho một topic mới thế nào?

Lấy throughput mục tiêu chia cho throughput một consumer và một producer trên một partition, lấy max, rồi nhân dự phòng tăng trưởng 1–2 năm.

Phải dự phòng vì không giảm được partition, còn tăng thì đổi ánh xạ key. Consumer thường là giới hạn. Cân nhắc giá của nhiều partition: file mở, replication, RAM ở producer, thời gian bầu leader. Cần thứ tự toàn cục và tải nhỏ thì 1 partition.

Durability và availability xung đột ở đâu trong cấu hình Kafka?

Ở min.insync.replicas, unclean.leader.election.enable, acks và session.timeout.ms.

  • min.insync.replicas cao thì bền nhưng dễ ngừng nhận ghi khi node chết.
  • Unclean election bật thì sống lại nhanh nhưng mất record.
  • acks=all chậm hơn và có thể bị từ chối.
  • session.timeout.ms thấp thì phát hiện lỗi nhanh nhưng dễ rebalance nhầm.

Chọn theo xếp hạng mục tiêu của từng luồng, đặt mặc định an toàn ở broker và ghi đè theo topic.

Bạn theo dõi những chỉ số nào cho một cluster Kafka?

Consumer lag trước tiên, rồi sức khoẻ replication (UnderReplicatedPartitions, UnderMinIsrPartitionCount, OfflinePartitionsCount).

Thêm active controller count, request latency produce/fetch, disk và network của broker, producer error rate và retry rate, batch size trung bình, số lần rebalance. Cảnh báo theo SLA của từng luồng, không theo một ngưỡng chung.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
trade-off /ˈtreɪd ɒf/ đánh đổi “You can’t max out throughput and durability at the same time; it’s a trade-off.”
durability /ˌdjʊərəˈbɪləti/ độ bền dữ liệu “For the ledger we rank durability above availability.”
availability /əˌveɪləˈbɪləti/ khả năng sẵn sàng “Clickstream favours availability, so unclean election is on.”
offset commit /ˈɒfset kəˈmɪt/ lưu vị trí đã xử lý “We commit offsets only after the database write succeeds.”
auto-commit /ˈɔːtəʊ kəˈmɪt/ tự động commit theo chu kỳ “Auto-commit can lose records if processing is asynchronous.”
rebalance /ˌriːˈbæləns/ chia lại partition “Cooperative rebalancing keeps most partitions processing during a deploy.”
consumer lag /kənˈsjuːmə læɡ/ độ trễ của consumer “Our SLO is consumer lag under five seconds for payments.”
dead letter topic /ded ˈletə ˈtɒpɪk/ topic chứa message lỗi “Poison messages go to a dead letter topic after retries.”
override /ˌəʊvəˈraɪd/ ghi đè “We keep safe broker defaults and override them per topic.”
runbook /ˈrʌnbʊk/ tài liệu hướng dẫn xử lý sự cố “The runbook explains what to do when partitions go under min ISR.”

Ghi chép dựa trên khoá Advanced Backend (Ronin Engineer), viết lại theo cách hiểu của mình.