Đến nội dung chính
notes.vinhnq.com

Tìm kiếm

System DesignMid24 phút đọc

Ôn CCDAK: 40 câu hỏi Kafka đáng nhớ

Ôn 48 thẻ
Trong bài này

Cụm bài Kafka và message broker: 1. Message broker: 4 bài toán của request-response và cách chọn broker · 2. Vì sao Kafka nhanh và bền: log, zero-copy, batching, replication · 3. Cấu hình Kafka theo mục tiêu: throughput, latency, durability, availability · 4. Case study: gọi fraud-check đồng bộ qua Kafka và Redis — nên hay không? · 5. Ôn CCDAK: 40 câu hỏi Kafka đáng nhớ

CCDAK (Confluent Certified Developer for Apache Kafka) kiểm tra bạn hiểu Kafka ở mức người viết ứng dụng: producer, consumer, offset, replication, và một ít Streams, Schema Registry, Connect. Đây là 40 câu mình tự viết để ôn hằng ngày, mỗi câu có đáp án ngắn và lý do; không phải đề thật hay “dump”. Nên đọc trước Vì sao Kafka nhanh và bền và Cấu hình Kafka theo mục tiêu, nơi phần lớn đáp án được giải thích kỹ. Làm xong 40 câu thì luyện tiếp phần 2: 34 câu về client, Connect, Schema Registry và Streams.

Sơ đồ tóm tắt:

mindmap
  root((Ôn thi CCDAK))
    KRaft thay ZooKeeper
      Metadata là record trong log
    Độ bền
      acks=all, RF 3, min ISR 2
    Consumer
      auto.offset.reset khi chưa có offset
      Commit trước hay sau xử lý
    Thêm partition đổi ánh xạ key
    Schema Registry từ chối schema
    Bẫy: học dump cũ

1. Kỳ thi và cách ôn

Ý chính: 90 phút thi online có giám sát, chứng chỉ 2 năm. Ôn bằng đề cương chính thức, tài liệu Kafka và một cluster trên máy, không bằng dump.

  • Hình thức: thi qua webcam, câu chọn một/nhiều đáp án, ghép cặp, sắp xếp thứ tự. Slide khoá học ghi khoảng 60 câu và 150 USD; kiểm tra lại trên trang chứng chỉ chính thức của Confluent vì con số thay đổi.
  • Tài liệu chính thức: hướng dẫn ôn thi CCDAK của Confluent (đề cương; xem ở đây Confluent có câu hỏi mẫu không), tài liệu Apache Kafka, và cluster trên máy (lab ở bài 3).
  • Giá trị: xác nhận kiến thức tốt, giá trị CV vừa phải. Ôn 1–3 tháng nếu đã làm Kafka, lâu hơn nếu chưa.
  • Mẹo làm bài: không có điểm âm, nên câu nào cũng trả lời. Câu khó thì đánh dấu, làm tiếp rồi quay lại.
Các mảng kiến thức trong đề cương
  • Thiết kế ứng dụng: CLI, pub/sub, metadata của message, chọn key, quản lý schema, metric.
  • Phát triển: producer/consumer, thứ tự và đảm bảo giao nhận, serdes (serializer/deserializer), offset, consumer group và rebalance, retention, co-partitioning, hiệu năng.
  • Triển khai và kiểm thử: bảo mật, giám sát client, Streams, ksqlDB.

2. Đáp án thời ZooKeeper và tương đương KRaft

Ý chính: từ Kafka 4.0 (2025), mọi thứ từng nằm trong znode của ZooKeeper giờ là record trong log __cluster_metadata, do nhóm controller chạy giao thức Raft (KRaft) ghi. Gặp câu hỏi cũ, trả lời theo đề nhưng nhớ cả đáp án KRaft.

Raft là giao thức đồng thuận: một nhóm node bầu một leader, và mọi thay đổi chỉ được chấp nhận khi đa số đồng ý.

Câu hỏi cũ Đáp án thời ZooKeeper Tương đương KRaft
ACL lưu ở đâu znode /kafka-acl/... record trong __cluster_metadata, authorizer StandardAuthorizer
Cấu hình động của topic lưu ở đâu znode /config/topics/<topic> record trong __cluster_metadata; xem bằng kafka-configs --bootstrap-server ... --describe
Controller được bầu thế nào broker tạo ephemeral znode /controller trước thì thắng leader của Raft quorum, cần đa số voter
Ensemble 5 node chịu được mấy node chết 2 (cần đa số 3/5) quorum controller 5 voter cũng chịu được 2
Cổng giao tiếp 2181 (client), 2888 (follower), 3888 (bầu leader) listener CONTROLLER (thường 9093), khai báo ở controller.quorum.voters hoặc controller.quorum.bootstrap.servers (3.9+)
Lệnh CLI kafka-topics --zookeeper host:2181 --bootstrap-server host:9092 (cờ --zookeeper bị bỏ từ 3.0)
Kiểm tra trạng thái metadata zkCli.sh kafka-metadata-quorum --bootstrap-server ... describe --status
Những đáp án mình đã kiểm chứng trên lab

Trên cluster 3 node KRaft (cp-kafka 7.5.3, client 4.1.1):

  • Gọi subscribe() rồi assign() trên cùng consumer ném IllegalStateException.
  • 30 record không key gửi dồn trong một batch đều rơi vào một partition (sticky).
  • kafka-console-consumer không truyền --group tạo group tên console-consumer-11563.
  • Xoá sạch dữ liệu một broker rồi khởi động lại: nó tự bắt kịp và quay lại ISR (Isr: 1,2,3).

3. Cluster, replication và KRaft

Ý chính: metadata cluster do một controller duy nhất (leader của quorum) quản lý; quorum cần đa số còn sống. Client không bao giờ hỏi controller, mà hỏi metadata từ bất kỳ broker nào.

1. ACL của Kafka được lưu ở đâu?

Thời KRaft: là record metadata trong log __cluster_metadata. Thời ZooKeeper: dưới znode /kafka-acl.

Ở KRaft, record được controller quorum nhân bản và áp dụng bởi StandardAuthorizer. Cả hai trường hợp đều không nằm trong thư mục dữ liệu của broker hay một topic người dùng đọc được.

2. Cấu hình động của một topic (ví dụ retention.ms đổi bằng kafka-configs) nằm ở đâu?

Trong __cluster_metadata (KRaft) hoặc znode /config/topics/<topic> (ZooKeeper), không phải trong server.properties.

server.properties là cấu hình tĩnh của broker. Xem cấu hình động bằng kafka-configs --bootstrap-server ... --entity-type topics --entity-name <topic> --describe.

3. Controller làm gì, và nó được chọn ra thế nào?

Controller quản lý metadata cluster; ở KRaft nó là leader của Raft quorum, được đa số voter bầu.

  • Việc của nó: bầu leader cho partition khi broker chết, theo dõi broker tham gia/rời đi, ghi thay đổi topic.
  • Không điều phối rebalance của consumer group; việc đó của group coordinator trên broker.
  • Thời ZooKeeper: broker nào tạo được znode /controller trước thì làm controller.
  • Mỗi thời điểm chỉ có một controller hoạt động, bất kể số producer hay consumer.
4. Quorum 5 node chịu được tối đa mấy node chết?

Hai, vì cần đa số (3/5) còn sống.

Đúng cho cả ZooKeeper ensemble lẫn KRaft controller quorum. Vì thế số node nên lẻ: 4 node cũng chỉ chịu được 1 node chết như 3 node. Thời ZooKeeper các node nói chuyện qua 2181 (client), 2888 (follower tới leader), 3888 (bầu leader); KRaft dùng listener CONTROLLER.

5. Topic có replication factor 3 thì dữ liệu của mỗi partition nằm ở đâu?

Trên 3 broker khác nhau, mỗi broker một replica: một leader, hai follower.

Không thể đặt RF lớn hơn số broker; tạo topic RF=3 trên cluster 2 broker bị từ chối. Với broker.rack, Kafka còn rải replica qua các rack/AZ khác nhau.

6. Một broker bị xoá sạch đĩa rồi khởi động lại, chuyện gì xảy ra?

Nó quay lại như follower rỗng, kéo lại dữ liệu từ leader và chỉ vào ISR khi đã bắt kịp; không mất dữ liệu.

  • Khi unclean election tắt, nó không thể làm leader trước lúc bắt kịp.
  • Ở KRaft, thư mục log phải có meta.properties (cluster id, node id), nên phải chạy kafka-storage format trước (image Confluent tự làm khi có CLUSTER_ID).
  • Nếu node đó còn là controller voter thì cẩn thận hơn: từ 3.9 (KIP-853) có quy trình thay voter đúng cách.
7. Client nhận lỗi NOT_LEADER_OR_FOLLOWER khi fetch, nó làm gì?

Gửi metadata request tới bất kỳ broker nào, biết leader mới rồi gửi lại tới broker đó.

Broker nào cũng trả lời được metadata; client không bao giờ hỏi ZooKeeper hay controller trực tiếp. Lỗi này trước đây tên là NOT_LEADER_FOR_PARTITION. Producer xử lý y hệt khi leader đổi, nên với RF ≥ 2 việc mất leader không làm producer dừng.

4. Producer

Ý chính: producer đánh đổi độ bền lấy tốc độ qua acks, gom batch để tăng throughput, và tự retry lỗi tạm thời. Từ Kafka 3.0 mặc định đã là acks=all và idempotence bật.

ISR (in-sync replicas) là tập replica đang bắt kịp leader. Idempotence: broker nhận ra và bỏ bản gửi trùng do retry.

8. Ba cấu hình bắt buộc của producer, kể cả khi không dùng key?

bootstrap.servers, key.serializer, value.serializer.

Không có key vẫn phải khai báo key serializer. Từ Kafka 3.0 mặc định đã là acks=all và enable.idempotence=true, nhưng nên ghi tường minh.

9. producer.send() trong Java trả về gì?

Future<RecordMetadata> (topic, partition, offset, timestamp).

Có overload nhận Callback, được gọi khi broker trả lời hoặc khi lỗi. Gọi .get() trên mọi record biến producer thành đồng bộ và giết throughput.

10. Rủi ro khi max.in.flight.requests.per.connection > 1 cùng với retry?

Đảo thứ tự: batch 1 lỗi và được gửi lại sau khi batch 2 đã thành công, nên batch 2 đứng trước trong partition.

Với enable.idempotence=true, broker dùng producer id và sequence number để giữ thứ tự và loại bản trùng, cho phép tới 5 request in-flight. Tắt idempotence mà cần thứ tự thì phải đặt 1.

11. Muốn chỉ leader xác nhận lần ghi thì đặt gì?

acks=1.

acks=0 không chờ gì, acks=all (hay -1) chờ mọi replica trong ISR. Với acks=1, nếu leader chết trước khi follower kịp sao chép, record đã được xác nhận có thể mất.

12. Bộ ba cấu hình cho độ bền cao nhất mà vẫn chịu được một broker chết?

acks=all, replication factor 3, min.insync.replicas=2.

Mỗi lần ghi nằm trên ít nhất 2 broker trước khi được xác nhận, và một broker chết vẫn ghi được. RF=3 với min ISR 1 thì acks=all có thể chỉ ghi lên một bản; RF=2 với min ISR 2 thì một broker chết là dừng ghi.

13. acks và min.insync.replicas là cấu hình của ai, và khi nào min ISR có tác dụng?

acks của producer, min.insync.replicas của topic; min ISR chỉ có tác dụng khi producer dùng acks=all.

Min ISR mặc định lấy từ broker. Nếu ISR nhỏ hơn giá trị này, broker từ chối ghi bằng NotEnoughReplicasException. Với acks=0 hoặc 1 nó bị bỏ qua.

14. RF=3, min.insync.replicas=1, acks=all: tối đa mấy broker chết mà vẫn ghi được?

Hai: chỉ cần leader còn sống.

ISR = 1 vẫn thoả min ISR 1. Đổi lại, record được xác nhận có thể chỉ nằm trên một đĩa.

15. Batch luôn đầy và muốn tăng throughput producer, chỉnh gì?

Tăng batch.size và bật compression.type (lz4 hoặc zstd).

  • Nén theo batch, nên batch càng lớn nén càng tốt, đỡ băng thông mạng và đĩa.
  • Nếu batch chưa đầy thì tăng linger.ms để chờ gom thêm record.
  • Tăng buffer.memory nếu producer bị chặn vì hết buffer.
16. Lỗi nào producer tự retry được, lỗi nào không?

Lỗi tạm thời thì retry được; lỗi do chính request (quá lớn, không có quyền, sai cấu hình) thì không.

  • Retry được: NOT_ENOUGH_REPLICAS, NOT_LEADER_OR_FOLLOWER, REQUEST_TIMED_OUT, lỗi mạng.
  • Không retry (retry cũng vô ích): MESSAGE_TOO_LARGE, TOPIC_AUTHORIZATION_FAILED, INVALID_REQUIRED_ACKS, lỗi serialize.
  • Producer tự retry lỗi tạm thời trong giới hạn delivery.timeout.ms (mặc định 2 phút); lỗi không retry được trả thẳng về callback.
17. Record không có key, với partitioner mặc định, sẽ vào partition nào?

Partition bất kỳ; từ 2.4 producer dồn record vào một partition tới khi batch đầy (sticky) rồi mới đổi.

  • Trước 2.4: round-robin từng record.
  • Từ 2.4: sticky partitioner, đổi partition khi batch đầy hoặc hết linger.ms, nên batch to hơn.
  • Từ 3.3 (KIP-794): logic nằm sẵn trong producer (partitioner.class để trống), ưu tiên partition của broker đang nhanh; DefaultPartitioner bị deprecated.

Trên lab, 30 record không key gửi dồn đều nằm ở cùng một partition.

18. Tăng số partition của topic đang dùng key thì sao?

Record cũ nằm nguyên; record mới cùng key có thể vào partition khác vì hash(key) % số partition đổi.

Log bất biến nên không xáo lại dữ liệu cũ. Đảm bảo “cùng key cùng partition” chỉ đúng khi số partition không đổi. Số broker, số producer hay replication factor đổi không ảnh hưởng ánh xạ này.

5. Consumer và offset

Ý chính: offset đã commit là “đã xử lý xong tới đây”, và commit trước hay sau khi xử lý quyết định đảm bảo giao nhận. Group chia partition cho consumer; mỗi partition chỉ một consumer trong group đọc.

High watermark là offset cao nhất mà mọi replica trong ISR đã có. Rebalance là lúc group chia lại partition giữa các consumer.

19. Group đã commit offset 643, partition đang có offset 45 tới 2311, auto.offset.reset=latest: consumer đọc từ đâu?

Từ 643.

auto.offset.reset chỉ dùng khi group chưa có offset hợp lệ cho partition đó. Offset đã commit còn nằm trong khoảng dữ liệu nên được dùng, latest bị bỏ qua.

20. Group đã commit offset 10 nhưng dữ liệu còn giữ bắt đầu từ 45, auto.offset.reset=none: chuyện gì xảy ra?

Consumer ném exception: offset ngoài khoảng, và không có chính sách reset.

none nghĩa là “đừng tự đoán, báo lỗi cho tôi”. Với earliest nó nhảy tới 45, với latest nhảy tới cuối log. Tình huống này hay gặp khi consumer dừng lâu hơn retention.

21. Vòng lặp gọi commitSync() ngay sau poll() rồi mới xử lý record: đảm bảo giao nhận gì?

At-most-once: offset đã commit trước khi xử lý, crash giữa chừng thì các record còn lại không bao giờ được xử lý.

Commit sau khi xử lý là at-least-once (crash thì xử lý lại). Muốn tác dụng đúng một lần thì at-least-once cộng xử lý idempotent, hoặc lưu offset cùng transaction với kết quả.

22. Commit offset 2000 bị mất trên mạng, sau đó commit 3000 thành công. Cần làm gì?

Không cần làm gì: 3000 bao trùm 2000.

Offset commit là “đã xử lý xong tới đây”. Đó cũng là lý do commitAsync không tự retry: retry một commit cũ có thể ghi đè một commit mới hơn.

23. Gọi subscribe() rồi assign() trên cùng một consumer thì sao?

IllegalStateException (“Subscription to topics, partitions and pattern are mutually exclusive”); mình đã chạy thử.

subscribe() dùng cơ chế consumer group (broker chia partition), assign() là tự chọn partition và không có rebalance. Muốn đọc đúng partition 0 và 1 thì chỉ dùng assign().

24. Những sự kiện nào gây rebalance cho consumer group?

Thành viên group thay đổi hoặc tập partition được subscribe thay đổi.

  • Một consumer tham gia group.
  • Một consumer rời đi hoặc bị coi là chết: quá session.timeout.ms không heartbeat, hoặc quá max.poll.interval.ms không gọi poll.
  • Số partition của topic đang subscribe tăng.
  • Một topic mới khớp pattern subscribe.

Gửi thêm message hay thêm producer không gây rebalance.

25. Mỗi batch xử lý mất khoảng 6 phút và consumer liên tục bị rebalance. Sửa thế nào?

Batch vượt max.poll.interval.ms (mặc định 5 phút) nên consumer bị đá khỏi group; tăng giá trị này hoặc giảm việc mỗi vòng.

  • Tăng max.poll.interval.ms cho phù hợp.
  • Giảm max.poll.records để mỗi vòng ít việc hơn.
  • Hoặc tách xử lý nặng sang thread khác và pause()/resume() partition.

Tăng session.timeout.ms không giúp, vì heartbeat chạy ở thread riêng.

26. Làm sao dừng consumer ngay và tắt ứng dụng gọn gàng?

Gọi consumer.wakeup() từ thread khác, bắt WakeupException, rồi close() trong finally.

Ví dụ gọi từ shutdown hook; poll() đang chạy sẽ ném WakeupException. Commit offset nếu cần, rồi close() để rời group ngay thay vì chờ session timeout. KafkaConsumer không thread-safe; wakeup() là phương thức duy nhất được gọi từ thread khác.

27. Producer ghi với acks=1, follower chưa kịp sao chép. Khi nào consumer thấy record?

Khi high watermark vượt qua offset của record, tức mọi replica trong ISR đã có nó.

Consumer chỉ đọc được tới high watermark. Nên acks=1 làm producer nhanh hơn nhưng không làm consumer thấy dữ liệu sớm hơn; nó chỉ cho producer được xác nhận một record mà sau đó có thể mất.

28. Partition RF=3, min.insync.replicas=2, hai replica chết. Consumer đọc được không?

Được: leader còn lại vẫn phục vụ fetch.

Min ISR chỉ chặn producer acks=all (NotEnoughReplicasException); producer acks=1 vẫn ghi được. Min ISR là luật cho việc ghi, không phải cho việc đọc.

29. Hai ứng dụng (giao hàng và giám sát) đều cần đọc mọi đơn hàng từ một topic. Cấu hình thế nào?

Mỗi ứng dụng một group.id riêng.

Trong một group, mỗi partition chỉ giao cho một consumer, nên dùng chung group thì hai ứng dụng sẽ chia nhau message. Mỗi group có offset riêng nên đọc độc lập.

30. Mục tiêu 1 GB/s, mỗi consumer xử lý được 50 MB/s. Topic cần tối thiểu bao nhiêu partition?

20 partition (1000 / 50), và 20 consumer trong group để đạt mức đó.

Một partition chỉ được một consumer trong group đọc. Thực tế cộng dự phòng cho tăng trưởng, vì không giảm được số partition và tăng thì đổi ánh xạ key.

6. Topic, retention và compaction

Ý chính: retention xoá dữ liệu theo thời gian, compaction giữ bản mới nhất của mỗi key; cả hai chỉ làm việc trên segment đã đóng. Segment là một file con của partition; file đang được ghi gọi là segment active.

31. Đặt cả log.retention.hours=168, log.retention.minutes=168 và log.retention.ms=168 thì dữ liệu giữ bao lâu?

168 mili giây, vì thứ tự ưu tiên là ms > minutes > hours.

Câu này kiểm tra bạn biết thứ tự, không phải một cấu hình nên dùng. Lưu ý xoá diễn ra theo segment: segment active không bị xoá dù đã quá hạn.

32. Topic compacted nhận record key K với value null. Chuyện gì xảy ra, và compaction chạy khi nào?

Record đó là tombstone: khi log cleaner chạy, mọi bản cũ của K bị xoá; tombstone giữ thêm delete.retention.ms (mặc định 24 giờ) rồi cũng bị xoá.

  • Tombstone được giữ lại để consumer kịp thấy key đã bị xoá.
  • Cleaner chỉ làm việc trên segment đã đóng, khi tỉ lệ “dirty” vượt min.cleanable.dirty.ratio (mặc định 0.5) hoặc quá max.compaction.lag.ms.
  • Record đã ghi không sửa được; muốn “sửa” thì ghi bản mới cùng key.
33. Producer ghi vào topic chưa tồn tại khi broker bật auto.create.topics.enable=true?

Broker tạo topic với cấu hình của broker: num.partitions và default.replication.factor.

Producer không truyền được số partition. Production nên tắt tính năng này: một lỗi gõ tên topic tạo ra topic rác với cấu hình mặc định, thường là 1 partition. Topic được tạo ngay khi client gửi metadata request cho topic chưa có (thường là lần produce đầu tiên); mặc định broker là true, nên production đặt false.

7. Streams, Schema Registry và Connect

Ý chính: Streams giữ state trong RocksDB và changelog topic đặt tên theo application.id; Schema Registry là dịch vụ REST riêng quyết định schema nào được đăng ký; Connect chia việc thành task theo đơn vị dữ liệu, không theo số worker.

34. Toán tử nào của Kafka Streams là stateful, và KStream join KTable cho ra gì?

Stateful là aggregate, count, reduce, join và thao tác windowed; KStream–KTable join cho ra KStream.

Toán tử stateful cần state store (RocksDB) và changelog topic. Stateless: map, filter, flatMap, branch, peek. Trong join, mỗi record mới của stream tra cứu giá trị hiện tại của table.

35. Topic “purchase” có 5 partition, “customer” có 3 partition, muốn join stream với bảng khách hàng. Làm sao?

Dùng GlobalKTable cho customer, hoặc repartition một bên cho khớp số partition.

Join KStream–KTable yêu cầu co-partitioning (cùng số partition, cùng cách chia key).

  • GlobalKTable: mỗi instance giữ toàn bộ bảng, hợp với bảng nhỏ, không cần co-partitioning.
  • Repartition: thêm một topic trung gian, tốn I/O.
36. Topic nội bộ của Streams đặt tên theo gì, và exactly-once của Streams áp dụng cho luồng nào?

Đặt theo application.id; exactly-once chỉ áp dụng cho luồng Kafka → Kafka.

Tên ví dụ <application.id>-<store>-changelog và -repartition, nên đổi application.id là mất state. Exactly-once (processing.guarantee=exactly_once_v2) gói đọc, xử lý, ghi và commit offset trong một transaction; tác dụng ra ngoài như gọi HTTP, ghi DB khác không được bao gồm.

37. Ứng dụng Streams trên Kubernetes khởi động lại rất lâu vì phải dựng lại state. Cải thiện thế nào?

Gắn persistent volume cho state.dir và thêm standby replica.

  • Persistent volume cho thư mục state (RocksDB): khởi động lại chỉ đọc phần changelog còn thiếu thay vì toàn bộ.
  • num.standby.replicas: task chuyển sang instance đã có sẵn bản sao state.

Thêm partition hay thêm thread không giải quyết việc phải đọc lại changelog.

38. Schema Registry lưu schema ở đâu, nói giao thức gì, và ai từ chối một schema không tương thích?

Lưu trong topic compacted _schemas, nói REST qua HTTP/HTTPS, và chính Schema Registry từ chối schema không tương thích.

  • Producer dùng KafkaAvroSerializer gửi schema mới không tương thích: Registry từ chối đăng ký, serializer ném lỗi ở phía producer.
  • Broker không đọc payload nên không bao giờ từ chối vì schema.
  • Registry lưu schema, không lưu dữ liệu Avro (dữ liệu nằm trên broker).
  • Consumer gặp schema id chưa có trong cache thì gọi Registry để lấy.
39. Trong Avro, thêm một field không có default và xoá một field không có default là kiểu tiến hoá gì?

Thêm field không default là forward compatible; xoá field không default là backward compatible.

  • Thêm: consumer schema cũ đọc được dữ liệu mới (bỏ qua field lạ); consumer schema mới không đọc được dữ liệu cũ vì thiếu giá trị.
  • Xoá: consumer schema mới đọc được dữ liệu cũ (bỏ qua field thừa).
  • Field có default thì thêm/xoá đều full compatible, nên luôn đặt default cho field mới. Mặc định của Registry là BACKWARD.

Wire format (magic byte, schema id) và bảng compatibility mode kiểm bằng code có ở bài serialization và Schema Registry.

40. JDBC source connector đọc 3 bảng với tasks.max=2 trên cluster 3 worker. Có bao nhiêu task?

Hai: số task = min(tasks.max, số đơn vị chia được) = min(2, 3).

Số worker không quyết định số task. Tương tự, sink S3 đọc topic 2 partition thì tối đa 2 task có việc làm, dù cluster có 10 broker. Ở chế độ distributed, Connect lưu cấu hình, offset và trạng thái trong ba topic nội bộ (config.storage.topic, offset.storage.topic, status.storage.topic).

Bài tập

Bài 1: Kiểm chứng ba đáp án bằng lab

Dựng cluster 3 broker ở bài 3. Kiểm chứng: (a) câu 23 (subscribe + assign); (b) câu 17 (record không key gửi dồn); (c) câu 6 (broker mất dữ liệu).

Lời giải Bài 1: kết quả mình chạy
consumer.subscribe(List.of("orders"));
consumer.assign(List.of(new TopicPartition("orders", 0)));
// IllegalStateException: Subscription to topics, partitions and pattern are mutually exclusive

for (int i = 0; i < 30; i++) futures.add(producer.send(new ProducerRecord<>("orders", null, "x")));
// linger.ms=50 -> 30 null-key records sent in one burst -> partitions {0=30}
docker compose rm -sf kafka3 && docker compose up -d kafka3   # container mới = đĩa trống
docker exec kafka1 kafka-topics --bootstrap-server kafka1:29092 --describe --topic orders
# sau khoảng 20 giây: Isr: 1,2,3

Với (c), ảnh cp-kafka tự chạy kafka-storage format khi có CLUSTER_ID; với bản Apache thuần bạn phải tự format trước khi broker chịu khởi động.

Bài 2: Viết lại một câu hỏi thời ZooKeeper

Viết lại câu “Liệt kê partition under-replicated bằng kafka-topics --zookeeper localhost:2181 --describe --under-replicated-partitions” cho Kafka hiện tại, và nêu cách xem trạng thái quorum controller.

Lời giải Bài 2: lệnh KRaft và metric giám sát
  • Partition: kafka-topics --bootstrap-server localhost:9092 --describe --under-replicated-partitions (có replica ngoài ISR) và --unavailable-partitions (không có leader).
  • Quorum: kafka-metadata-quorum --bootstrap-server localhost:9092 describe --status (leader, voter, độ trễ của follower) và describe --replication.
  • Giám sát: metric UnderReplicatedPartitions, OfflinePartitionsCount và ActiveControllerCount.

Ghi nhớ

  • Đổi được một đáp án thời ZooKeeper (ACL, cấu hình động, bầu controller, cờ CLI) sang KRaft.
  • Giải thích được vì sao acks=all + RF 3 + min ISR 2 chịu được một broker chết, và vì sao min ISR không chặn việc đọc.
  • Biết khi nào auto.offset.reset được dùng, và commit trước/sau xử lý cho đảm bảo giao nhận nào.
  • Kể được các sự kiện gây rebalance và cách sửa consumer xử lý quá max.poll.interval.ms.
  • Biết ai từ chối schema không tương thích, và thêm/xoá field không default là forward hay backward.

Câu hỏi phỏng vấn

Junior

Bạn ôn CCDAK thế nào mà không dùng dump?

Học từ đề cương và tài liệu chính thức, rồi tự kiểm chứng từng hành vi trên một cluster chạy trên máy.

Đọc đề cương để biết phạm vi, học từ tài liệu Apache Kafka và Confluent, thử từng hành vi (offset reset, rebalance, acks khi mất broker), tự viết câu hỏi cho từng mảng và ôn lặp lại. Nếu Confluent có câu hỏi mẫu chính thức thì làm thêm để quen dạng đề.

Vì sao nhiều đáp án ôn thi Kafka đã lỗi thời?

Vì nhiều bộ câu hỏi soạn thời Kafka còn dùng ZooKeeper, mà Kafka 4.0 đã bỏ hẳn ZooKeeper.

Các câu về ACL, cấu hình động, bầu controller, cờ --zookeeper của CLI giờ có đáp án khác: metadata nằm trong __cluster_metadata do quorum controller KRaft quản lý. Ngoài ra mặc định của producer đổi ở 3.0 (acks=all, idempotence bật).

Mid

Giải thích at-most-once, at-least-once và exactly-once ở phía consumer.

Commit trước khi xử lý là at-most-once, sau khi xử lý là at-least-once; exactly-once chỉ có cho luồng Kafka → Kafka trong một transaction.

  • At-most-once: crash thì mất record.
  • At-least-once: crash thì xử lý lại, nên cần xử lý idempotent.
  • Exactly-once: đọc–xử lý–ghi trong một transaction Kafka (Streams exactly_once_v2). Với hệ thống ngoài thì dùng at-least-once cộng khử trùng, hoặc lưu offset cùng transaction với kết quả.
acks, min.insync.replicas và unclean leader election liên quan nhau thế nào?

Ba thứ cùng nhau (thường all, 2 trên RF 3, tắt unclean) đảm bảo record đã xác nhận không mất khi một broker chết.

  • acks=all chờ mọi replica trong ISR.
  • min.insync.replicas đặt số ISR tối thiểu để chấp nhận ghi với acks=all.
  • Tắt unclean election đảm bảo chỉ replica trong ISR được làm leader.

Senior

KRaft thay đổi gì so với ZooKeeper, về vận hành?

Một hệ thống thay vì hai: không còn ensemble ZooKeeper riêng để vá, giám sát, bảo mật, và failover controller nhanh hơn.

Metadata là một log nhân bản bằng Raft, broker nhận thay đổi dạng sự kiện, nên cluster chịu được nhiều partition hơn. Phải lên kế hoạch controller quorum (3 hoặc 5 voter, nên tách khỏi broker ở production), giám sát bằng kafka-metadata-quorum, và migrate trên 3.x trước khi lên 4.x.

Chứng chỉ CCDAK có ý nghĩa gì khi tuyển senior backend?

Nó chứng minh nắm vững API và ngữ nghĩa của Kafka, không chứng minh khả năng thiết kế.

Ứng viên hiểu offset, delivery guarantee, replication; nhưng chứng chỉ không nói gì về việc chọn có dùng Kafka hay không, đặt key, xử lý lỗi, outbox, vận hành và giám sát. Khi phỏng vấn mình vẫn hỏi một tình huống thực, ví dụ thiết kế consumer cập nhật số dư không mất không trùng.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
proctored exam /ˈprɒktəd ɪɡˈzæm/ thi có giám sát “It’s a proctored exam, so you need a webcam and an empty room.”
quorum /ˈkwɔːrəm/ nhóm đa số để ra quyết định “A five-voter quorum survives two controller failures.”
controller /kənˈtrəʊlə/ node quản lý metadata “The active controller elects partition leaders.”
high watermark /haɪ ˈwɔːtəmɑːk/ offset cao nhất mọi ISR đã có “Consumers only read up to the high watermark.”
tombstone /ˈtuːmstəʊn/ record value null để xoá key “We send a tombstone to delete a key from the compacted topic.”
log compaction /lɒɡ kəmˈpækʃn/ giữ bản mới nhất của mỗi key “Log compaction keeps only the latest value per key.”
co-partitioning /kəʊ pɑːˈtɪʃənɪŋ/ hai topic chia partition giống nhau “A stream-table join requires co-partitioned inputs.”
forward compatible /ˈfɔːwəd kəmˈpætəbl/ schema cũ đọc được dữ liệu mới “Adding a field without a default is only forward compatible.”
backward compatible /ˈbækwəd kəmˈpætəbl/ schema mới đọc được dữ liệu cũ “Schema Registry enforces backward compatibility by default.”
retriable error /rɪˈtraɪəbl ˈerə/ lỗi tạm thời, retry được “Not enough replicas is retriable; message too large is not.”
brain dump /breɪn dʌmp/ đề thi bị lộ “I avoided brain dumps and studied from the docs and a local cluster.”
deprecated /ˈdeprəkeɪtɪd/ không còn khuyên dùng, sắp bỏ “The --zookeeper flag was deprecated and then removed.”

Ghi chép dựa trên khoá Advanced Backend (Ronin Engineer), viết lại theo cách hiểu của mình.