Cụm bài Kafka và message broker: 1. Message broker: 4 bài toán của request-response và cách chọn broker · 2. Vì sao Kafka nhanh và bền: log, zero-copy, batching, replication · 3. Cấu hình Kafka theo mục tiêu: throughput, latency, durability, availability · 4. Case study: gọi fraud-check đồng bộ qua Kafka và Redis — nên hay không? · 5. Ôn CCDAK: 40 câu hỏi Kafka đáng nhớ
Không bộ tham số Kafka nào tối đa được cùng lúc throughput, latency, durability và availability. Bài này chỉ cách xếp hạng bốn mục tiêu, rồi chọn giá trị cho producer, consumer, topic, broker, Spring Boot 3, kèm lab 3 broker để kiểm chứng. Nên đọc trước bài 2 để hiểu ISR, acks, batching.
Sơ đồ tóm tắt:
flowchart TD
G{Ưu tiên gì?} -->|Durability| D["acks=all, RF=3, min ISR=2"]
G -->|Throughput| T["linger.ms, batch.size lớn, zstd"]
G -->|Latency| L["linger.ms=0, fetch.min.bytes=1"]
D -.->|đánh đổi| X["Broker chết: partition ngừng ghi"]
C[Consumer] --> CM[Commit sau khi xử lý]
CM --> ID[Ghi idempotent]
B["Mặc định an toàn ở broker"] --> TP[Ghi đè theo topic]
TP --> BM["Benchmark, monitor, tune"]
1. Xếp hạng mục tiêu trước khi chạm vào tham số
Ý chính: bốn mục tiêu kéo tham số theo các hướng khác nhau, nên phải xếp hạng chúng theo nghiệp vụ của từng luồng dữ liệu rồi mới chọn giá trị.
| Mục tiêu | Nghĩa | Tham số kéo về phía nó |
|---|---|---|
| Throughput | Bao nhiêu MB hoặc message mỗi giây | linger.ms lớn, batch.size lớn, nén, acks=1, nhiều partition |
| Latency | Một message đi từ producer tới consumer mất bao lâu | linger.ms=0, không nén hoặc nén nhẹ, fetch.min.bytes=1 |
| Durability | Record đã ACK không bao giờ mất | acks=all, RF=3, min.insync.replicas=2, idempotence, tắt unclean election |
| Availability | Hệ thống vẫn nhận ghi/đọc khi có node chết | min ISR thấp, bật unclean election, phát hiện lỗi nhanh (session.timeout.ms nhỏ) |
ISR (in-sync replicas): các replica đang bắt kịp leader. Unclean election: cho replica tụt lại lên làm leader. Idempotence: producer gắn số thứ tự để broker bỏ bản trùng khi retry.
Hai ví dụ trong tài liệu khoá học:
- Tài chính: durability > availability > latency > throughput. Thà ngừng nhận giao dịch vài giây còn hơn mất một giao dịch đã báo thành công.
- Nạp data warehouse: throughput > availability > durability > latency. Hàng trăm nghìn event/giây, mất vài event hay trễ vài phút không sao.
Thứ tự có thể đổi: luồng ingestion lúc đầu chỉ cho báo cáo, sau dùng tính hoa hồng thì durability lên đầu.
Trước khi đọc bảng:
- Mặc định đổi theo phiên bản client: từ 3.0 producer mặc định
acks=all,enable.idempotence=true; từ 4.0linger.ms=5; client 2.x vẫnacks=1. Đặt tường minh và cập nhật client đều. - Mức throughput: thấp dưới 10K message/giây, vừa 10K–100K, cao 100K–1M.
- Giá trị dưới đây là điểm xuất phát: benchmark, monitor, tune.
2. Producer
Ý chính: producer quyết định phần lớn trade-off: acks và idempotence cho durability, linger.ms, batch.size và nén cho throughput hay latency.
| Tham số | Throughput | Latency | Durability |
|---|---|---|---|
acks |
1 |
1 |
all |
enable.idempotence |
false |
false |
true |
linger.ms |
20 | 0 | 5–10 |
batch.size |
32768–65536 | 16384 | 16384 |
compression.type |
zstd |
none hoặc lz4 |
lz4 |
linger.ms là thời gian producer chờ gom thêm record vào batch; batch đầy thì gửi ngay.
Bảng producer đầy đủ và bẫy delivery.timeout.ms
| Tham số | Throughput | Latency | Durability | Ghi chú |
|---|---|---|---|---|
acks |
1 |
1 |
all |
Mặc định all từ 3.0 |
enable.idempotence |
false |
false |
true |
Cần acks=all; để mặc định mà đặt acks=1 thì client tắt ngầm, đặt tường minh true với acks=1 thì lỗi cấu hình |
retries / delivery.timeout.ms |
mặc định | thấp | mặc định hoặc theo SLA | Nên điều khiển bằng delivery.timeout.ms (mặc định 120 s), để retries mặc định |
linger.ms |
20 | 0 | 5–10 | Tài liệu gợi ý 0 / 8 / 20 cho latency / vừa / throughput |
batch.size |
32768–65536 | 16384 | 16384 | Batch đầy thì gửi ngay |
compression.type |
zstd |
none hoặc lz4 |
lz4 |
lz4 là lựa chọn cân bằng |
max.in.flight.requests.per.connection |
5 | 5 | 5 | Tối đa 5 khi bật idempotence mà vẫn giữ thứ tự |
buffer.memory |
tăng (64–128 MB) | mặc định | mặc định | Đầy thì send bị chặn tới max.block.ms |
| Partitioner | mặc định | mặc định | mặc định | Không key: uniform sticky; có key: murmur2 |
Cấu hình durability chỉ có ích nếu code thấy được lỗi gửi:
KafkaTemplate.send()bất đồng bộ: lỗi (hếtdelivery.timeout.ms,NotEnoughReplicasException) nằm trongCompletableFuture,try/catchquanhsend()không bắt được; xử lý trongwhenComplete.- Event đi kèm ghi DB thì
acks=allkhông cứu được dual write (ghi hai nơi, một nơi có thể hỏng): cần transactional outbox.
Cả hai được phân tích trên code thật ở bài Case study: gọi fraud-check đồng bộ qua Kafka (mục send() bất đồng bộ và mục transactional outbox).
3. Consumer
Ý chính: quyết định quan trọng nhất ở consumer là commit offset lúc nào; sau đó là group.id riêng mỗi service và assignor cooperative để rebalance không dừng cả group.
Offset là vị trí consumer group đã đọc tới trong một partition. Rebalance là lúc group chia lại partition giữa các consumer (khi có consumer vào, ra hoặc chết).
group.idriêng theo service (ví dụwallet-balance): hai service chung group sẽ chia nhau message.enable.auto.commit=falsecho dữ liệu quan trọng (tài liệu gợi ýtrue).auto.offset.resetchỉ áp dụng khi group chưa có offset đã commit hoặc offset đã hết hạn.max.poll.interval.ms(mặc định 5 phút): xử lý một batch lâu hơn thì bị đá khỏi group.
Bảng consumer đầy đủ, kiểm chứng auto.offset.reset và giao thức KIP-848
| Tham số | Gợi ý | Ghi chú |
|---|---|---|
group.id |
Tên cụ thể theo service, ví dụ wallet-balance |
Hai service dùng chung group sẽ chia nhau message thay vì mỗi bên nhận đủ |
enable.auto.commit |
Tài liệu gợi ý true; dữ liệu quan trọng nên false và commit sau khi xử lý |
Xem pitfall bên dưới |
auto.offset.reset |
latest hoặc earliest |
Chỉ áp dụng khi group chưa có offset đã commit hoặc offset đã hết hạn |
partition.assignment.strategy |
CooperativeStickyAssignor |
Rebalance từng phần, không dừng cả group |
fetch.min.bytes |
1 (latency) / 50.000 (throughput) | Đi kèm fetch.max.wait.ms (mặc định 500 ms) |
receive.buffer.bytes |
1 MB, hoặc 4 MB nếu đủ RAM | Có ích khi mạng có độ trễ cao giữa consumer và broker |
session.timeout.ms |
45.000 (mặc định từ 3.0) | Nhỏ hơn thì phát hiện consumer chết nhanh hơn (availability), nhưng dễ rebalance nhầm khi GC dài |
max.poll.interval.ms / max.poll.records |
300.000 / 500 (mặc định) | Xử lý một batch lâu hơn khoảng này thì consumer bị đá khỏi group |
Kiểm chứng auto.offset.reset trên lab: topic payments đã có 12 record. Group mới với latest đọc 0 record cũ, group mới với earliest đọc đủ 12. Consumer ở mục 5 chạy lần hai với earliest xử lý 0 record, vì group đã có offset commit nên auto.offset.reset không còn tác dụng.
4. Topic và broker
Ý chính: đặt RF=3, min.insync.replicas=2, tắt tự tạo topic làm mặc định an toàn; số partition là đánh đổi giữa thứ tự và throughput.
replication.factor=3: chịu được một broker chết.min.insync.replicas=2: đi cùngacks=all.unclean.leader.election.enable:falsecho durability,truecho availability; ghi đè được theo topic.auto.create.topics.enable=false: gõ nhầm tên không tự tạo topic 1 partition, RF 1.offsets.retention.minuteskhoảng 1 tháng (mặc định 7 ngày): group nghỉ lâu hơn sẽ mất offset.
Bảng topic và broker đầy đủ, bẫy offset hết hạn
| Phạm vi | Tham số | Gợi ý | Lý do |
|---|---|---|---|
| Topic | partitions |
1 nếu cần thứ tự toàn cục; nhiều hơn để tăng throughput | Xem công thức ở bài 2 |
| Topic | replication.factor |
3 | Chịu được một broker chết |
| Topic | min.insync.replicas |
2 | Đi cùng acks=all |
| Topic | compression.type |
producer |
Broker giữ nguyên batch, không nén lại |
| Broker | auto.create.topics.enable |
false |
Gõ nhầm tên topic không tự tạo topic 1 partition, RF 1 |
| Broker | num.replica.fetchers |
1 (mặc định), 2–4 cho latency | Nhiều thread kéo dữ liệu replica hơn, commit nhanh hơn khi nhiều partition giữa một cặp broker |
| Broker | num.io.threads / num.network.threads |
16 / 8 | Tuỳ số core và số đĩa |
| Broker | unclean.leader.election.enable |
false (durability) / true (availability) |
Ghi đè được theo topic |
| Broker | broker.rack |
Theo rack/AZ | Replica được trải trên nhiều rack |
| Broker | offsets.retention.minutes |
43.800 (khoảng 1 tháng) | Mặc định 10.080 (7 ngày); group nghỉ lâu hơn sẽ mất offset và rơi vào auto.offset.reset |
| Broker | log.flush.interval.messages |
Mặc định (không ép flush) | Đặt thấp thì bền hơn với giá throughput rất lớn |
5. Spring Boot 3: cấu hình trong application.yml
Ý chính: Spring Boot ánh xạ spring.kafka.* vào client. Container Spring Kafka commit offset thay auto-commit, và cần error handler có DLT để message lỗi không biến mất.
Ví dụ cho một service ví ưu tiên durability:
spring:
kafka:
bootstrap-servers: kafka1:9092,kafka2:9092,kafka3:9092
producer:
acks: all
compression-type: lz4
batch-size: 32768
properties:
enable.idempotence: true
linger.ms: 10
max.in.flight.requests.per.connection: 5
delivery.timeout.ms: 60000
consumer:
group-id: wallet-balance
auto-offset-reset: earliest
enable-auto-commit: false
max-poll-records: 200
properties:
partition.assignment.strategy: org.apache.kafka.clients.consumer.CooperativeStickyAssignor
listener:
ack-mode: record # commit sau mỗi record xử lý thành công
concurrency: 3 # 3 consumer trong 1 instance; tổng consumer không nên vượt số partition
DLT (dead letter topic) là topic chứa message xử lý thất bại sau khi hết retry, để xem lại sau thay vì chặn cả luồng.
Listener, error handler có DLT và consumer Java thuần đã chạy
@Component
class BalanceListener {
private final BalanceService balances;
BalanceListener(BalanceService balances) { this.balances = balances; }
@KafkaListener(topics = "wallet-transactions")
void on(ConsumerRecord<String, TransactionEvent> record) {
balances.apply(record.value()); // idempotent: unique theo event id trong DB
}
}
@Configuration
class KafkaErrorConfig {
@Bean
DefaultErrorHandler errorHandler(KafkaTemplate<Object, Object> template) {
var recoverer = new DeadLetterPublishingRecoverer(template); // mặc định gửi sang <topic>.DLT
var backOff = new ExponentialBackOffWithMaxRetries(5); // có giới hạn, đừng retry mãi
backOff.setInitialInterval(500);
backOff.setMultiplier(2.0);
var handler = new DefaultErrorHandler(recoverer, backOff);
handler.addNotRetryableExceptions(InvalidTransactionException.class); // lỗi nghiệp vụ: vào DLT ngay
return handler;
}
}
Đoạn Spring ở trên chưa được chạy: lab chỉ dùng client Java thuần, và message hỏng định dạng cần cấu hình thêm ErrorHandlingDeserializer để vào được DLT. Ý tưởng tương ứng với consumer thuần đã chạy dưới đây: tắt auto-commit, xử lý xong mới commitSync, thoát bằng wakeup().
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
props.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG, CooperativeStickyAssignor.class.getName());
var consumer = new KafkaConsumer<String, String>(props);
Runtime.getRuntime().addShutdownHook(new Thread(consumer::wakeup)); // poll() ném WakeupException
try {
consumer.subscribe(List.of("payments"));
while (true) {
var records = consumer.poll(Duration.ofMillis(500));
for (var r : records) applyToBalance(r); // idempotent
if (!records.isEmpty()) consumer.commitSync(); // at-least-once
}
} catch (WakeupException e) {
// đang tắt
} finally {
consumer.close();
}
6. Case study: hai cấu hình cho hai hệ thống
Ý chính: hai luồng chung cluster có thể cần cấu hình gần như ngược nhau; xếp hạng riêng từng luồng rồi mới điền bảng.
Bối cảnh. (A) giao dịch ví, khoảng 2.000 message/giây, đã báo thành công thì không được mất. (B) clickstream, 150.000 event/giây lúc cao điểm, cho phân tích, chấp nhận mất vài event và trễ vài phút.
Xếp hạng. (A) durability > availability > latency > throughput. (B) throughput > availability > durability > latency.
| (A) Giao dịch ví | (B) Clickstream | |
|---|---|---|
Producer acks |
all |
1 |
enable.idempotence |
true |
false (đi kèm acks=1; chấp nhận trùng hiếm) |
linger.ms / batch.size |
5 / 16 KB | 50 / 128 KB |
compression.type |
lz4 |
zstd |
| Topic partitions | 12, key = account_id |
48, không key (sticky) |
RF / min.insync.replicas |
3 / 2 | 3 / 1 |
unclean.leader.election.enable |
false |
true |
| Consumer commit | Tắt auto-commit, commit sau khi ghi DB idempotent | Auto-commit hoặc commit theo batch |
fetch.min.bytes |
1 | 100.000 |
| Retention | 30 ngày (đối soát, replay) | 3 ngày |
Rủi ro và cách theo dõi.
- (A) ngừng nhận ghi nếu hai broker cùng chết. Đó là lựa chọn có chủ đích, nên cần cảnh báo
UnderMinIsrPartitionCount > 0và runbook. - (B) có thể mất record khi bầu leader unclean, nên số liệu phân tích có thể lệch nhẹ.
- Cả hai theo dõi consumer lag (số message consumer còn chưa đọc kịp): (A) ngưỡng vài giây, (B) vài phút.
7. Benchmark, monitor, tune
Ý chính: đọc bảng không ra giá trị tối ưu; đo với dữ liệu thật, theo dõi đúng chỉ số, đổi một tham số mỗi lần.
- Benchmark với kích thước message thật:
kafka-producer-perf-test --topic t --num-records 1000000 --record-size 1024 --throughput -1 --producer-props acks=all linger.ms=10vàkafka-consumer-perf-test. Đo p99 latency, không chỉ throughput trung bình. - Monitor: consumer lag theo group/partition;
UnderReplicatedPartitions,UnderMinIsrPartitionCount,OfflinePartitionsCount; request latency (RequestMetricsproduce/fetch); producerrecord-error-rate,request-latency-avg,batch-size-avg,compression-rate-avg; số rebalance. - Tune một tham số mỗi lần, ghi lại kết quả.
8. Lab: cluster 3 broker KRaft bằng docker compose
Ý chính: dựng 3 broker KRaft (Kafka tự quản metadata, không cần ZooKeeper), dừng một broker để thấy ISR co lại và acks cùng min ISR quyết định có ghi được không.
Docker compose dựng và xoá cluster nhanh, cô lập tài nguyên, chạy được ở mọi máy. File mình viết đã chạy với image confluentinc/cp-kafka:7.5.3, mỗi node vừa là broker vừa là controller (production nên tách controller riêng).
File docker compose và các lệnh chạy lab
Lặp lại khối kafka1 cho kafka2 và kafka3, đổi KAFKA_NODE_ID, container_name, hostname và cổng 19093, 19094:
services:
kafka1:
image: confluentinc/cp-kafka:7.5.3
container_name: kafka1
hostname: kafka1
ports: ["19092:19092"]
environment:
CLUSTER_ID: "MkU3OEVBNTcwNTJENDM2Qk"
KAFKA_NODE_ID: 1
KAFKA_PROCESS_ROLES: "broker,controller"
KAFKA_CONTROLLER_QUORUM_VOTERS: "1@kafka1:29093,2@kafka2:29093,3@kafka3:29093"
KAFKA_LISTENERS: "INTERNAL://:29092,CONTROLLER://:29093,EXTERNAL://:19092"
KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka1:29092,EXTERNAL://localhost:19092"
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT"
KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
KAFKA_CONTROLLER_LISTENER_NAMES: "CONTROLLER"
KAFKA_AUTO_CREATE_TOPICS_ENABLE: "false"
KAFKA_DEFAULT_REPLICATION_FACTOR: 3
KAFKA_MIN_INSYNC_REPLICAS: 2
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
KAFKA_UNCLEAN_LEADER_ELECTION_ENABLE: "false"
docker compose up -d
docker exec kafka1 kafka-topics --bootstrap-server kafka1:29092 \
--create --topic payments --partitions 6 --replication-factor 3 --config min.insync.replicas=2
docker exec kafka1 kafka-topics --bootstrap-server kafka1:29092 --describe --topic payments
docker stop kafka3 # quan sát Isr co lại, thử gửi với acks=all và acks=1
docker exec kafka1 kafka-consumer-groups --bootstrap-server kafka1:29092 --describe --group wallet-balance
Bài tập
Bài 1: Xếp hạng và cấu hình
Cho ba hệ thống: (a) gửi thông báo đẩy marketing; (b) đồng bộ đơn hàng sang hệ thống kho; (c) thu log ứng dụng về hệ thống tìm kiếm log. Xếp hạng bốn mục tiêu cho từng hệ thống và chọn acks, min.insync.replicas, linger.ms, compression.type, unclean election.
Lời giải Bài 1
- (a) Thông báo marketing: latency > availability > throughput > durability (mất một thông báo không sao, gửi trễ 10 phút thì hết giá trị khuyến mãi).
acks=1, min ISR 1,linger.ms0–5,lz4, uncleantrue. - (b) Đơn hàng sang kho: durability > availability > latency > throughput.
acks=all, idempotence, min ISR 2,linger.ms5,lz4, uncleanfalse, keyorder_id, consumer commit sau khi xử lý. - (c) Log ứng dụng: throughput > availability > latency > durability.
acks=1, min ISR 1,linger.ms20–50,batch.sizelớn,zstd, uncleantrue.
Bài 2: Lab mất broker
Dựng lab ở mục 8. Tạo hai topic RF=3, một topic min.insync.replicas=2, một topic min.insync.replicas=3. Dừng một broker. Dự đoán và kiểm chứng: producer acks=all và acks=1 có ghi được vào từng topic không, và lỗi ứng dụng nhận được là gì.
Lời giải Bài 2: kết quả mình chạy
- Topic min ISR 2: cả
acks=allvàacks=1đều ghi được. - Topic min ISR 3:
acks=1ghi được,acks=allthất bại. Ứng dụng nhậnTimeoutException: Expiring 1 record(s)saudelivery.timeout.ms, vìNotEnoughReplicasExceptionđược retry tự động. --describecho thấyIsr: 1,2. Khởi động lại broker, ISR trở về1,2,3sau vài giây.
Bài 3: Consumer không mất, không trùng
Viết consumer cập nhật số dư ví từ topic wallet-transactions sao cho crash ở bất kỳ điểm nào cũng không làm mất hoặc cộng trùng giao dịch.
Lời giải Bài 3: at-least-once cộng consumer idempotent
- Không mất: tắt auto-commit, chỉ commit offset sau khi ghi DB thành công (consumer thuần ở mục 5, hoặc Spring với
ack-mode: record). - Không trùng: crash sau khi ghi DB nhưng trước commit offset sẽ khiến record được giao lại, nên phần ghi DB phải idempotent. Trong cùng một transaction DB:
INSERT INTO processed_event(event_id) VALUES (?) ON CONFLICT DO NOTHING. Không chèn được dòng nào thì record đã xử lý, bỏ qua; chèn được thì cập nhật số dư.
Kết quả là at-least-once delivery cộng consumer idempotent, tức tác dụng đúng một lần. Một cách khác: lưu offset vào chính DB trong cùng transaction và seek tới đó khi được gán partition.
Ghi nhớ
- Xếp hạng được bốn mục tiêu cho một luồng cụ thể và nói giá trị
acks, min ISR,linger.ms, nén, unclean election tương ứng. - Giải thích được vì sao durability và availability kéo ngược nhau ở
min.insync.replicasvà unclean election. - Biết khi nào auto-commit làm mất message, khi nào làm trùng, và cách commit an toàn cho thanh toán.
- Phân biệt được eager và cooperative rebalance, và biết KIP-848 thay đổi gì ở Kafka 4.0.
- Biết vì sao nên đặt mặc định an toàn ở broker rồi ghi đè theo topic, và theo dõi những chỉ số nào.
Câu hỏi phỏng vấn
Junior
auto.offset.reset dùng khi nào?
Chỉ khi group chưa có offset đã commit cho partition, hoặc offset đã commit không còn hợp lệ.
Không hợp lệ nghĩa là đã hết hạn theo offsets.retention.minutes, hoặc nằm ngoài khoảng dữ liệu còn giữ. earliest đọc từ record cũ nhất còn giữ, latest chỉ đọc record mới, none ném exception. Group đã có offset thì luôn đọc tiếp từ offset đó.
Ba tham số bắt buộc của một Kafka producer là gì?
bootstrap.servers, key.serializer, value.serializer.
Mọi tham số khác có mặc định, nhưng nên đặt tường minh acks, enable.idempotence, linger.ms, compression.type vì mặc định thay đổi theo phiên bản.
Hai service khác nhau dùng chung group.id thì sao?
Chúng thành cùng một consumer group nên chia nhau partition: mỗi message chỉ đến một trong hai service.
Muốn mỗi service nhận đủ mọi message thì mỗi service phải có group.id riêng.
Mid
Bạn cấu hình producer cho dữ liệu tài chính thế nào?
acks=all, idempotence bật, topic RF=3 với min.insync.replicas=2, tắt unclean election.
max.in.flight.requests.per.connection≤ 5,delivery.timeout.mstheo SLA (và ≥linger.ms+request.timeout.ms),linger.msnhỏ,lz4, key theo thực thể cần thứ tự.- Lỗi gửi xử lý ở callback, kết hợp outbox nếu sự kiện đi kèm ghi DB.
enable.auto.commit=true có an toàn không?
Chỉ an toàn (at-least-once) khi xử lý đồng bộ trong vòng lặp poll; xử lý bất đồng bộ thì có thể mất message.
Nó commit offset của record đã trả về từ poll, theo chu kỳ, trong lần poll sau. Nếu xử lý trên thread pool, offset có thể được commit trước khi xử lý xong, crash là mất. Với dữ liệu quan trọng: tắt và commit sau khi xử lý, hoặc để container Spring Kafka commit theo AckMode.
Xử lý một batch mất 6 phút thì chuyện gì xảy ra và sửa thế nào?
Vượt max.poll.interval.ms (mặc định 5 phút) nên consumer bị đá khỏi group và batch bị xử lý lại.
Partition được giao cho consumer khác, commit của consumer cũ thất bại. Sửa: giảm max.poll.records, tăng max.poll.interval.ms cho phù hợp, hoặc tách việc nặng ra và pause/resume partition trong lúc xử lý. Các pattern cho tác vụ chạy lâu (async, chỉnh liveness, pipeline) ở §5 bài này.
Senior
Cooperative rebalancing khác eager thế nào?
Eager thu hồi mọi partition và dừng cả group; cooperative chỉ thu hồi partition phải chuyển, phần còn lại vẫn chạy.
Cooperative (CooperativeStickyAssignor) làm qua hai vòng, nên rolling deploy và autoscale ít gián đoạn. Kafka 4.0 có giao thức mới KIP-848 (group.protocol=consumer) đưa việc gán partition về broker và rebalance tăng dần mặc định.
Bạn chọn số partition cho một topic mới thế nào?
Lấy throughput mục tiêu chia cho throughput một consumer và một producer trên một partition, lấy max, rồi nhân dự phòng tăng trưởng 1–2 năm.
Phải dự phòng vì không giảm được partition, còn tăng thì đổi ánh xạ key. Consumer thường là giới hạn. Cân nhắc giá của nhiều partition: file mở, replication, RAM ở producer, thời gian bầu leader. Cần thứ tự toàn cục và tải nhỏ thì 1 partition.
Durability và availability xung đột ở đâu trong cấu hình Kafka?
Ở min.insync.replicas, unclean.leader.election.enable, acks và session.timeout.ms.
min.insync.replicascao thì bền nhưng dễ ngừng nhận ghi khi node chết.- Unclean election bật thì sống lại nhanh nhưng mất record.
acks=allchậm hơn và có thể bị từ chối.session.timeout.msthấp thì phát hiện lỗi nhanh nhưng dễ rebalance nhầm.
Chọn theo xếp hạng mục tiêu của từng luồng, đặt mặc định an toàn ở broker và ghi đè theo topic.
Bạn theo dõi những chỉ số nào cho một cluster Kafka?
Consumer lag trước tiên, rồi sức khoẻ replication (UnderReplicatedPartitions, UnderMinIsrPartitionCount, OfflinePartitionsCount).
Thêm active controller count, request latency produce/fetch, disk và network của broker, producer error rate và retry rate, batch size trung bình, số lần rebalance. Cảnh báo theo SLA của từng luồng, không theo một ngưỡng chung.
Từ vựng tiếng Anh
| Term | Phát âm | Nghĩa | Ví dụ câu tiếng Anh dùng trong phỏng vấn |
|---|---|---|---|
| trade-off | /ˈtreɪd ɒf/ | đánh đổi | “You can’t max out throughput and durability at the same time; it’s a trade-off.” |
| durability | /ˌdjʊərəˈbɪləti/ | độ bền dữ liệu | “For the ledger we rank durability above availability.” |
| availability | /əˌveɪləˈbɪləti/ | khả năng sẵn sàng | “Clickstream favours availability, so unclean election is on.” |
| offset commit | /ˈɒfset kəˈmɪt/ | lưu vị trí đã xử lý | “We commit offsets only after the database write succeeds.” |
| auto-commit | /ˈɔːtəʊ kəˈmɪt/ | tự động commit theo chu kỳ | “Auto-commit can lose records if processing is asynchronous.” |
| rebalance | /ˌriːˈbæləns/ | chia lại partition | “Cooperative rebalancing keeps most partitions processing during a deploy.” |
| consumer lag | /kənˈsjuːmə læɡ/ | độ trễ của consumer | “Our SLO is consumer lag under five seconds for payments.” |
| dead letter topic | /ded ˈletə ˈtɒpɪk/ | topic chứa message lỗi | “Poison messages go to a dead letter topic after retries.” |
| override | /ˌəʊvəˈraɪd/ | ghi đè | “We keep safe broker defaults and override them per topic.” |
| runbook | /ˈrʌnbʊk/ | tài liệu hướng dẫn xử lý sự cố | “The runbook explains what to do when partitions go under min ISR.” |
Ghi chép dựa trên khoá Advanced Backend (Ronin Engineer), viết lại theo cách hiểu của mình.