Cụm bài Kafka: bài toán và pattern: 1. Số partition, message lớn, lag và tác vụ chạy lâu · 2. Dual write, exactly-once và thứ tự message · 3. Case study: phát hiện gian lận với Kafka và Redis
Ba câu hỏi “khó nhất” của hệ thống dùng message: ghi DB và gửi event sao cho không lệch, xử lý mỗi message đúng một lần, và giữ đúng thứ tự. Bài này trả lời từng câu bằng cơ chế cụ thể của Kafka và giới hạn của chúng. Phần consumer idempotent và idempotent producer đã có ở Idempotency phần 2; ở đây chỉ nối chúng vào bức tranh chung.
1. Dual write: hai kiểu
Ý chính: dual write là một quy trình phải ghi vào hai nơi và cần cả hai cùng thành công hoặc cùng không. Ghi hai lần vào Kafka thì Kafka transaction lo được; ghi DB và Kafka thì không có transaction chung.
- Dual write cùng hệ (united): hai lần ghi đều vào Kafka, ví dụ ghi topic
ordersvàaudit. Kafka thời đầu không có cách rollback lần ghi đã thành công; từ 0.11 có Kafka transaction. - Dual write khác hệ (separate): lưu trạng thái vào DB rồi phát event sang hệ khác (Kafka, email service…). Hai hệ không liên kết nên không thể có transaction chung. Đây là trường hợp phổ biến.
Ví dụ thanh toán hoá đơn: trừ số dư trong DB, rồi phát event BillPaid. Nếu service chết giữa hai bước, số dư đã trừ mà event không bao giờ đi: hoá đơn không được gạch nợ. Lỗi hiếm, nhưng hậu quả nặng và rất khó phát hiện, khó sửa.
2. Hai cách sửa sai
Ý chính: đảo thứ tự hay bọc trong transaction DB đều chỉ dời chỗ hỏng sang chỗ khác.
- Emit trước, lưu sau: chết giữa hai bước thì event đã đi mà trạng thái không đổi. Bên nhận gạch nợ một hoá đơn chưa trả.
- Bọc trong transaction DB (
BEGIN, lưu, emit,COMMIT): emit thành công nhưngCOMMITlỗi thì DB rollback còn event đã đi. Thêm nữa, transaction DB bị giữ mở trong lúc chờ Kafka.
3. Bốn lối ra và transactional outbox
Ý chính: có bốn pattern; outbox là lựa chọn thẳng thắn và hiệu quả nhất cho trường hợp DB + Kafka.
Outbox chỉ giữ DB và Kafka của một service khớp nhau; nhiều service cùng phải đổi dữ liệu thì cần saga, xem distributed transaction: 2PC, saga, outbox.
| Pattern | Ý tưởng | Đánh giá |
|---|---|---|
| Listen to yourself | chỉ gửi event, chính service cũng consume event đó để cập nhật DB | trạng thái cập nhật trễ, đọc ngay sau ghi không thấy; ít khi thực tế |
| Event sourcing | event là nguồn sự thật, trạng thái dựng lại từ event | mạnh nhưng phức tạp, xử lý lỗi khó, chỉ hợp vài bài toán |
| CDC trên bảng nghiệp vụ | Debezium đọc WAL của bảng balance rồi phát event |
đơn giản, nhưng event là “dòng thay đổi”, không phải event nghiệp vụ do bạn định nghĩa |
| Transactional outbox | ghi trạng thái và một dòng vào bảng outbox trong cùng transaction; CDC đọc bảng outbox và phát event |
đơn giản, bạn kiểm soát nội dung event; giá là trễ và at-least-once |
flowchart LR
H[Handler] -->|1 BEGIN: UPDATE balance + INSERT outbox, COMMIT| DB[(PostgreSQL)]
DB -->|2 WAL stream| CDC[Debezium trên Kafka Connect]
CDC -->|3 phát event| T[(topic bill-events)]
Bảng outbox nên đơn giản, và lưu sẵn bytes đã mã hoá để connector đẩy thẳng ra Kafka không cần hiểu nội dung:
CREATE TABLE outbox (
id uuid PRIMARY KEY,
topic varchar(255) NOT NULL,
key bytea, -- vd account_id, quyết định partition và thứ tự
value bytea NOT NULL, -- event đã serialize (Avro/Protobuf/JSON)
headers bytea,
created_at timestamptz NOT NULL DEFAULT now()
);
Công cụ: Debezium làm connector, Kafka Connect để chạy nó, Strimzi để quản lý trên Kubernetes.
Cái giá của outbox:
- Trễ: thêm một bước đọc WAL, thường vài chục đến vài trăm ms.
- Bảng outbox phình to theo thời gian, làm chậm DB nếu không dọn.
- At-least-once: connector có thể phát lại sau khi restart, nên consumer phải idempotent.
Vận hành outbox: thứ tự, dọn bảng, polling relay
- Thứ tự: Debezium đọc WAL theo thứ tự commit, và dùng cột
keylàm key Kafka, nên event cùng tài khoản vào cùng partition theo đúng thứ tự commit. Hai transaction song song cho cùng tài khoản thì thứ tự là thứ tự commit, cần khoá dòng tài khoản nếu thứ tự nghiệp vụ quan trọng. - Dọn bảng: Debezium đọc từ WAL chứ không đọc bảng, nên có thể
INSERTrồiDELETEngay trong cùng transaction: WAL vẫn có lệnh insert để phát, bảng luôn gần rỗng. Cách khác: xoá theo lô dòng cũ hơn N giờ, hoặc partition bảng theo ngày và drop partition cũ. - Debezium Outbox Event Router: một SMT (single message transform) có sẵn, đọc các cột kiểu
aggregatetype,aggregateid,payloadvà định tuyến sang topic tương ứng. - Polling relay (không có CDC): một job
SELECT ... WHERE published_at IS NULL ORDER BY id LIMIT 500 FOR UPDATE SKIP LOCKED, gửi Kafka, rồi đánh dấupublished_at. Dễ dựng hơn, nhưng tải DB cao hơn, trễ bằng chu kỳ poll, và nhiều relay song song có thể đảo thứ tự. So sánh chi tiết ở case study request-reply. - MySQL/TiDB: Debezium đọc binlog của MySQL; TiDB có TiCDC phát thẳng ra Kafka.
4. Exactly-once: hai loại luồng
Ý chính: trong một pipeline event, mạng chập chờn, consumer chết và retry đều sinh trùng. Exactly-once không đến từ một tham số mà từ việc ghép nhiều cơ chế; và cách ghép phụ thuộc luồng là Kafka → Kafka hay có side effect.
flowchart LR
A[(topic A)] --> S0[stage 0]
S0 --> B[(topic B)]
B --> S1[stage 1]
S1 -->|side effect| DB[(DB)]
- Aggregation flow (topic A → stage 0 → topic B): đọc từ Kafka, ghi ra Kafka. Kafka transaction lo được: ghi output và commit offset input trong cùng một transaction, consumer phía sau đọc với
isolation.level=read_committed. - Sink flow (topic B → stage 1 → DB): có side effect ngoài Kafka. Kafka transaction không phủ được. Đây là trường hợp phổ biến.
Với sink flow, công thức là: exactly-once = at-least-once (không mất) + consumer idempotent (bỏ trùng). Slide viết “at-least-once + at-most-once”; cách nói chính xác hơn là không mất ở mọi chặng, và mỗi lần xử lý lặp lại không tạo thêm tác dụng.
Kafka transaction cho luồng consume-transform-produce
producer.initTransactions(); // transactional.id cố định cho mỗi instance
while (running) {
var records = consumer.poll(Duration.ofMillis(200));
if (records.isEmpty()) continue;
producer.beginTransaction();
try {
for (var r : records) producer.send(new ProducerRecord<>("topic-b", r.key(), transform(r.value())));
producer.sendOffsetsToTransaction(nextOffsets(records), consumer.groupMetadata());
producer.commitTransaction();
} catch (ProducerFencedException e) {
throw e; // đã có instance khác cùng transactional.id: dừng hẳn
} catch (KafkaException e) {
producer.abortTransaction(); // rồi seek lại offset đã commit để xử lý lại
}
}
- Fencing:
transactional.idcố định giúp broker chặn “zombie” (instance cũ chưa chết hẳn) bằng epoch. - Consumer phía sau phải đặt
isolation.level=read_committed, nếu không vẫn đọc thấy dữ liệu của transaction bị abort. - Giới hạn: chỉ phủ ghi vào Kafka và offset. Gọi API, ghi DB, gửi email trong
transformvẫn có thể lặp lại khi abort và xử lý lại. Kafka Streams bật cái này bằngprocessing.guarantee=exactly_once_v2.
4.1. Không mất ở producer
Ý chính: producer mất message khi gửi lỗi mạng mà không retry, hoặc leader chết trước khi follower kịp chép. Sửa bằng retry, acks=all và idempotence.
retries: slide khuyên 30. Từ Kafka 2.1 mặc định làInteger.MAX_VALUE, và thời gian retry thật sự bị chặn bởidelivery.timeout.ms(mặc định 120 giây). Chỉnh cái sau thay vì đếm số lần.acks=all: leader chỉ xác nhận khi mọi replica trong ISR đã có record. Đi cùngmin.insync.replicas=2với RF 3.enable.idempotence=true(mặc định từ 3.0): broker bỏ bản trùng do retry và giữ thứ tự trong partition.
4.2. Không mất ở consumer
Ý chính: consumer mất message khi commit trước khi xử lý xong, hoặc mỗi lần khởi động dùng group mới. Commit sau khi xử lý, và giữ group.id cố định.
Slide khuyên bật auto-commit. Điều đó chỉ đúng khi xử lý chạy đồng bộ trong vòng poll: auto-commit chỉ commit offset của batch trước ở lần poll() kế tiếp. Nếu bạn giao record cho thread khác rồi poll tiếp, auto-commit sẽ commit record chưa xử lý xong. Spring Kafka mặc định tắt auto-commit và để container commit sau listener (xem bài cấu hình).
4.3. Consumer idempotent
Ý chính: at-least-once chắc chắn sinh trùng, nên consumer có side effect phải idempotent: hoặc ghi đè không đổi kết quả, hoặc chặn trùng bằng unique constraint.
- Ghi đè vô hại:
UPDATE order SET status = 'PAID'chạy hai lần vẫn đúng. Cẩn thận với event cũ đến muộn ghi đè event mới; thêm điều kiện version. - Chặn trùng: mỗi message có id (UUID hoặc id nghiệp vụ). Bảng giao dịch có unique constraint trên
request_id; insert trùng thì bắt lỗi và bỏ qua, trong cùng transaction với side effect.
Chi tiết (bảng processed_message, giữ bao lâu, trùng do producer sinh message mới) ở Idempotency phần 2.
5. Thứ tự message
Ý chính: Kafka chỉ đảm bảo thứ tự trong một partition. Hầu hết bài toán chỉ cần thứ tự từng phần (theo người chơi, theo đơn hàng), nên dùng key để gom message liên quan vào một partition.
Thứ tự quan trọng ở nhiều nơi: trong game, chuỗi “lên, nhảy, rẽ trái” quyết định trạng thái; trong đơn hàng, “đặt, trả tiền, giao, nhận” là vòng đời.
- Thứ tự toàn phần (total order): biết chính xác thứ tự của mọi event. Trong Kafka chỉ có được khi topic có một partition, tức bỏ song song.
- Thứ tự từng phần (partial order): chỉ biết thứ tự giữa các event liên quan. Hệ phân tán không có đồng hồ chung chỉ có được loại này, và thường thế là đủ: hành động của người chơi này không liên quan người chơi khác.
Đừng sắp thứ tự bằng đồng hồ vật lý (created_at từ nhiều máy): đồng hồ lệch nhau và có thể lùi. Dùng số thứ tự, version, hoặc offset trong partition.
Để có thứ tự đầu-cuối, cần cả ba:
- Producer: cùng key → cùng partition, và
enable.idempotence=trueđể retry không đảo thứ tự (khi tắt idempotence màmax.in.flight.requests.per.connection > 1, batch sau có thể vào trước batch đang retry). - Broker: thứ tự trong partition là thứ tự offset.
- Consumer: mỗi partition chỉ một consumer trong group, và xử lý tuần tự theo key. Đổ record vào thread pool là mất thứ tự.
Những thứ âm thầm phá thứ tự
- Tăng số partition: key đổi partition, event mới của một key có thể được xử lý trước event cũ còn nằm ở partition cũ.
- Retry topic không chặn (
@RetryableTopic): record lỗi đi đường vòng, record sau cùng key đi trước. Với event cần thứ tự, dùng retry chặn rồi DLT. - Nhiều producer cho cùng key (hai instance cùng phát event cho một đơn hàng): thứ tự giữa hai producer là thứ tự tới broker, không phải thứ tự nghiệp vụ. Gán một chủ cho mỗi aggregate, hoặc đính version.
- Phòng thủ ở consumer: lưu version cuối đã áp dụng cho mỗi aggregate, bỏ event có version nhỏ hơn hoặc bằng. Cách này chịu được cả trùng lẫn đảo thứ tự.
6. Request-reply qua Kafka
Ý chính: Kafka là đường một chiều; muốn hỏi-đáp phải thêm topic reply, id để ghép cặp và chỗ chờ kết quả. Có làm được, nhưng thường không nên.
Phần slide về chủ đề này đi qua: topic request và topic reply riêng; message_id và original_message_id để ghép; nơi giữ reply cục bộ (Guava cache có TTL) với polling hoặc callback CompletableFuture; vấn đề nhiều instance (mỗi instance một group thì tốn, chung group thì reply về nhầm instance); kho reply dùng chung (Redis), gửi reply vào partition cố định, và “return address” (đính địa chỉ của requestor để replier gọi HTTP về). Mình đã phân tích kỹ cả bộ, kèm code và kết luận, ở case study request-reply. Lời khuyên cuối của slide đáng nhớ: nếu buộc phải làm, đóng gói phần client thành thư viện dùng chung.
Bài tập
Bài 1: Review một service chuyển tiền
Service transfer làm: @Transactional { trừ tiền tài khoản A; cộng tiền tài khoản B; kafkaTemplate.send("transfer-events", event) }. Consumer notification nhận event, gửi push notification, auto-commit bật. Chỉ ra mọi chỗ có thể lệch, trùng hoặc mất, và đề xuất thiết kế sửa.
Lời giải Bài 1
Vấn đề:
- Dual write: event gửi trong transaction DB. Commit DB lỗi thì event đã đi (thông báo chuyển tiền chưa xảy ra). Gửi lỗi thì tuỳ code: có thể rollback chuyển tiền vì lỗi Kafka, hoặc nuốt lỗi và mất event (
send()bất đồng bộ nêntry/catchkhông bắt được lỗi broker). - Không có key: event của cùng tài khoản rải nhiều partition, mất thứ tự.
- Consumer: auto-commit kèm xử lý đồng bộ là at-least-once, nên push có thể gửi trùng; không có dedupe.
Sửa:
- Ghi bảng
outbox(key =transfer_idhoặcaccount_id) trong cùng transaction với hai lệnh cập nhật số dư; Debezium phát ratransfer-events. - Producer của Debezium:
acks=all, idempotence bật. - Consumer: tắt auto-commit, commit sau khi gửi push; dedupe theo
event_idbằng bảngprocessed_message(unique) hoặcSET NXtrong Redis có TTL, vì push không nằm trong transaction DB. Chấp nhận khả năng nhỏ gửi trùng khi Redis mất key: push là side effect chịu được trùng.
Bài 2: Exactly-once cho pipeline tính điểm thưởng
Pipeline: orders → service A cộng điểm theo đơn, ghi points-delta → service B đọc points-delta, cập nhật bảng user_points trong PostgreSQL. Thiết kế để mỗi đơn chỉ cộng điểm đúng một lần.
Lời giải Bài 2
- A (Kafka → Kafka): Kafka transaction.
transactional.idcố định theo instance, ghipoints-deltavàsendOffsetsToTransactionchoorderstrong cùng transaction. Key =user_id. Hoặc viết A bằng Kafka Streams vớiexactly_once_v2. - B (Kafka → DB): đọc
read_committed. Trong một transaction PostgreSQL:INSERT INTO points_applied(order_id) ...(uniqueorder_id), nếu trùng thì bỏ; nếu không thìUPDATE user_points SET points = points + :delta WHERE user_id = :u. Commit DB rồi mới commit offset. - Biến thể mạnh hơn cho B: lưu offset Kafka vào chính PostgreSQL trong cùng transaction (bảng
consumer_offsets(topic, partition, offset)), khi khởi độngseek()theo offset trong DB. Khi đó DB là nguồn sự thật duy nhất, không cần bảng dedupe theo đơn; nhưng vẫn nên giữ uniqueorder_idđể chống trùng do A phát lại.
Ghi nhớ
- Giải thích được vì sao “emit trước” và “bọc trong transaction DB” đều không sửa được dual write.
- Vẽ được luồng transactional outbox với Debezium và kể ba cái giá của nó.
- Phân biệt được aggregation flow (Kafka transaction) với sink flow (at-least-once + idempotent).
- Liệt kê được cấu hình không mất ở producer và consumer, và chỗ auto-commit nguy hiểm.
- Biết ba điều kiện cho thứ tự đầu-cuối và những thứ âm thầm phá thứ tự.
Câu hỏi phỏng vấn
Junior
Kafka đảm bảo thứ tự message ở mức nào?
Chỉ trong một partition. Muốn các message liên quan giữ thứ tự thì cho chúng cùng key để vào cùng partition.
Topic nhiều partition không có thứ tự toàn phần. Một partition thì có, nhưng mất khả năng song song.
Dual write là gì?
Là khi một thao tác phải ghi vào hai hệ (ví dụ DB và Kafka) mà không có transaction chung, nên có lúc một bên thành công còn bên kia không.
Cách chuẩn để sửa là transactional outbox: ghi event vào bảng outbox trong cùng transaction DB, rồi CDC hoặc relay đẩy ra Kafka.
Mid
Vì sao không bọc lệnh gửi Kafka trong transaction DB là xong?
Vì Kafka không tham gia transaction DB: gửi xong mà commit lỗi thì event đã đi còn DB rollback.
Chiều ngược lại (gửi sau commit) thì service chết giữa hai bước làm mất event. Thêm nữa, transaction DB bị giữ mở trong lúc chờ broker.
Cấu hình gì để producer và consumer không mất message?
Producer: acks=all, idempotence bật, retry trong delivery.timeout.ms, topic RF 3 với min.insync.replicas=2. Consumer: commit sau khi xử lý xong, group.id cố định.
Auto-commit chỉ an toàn khi xử lý đồng bộ trong vòng poll. Đi kèm at-least-once là trùng, nên consumer phải idempotent.
Transactional outbox có nhược điểm gì?
Thêm độ trễ, bảng outbox phình to nếu không dọn, và chỉ at-least-once nên consumer phải chịu trùng.
Với Debezium có thể insert rồi delete ngay trong cùng transaction vì connector đọc WAL. Phải giám sát connector: nó dừng là event dồn lại trong WAL và đĩa DB đầy.
Senior
Kafka có exactly-once, vì sao consumer ghi DB vẫn phải idempotent?
Vì exactly-once của Kafka chỉ phủ ghi vào Kafka và commit offset; ghi DB nằm ngoài transaction đó.
Consumer chết sau khi ghi DB, trước khi commit offset, sẽ xử lý lại record. Cách sửa: unique constraint theo id message trong cùng transaction với side effect, hoặc lưu offset vào chính DB.
Thiết kế để event của một đơn hàng được xử lý đúng thứ tự từ đầu tới cuối?
Key = order_id, idempotent producer, và consumer xử lý tuần tự trong mỗi partition; thêm kiểm tra version ở consumer để phòng thủ.
Tránh những thứ phá thứ tự: tăng partition, retry topic không chặn, nhiều producer cho cùng đơn. Nếu event phát qua outbox, thứ tự theo thứ tự commit trong DB, nên cập nhật một đơn phải khoá dòng đơn đó.
Outbox, CDC trên bảng, event sourcing: bạn chọn gì để phát event giữa các service?
Outbox: event là hợp đồng nghiệp vụ do mình định nghĩa, ghi nguyên tử cùng trạng thái, và vẫn tận dụng CDC để đẩy ra.
CDC trên bảng hợp cho đồng bộ dữ liệu nội bộ (search, warehouse) vì nó lộ cấu trúc bảng. Event sourcing chỉ đáng khi chính lịch sử event là nghiệp vụ (sổ cái, audit), vì độ phức tạp cao.
Từ vựng tiếng Anh
| Term | Phát âm | Nghĩa | Ví dụ câu tiếng Anh dùng trong phỏng vấn |
|---|---|---|---|
| dual write | /ˈdjuːəl raɪt/ | ghi hai nơi không có transaction chung | “Saving to the database and then publishing is a dual write.” |
| transactional outbox | /trænˈzækʃənl ˈaʊtbɒks/ | bảng event ghi cùng transaction | “We write the event to an outbox table in the same transaction.” |
| change data capture | /tʃeɪndʒ ˈdeɪtə ˈkæptʃə/ | bắt thay đổi từ log của DB | “Debezium does change data capture from the PostgreSQL WAL.” |
| atomically | /əˈtɒmɪkli/ | nguyên tử, cùng thành hoặc cùng bại | “Both writes must happen atomically.” |
| side effect | /saɪd ɪˈfekt/ | tác dụng ra bên ngoài | “Exactly-once in Kafka doesn’t cover side effects like emails.” |
| sink | /sɪŋk/ | đích ghi ra ngoài Kafka | “The sink flow writes to PostgreSQL, so the consumer must be idempotent.” |
| fencing | /ˈfensɪŋ/ | chặn instance cũ (zombie) | “The transactional ID lets the broker fence zombie producers.” |
| partial order | /ˈpɑːʃl ˈɔːdə/ | thứ tự từng phần | “We only need a partial order per account, not a global one.” |
| total order | /ˈtəʊtl ˈɔːdə/ | thứ tự toàn phần | “Total order means one partition and no parallelism.” |
| deduplicate | /diːˈdjuːplɪkeɪt/ | bỏ bản trùng | “We deduplicate with a unique constraint on the request ID.” |
Ghi chép dựa trên khoá Advanced Backend (Ronin Engineer), viết lại theo cách hiểu của mình.