Đến nội dung chính
notes.vinhnq.com

Tìm kiếm

System DesignMid28 phút đọc

Message broker: 4 bài toán của request-response và cách chọn broker

Ôn 20 thẻ
Trong bài này

Cụm bài Kafka và message broker: 1. Message broker: 4 bài toán của request-response và cách chọn broker · 2. Vì sao Kafka nhanh và bền: log, zero-copy, batching, replication · 3. Cấu hình Kafka theo mục tiêu: throughput, latency, durability, availability · 4. Case study: gọi fraud-check đồng bộ qua Kafka và Redis — nên hay không? · 5. Ôn CCDAK: 40 câu hỏi Kafka đáng nhớ

Gọi HTTP đồng bộ đủ dùng rất lâu, cho tới khi một đơn hàng phải báo cho năm hệ thống, một service chết kéo theo cả chuỗi, hoặc một đợt khuyến mãi làm database sập. Bài này chỉ ra bốn bài toán mà message broker giải được, cái giá phải trả, và cách chọn broker theo đúng thứ tự. Nên đọc trước: Web và REST API (mô hình request-response) và phần SKIP LOCKED trong Transaction, isolation level và locking.

1. Request-response: đồng bộ, chặn và gắn chặt

Ý chính: bên gọi gửi request rồi đứng chờ response, nên nó chậm theo và chết theo mọi service nó gọi.

  • Đồng bộ (synchronous): kết quả phải có ngay trong lúc gọi.
  • Chặn (blocking): thread của bên gọi bị giữ suốt thời gian chờ, kể cả khi chờ mạng.
  • Gắn chặt (coupling): bên gọi phải biết địa chỉ, API, và phải sống cùng lúc với bên được gọi.
sequenceDiagram
  participant A as Service A
  participant B as Service B
  participant C as Service C
  Note over A,C: Đồng bộ
  A->>B: request
  B-->>A: response (A bị chặn)
  A->>C: request
  C-->>A: response (A bị chặn)
  Note over A: rồi mới làm việc khác
  Note over A,C: Bất đồng bộ
  A-)B: message
  A-)C: message
  Note over A: làm việc khác ngay
  B--)A: kết quả (khi có)
  C--)A: kết quả (khi có)

Thời gian của luồng đồng bộ là tổng thời gian các lần gọi. Xác suất thành công là tích xác suất của từng service: ba service 99,9% thì chuỗi còn khoảng 99,7%.

Khi một mắt xích là bên thứ ba ngoài tầm kiểm soát (cổng thanh toán, nhà mạng SMS), lời gọi đồng bộ cần tối thiểu timeout, retry và circuit breaker. Xem bài timeout, retry và circuit breaker.

2. Bài toán 01: gửi cùng một thông điệp tới nhiều service

Ý chính: bên gửi chỉ gửi một lần tới broker rồi đi tiếp; broker lo chuyển tới từng bên nhận.

Bối cảnh. Khi một đơn hàng được tạo, service Order phải báo cho Inventory, Notification và Analytics. Với request-response, Order gọi ba lần, chờ ba lần, và xử lý ba kiểu lỗi.

Giải pháp. Broker chuyển thông điệp tới B, C, D theo một trong hai cơ chế:

  • Push: broker đẩy tới consumer (RabbitMQ).
  • Pull: consumer tự kéo về (Kafka).

Lợi ích 1: giao tiếp bất đồng bộ. Latency của API tạo đơn chỉ còn là thời gian ghi vào broker (vài ms), không phụ thuộc service chậm nhất phía sau.

3. Bài toán 02: phải biết nhau, và chết theo nhau

Ý chính: producer và consumer chỉ biết địa chỉ broker, không biết nhau, nên một bên chết không kéo bên kia theo.

Bối cảnh. A phải biết địa chỉ của B, C, D. Khi B lỗi hoặc chậm, thread của A bị giữ, connection pool cạn, timeout lan ngược lên client. Đây là cascading failure (lỗi lan dây chuyền).

Giải pháp. Tách vai trò:

  • Producer chỉ publish message vào một topic (hoặc exchange/queue tuỳ broker).
  • Consumer subscribe topic và xử lý message.

Lợi ích 2: decoupling và cô lập lỗi. Consumer chết thì message nằm chờ trong broker; khi sống lại, nó đọc tiếp từ chỗ dừng. Producer chết thì consumer chỉ đơn giản là không có việc.

4. Bài toán 03: thêm service mới mà không sửa service cũ

Ý chính: với pub/sub, thêm một bên nhận chỉ là thêm một consumer subscribe topic; producer không đổi một dòng code.

Bối cảnh. Team mới làm tính năng điểm thưởng (service E) cần biết mỗi đơn hàng. Với request-response, team Order phải thêm một lời gọi, deploy lại, và chịu thêm một điểm lỗi. Muốn cân tải giữa nhiều instance của E thì A phải tự làm load balancing, việc không thuộc về A.

Giải pháp: pub/sub và fan-out. A publish event vào topic X. Ai cần thì subscribe X.

flowchart LR
  A[Order service] -->|publish OrderCreated| X[(Topic orders)]
  X --> B[Inventory]
  X --> C[Notification]
  X --> D[Analytics]
  X -.->|subscribe mới, không sửa A| E[Loyalty]

Lợi ích 3: khả năng mở rộng. Mỗi nhóm consumer nhận đủ mọi message (fan-out). Bên trong một nhóm, broker chia message cho các instance (load balancing).

  • Kafka: đó là consumer group, mỗi partition chỉ giao cho một consumer trong group.
  • RabbitMQ: nhiều consumer cùng đọc một queue (competing consumers); fan-out dùng exchange gắn nhiều queue.

5. Bài toán 04: traffic tăng đột biến làm sập database

Ý chính: đặt queue làm bộ đệm trước database: queue hấp thụ đỉnh, worker xả dần theo tốc độ database chịu được, không mất dữ liệu.

Bối cảnh. Thiết bị IoT hoặc sự kiện hành vi người dùng (click, view) được ghi thẳng vào database. Bình thường 2.000 ghi/giây; giờ cao điểm hay khi chạy chiến dịch marketing lên 30.000 ghi/giây. Database chỉ chịu khoảng 8.000, connection pool cạn rồi sập, kéo theo cả các tính năng không liên quan dùng chung database.

Hai cách giải:

  1. Rate limiting: từ chối bớt request khi vượt ngưỡng. Bảo vệ được database nhưng mất dữ liệu hoặc bắt client retry.
  2. Message queue làm bộ đệm (load levelling): thiết bị ghi vào queue, một nhóm worker đọc ra và ghi vào database.
flowchart LR
  D1[Thiết bị IoT] --> Q[(Queue / topic)]
  D2[App mobile] --> Q
  D3[Web tracking] --> Q
  Q -->|đọc theo tốc độ ổn định, ghi theo batch| W[Workers]
  W --> DB[(Database)]

Lợi ích 4: độ tin cậy. Database thấy một đường tải phẳng thay vì một cái gai, giống hồ chứa nước giữ lũ rồi xả từ từ. Worker còn ghi theo batch (500 dòng một INSERT), rẻ hơn nhiều so với 500 lần ghi lẻ.

Rate limiting hay queue, và cách tính dung lượng queue cho đợt đỉnh

6. Message broker: định nghĩa, lợi ích và cái giá

Ý chính: broker là phần mềm đứng giữa nhận và chuyển message. Nó đổi bốn lợi ích lấy độ phức tạp, độ trễ và chi phí vận hành.

Lợi ích Cái giá
Bất đồng bộ, API nhanh hơn Độ phức tạp: thêm một hệ thống, thêm luồng lỗi
Decoupling, cô lập lỗi Latency đầu-cuối tăng, kết quả không có ngay
Mở rộng bằng fan-out và consumer group Chi phí vận hành: cluster, monitoring, nâng cấp, bảo mật
Làm phẳng tải, bảo vệ database Chi phí hạ tầng và đào tạo

Khi vận hành thật còn thêm:

  • Eventual consistency: dữ liệu giữa các service chỉ khớp nhau sau một khoảng trễ.
  • Message trùng: hầu hết broker giao at-least-once (ít nhất một lần). Consumer phải idempotent: xử lý lại cùng một message không đổi kết quả.
  • Thứ tự chỉ được giữ trong một partition, hoặc một queue có một consumer.
  • Debug khó: cần correlation id và distributed tracing.
  • Poison message (message lỗi xử lý mãi không xong) cần dead letter queue (DLQ), hàng chờ riêng cho message lỗi.
Hai lỗi thiết kế nữa: distributed monolith và publish giữa transaction

Lỗi ngược lại cũng hay gặp: nhét lời gọi publish hay HTTP vào giữa @Transactional để “cho chắc”. Transaction đứng chờ mạng trong khi vẫn giữ lock. Cách nhận ra loại transaction treo giữa chừng này (idle in transaction, Sleep trong processlist) và cách sửa có ở Transaction gây hại.

7. Event khác response thế nào

Ý chính: response là câu trả lời cho đúng một bên và có thể đổi theo thời gian; event là một sự việc đã xảy ra, bất biến, có giá trị cho nhiều bên và phát lại được.

Response Event
Gửi cho ai Đúng một client đã gửi request Bất kỳ ai quan tâm, bên gửi không biết là ai
Nội dung Có thể khác nhau theo thời gian (số dư hiện tại) Bất biến: một sự việc đã xảy ra, không sửa được
Giá trị Cho một bên Một sự thật nghiệp vụ có giá trị cho nhiều service
Giao tiếp Đồng bộ Bất đồng bộ

“Số dư là 1.200.000” là response, hỏi lúc khác ra số khác. “09:15 ngày 18/11 tài khoản 42 nạp 200.000” là event, đúng mãi mãi. Vì bất biến nên event lưu lâu được và phát lại được, để dựng lại trạng thái hoặc xử lý lại khi sửa lỗi.

Event khác command (bài 4 cần phân biệt này):

  • Event (“OrderPlaced”): thì quá khứ, bên gửi không quan tâm ai xử lý.
  • Command (“ReserveStock”): mệnh lệnh gửi cho một bên cụ thể, mong có kết quả.

Đặt command vào một topic event chung là dấu hiệu thiết kế cần xem lại. Anti-pattern hay gặp khi lẫn hai khái niệm: dùng broker như lời gọi đồng bộ, gửi command rồi giữ request HTTP chờ reply.

Bài Case study: gọi fraud-check đồng bộ qua Kafka và Redis review một thiết kế như vậy: thread servlet chờ tới 5 phút, timeout biến thành HTTP 200 rỗng, command và event chung topic. Bài đó so sánh các phương án thay thế và kết luận khi nào request-reply qua Kafka còn chấp nhận được.

Event streaming, các thành phần của Kafka và share group ở Kafka 4.x

Kafka tự mô tả là distributed event streaming platform, không chỉ là message broker. Một nền tảng event streaming phải giải ba việc: đưa event vào/ra, lưu event bền vững theo retention, và giữ thứ tự.

Streaming (vận chuyển luồng event) khác stream processing (tính toán trên luồng, như Kafka Streams hay Flink).

Kafka do LinkedIn làm ra, mở mã nguồn năm 2011. Ngoài lõi lưu trữ còn có Kafka Connect (tích hợp dữ liệu), Kafka Streams/ksqlDB (xử lý luồng) và năm nhóm API: Producer, Consumer, Streams, Connect, Admin.

8. Chọn message broker theo thứ tự nào

Ý chính: đừng hỏi “cái nào nhanh nhất” trước. Lọc theo delivery guarantee và chức năng, rồi mới đo hiệu năng trên workload của mình.

  1. Delivery guarantee: at-most-once (có thể mất), at-least-once (có thể trùng), exactly-once (thường chỉ trong phạm vi hẹp). Broker không đáp ứng mức nghiệp vụ cần thì nhanh mấy cũng loại.
  2. Chức năng: routing linh hoạt, delay message, priority, replay, giữ thứ tự, retention dài, multi-tenancy, transaction.
  3. Hiệu năng: throughput và latency, đo với workload của mình.
  4. Khả năng mở rộng: thêm node, thêm partition, giới hạn số topic/queue.
  5. Hệ sinh thái: client cho ngôn ngữ của team, connector, công cụ monitoring, dịch vụ managed, người biết vận hành.

Bảng tóm tắt sáu lựa chọn (chi tiết ở các mục dưới):

Broker Delivery guarantee Điểm mạnh Hợp với
Bảng database exactly-once trong transaction Nhất quán với dữ liệu nghiệp vụ, không thêm hạ tầng Job nội bộ, outbox, tải vừa phải
Redis Streams at-least-once Latency thấp, đã có sẵn Queue nhẹ, dữ liệu ngắn hạn
RabbitMQ at-least-once Routing, delay, priority, RPC Task queue, workflow nghiệp vụ
NATS (JetStream) at-most-once (core) / at-least-once Nhẹ, latency thấp, subject routing Giao tiếp service, edge/IoT
Pulsar at-least-once, có transaction Multi-tenancy, queue + stream, geo Nền tảng nhiều tenant
Kafka at-least-once, exactly-once trong Kafka Throughput, retention, replay, hệ sinh thái Event streaming, pipeline dữ liệu, CDC

8.1. Database làm queue

Dùng một bảng làm queue: producer INSERT một dòng NEW, worker lấy dòng, chuyển IN_PROCESSING, xong thì DONE.

  • Ưu điểm: không thêm hệ thống mới, và nhất quán: ghi dữ liệu nghiệp vụ và ghi job trong cùng một transaction nên không có dual write. Đây chính là ý tưởng của outbox.
  • Nhược điểm: database thành nút cổ chai; xử lý lỗi (worker chết giữa chừng, retry, backoff) phải tự làm; thiếu fan-out, retention, consumer group.

Bẫy khi nhiều worker cùng lấy việc: hai worker cùng SELECT ... WHERE status = 'NEW' LIMIT 1 sẽ lấy trùng một đơn. Cách đúng là để database khoá dòng và bỏ qua dòng đã bị khoá bằng FOR UPDATE SKIP LOCKED (PostgreSQL 9.5+, MySQL 8.0+). Câu lấy việc commit ngay; việc xử lý diễn ra sau commit, không giữ lock.

Case study hàng đợi pha chế: bảng order_queue, SKIP LOCKED và lease

Khoá học dẫn một bài báo hội thảo (IEOM 2021) mô tả hệ thống gọi đồ uống kiểu Starbucks dùng một bảng làm queue, mỗi đơn là một dòng có order_no, status, updated_at:

order_no status updated_at
34 DONE 12:11:00
35 IN_PROCESSING 12:11:02
36 IN_PROCESSING 12:11:03
37 NEW 12:11:08

Ở quy mô một cửa hàng, một bảng là lựa chọn đúng: không thêm hệ thống, màn hình báo đơn chỉ cần SELECT. Nhưng hai worker cùng SELECT ... LIMIT 1 sẽ lấy trùng đơn 37.

Bảng và câu lấy việc của mình, đã chạy trên PostgreSQL 16 với hai worker song song: worker 1 nhận đơn 1–5, worker 2 nhận đơn 6–10, không trùng.

CREATE TABLE order_queue (
  id           bigserial PRIMARY KEY,
  order_no     bigint      NOT NULL UNIQUE,      -- chống tạo trùng đơn
  payload      jsonb       NOT NULL,
  status       text        NOT NULL DEFAULT 'NEW',
  attempts     int         NOT NULL DEFAULT 0,
  available_at timestamptz NOT NULL DEFAULT now(), -- dùng cho retry có backoff
  locked_until timestamptz,                       -- lease: quá hạn thì coi như worker đã chết
  updated_at   timestamptz NOT NULL DEFAULT now()
);
-- partial index: chỉ index các dòng còn chờ, nhỏ và nóng
CREATE INDEX order_queue_ready ON order_queue (available_at, id) WHERE status = 'NEW';

-- Worker lấy tối đa 5 việc, không đụng việc worker khác đang giữ
WITH next AS (
  SELECT id FROM order_queue
  WHERE status = 'NEW' AND available_at <= now()
  ORDER BY id
  LIMIT 5
  FOR UPDATE SKIP LOCKED
)
UPDATE order_queue q
SET status = 'IN_PROCESSING', attempts = q.attempts + 1,
    locked_until = now() + interval '5 minutes', updated_at = now()
FROM next
WHERE q.id = next.id
RETURNING q.order_no, q.payload;

Câu UPDATE chạy trong transaction ngắn và commit ngay; việc pha chế (hoặc gọi API bên ngoài) xảy ra sau commit. Một job dọn dẹp định kỳ trả các việc quá hạn lease về hàng chờ:

UPDATE order_queue
SET status = 'NEW', available_at = now() + (attempts * interval '30 seconds'), updated_at = now()
WHERE status = 'IN_PROCESSING' AND locked_until < now() AND attempts < 5;
-- attempts >= 5: chuyển sang 'FAILED' để người xem xét (dead letter)

8.2. Redis

  • Ưu điểm: thường đã có sẵn làm cache, latency rất thấp (dưới ms), API đơn giản.
  • Nhược điểm: độ bền phụ thuộc persistence (RDB/AOF); failover có thể mất ghi gần nhất (replication bất đồng bộ); RAM đắt; thiếu tính năng broker.

Redis có ba cơ chế dùng làm broker: List và Pub/Sub là at-most-once, Streams là at-least-once và gần Kafka nhất.

Ba cơ chế của Redis: List, Pub/Sub và Streams
Cơ chế Đảm bảo Ghi chú
List (LPUSH + BRPOP) at-most-once Worker lấy ra rồi crash là mất. Mẫu “reliable queue” với LMOVE/BLMOVE sang một list đang xử lý rồi xoá khi xong cho at-least-once, nhưng phải tự dọn list đang xử lý.
Pub/Sub at-most-once Fire-and-forget: subscriber không online lúc publish thì không bao giờ nhận. Không lưu gì.
Streams (XADD, XREADGROUP, XACK) at-least-once Có consumer group, danh sách message chưa ack (PEL), XAUTOCLAIM để lấy lại message của consumer đã chết. Gần nhất với Kafka trong Redis.

Khi nào chọn list, stream hay hẳn một broker cho một việc cụ thể, kèm pattern reliable queue và hàng đợi trễ bằng ZSET (cùng lỗi đọc-rồi-xoá làm xử lý trùng), xem Redis: chọn cấu trúc dữ liệu cho bài toán thật.

8.3. RabbitMQ

  • Ưu điểm: routing linh hoạt qua exchange (direct, topic, fanout, headers); at-least-once với publisher confirm và consumer ack; delay message (plugin), priority queue, request-reply (reply_to + correlation_id); latency thấp; client cho mọi ngôn ngữ (AMQP).
  • Nhược điểm (theo slide): xoá message khi ack nên không replay; throughput trung bình; tốn tài nguyên khi queue dài; hệ sinh thái streaming nhỏ.
  • Cập nhật: từ 3.9 (2021) có RabbitMQ Streams, queue dạng log không xoá khi đọc, đọc lại theo offset. “Không replay” chỉ đúng với classic/quorum queue. RabbitMQ 4.0 bỏ classic mirrored queue; cần replication thì dùng quorum queue (Raft).

Chọn Kafka hay RabbitMQ cho giao tiếp giữa backend, cùng các cách đẩy dữ liệu realtime xuống client: Giao tiếp trong system design, phần 2.

8.4. NATS

  • Ưu điểm (theo slide): hiệu năng thô cao, routing theo subject (orders.*), một binary nhỏ, ít việc vận hành.
  • Nhược điểm (theo slide): queue group chia ngẫu nhiên nên mất thứ tự; at-most-once.
  • Cập nhật: at-most-once chỉ đúng với core NATS. Từ 2.2 (2021), JetStream thêm lưu trữ bền, replication, ack, replay, at-least-once và dedupe theo message id. “Nhanh hơn Kafka” thường là so core NATS (không ghi đĩa) với Kafka (log có replication), không công bằng.

8.5. Pulsar

  • Ưu điểm: mô hình topic/partition giống Kafka nhưng tách broker không trạng thái khỏi lớp lưu trữ BookKeeper, nên thêm broker không phải chuyển dữ liệu. Có sẵn cả queue (shared subscription, ack từng message) lẫn streaming, multi-tenancy, geo-replication, tiered storage.
  • Nhược điểm: vận hành nặng (broker + BookKeeper + metadata store), hệ sinh thái nhỏ hơn Kafka.
  • Lưu ý: slide ghi hiệu năng “kém Kafka”; điểm này còn tranh cãi và phụ thuộc người làm benchmark. Kafka cũng đã có tiered storage (KIP-405, GA từ 3.9).

8.6. Kafka

Kafka là log phân tán: message được append vào partition và giữ theo retention (ngày, tuần, hoặc mãi mãi với log compaction), không xoá khi đọc. Mỗi consumer group tự giữ offset (vị trí đã đọc tới). Kafka phổ biến nhưng không phải viên đạn bạc.

  • Được: throughput rất cao, replay, nhiều nhóm consumer độc lập, thứ tự trong partition, hệ sinh thái lớn nhất (Connect, Streams, Schema Registry, nhiều dịch vụ managed).
  • Mất: latency không thấp nhất; không có sẵn routing phức tạp, delay message hay priority; số consumer song song bị giới hạn bởi số partition; vận hành cluster không đơn giản (dù KRaft từ Kafka 4.0 đã bỏ ZooKeeper).

Ví dụ Kafka làm đường vào cho 333K heartbeat/s, mỗi worker giữ timer theo partition: case study liveness cho 1 triệu thiết bị IoT.

Bài tập

Bài 1: Chọn broker cho ba hệ thống

Chọn broker và giải thích theo thứ tự delivery guarantee → chức năng → hiệu năng → mở rộng → hệ sinh thái:

  • (a) Một shop nhỏ, một service Spring Boot + PostgreSQL, cần gửi email sau khi đặt hàng, khoảng 2.000 đơn/ngày.
  • (b) Hệ thống tracking hành vi người dùng, 200.000 event/giây, nhiều team cùng dùng, cần đọc lại 7 ngày.
  • (c) Hệ thống xử lý tác vụ nền có độ ưu tiên (VIP xử lý trước) và hẹn giờ chạy sau 15 phút.
Lời giải Bài 1: bảng database, Kafka, RabbitMQ
  • (a) Bảng database làm queue (hoặc outbox + SKIP LOCKED). Cần at-least-once và nhất quán với đơn hàng: ghi đơn và job email trong cùng transaction là đảm bảo tốt nhất có thể. 2.000 đơn/ngày là quá nhỏ để biện minh cho một cluster broker. Email gửi lại hai lần thì chịu được, nhưng vẫn nên lưu email_sent_at để tránh.
  • (b) Kafka. Throughput cao, retention 7 ngày để replay, nhiều team là nhiều consumer group độc lập, hệ sinh thái Connect để đẩy vào warehouse. Delivery: at-least-once là đủ, có thể nới acks=1 nếu chấp nhận mất rất ít.
  • (c) RabbitMQ. Có priority queue và delay message (plugin delayed message exchange hoặc TTL + dead letter exchange), ack từng message, routing theo loại tác vụ. Kafka không có priority và delay sẵn; làm giả bằng nhiều topic và consumer tự chờ là phức tạp không cần thiết.

Ghi nhớ

  • Kể được bốn bài toán của request-response và lợi ích tương ứng mà broker mang lại.
  • Giải thích được vì sao save() rồi send() có thể lệch nhau, và outbox sửa nó thế nào.
  • Phân biệt được event, command và response bằng một ví dụ.
  • Nói được thứ tự năm tiêu chí chọn broker và vì sao hiệu năng không đứng đầu.
  • Biết khi nào một bảng database với SKIP LOCKED là đủ, và khi nào phải chuyển sang broker.

Câu hỏi phỏng vấn

Junior

Message broker là gì và giải quyết vấn đề gì?

Là thành phần trung gian nhận message từ producer và chuyển tới consumer, để các service không gọi trực tiếp nhau.

Nó giải bốn vấn đề của request-response: phải chờ (bất đồng bộ), phải biết nhau và chết theo nhau (decoupling), thêm bên nhận phải sửa bên gửi (fan-out), traffic đột biến (làm phẳng tải).

Queue (point-to-point) khác pub/sub thế nào?

Queue: mỗi message chỉ được một consumer xử lý. Pub/sub: mỗi nhóm subscriber đều nhận đủ mọi message.

Trong queue, các consumer chia nhau việc. Kafka gộp cả hai: các consumer group khác nhau là pub/sub, các consumer trong cùng group là queue.

Push và pull khác nhau thế nào?

Push: broker chủ động đẩy message tới consumer. Pull: consumer tự hỏi broker để lấy message.

RabbitMQ là push, có prefetch để giới hạn số message chưa ack. Kafka là pull (poll). Pull cho consumer tự kiểm soát tốc độ và gom batch, không bị dồn khi chậm. Push cho latency thấp hơn khi tải nhẹ nhưng cần cơ chế backpressure (báo bên gửi chậm lại).

At-most-once, at-least-once, exactly-once nghĩa là gì?

At-most-once: có thể mất, không trùng. At-least-once: không mất, có thể trùng. Exactly-once: mỗi message có tác dụng đúng một lần.

  • At-most-once: ack trước rồi mới xử lý.
  • At-least-once: xử lý xong rồi mới ack; crash giữa hai bước thì nhận lại.
  • Exactly-once: trên thực tế chỉ đạt được trong phạm vi hẹp (ví dụ transaction đọc-ghi trong Kafka) hoặc bằng at-least-once kết hợp consumer idempotent.

Mid

Event khác command và response thế nào?

Event là sự việc đã xảy ra, bất biến, ai quan tâm thì nghe. Command là mệnh lệnh cho một bên cụ thể. Response là câu trả lời cho đúng bên đã hỏi.

Response đồng bộ, giá trị có thể đổi theo thời gian. Event đặt tên ở thì quá khứ (OrderPlaced), có giá trị cho nhiều service, bên phát không quan tâm ai xử lý. Command (ReserveStock) thường mong có kết quả.

Phân biệt rõ giúp thiết kế topic: event fan-out thoải mái, command thường đi một chiều tới đúng một service sở hữu nó.

Bạn chọn message broker theo tiêu chí nào và theo thứ tự nào?

Delivery guarantee → chức năng → hiệu năng → khả năng mở rộng → hệ sinh thái. Hiệu năng mua thêm được, đảm bảo và chức năng thì không.

  • Delivery guarantee: nghiệp vụ chịu mất hay chịu trùng.
  • Chức năng: routing, delay, priority, replay, thứ tự, retention.
  • Hiệu năng: đo trên workload của mình.
  • Cuối cùng là khả năng mở rộng, hệ sinh thái và năng lực vận hành của team.
Khi nào dùng database làm queue thay vì broker?

Khi tải vừa phải, chỉ một nhóm worker, và cần nhất quán với dữ liệu nghiệp vụ.

Tải vừa phải là vài trăm tới vài nghìn job/giây. Ghi đơn và job trong cùng transaction loại bỏ dual write. Dùng FOR UPDATE SKIP LOCKED, lease locked_until để thu hồi job của worker chết, partial index trên dòng đang chờ. Chuyển sang broker khi cần fan-out, replay, hoặc tải làm database nghẽn.

Senior

Làm sao publish event sau khi ghi database mà không bị lệch?

Dùng transactional outbox: ghi event vào bảng outbox trong cùng transaction với dữ liệu nghiệp vụ, rồi một relay đẩy sang broker.

Không có transaction chung giữa DB và broker nên save() rồi send() là dual write: một bên thành công, bên kia lỗi. Relay là poller dùng SKIP LOCKED, hoặc CDC như Debezium đọc WAL/binlog; nó đẩy sang broker và đánh dấu đã gửi.

Relay giao at-least-once nên consumer phải idempotent (bảng processed message theo event id, hoặc upsert theo khoá nghiệp vụ). Thứ tự giữ được nếu relay đẩy theo thứ tự và dùng key theo aggregate.

Thêm message broker vào hệ thống thì phải trả giá gì?

Trả bằng eventual consistency, message trùng, thứ tự bị giới hạn và độ phức tạp vận hành.

  • Eventual consistency mà nghiệp vụ phải chấp nhận.
  • Message trùng nên consumer phải idempotent.
  • Thứ tự chỉ trong một partition.
  • Poison message cần DLQ.
  • Schema message thành API phải versioning.
  • Debug cần tracing, và phải giám sát consumer lag.

Thiết kế sai thì thành distributed monolith qua message bus.

RabbitMQ và Kafka khác nhau về bản chất thế nào?

RabbitMQ là broker thông minh, consumer đơn giản; Kafka là log phân tán, broker đơn giản, client thông minh.

  • RabbitMQ (classic/quorum queue): broker routing qua exchange, push message, xoá khi ack, theo dõi trạng thái từng message. Mạnh ở routing, priority, delay, task queue.
  • Kafka: message được append và giữ theo retention, consumer tự giữ offset và pull. Mạnh ở throughput, replay, nhiều consumer group độc lập.

RabbitMQ Streams và Kafka share group đang làm hai bên gần nhau hơn, nhưng mô hình mặc định vẫn khác.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
message broker /ˈmesɪdʒ ˈbrəʊkə/ phần mềm trung gian chuyển message “We put a message broker between the order service and its downstream consumers.”
decoupling /diːˈkʌplɪŋ/ tách sự phụ thuộc “Decoupling means a consumer outage doesn’t take the producer down.”
fan-out /ˈfæn aʊt/ một message tới nhiều bên nhận “Pub/sub gives us fan-out without touching the publisher.”
load levelling /ləʊd ˈlevəlɪŋ/ làm phẳng tải “The queue acts as a buffer for load levelling during traffic spikes.”
consumer lag /kənˈsjuːmə læɡ/ độ trễ của consumer so với message mới nhất “We alert when consumer lag exceeds five minutes.”
at-least-once /ət liːst wʌns/ giao ít nhất một lần, có thể trùng “With at-least-once delivery, consumers must be idempotent.”
dual write /ˈdjuːəl raɪt/ ghi vào hai hệ thống không cùng transaction “Saving and then publishing is a dual write that can diverge.”
transactional outbox /trænˈzækʃənl ˈaʊtbɒks/ bảng outbox ghi cùng transaction “The transactional outbox makes the event commit atomically with the order.”
dead letter queue /ded ˈletə kjuː/ hàng chờ cho message lỗi “Poison messages go to a dead letter queue after five retries.”
eventual consistency /ɪˈventʃuəl kənˈsɪstənsi/ nhất quán sau một khoảng thời gian “The inventory view is eventually consistent, usually within a second.”

Ghi chép dựa trên khoá Advanced Backend (Ronin Engineer), viết lại theo cách hiểu của mình.