Cụm bài Giao tiếp trong system design: 1. Đường đi của một message, REST hay gRPC · 2. Bất đồng bộ, realtime và case study phát hiện gian lận
Phần 1 nói về gọi đồng bộ giữa backend. Phần này đi tiếp hai hướng còn lại: backend nói với nhau qua message broker, và server chủ động đẩy dữ liệu xuống trình duyệt hay thiết bị. Cuối bài là case study phát hiện gian lận, nơi cả hai kiểu giao tiếp cùng xuất hiện trong một thiết kế.
1. Bất đồng bộ giữa backend: Kafka hay RabbitMQ
Ý chính: cả hai đều là message broker, nhưng Kafka thiên về event streaming (throughput cao, giữ dữ liệu, chấp nhận latency vừa phải), còn RabbitMQ thiên về định tuyến và tính năng hàng đợi (routing key, TTL, delay, RPC).
| Kafka | RabbitMQ | |
|---|---|---|
| Delivery guarantee | At-most-once, at-least-once; exactly-once trong phạm vi Kafka | At-most-once, at-least-once (publisher confirm + ack) |
| Throughput | Rất cao, scale bằng số partition (hàng triệu message/giây cho cả cụm) | Thấp hơn một bậc (hàng chục tới vài trăm nghìn/giây cho cả cụm, tuỳ loại queue) |
| Latency | Ghi tuần tự xuống đĩa, consumer kéo (pull), thường vài ms | Giữ trong RAM trước, broker đẩy (push), latency thấp ở tải vừa |
| Định tuyến | Chỉ theo topic và key, không lọc sẵn | Exchange, routing key, header: định tuyến và lọc linh hoạt |
| Lưu giữ | Giữ theo thời gian hoặc dung lượng, đọc lại được | Xoá khi đã được xử lý (trừ RabbitMQ Streams) |
| Tính năng khác | Hệ sinh thái lớn: Connect, Streams, schema registry | Có sẵn dead letter, TTL, delay, priority, request-reply |
Lý do chọn broker, các bài toán mà gọi đồng bộ không giải được, và cách chọn giữa database-as-queue, Redis, RabbitMQ, Kafka đã có ở bài message broker và cách chọn. Vì sao Kafka nhanh thì ở bài Kafka vì sao nhanh và bền.
2. Server đẩy dữ liệu xuống client
Ý chính: HTTP vốn là client hỏi, server trả lời. Muốn server chủ động báo, có bốn cách từ đơn giản tới mạnh: polling, long polling, Server-Sent Events, WebSocket. Chọn cái đơn giản nhất đủ cho nhu cầu.
| Cách | Hoạt động | Hợp với | Điểm yếu |
|---|---|---|---|
| Polling | Client hỏi mỗi N giây | Cập nhật thưa, chấp nhận trễ | Tốn request rỗng, trễ tới N giây |
| Long polling | Server giữ request tới khi có dữ liệu hoặc hết hạn | Thông báo khi không dùng được SSE, WebSocket | Mỗi lần có dữ liệu phải mở lại request |
| SSE | Một response HTTP mở mãi, server ghi từng sự kiện | Server → client một chiều: thông báo, giá, tiến độ | Một chiều; chỉ text |
| WebSocket | Nâng cấp từ HTTP thành kênh hai chiều | Chat, game, cộng tác, order book có đặt lệnh | Có trạng thái, khó scale và cân bằng tải hơn |
flowchart LR
P[Service nghiệp vụ] --> K[Kafka hoặc Redis pub/sub]
K --> G1[Gateway WebSocket 1]
K --> G2[Gateway WebSocket 2]
G1 --> C1[Client A]
G1 --> C2[Client B]
G2 --> C3[Client C]
Kiến trúc thường gặp: một lớp gateway WebSocket chỉ giữ kết nối, đăng ký nhận message từ Kafka hoặc Redis pub/sub, rồi đẩy xuống đúng client. Service nghiệp vụ không cần biết client đang nối vào node nào.
Scale WebSocket tới một triệu kết nối
- Bộ nhớ: mỗi kết nối tốn buffer và trạng thái, thường 10–50 KB tuỳ framework. 1 triệu kết nối × 20 KB ≈ 20 GB, chia cho 10–20 node gateway.
- File descriptor: mỗi kết nối là một fd. Tăng
ulimit -nvàfs.file-max; một node giữ vài trăm nghìn kết nối là bình thường với Netty. - Load balancer: đặt idle timeout dài hơn chu kỳ heartbeat (ví dụ heartbeat 30 giây, timeout 60–120 giây), nếu không LB sẽ cắt kết nối rảnh.
- Phân phối message: gateway cần biết user nào nối vào node nào. Cách đơn giản: mọi gateway nghe chung một topic, tự lọc user của mình (tốn băng thông khi đông). Cách tốt hơn: lưu bản đồ
user → gatewaytrong Redis và gửi thẳng tới node đó. - Bão kết nối lại: khi một node chết, hàng trăm nghìn client cùng kết nối lại một lúc. Client phải chờ ngẫu nhiên (backoff có jitter), server rate limit ở bước bắt tay.
- Triển khai: rút dần kết nối khỏi node trước khi tắt (drain), báo client chuyển node có kiểm soát.
3. Phát tới rất nhiều thiết bị: MQTT và order book
Ý chính: khi một sự kiện cần tới hàng nghìn tới hàng triệu thiết bị (bật mọi thiết bị IoT, cập nhật order book cho mọi người đang xem), dùng mô hình publish/subscribe qua broker, ví dụ MQTT. Trình duyệt nói MQTT qua WebSocket.
MQTT là giao thức pub/sub nhẹ, sinh ra cho thiết bị yếu và mạng chập chờn: client đăng ký topic (ví dụ home/42/light), broker (EMQX, Mosquitto, HiveMQ) phát message tới mọi client đăng ký. Header nhỏ nhất chỉ 2 byte, bất đồng bộ, hỗ trợ broadcast.
Order book (sổ lệnh mua bán trên sàn) cập nhật hàng trăm lần mỗi giây. Đẩy nguyên sổ mỗi lần là lãng phí. Cách làm phổ biến:
- Client tải snapshot đầy đủ kèm số thứ tự (sequence).
- Sau đó chỉ nhận diff (mức giá nào đổi khối lượng), mỗi diff có sequence tăng dần.
- Thấy hụt sequence thì tải lại snapshot.
- Server gộp cập nhật (conflate) theo nhịp, ví dụ 100 ms một lần, vì mắt người không đọc nhanh hơn thế.
4. QUIC: nói cho đúng
Ý chính: QUIC chạy trên UDP, gộp bắt tay transport và TLS 1.3 nên kết nối nhanh hơn, và mỗi stream độc lập nên mất một gói không chặn các stream khác. Đó là nền của HTTP/3, và EMQX dùng nó cho MQTT trên mạng di động.
- Hiệu năng: ít round trip để thiết lập kết nối (1 RTT, kết nối lại có thể 0-RTT); hết nghẽn đầu hàng (head-of-line blocking) của TCP; đổi mạng (Wi-Fi sang 4G) không mất kết nối nhờ connection ID.
- Điểm yếu: UDP chưa được router và hệ điều hành tối ưu bằng TCP (một số mạng doanh nghiệp còn chặn UDP); mã hoá từng gói tốn CPU hơn.
Bảng so sánh HTTP/1.1, 2 và 3 ở bài web và HTTP.
5. Case study: hệ thống phát hiện gian lận thanh toán
Ý chính: chấm điểm rủi ro đồng bộ trong đường thanh toán với ngân sách thời gian chặt, còn tính đặc trưng, học từ phản hồi và điều tra thì làm bất đồng bộ qua Kafka. Quyết định khó nhất là khi hệ thống chấm điểm lỗi thì cho qua hay chặn.
Slide chỉ để tiêu đề cho phần thực hành này. Dưới đây là lời giải của mình theo bốn bước. Phía Kafka của bài toán (topic, key, cửa sổ trượt trong Redis, đếm idempotent khi Kafka giao lại) được đào sâu ở case study phát hiện gian lận với Kafka và Redis.
Yêu cầu.
- FR (chọn ba): (1) chấm rủi ro mỗi giao dịch trước khi trừ tiền, trả về cho qua, xem xét hoặc chặn; (2) đội rủi ro thêm và sửa luật mà không cần deploy; (3) ghi nhận phản hồi (chargeback, khách báo mất thẻ) để cải thiện mô hình.
- NFR: chấm điểm p99 < 100 ms (cả luồng thanh toán có ngân sách ~1 giây); availability 99,99% cho API chấm điểm; không chấm một giao dịch hai lần với hai kết quả khác nhau; luật mới có hiệu lực trong 1 phút.
Ước lượng. 50 triệu giao dịch/ngày → ~600 TPS trung bình, đỉnh ×5 ≈ 3K TPS. Mỗi lần chấm đọc ~20 bộ đếm (số giao dịch của thẻ trong 1 giờ, số thẻ khác nhau trên một thiết bị…) → ~60K lệnh Redis/giây ở đỉnh, một cụm Redis nhỏ là đủ. Sự kiện ~1 KB × 50 triệu = 50 GB/ngày, ~18 TB/năm vào kho phân tích.
API.
POST /v1/risk/assessmentsvớitransaction_id,user_id,amount,currency,card_fingerprint,device_id,ip,merchant_id→{decision: ALLOW|REVIEW|DENY, score, reasons[]}. Idempotent theotransaction_id: gọi lại trả đúng quyết định cũ.POST /v1/risk/feedbackvớitransaction_id,label(FRAUD, LEGIT),source(chargeback, analyst).
Data model. risk_decision(transaction_id PK, score, decision, rule_hits jsonb, model_version, created_at); rule(id, expression, action, priority, enabled, version); label(transaction_id, label, source, created_at). Bộ đếm vận tốc nằm trong Redis; lịch sử đầy đủ nằm ở kho phân tích.
flowchart LR
PAY[Payment service] -->|gRPC, deadline 100 ms| RISK[Risk API]
RISK --> RULE[Rule engine]
RISK --> FEAT[(Redis: bộ đếm vận tốc)]
RISK --> MODEL[Model scoring]
RISK -->|ghi quyết định| DB[(PostgreSQL)]
RISK -->|sự kiện| K[Kafka]
K --> STREAM[Stream processor]
STREAM --> FEAT
K --> DW[(Kho phân tích)]
DW --> TRAIN[Huấn luyện offline]
TRAIN --> MODEL
Deep dive.
- Đường đồng bộ ngắn nhất có thể: Risk API chỉ đọc đặc trưng đã tính sẵn trong Redis, chạy luật trong bộ nhớ, gọi mô hình nằm cùng process hoặc cùng máy. Không truy vấn database phân tích trên đường này.
- Bộ đếm vận tốc: stream processor (Kafka Streams, Flink) cập nhật bộ đếm theo cửa sổ trượt sau mỗi giao dịch. Risk API cũng tăng các bộ đếm quan trọng nhất ngay khi chấm, vì hai giao dịch gian lận cách nhau 200 ms thì stream có thể chưa kịp.
- Luật thay đổi nóng: luật lưu trong database có version, Risk API tải lại mỗi 30 giây hoặc khi nhận sự kiện “luật đổi” qua Kafka. Chạy luật mới ở chế độ “chỉ ghi nhận” (shadow) trước khi cho phép chặn thật.
- Vòng phản hồi: chargeback về sau vài tuần, được ghi thành nhãn, dùng huấn luyện lại mô hình offline. Mô hình mới cũng chạy shadow rồi canary.
- Trường hợp REVIEW: giao dịch được giữ lại, đi vào hàng đợi điều tra; kết quả điều tra cũng thành nhãn.
Bộ đếm vận tốc bằng Redis và cách trình bày trong 45 phút
Đếm số giao dịch của một thẻ trong 1 giờ bằng sorted set (cửa sổ trượt chính xác):
// Thực hiện trong một pipeline hoặc Lua script để giữ một round trip
String key = "vel:card:" + cardFingerprint + ":1h";
long now = System.currentTimeMillis();
redis.zadd(key, now, transactionId); // thêm giao dịch hiện tại
redis.zremrangeByScore(key, 0, now - 3_600_000); // bỏ phần ngoài cửa sổ 1 giờ
long count = redis.zcard(key); // số giao dịch trong 1 giờ qua
redis.expire(key, 3_700); // tự dọn khi thẻ không còn giao dịch
Sorted set chính xác nhưng tốn bộ nhớ theo số giao dịch. Với bộ đếm lớn, dùng các ô theo phút (INCR vào khoá theo phút, cộng 60 ô gần nhất) để đổi một chút độ chính xác lấy bộ nhớ cố định. Đếm số giá trị khác nhau (số thẻ trên một thiết bị) thì dùng HyperLogLog.
Phân bổ 45 phút:
| Phút | Nội dung |
|---|---|
| 0–7 | Ba FR, NFR có số (p99 100 ms, 99,99%), ngoài phạm vi: KYC, chống rửa tiền |
| 7–11 | Ước lượng: 3K TPS đỉnh, 60K lệnh Redis/giây, 50 GB/ngày |
| 11–22 | API, data model, sơ đồ đồng bộ và bất đồng bộ |
| 22–38 | Deep dive: ngân sách latency, bộ đếm vận tốc, luật thay đổi nóng, fail-open có điều kiện |
| 38–45 | Bottleneck (Redis nóng theo thẻ phổ biến, model chậm), giám sát tỉ lệ chặn, vòng phản hồi |
Chỉ số cần theo dõi khi vận hành: tỉ lệ chặn, tỉ lệ REVIEW, tỉ lệ gian lận lọt (từ chargeback), p99 của Risk API, và số lần rơi vào fail-open. Tỉ lệ chặn đột ngột tăng thường là lỗi luật, không phải gian lận tăng.
Bottleneck và lỗi. Redis là phụ thuộc nóng nhất: chạy cụm có replica, đặt timeout vài ms, thiếu đặc trưng thì chấm bằng phần còn lại. Mô hình chậm làm vỡ ngân sách: giới hạn thời gian mô hình, quá hạn thì chỉ dùng luật. Kafka chậm chỉ làm đặc trưng cũ đi vài giây, không chặn thanh toán.
Bài tập
Bài 1: Chọn cơ chế đẩy cho ba tình huống
Đề (tự đặt): chọn polling, long polling, SSE, WebSocket hoặc MQTT, và giải thích: (a) số thông báo chưa đọc trên web; (b) tài liệu soạn chung nhiều người; (c) tỉ số bóng đá trực tiếp cho 1 triệu người xem trên app.
Lời giải bài 1
- (a) SSE, hoặc polling 30–60 giây nếu muốn đơn giản tối đa. Dữ liệu một chiều, ít, trễ vài giây chấp nhận được. SSE đi qua mọi proxy và tự kết nối lại.
- (b) WebSocket. Hai chiều, liên tục, mỗi thao tác gõ phím là một message nhỏ, cần latency thấp. Thêm thuật toán hợp nhất chỉnh sửa (OT hoặc CRDT) và gắn mọi người cùng tài liệu vào cùng một node hoặc cùng một kênh pub/sub.
- (c) MQTT hoặc SSE qua lớp fan-out, cộng CDN cho phần ít đổi. Một triệu người cùng nhận một message: đây là bài broadcast. Broker pub/sub (MQTT, hoặc gateway SSE nghe Kafka) phát cùng một sự kiện; gộp cập nhật theo nhịp vài giây; client kết nối lại có jitter để tránh bão kết nối khi có bàn thắng.
Ghi nhớ
- So sánh được Kafka và RabbitMQ theo delivery guarantee, throughput, định tuyến, lưu giữ, và biết Kafka có exactly-once trong phạm vi nào.
- Chọn được giữa polling, long polling, SSE, WebSocket cho một tình huống và nói lý do.
- Giải thích được ba mức QoS của MQTT và cách đẩy order book bằng snapshot cộng diff.
- Nói đúng QUIC giải nghẽn đầu hàng thế nào.
- Trình bày được case study phát hiện gian lận: đường đồng bộ, đường bất đồng bộ, và fail-open có điều kiện.
Câu hỏi phỏng vấn
Junior
Polling, long polling và WebSocket khác nhau thế nào?
Polling hỏi định kỳ; long polling hỏi rồi server giữ request tới khi có dữ liệu; WebSocket mở một kênh hai chiều luôn sẵn.
Polling đơn giản nhưng tốn và trễ; WebSocket nhanh nhất nhưng có trạng thái, khó scale hơn.
Khi nào dùng SSE thay vì WebSocket?
Khi chỉ cần server đẩy xuống client một chiều, như thông báo hay giá cập nhật.
SSE là HTTP thường nên đi qua proxy dễ, trình duyệt tự kết nối lại và nhận tiếp từ Last-Event-ID.
Mid
Kafka hay RabbitMQ cho một hệ thống xử lý đơn hàng?
Kafka nếu cần throughput cao, nhiều consumer đọc cùng sự kiện, và đọc lại lịch sử; RabbitMQ nếu cần định tuyến phức tạp, delay, TTL, priority ở mức hàng đợi.
Với đơn hàng, sự kiện “đơn đã tạo” cần nhiều service cùng nghe và có thể phải xử lý lại, nên Kafka thường hợp hơn. Tác vụ “gửi email sau 30 phút” thì RabbitMQ với delay làm gọn hơn.
Kafka có exactly-once không?
Có, trong phạm vi Kafka: idempotent producer chống ghi trùng, transaction gói đọc, ghi và commit offset thành một khối.
Ra ngoài Kafka (ghi database, gọi API) thì vẫn là at-least-once, nên consumer phải idempotent, ví dụ bảng ghi nhận message đã xử lý với khoá unique.
Đẩy order book tới hàng trăm nghìn người xem thế nào?
Gửi snapshot kèm sequence một lần, sau đó chỉ gửi diff có sequence tăng dần, gộp cập nhật theo nhịp khoảng 100 ms, và phát qua pub/sub.
Client thấy hụt sequence thì tải lại snapshot. Gộp cập nhật giảm băng thông hàng chục lần mà người xem không thấy khác.
Senior
Scale WebSocket lên một triệu kết nối cần lo gì?
Bộ nhớ và file descriptor mỗi node, idle timeout của load balancer, cách định tuyến message tới đúng node đang giữ user, và bão kết nối lại khi một node chết.
Tách lớp gateway chỉ giữ kết nối, lưu bản đồ user → gateway trong Redis, heartbeat, client backoff có jitter, và drain kết nối trước khi deploy.
Hệ thống chấm điểm gian lận quá hạn. Payment service nên cho qua hay chặn?
Fail-open có điều kiện: áp luật dự phòng tối giản ngay trong Payment service, cho qua giao dịch nhỏ, giao dịch lớn thì yêu cầu xác thực thêm hoặc chuyển xem xét, rồi chấm lại tất cả bất đồng bộ.
Chặn hết thì mất doanh thu mỗi lần hệ thống chấm điểm có sự cố; cho qua hết thì kẻ gian khai thác đúng lúc đó. Theo dõi số lần rơi vào fail-open như một chỉ số chính.
Vì sao không tính toàn bộ đặc trưng gian lận bằng stream processor?
Vì stream có độ trễ vài trăm ms tới vài giây, trong khi kẻ gian bắn nhiều giao dịch cách nhau rất ngắn; vài bộ đếm quan trọng nhất phải được tăng ngay trong lúc chấm.
Phần còn lại (đặc trưng phức tạp, cửa sổ dài) để stream tính là hợp lý, vì nó không nằm trên đường thanh toán.
Từ vựng tiếng Anh
| Term | Phát âm | Nghĩa | Ví dụ câu tiếng Anh dùng trong phỏng vấn |
|---|---|---|---|
| event streaming | /ɪˈvent ˈstriː.mɪŋ/ | luồng sự kiện | “Kafka is an event streaming platform, not just a queue.” |
| retention | /rɪˈten.ʃən/ | thời gian giữ dữ liệu | “With seven days of retention we can replay events.” |
| long polling | /lɔːŋ ˈpoʊ.lɪŋ/ | hỏi và chờ lâu | “Long polling holds the request open until there’s data.” |
| server-sent events | /ˈsɝː.vɚ sent ɪˈvents/ | server đẩy sự kiện một chiều | “For notifications, server-sent events are enough.” |
| fan-out | /ˈfæn aʊt/ | phát một message tới nhiều nơi | “The gateway layer handles fan-out to connected clients.” |
| reconnect storm | /ˌriː.kəˈnekt stɔːrm/ | bão kết nối lại | “Jittered backoff prevents a reconnect storm.” |
| conflation | /kənˈfleɪ.ʃən/ | gộp nhiều cập nhật làm một | “We conflate order book updates every hundred milliseconds.” |
| fail open | /feɪl ˈoʊ.pən/ | lỗi thì cho qua | “If scoring times out, we fail open for small amounts.” |
| velocity check | /vəˈlɑː.sə.t̬i tʃek/ | kiểm tra tần suất giao dịch | “A velocity check counts card transactions in the last hour.” |
| shadow mode | /ˈʃæd.oʊ moʊd/ | chạy thử chỉ ghi nhận | “New rules run in shadow mode before they can block.” |
Ghi chép dựa trên khoá System Design (Ronin Engineer), viết lại theo cách hiểu của mình.