Cụm bài Microservices trong system design: 1. Ranh giới service · 2. Distributed transaction: 2PC, saga, outbox · 3. Case study: hệ thống liveness
1 triệu thiết bị IoT gửi heartbeat mỗi 3 giây; thiết bị nào im lặng quá ngưỡng thì hệ thống phải báo “mất kết nối”. Đề nghe đơn giản nhưng chứa đủ thứ của system design: ghi rất nhiều, hẹn giờ cho hàng triệu đối tượng, phân vùng trạng thái, và báo động giả khi chính hệ thống bị chậm. Đây là bài tập về nhà của phần microservices, mình tự giải đầy đủ. Cùng đề nhưng đào sâu cấu trúc dữ liệu (ZSET, timing wheel) và hàng đợi giữa các thread (LMAX Disruptor): Hệ thống liveness: từ Redis sorted set đến timing wheel và LMAX Disruptor.
1. Làm rõ yêu cầu
Ý chính: chốt con số và định nghĩa “mất kết nối” trước; đề gốc để mở độ trễ báo động và cách cấu hình ngưỡng.
Chức năng
- Thiết bị gửi heartbeat định kỳ (3 s). Không nhận heartbeat quá ngưỡng → phát cảnh báo thiết bị mất kết nối (đề gốc viết nhầm thành “connected”).
- Ngưỡng cấu hình được theo loại thiết bị (camera 10 s, cảm biến nhiệt 60 s, đồng hồ điện 5 phút).
- (Mình thêm, nên hỏi lại) Báo “kết nối lại” khi thiết bị quay về; xem trạng thái hiện tại của một thiết bị.
Phi chức năng
- 1M thiết bị, có thể lên 5M trong 2 năm.
- Độ trễ báo động: chấp nhận trễ một chút, chốt ≤ 5 s sau thời điểm hết hạn.
- Không báo trùng: một lần offline = một cảnh báo.
- Sẵn sàng cao; mất một worker không được tạo báo động giả hàng loạt.
2. Ước lượng
Ý chính: tính ra hai con số quyết định thiết kế: tải ghi và kích thước trạng thái.
| Đại lượng | Phép tính | Kết quả |
|---|---|---|
| Heartbeat/s | 1.000.000 / 3 | ~333K/s (5M thiết bị: ~1,7M/s) |
| Băng thông vào | 333K × ~100 B | ~33 MB/s |
| Heartbeat/ngày | 333K × 86.400 | ~29 tỷ |
| Trạng thái | 1M × (id 16 B + deadline 8 B + loại + overhead) | ~100 MB |
| Cảnh báo | giả sử 0,1% thiết bị rớt mỗi giờ | ~1.000/giờ, rất nhỏ |
Kết luận: không lưu từng heartbeat vào database quan hệ (29 tỷ dòng/ngày, 333K ghi/s). Trạng thái vừa RAM của một máy, nhưng tải 333K/s nên chia cho vài worker. Nếu cần lịch sử heartbeat để phân tích, đẩy vào kho rẻ (Kafka → S3/ClickHouse theo lô) chứ không nằm trên đường phát hiện.
3. API và luồng vào
Ý chính: đầu vào phải nhẹ và chịu được 333K kết nối/s; giao thức hợp IoT là MQTT hoặc UDP, HTTP thì gom lô.
- MQTT (giao thức pub/sub nhẹ cho IoT, giữ kết nối lâu): thiết bị publish vào topic
hb/{deviceId}. Broker MQTT (EMQX, HiveMQ) có sẵn sự kiện “client disconnected” và Last Will, nhưng mất kết nối TCP chưa chắc là thiết bị chết, và nhiều thiết bị chỉ kết nối ngắn. Vẫn cần lớp liveness riêng. - HTTP:
POST /v1/heartbeats {deviceId, seq, sentAt}, trả204. Gateway ghi thẳng vào Kafka, không chạm database. - Dùng thời điểm server nhận để tính deadline, không dùng
sentAtcủa thiết bị (đồng hồ thiết bị lệch).
Bảng cấu hình nhỏ ở PostgreSQL: device(id, type, tenant), device_type(type, timeout_ms). Worker cache bảng này, cập nhật khi có sự kiện đổi cấu hình.
4. Bốn phương án
Ý chính: cả bốn đều “lưu deadline và tìm cái đã hết hạn”; khác nhau ở chỗ lưu và cách tìm. Chọn theo tải ghi và độ phức tạp vận hành.
| Phương án | Ghi mỗi heartbeat | Tìm hết hạn | Chịu 333K/s? | Độ phức tạp |
|---|---|---|---|---|
A. Cột last_seen trong DB + job quét |
UPDATE một dòng |
WHERE last_seen < now() - timeout mỗi vài giây |
Không | Thấp |
| B. Redis ZSET (score = deadline) | ZADD O(log n) |
ZRANGEBYSCORE -inf now mỗi giây |
Có, với Redis Cluster | Trung bình |
| C. Kafka + timing wheel trong worker | Cập nhật map trong RAM | Bánh xe thời gian, O(1) mỗi tick | Có, scale theo partition | Cao hơn |
| D. Delay message cho mỗi heartbeat | Gửi một message hẹn giờ | Message tới hạn thì kiểm tra | Không (333K message hẹn giờ/s) | Trung bình |
4.1. Phương án B: Redis ZSET
Mỗi heartbeat: ZADD live:{shard} <now + timeout(type)> <deviceId> (ghi đè score cũ). Một checker cho mỗi shard chạy mỗi giây: lấy các phần tử có score ≤ now, phát DeviceOffline, rồi ZREM (gộp trong Lua để hai checker không phát trùng).
- 333K
ZADD/s vượt một node Redis (~50K), nên chia 64 ZSETlive:{0..63}theohash(deviceId) % 64rải trên 8–10 master. - Mỗi ZSET ~16K phần tử,
ZADDvà quét rất rẻ. - Đơn giản, dễ giải thích; nhược là toàn bộ tải heartbeat đổ vào Redis và phải vận hành cluster.
4.2. Phương án C: Kafka + timing wheel (chọn)
flowchart LR
D[1M thiết bị] --> GW[Ingest gateway]
GW -->|key = device_id| K[[Kafka heartbeats 64 partition]]
K --> W1[Liveness worker P0..P7]
K --> W2[Liveness worker P8..P15]
W1 --> E[[Kafka device-status]]
W2 --> E
E --> AL[Alert service]
E --> ST[(Trạng thái hiện tại)]
CFG[(device_type timeout)] -.-> W1
- Gateway ghi heartbeat vào topic
heartbeats, key =device_id, nên mọi heartbeat của một thiết bị vào cùng partition và cùng worker. - Mỗi worker giữ
Map<deviceId, deadline>cho các partition của mình và một hashed timing wheel: vòng N ô, mỗi ô là một khoảng thời gian (ví dụ 100 ms); thiết bị được bỏ vào ô ứng với deadline. Mỗi tick, worker xem một ô, thiết bị nào deadline thật sự đã qua (không được gia hạn) thì phátDeviceOffline. - Gia hạn chỉ là cập nhật deadline trong map (lazy: ô cũ vẫn chứa thiết bị, khi tới ô đó thì thấy deadline đã đổi và bỏ qua, hoặc dời sang ô mới).
- Sự kiện trạng thái (
ONLINE → OFFLINE,OFFLINE → ONLINE) ghi vào topicdevice-status(compacted, key = device_id); Alert service đọc topic này.
Vì sao chọn C: không có kho ngoài trên đường nóng (mỗi heartbeat chỉ là ghi Kafka + cập nhật RAM), scale bằng cách thêm partition và worker, và Kafka đã giữ heartbeat nên worker chết thì worker khác đọc lại được.
Timing wheel: vì sao không dùng PriorityQueue hay DelayQueue
DelayQueue/PriorityQueue là heap: thêm và lấy O(log n), và gia hạn một phần tử là xoá rồi thêm lại (xoá phần tử bất kỳ trong heap Java là O(n)). Với 40K thiết bị mỗi worker gia hạn ~40K lần/s, heap chịu được nhưng tốn CPU và rác cho GC.
Hashed timing wheel (Netty HashedWheelTimer, Kafka purgatory dùng biến thể nhiều tầng): thêm O(1), tick O(1) + số phần tử trong ô. Với độ trễ chấp nhận 1–5 s, tick 100 ms × 1.024 ô = vòng 102,4 s; deadline xa hơn (ngưỡng 5 phút) thì dùng thêm vòng (rounds) hoặc wheel nhiều tầng.
Cách gia hạn rẻ nhất: chỉ cập nhật deadline trong HashMap. Khi một ô tới lượt, với mỗi thiết bị trong ô: nếu deadline > now thì dời nó sang ô mới; nếu không thì phát offline. Số lần dời ≈ số lần thiết bị “đáng lẽ hết hạn”, rất ít so với số heartbeat.
void onHeartbeat(String id, long now) {
Entry e = map.computeIfAbsent(id, k -> new Entry(k));
boolean wasOffline = e.offline;
e.deadline = now + timeoutOf(id);
e.offline = false;
if (wasOffline) emit(id, "ONLINE", now);
if (!e.scheduled) { wheel.add(e, e.deadline); e.scheduled = true; }
}
void onTick(long now) {
for (Entry e : wheel.drainSlot(now)) {
if (e.deadline > now) { wheel.add(e, e.deadline); continue; } // đã được gia hạn
e.scheduled = false;
if (!e.offline) { e.offline = true; emit(e.id, "OFFLINE", e.deadline); }
}
}
5. Báo động giả: ba nguồn và cách chặn
Ý chính: hệ liveness hỏng nặng nhất không phải khi bỏ sót, mà khi báo hàng loạt thiết bị offline vì chính nó chậm hoặc vì sự cố mạng chung.
- Rebalance / worker mới nhận partition: worker mới chưa có trạng thái. Không phát offline cho tới khi qua một “thời gian ân hạn” bằng timeout lớn nhất, hoặc dựng lại trạng thái từ topic
device-status(compacted) cộng đọc lại heartbeat vài phút gần nhất. - Mất mạng cả vùng: 50.000 thiết bị cùng một trạm phát sóng rớt cùng lúc. Alert service gom theo
(tenant, vùng, phút): vượt X% thiết bị một vùng thì gửi một sự cố “vùng mất kết nối” thay vì 50.000 tin. - Chập chờn (flapping): thiết bị online/offline liên tục. Chỉ báo offline sau khi hết hạn và chỉ báo online lại sau N heartbeat liên tiếp; hoặc giới hạn số cảnh báo mỗi thiết bị mỗi giờ.
6. Cảnh báo không trùng và trạng thái hiện tại
Ý chính: mỗi lần chuyển trạng thái là một event có id xác định, nên bên gửi cảnh báo khử trùng được dù event tới nhiều lần.
- Event
DeviceOffline{deviceId, offlineSince}: key khử trùng =deviceId + offlineSince. Alert service insert vào bảngalertvới unique trên key này, trùng thì bỏ qua (at-least-once từ Kafka vẫn ra đúng một cảnh báo). - Trạng thái hiện tại cho dashboard: consumer của
device-statuscập nhật bảngdevice_status(device_id, status, since). Số lần đổi trạng thái nhỏ (~1.000/giờ), PostgreSQL thừa sức. last_seencho màn hình chi tiết: worker ghi xuống theo lô mỗi 60 s (1M dòng/phút ≈ 17K dòng/s theo lôUPSERT) hoặc chỉ hỏi worker qua API khi cần.
7. Trình bày trong 45 phút
Ý chính: dành thời gian cho phần thú vị (hẹn giờ hàng triệu đối tượng và báo động giả), không sa đà vào giao thức.
| Phút | Nội dung |
|---|---|
| 0–5 | Hỏi lại yêu cầu: định nghĩa offline, ngưỡng theo loại, độ trễ báo, có báo online lại không, quy mô tăng trưởng |
| 5–10 | Ước lượng: 333K/s, 100 MB trạng thái, loại bỏ “ghi DB mỗi heartbeat” |
| 10–20 | Phương án A → B → C, vẽ sơ đồ C, giải thích partition theo device_id |
| 20–30 | Deep dive timing wheel và gia hạn rẻ |
| 30–40 | Báo động giả: lag/watermark, rebalance, mất mạng cả vùng, flapping; khử trùng cảnh báo |
| 40–45 | Mở rộng lên 5M thiết bị, giám sát chính hệ liveness (lag, số cảnh báo/phút), trade-off B vs C |
Bài tập về nhà còn lại của phần này (bốn điều kiện deadlock và cách tránh đơn giản) đã có lời giải ở bài optimistic và pessimistic locking.
Bài tập
Bài 1: Ngưỡng đổi theo cấu hình
Đề: quản trị đổi ngưỡng của loại “camera” từ 10 s lên 30 s lúc hệ thống đang chạy. Thiết kế để thay đổi có hiệu lực trong vòng 10 s, không báo động giả và không bỏ sót.
Lời giải Bài 1
- Đổi cấu hình ghi vào
device_typevà phát eventDeviceTypeTimeoutChanged{type, timeoutMs, version}lên topic cấu hình (compacted). Mọi worker đọc topic này, cập nhật cache trong vòng vài giây. - Áp dụng lười: deadline mới chỉ dùng từ heartbeat kế tiếp của mỗi thiết bị (tối đa 3 s), nên không cần duyệt 1M entry.
- Tăng ngưỡng (10 → 30 s): thiết bị đang có deadline cũ (ngắn hơn) có thể hết hạn trước heartbeat kế tiếp chỉ khi nó thật sự im lặng > 10 s; khi tick thấy hết hạn, worker tính lại
lastSeen + timeoutMớitrước khi báo, nếu chưa tới thì dời ô. Cần lưulastSeenthay vì chỉdeadline. - Giảm ngưỡng (30 → 10 s): cũng tính lại bằng
lastSeen + timeoutMớiở tick; thiết bị đã im > 10 s sẽ bị báo ngay ở tick kế tiếp của ô hiện tại, chậm nhất bằng khoảng cách tới ô đó. Muốn nhanh hơn, khi nhận event giảm ngưỡng thì quét một lần các thiết bị loại đó (vài chục nghìn) và dời ô. - Ghi
versioncấu hình vào event offline để truy vết vì sao một cảnh báo được phát.
Ghi nhớ
- Tính được 333K heartbeat/s và 100 MB trạng thái, và giải thích vì sao không ghi DB mỗi heartbeat.
- So sánh được bốn phương án (cột last_seen, Redis ZSET, timing wheel, delay message).
- Giải thích được hashed timing wheel và cách gia hạn rẻ.
- Kể được ba nguồn báo động giả (lag, rebalance, mất mạng cả vùng) và cách chặn mỗi nguồn.
- Thiết kế được cảnh báo không trùng bằng key
deviceId + offlineSince.
Câu hỏi phỏng vấn
Mid
Vì sao không lưu last_seen vào PostgreSQL mỗi heartbeat rồi quét định kỳ?
333K UPDATE/s vượt xa khả năng ghi của một node quan hệ (vài nghìn tới vài chục nghìn ghi/s), và mỗi UPDATE tạo phiên bản dòng mới phải VACUUM.
Quét WHERE last_seen < ... mỗi vài giây trên 1M dòng cũng tốn. Dữ liệu này là trạng thái tạm, nên để trong RAM hoặc Redis, DB chỉ lưu thay đổi trạng thái.
Dùng Redis ZSET phát hiện thiết bị hết hạn thế nào?
Score là deadline: mỗi heartbeat ZADD ghi đè score bằng now + timeout; checker mỗi giây ZRANGEBYSCORE key -inf now lấy thiết bị hết hạn, phát cảnh báo và ZREM.
Gộp lấy và xoá trong Lua để hai checker không phát trùng. Chia nhiều ZSET theo hash device_id khi tải vượt một node.
Làm sao để một lần offline chỉ ra đúng một cảnh báo?
Phát event chuyển trạng thái (chỉ khi ONLINE → OFFLINE) và khử trùng ở bên gửi cảnh báo bằng key deviceId + offlineSince với ràng buộc unique.
Kafka giao at-least-once nên event có thể tới hai lần; key xác định giúp bên nhận idempotent.
Senior
Consumer Kafka bị trễ 30 giây. Hệ liveness của bạn phản ứng thế nào?
Nó không được báo offline hàng loạt: deadline tính theo thời gian dữ liệu và chỉ hết hạn tới watermark của partition; lag vượt ngưỡng thì tạm ngừng phát hiện cho partition đó và báo một sự cố hạ tầng.
Sau khi đuổi kịp, worker xử lý heartbeat tồn đọng, deadline được gia hạn đúng, chỉ thiết bị thật sự im lặng mới bị báo.
Vì sao partition theo device_id quan trọng trong thiết kế này?
Mọi heartbeat của một thiết bị vào cùng partition, nên đúng một worker giữ trạng thái và deadline của thiết bị đó, không cần khoá hay kho dùng chung.
Scale bằng cách thêm partition và worker. Cái giá: rebalance làm worker mới thiếu trạng thái, phải có thời gian ân hạn hoặc dựng lại từ topic trạng thái compacted.
Cả một vùng mất mạng, 50.000 thiết bị offline cùng lúc. Bạn xử lý cảnh báo thế nào?
Gom theo vùng/tenant trong cửa sổ ngắn: vượt ngưỡng tỉ lệ thì phát một sự cố “vùng mất kết nối” và giữ lại cảnh báo từng thiết bị.
Khi vùng phục hồi, đóng sự cố và chỉ báo các thiết bị vẫn còn offline sau đó. Cần thông tin vùng (trạm, gateway) trong dữ liệu thiết bị để gom được.
Bạn mở rộng thiết kế lên 5 triệu thiết bị thế nào?
Tải lên ~1,7M heartbeat/s và trạng thái ~500 MB: tăng partition Kafka (ví dụ 256) và số worker; gateway scale ngang; timing wheel không đổi.
Kiểm tra băng thông (~170 MB/s vào), cân nhắc gom heartbeat ở gateway (một record chứa nhiều thiết bị), và giảm tần suất heartbeat cho loại thiết bị có ngưỡng dài (5 phút thì gửi 60 s một lần là đủ).
Từ vựng tiếng Anh
| Term | Phát âm | Nghĩa | Ví dụ câu tiếng Anh dùng trong phỏng vấn |
|---|---|---|---|
| heartbeat | /ˈhɑːrt.biːt/ | tín hiệu định kỳ báo còn sống | “Each device sends a heartbeat every three seconds.” |
| liveness | /ˈlaɪv.nəs/ | trạng thái còn sống | “The liveness service only emits state transitions.” |
| timing wheel | /ˈtaɪ.mɪŋ wiːl/ | bánh xe hẹn giờ | “A hashed timing wheel gives O(1) timer inserts.” |
| deadline | /ˈded.laɪn/ | hạn chót | “Every heartbeat pushes the device’s deadline forward.” |
| consumer lag | /kənˈsuː.mɚ læɡ/ | độ trễ của consumer | “If consumer lag spikes, we pause offline detection.” |
| watermark | /ˈwɑː.t̬ɚ.mɑːrk/ | mốc thời gian dữ liệu đã xử lý tới | “Timers only fire up to the partition’s watermark.” |
| false alarm | /fɔːls əˈlɑːrm/ | báo động giả | “A rebalance must not cause a flood of false alarms.” |
| flapping | /ˈflæp.ɪŋ/ | chập chờn | “We debounce flapping devices before alerting.” |
| grace period | /ɡreɪs ˈpɪr.i.əd/ | thời gian ân hạn | “A new worker waits one grace period before firing timers.” |
| alert storm | /əˈlɝːt stɔːrm/ | bão cảnh báo | “Grouping by region turns an alert storm into one incident.” |
Ghi chép dựa trên khoá System Design (Ronin Engineer), viết lại theo cách hiểu của mình.