Đến nội dung chính
notes.vinhnq.com

Tìm kiếm

System DesignSenior15 phút đọc

Thiết kế hệ thống chat kiểu Discord: WebSocket gateway, lưu tin nhắn và fan-out cho server lớn

Ôn 10 thẻ
Trong bài này

Đây là lời giải của mình cho bài tập về nhà sau buổi news feed: thiết kế hệ thống nhắn tin kiểu Discord. Khác với feed, chat cần giao tin trong vài trăm mili giây qua kết nối luôn mở, giữ đúng thứ tự trong từng kênh, và lưu lịch sử vô hạn. Đọc xong, bạn trình bày được thiết kế từ gateway tới storage và các ca khó như server một triệu thành viên.

1. Hỏi yêu cầu

Ý chính: chốt phạm vi: server (guild) có nhiều kênh, tin nhắn riêng (DM), giao tin thời gian thực, lịch sử cuộn ngược, trạng thái online, số tin chưa đọc. Voice, video và file lớn để ngoài phạm vi.

Chức năng:

  • User tham gia server; server có nhiều kênh chữ; có DM một-một và nhóm nhỏ.
  • Gửi tin, mọi thành viên đang online của kênh thấy trong < 500 ms.
  • Cuộn xem lịch sử không giới hạn, sửa và xoá tin.
  • Presence: online/offline/idle. Typing indicator là điểm cộng.
  • Số tin chưa đọc mỗi kênh, @mention gửi push notification khi offline.

Phi chức năng: độ trễ giao tin p99 < 500 ms; đúng thứ tự trong một kênh; không mất tin đã báo “gửi thành công”; sẵn sàng cao; server lớn tới 1 triệu thành viên.

2. Ước lượng

Ý chính: thứ đắt không phải số tin ghi (35K/giây) mà là số lần giao (mỗi tin tới hàng chục đến hàng trăm nghìn người) và số kết nối luôn mở (10M).

Giả định (nói rõ): 150M MAU, 30M DAU, đỉnh 10M kết nối đồng thời, mỗi DAU gửi 100 tin/ngày, tin trung bình 300 byte gồm metadata, mỗi tin tới trung bình 20 người đang online.

  • Ghi tin: 30M × 100 = 3 × 10⁹/ngày ÷ 10⁵ ≈ 30–35K/giây, đỉnh ×3 ≈ 100K/giây.
  • Giao tin: 35K × 20 ≈ 700K lần giao/giây, đỉnh ~2M/giây.
  • Lưu trữ: 3 × 10⁹ × 300 B ≈ 900 GB/ngày ≈ 330 TB/năm; ×3 replica ≈ 1 PB/năm. Không xoá tin cũ, nên storage phải thêm node trực tuyến dễ dàng.
  • Kết nối: 10M WebSocket; một node gateway giữ ~50K kết nối (mỗi kết nối vài chục KB bộ nhớ) → ~200 node. Heartbeat 40 giây/lần → 10M / 40 ≈ 250K heartbeat/giây.

3. Kiến trúc tổng thể

Ý chính: tách đường gửi (REST, stateless, dễ mở rộng) khỏi đường nhận (WebSocket, giữ trạng thái kết nối). Ở giữa là message service ghi vào ScyllaDB và đẩy sự kiện qua một lớp fan-out biết ai đang online ở đâu.

flowchart LR
  C[Client] -->|POST tin nhắn| API[API / Message service]
  API --> DB[(ScyllaDB: messages)]
  API --> K[Kafka: theo guild_id]
  K --> GS[Guild service: ai online, ở node nào]
  GS --> G1[Gateway node 1]
  GS --> G2[Gateway node N]
  G1 -->|WebSocket| C
  GS -.->|offline + mention| PN[Push notification]
  C -->|WebSocket: heartbeat, presence| G1
  • Gateway: giữ WebSocket, xác thực lúc kết nối, nhận heartbeat, đẩy sự kiện xuống client. Không chứa logic nghiệp vụ. I/O kiểu epoll để một node giữ hàng chục nghìn kết nối (xem I/O model và epoll).
  • Message service: kiểm quyền (cache), cấp message_id, ghi DB, phát sự kiện vào Kafka partition theo guild_id (giữ thứ tự trong một guild).
  • Guild service: chia theo guild_id bằng consistent hashing. Mỗi instance giữ trong RAM danh sách phiên online của các guild nó sở hữu, và phiên đó nằm ở gateway node nào.
  • Session registry: Redis session:{user_id} → {gateway_node, session_id}, TTL làm mới theo heartbeat.

4. Data model và thứ tự tin nhắn

Ý chính: đọc lịch sử luôn là “50 tin trước tin X của kênh Y”, nên partition theo kênh và cửa sổ thời gian, clustering theo message_id giảm dần. Snowflake cho thứ tự và cursor miễn phí.

-- ScyllaDB (CQL)
CREATE TABLE messages (
  channel_id  bigint,
  bucket      int,          -- số cửa sổ 10 ngày, tính từ timestamp trong message_id
  message_id  bigint,       -- Snowflake
  author_id   bigint,
  content     text,
  edited_at   timestamp,
  deleted     boolean,
  PRIMARY KEY ((channel_id, bucket), message_id)
) WITH CLUSTERING ORDER BY (message_id DESC);

CREATE TABLE read_states (  -- trạng thái đã đọc
  user_id bigint, channel_id bigint, last_read_id bigint, mention_count int,
  PRIMARY KEY (user_id, channel_id)
);

Guild, kênh, vai trò và quyền là dữ liệu quan hệ, ít ghi: để ở PostgreSQL và cache mạnh. Danh sách thành viên của guild lớn (1M dòng) để ở ScyllaDB, partition (guild_id, bucket).

Đọc lịch sử: SELECT ... WHERE channel_id = ? AND bucket = ? AND message_id < ? LIMIT 50. Hết bucket hiện tại thì lùi sang bucket trước. Kênh im lặng lâu có nhiều bucket rỗng: lưu last_message_id của kênh để nhảy thẳng.

Thứ tự: Snowflake gồm thời gian + máy + sequence, nên các tin trong một kênh sắp được theo message_id. Hai tin gửi cùng mili giây từ hai máy có thứ tự tuỳ ý nhưng nhất quán với mọi người xem, đủ cho chat. Client luôn hiển thị theo message_id, không theo thứ tự nhận.

5. Gửi và giao một tin nhắn

Ý chính: client gửi kèm nonce; server ghi DB rồi mới báo thành công; fan-out tới từng gateway node đang có người nhận; client khử trùng theo message_id.

sequenceDiagram
  participant A as Client A
  participant M as Message service
  participant D as ScyllaDB
  participant K as Kafka
  participant G as Guild service
  participant N as Gateway node
  participant B as Client B
  A->>M: POST /channels/42/messages (nonce)
  M->>D: INSERT (QUORUM)
  M-->>A: 200 message_id
  M->>K: MESSAGE_CREATE
  K->>G: sự kiện theo guild
  G->>N: một bản cho mỗi node có người nhận
  N->>B: WebSocket dispatch

Các chi tiết đáng nói:

  • Idempotent khi gửi: mạng chập chờn làm client gửi lại. nonce do client sinh, server nhớ (user_id, nonce) → message_id vài phút; gửi lại trả về tin cũ thay vì tạo tin mới (xem idempotency).
  • Ghi trước, phát sau: chỉ báo thành công khi DB đã nhận ở QUORUM. Nếu phát Kafka thất bại sau khi ghi DB, client khác vẫn thấy tin khi tải lịch sử; muốn chắc chắn hơn thì dùng outbox pattern.
  • Kiểm quyền trước khi giao: guild service lọc người không có quyền xem kênh (quyền theo vai trò, cache theo guild).
  • Offline: thành viên offline bị @mention hoặc nhận DM thì đi qua push notification (APNs/FCM). Số tin chưa đọc tính lúc mở app bằng read_states so với last_message_id của kênh.

6. Server một triệu thành viên

Ý chính: đừng fan-out theo từng user qua mạng. Gom theo gateway node, chỉ giao cho người đang online và đang “đăng ký” kênh đó, và giảm tải presence bằng cách chỉ gửi thông tin người dùng đang nhìn thấy.

  • Fan-out theo node: 100K người online nằm trên ~200 gateway node. Guild service gửi 200 thông điệp, mỗi thông điệp kèm danh sách session; mỗi node tự lặp qua kết nối của mình. Chi phí mạng nội bộ giảm ~500 lần.
  • Chỉ người đang xem: client báo kênh nào đang mở; sự kiện typing và presence chỉ gửi cho người đang mở kênh đó. Tin nhắn mới gửi cho mọi người có quyền xem để cập nhật dấu chưa đọc, nhưng có thể gộp thành sự kiện nhẹ hơn.
  • Presence lười: server 1M người không phát mọi thay đổi online/offline tới mọi người. Chỉ gửi presence của những thành viên đang hiển thị trong danh sách bên phải của client (danh sách được phân trang).
  • Slowmode và rate limit: giới hạn số tin mỗi user mỗi kênh để một kênh không thành nguồn bão.
  • Guild nóng: một instance guild service không đủ sức thì tách guild đó thành nhiều shard theo kênh.

7. Kết nối, presence và kết nối lại

Ý chính: client gửi heartbeat theo chu kỳ do gateway quy định; mất heartbeat thì đóng phiên và báo offline. Kết nối lại trong vài phút thì resume và nhận bù sự kiện; lâu hơn thì tải lại từ last_read_id.

  • Heartbeat khoảng 40 giây một lần. Gateway không nhận đủ thì coi là mất kết nối, đổi presence sau một khoảng ân hạn để tránh nhấp nháy online/offline khi mạng di động chập chờn. Đây đúng là bài liveness và timing wheel: 10M phiên, mỗi gateway node một timing wheel cho phiên của mình.
  • Resume: mỗi sự kiện gửi xuống có số thứ tự trong phiên. Client kết nối lại kèm session_id và số cuối đã nhận; gateway (hoặc một bộ đệm sự kiện vài phút trong Redis) gửi lại phần thiếu.
  • Không resume được: client gọi GET /channels/{id}/messages?after=<id cuối> cho các kênh đang mở. Snowflake làm cursor nên không sót và không trùng.
  • Gateway node chết: 50K client mất kết nối cùng lúc và kết nối lại vào node khác. Thêm jitter ngẫu nhiên vào thời gian thử lại để không dội cùng lúc (thundering herd), xem timeout, retry và circuit breaker.
Các thành phần phụ: tìm kiếm, sửa xoá, file đính kèm, mã hoá
  • Tìm kiếm: message service phát sự kiện, một consumer index vào Elasticsearch theo lô (xem Elasticsearch). Index theo guild để truy vấn chỉ chạm shard của guild đó. Tìm kiếm trễ vài giây là chấp nhận được.
  • Sửa, xoá: cập nhật dòng (edited_at, deleted = true) và phát sự kiện MESSAGE_UPDATE/MESSAGE_DELETE. Xoá mềm để client đang mở lịch sử nhận được sự kiện; dữ liệu thật xoá sau theo chính sách.
  • File đính kèm: client xin URL ký sẵn (pre-signed URL), tải thẳng lên object storage, tin nhắn chỉ chứa link. CDN phục vụ khi tải xuống.
  • DM: một DM là một “kênh” có hai thành viên, dùng lại toàn bộ đường đi trên; không có guild nên fan-out tra thẳng session registry.
  • Mã hoá đầu-cuối: nếu yêu cầu E2EE, server không đọc được nội dung, nên tìm kiếm phía server và kiểm duyệt nội dung không làm được. Discord mặc định không E2EE cho tin chữ; nêu đây là trade-off sản phẩm.
  • Kiểm duyệt: consumer riêng quét nội dung (spam, link độc), không nằm trên đường gửi để không thêm độ trễ.

8. Trình bày trong 45 phút

Ý chính: dành nhiều thời gian nhất cho ba chỗ người phỏng vấn muốn nghe: data model tin nhắn, cách giao tin qua gateway, và server lớn.

Phút Việc Điểm cần nói
0–5 Yêu cầu guild, kênh, DM, lịch sử, presence; voice ngoài phạm vi
5–10 Ước lượng 35K ghi/giây, 700K giao/giây, 10M kết nối, 1 PB/năm
10–17 API + data model REST gửi + WebSocket nhận, bảng messages với bucket, Snowflake
17–27 Đường gửi và giao nonce, ghi QUORUM, Kafka theo guild, guild service, gateway
27–37 Server lớn, presence fan-out theo node, presence lười, coalescing
37–42 Lỗi gateway chết, resume, tải bù bằng cursor, thundering herd
42–45 Tóm tắt ba quyết định: tách gửi/nhận, partition theo kênh + thời gian, fan-out theo node

Mẹo vẽ sơ đồ và trình bày có ở bài URL shortener.

Ghi nhớ

  • Giải thích được vì sao tách đường gửi (REST) và đường nhận (WebSocket gateway).
  • Viết được bảng messages với partition (channel_id, bucket) và giải thích vai trò của Snowflake.
  • Vẽ được đường đi của một tin từ lúc gửi tới lúc hiện trên máy người nhận.
  • Biết ba kỹ thuật cho server một triệu thành viên: fan-out theo node, presence lười, gộp đọc.
  • Biết client làm gì khi mất kết nối vài giây và khi mất vài giờ.

Câu hỏi phỏng vấn

Mid

Vì sao chat dùng WebSocket thay vì client hỏi server liên tục (polling)?

WebSocket giữ một kết nối hai chiều luôn mở, server đẩy tin ngay khi có; polling thì hoặc trễ (hỏi thưa) hoặc phí (hỏi dày, đa số trả về rỗng).

Với 10M người online, polling mỗi 2 giây là 5M request/giây chủ yếu vô ích. Long polling và SSE là phương án dự phòng khi WebSocket bị chặn.

Thiết kế bảng lưu tin nhắn cho việc cuộn xem lịch sử.

Partition (channel_id, bucket) với bucket là cửa sổ thời gian, clustering message_id giảm dần; đọc trang sau bằng message_id < cursor LIMIT 50.

Bucket giữ partition không phình vô hạn. message_id là Snowflake nên vừa duy nhất vừa sắp theo thời gian.

Mạng chập chờn khiến client gửi một tin hai lần. Làm sao không hiện hai tin?

Client gửi kèm nonce; server nhớ (user_id, nonce) → message_id trong vài phút và trả lại tin cũ nếu thấy nonce lặp.

Phía nhận, client khử trùng theo message_id vì giao tin là ít nhất một lần.

Senior

Một tin trong kênh của server có 100K người đang online. Giao thế nào cho rẻ?

Fan-out theo gateway node: guild service biết mỗi phiên nằm ở node nào, gửi một bản kèm danh sách phiên cho mỗi node (~200), node tự giao cho kết nối của mình.

Thêm presence lười, chỉ gửi typing cho người đang mở kênh, và gộp các request tải lịch sử giống nhau trước database.

Làm sao đảm bảo thứ tự tin nhắn trong một kênh?

Gán message_id Snowflake lúc ghi và luôn hiển thị theo id, không theo thứ tự nhận; phát sự kiện vào Kafka partition theo guild để giữ thứ tự giao trong một guild.

Hai tin cùng mili giây có thứ tự tuỳ ý nhưng nhất quán với mọi người. Thiếu tin (gap) thì client tải bù bằng cursor.

Một gateway node giữ 50K kết nối bị chết. Chuyện gì xảy ra và bạn giảm thiệt hại thế nào?

50K client kết nối lại vào node khác; dùng backoff có jitter để tránh dội cùng lúc, resume bằng session id và số sự kiện cuối, không resume được thì tải bù bằng ?after=.

Presence của họ không đổi ngay nhờ khoảng ân hạn, nên bạn bè không thấy cả loạt người “offline” rồi “online” lại.

Vì sao chọn ScyllaDB/Cassandra cho tin nhắn, và bạn phải chấp nhận gì?

Vì mẫu truy cập là ghi rất nhiều và đọc theo kênh và thời gian: LSM ghi rẻ, phân vùng và replication sẵn, thêm node trực tuyến cho dữ liệu tăng ~1 PB/năm.

Chấp nhận: chỉ truy vấn theo partition key, không join, tombstone khi xoá, phải tự giới hạn kích thước partition bằng bucket, và phải chọn consistency level cho từng câu.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
gateway /ˈɡeɪt.weɪ/ cổng giữ kết nối “The gateway holds the WebSocket connections and nothing else.”
guild /ɡɪld/ server (cộng đồng) trong Discord “We shard the fan-out service by guild id.”
presence /ˈprez.əns/ trạng thái online “Presence updates are sent lazily in large guilds.”
dispatch /dɪˈspætʃ/ đẩy sự kiện xuống client “The gateway dispatches a MESSAGE_CREATE event.”
bucket /ˈbʌk.ɪt/ cửa sổ thời gian trong partition key “Bucketing by time keeps partitions bounded.”
at-least-once /ət liːst wʌns/ ít nhất một lần “Delivery is at-least-once, so clients dedupe by message id.”
nonce /nɑːns/ giá trị dùng một lần “The client sends a nonce so retries are idempotent.”
resume /rɪˈzuːm/ nối lại phiên “After a short drop, the client resumes and replays missed events.”
request coalescing /rɪˈkwest ˌkoʊ.əˈles.ɪŋ/ gộp request giống nhau “Request coalescing protects the hot channel’s partition.”
thundering herd /ˈθʌn.dɚ.ɪŋ hɝːd/ cả đàn dội cùng lúc “Jittered backoff avoids a thundering herd on reconnect.”

Ghi chép dựa trên khoá System Design (Ronin Engineer), viết lại theo cách hiểu của mình.