Cụm bài Dữ liệu trong system design: 1. Chọn database · 2. Sharding: shard key và resharding
Trong vòng system design, câu “dùng database gì” thường bị trả lời bằng tên sản phẩm yêu thích. Bài này đưa ra một quy trình: ước lượng tải, biết trần của một node quan hệ, rồi chọn họ database theo hình dạng dữ liệu, truy vấn và mức tranh chấp. Phần index, partition một node đã có ở JOIN và partition và các loại index ngoài B-tree.
1. Trần của một database quan hệ
Ý chính: trước khi nói tới NoSQL hay sharding, hãy biết một node PostgreSQL/MySQL chịu được bao nhiêu. Phần lớn hệ thống không vượt trần này.
Con số để ước lượng (thô, phụ thuộc phần cứng và truy vấn):
| Cấu hình | QPS đọc theo khoá | TPS ghi, ít tranh chấp | TPS ghi, nhiều tranh chấp |
|---|---|---|---|
| Máy tầm trung, bản DB mới | ~20.000 | ~1.000 | ~200 |
| Cloud 4 core, 8 GB, MySQL 5.7 | ~10.000 | ~500 | thấp hơn nữa |
Ở đây TPS là transaction nghiệp vụ nhiều câu lệnh kiểu TPC-C (đơn hàng, thanh toán), không phải một câu INSERT. Contention (tranh chấp) là nhiều transaction cùng cần khoá một dòng, ví dụ cùng trừ tồn kho một sản phẩm hot.
Cách dùng trong phỏng vấn: tính peak QPS/TPS từ yêu cầu, chia cho trần, ra số node hoặc biết ngay “một node đủ”. Ví dụ 50 triệu đơn/ngày ≈ 580 đơn/s trung bình, peak ×5 ≈ 2.900 TPS: vượt một node, cần chia ghi.
Bảng to thì làm gì: đo trước (kích thước, tỉ lệ đọc/ghi, truy vấn chính) rồi leo từng bậc: viết lại query → index → archive dữ liệu cũ → cache → tận dụng song song (parallel query, nhiều worker) → primary-replica → partition/shard → database khác. Chi tiết từng bậc và một case study ở JOIN và partition.
2. Vì sao RDBMS khó scale ngang
Ý chính: RDBMS được thiết kế cho một máy với consistency mạnh; scale ngang phải tự làm và mất đúng những thứ làm nó dễ dùng (join, transaction).
| Lý do | Giải thích ngắn |
|---|---|
| Consistency mạnh | Mỗi commit phải được mọi người đọc sau thấy ngay; trải qua nhiều máy thì cần đồng thuận, rất đắt. |
| Thiết kế nguyên khối | Join, foreign key, transaction giả định mọi dữ liệu ở một chỗ. Chia ra là mất. |
| Random I/O khi ghi | Mỗi insert phải tìm đúng lá B+tree (của PK và mọi index phụ) rồi sửa trang, tức nhiều lần đọc/ghi ngẫu nhiên. |
| Không tự shard | Chia dữ liệu, định tuyến, rebalance đều do ứng dụng hoặc middleware (Vitess, Citus). |
NoSQL đi hướng ngược lại: phân tán từ đầu, nhiều hệ dùng LSM-tree (ghi vào bộ nhớ và log tuần tự, sau đó gộp file theo lô) để biến ghi ngẫu nhiên thành ghi tuần tự, và có sẵn auto-sharding (MongoDB, Cassandra). Cơ chế LSM xem ở các loại index ngoài B-tree.
3. Năm họ NoSQL, NewSQL và cách chấm điểm
Ý chính: chấm mỗi họ theo cùng các tiêu chí (dễ học, dễ mô hình hoá, throughput, availability, consistency, hệ sinh thái, thiên đọc hay ghi) rồi chọn theo tiêu chí bài toán cần nhất.
Thang 1–5 sao, theo đánh giá phổ biến (mang tính định hướng, không tuyệt đối):
| Họ | Ví dụ | Dễ mô hình | Throughput | Availability | Consistency | Thiên về |
|---|---|---|---|---|---|---|
| Quan hệ | PostgreSQL, MySQL | 3 | 2 | 1 | 5 | đọc, cân bằng |
| Key-value | Redis, DynamoDB | 1 | 4 | 4 | 2 | đọc |
| Document | MongoDB, Couchbase | 3 | 2 | 3 | 2 | đọc |
| Wide-column | Cassandra, ScyllaDB | 1 | 4 | 4 | 1 | ghi |
| Graph | Neo4j, JanusGraph | 2 | 3 | 3 | 3 | đọc |
| Time-series | TimescaleDB, InfluxDB | 2 | 4 | 2 | 3 | ghi |
| NewSQL | TiDB, CockroachDB | 3 | 3 | 3 | cao | cân bằng |
Khi nào nghĩ tới NoSQL: cần throughput đọc/ghi cao, cần scale ngang dễ, không cần consistency mạnh giữa các bản ghi, và không cần chức năng đặc biệt của SQL (join phức tạp, ràng buộc). Hai lựa chọn hay gặp:
- MongoDB khi mô hình dữ liệu linh hoạt và vẫn cần truy vấn phong phú: thông tin thiết bị IoT, catalog sản phẩm nhiều thuộc tính.
- ScyllaDB/Cassandra khi cần ghi rất nhiều và truy vấn theo khoá đã biết trước: tin nhắn, bài đăng, timeline.
NewSQL (TiDB, CockroachDB) giữ SQL và transaction ACID nhưng tự shard và tự nhân bản bằng Raft (thuật toán đồng thuận: đa số node đồng ý thì mới commit). Cái giá: chưa đủ ANSI SQL, độ trễ mỗi transaction cao hơn một node vì phải đồng thuận, OLAP còn yếu (TiDB bù bằng TiFlash). Middleware (Vitess cho MySQL, Citus cho PostgreSQL) giữ database quen thuộc nhưng thêm một lớp phải vận hành.
CAP, PACELC và vì sao tam giác “chọn hai” dễ gây hiểu nhầm
Tam giác CAP hay vẽ MySQL ở cạnh CA, MongoDB/HBase ở CP, Cassandra/DynamoDB ở AP. Thực tế:
- P không phải lựa chọn: hệ phân tán nào cũng gặp chia mạng. Câu hỏi đúng là “khi chia mạng, bỏ C hay bỏ A”.
- Một database đơn node như MySQL không phải “CA”, nó chỉ không phân tán. Khi thêm replica bất đồng bộ, nó thành hệ có thể đọc dữ liệu cũ.
- Nhiều hệ chỉnh được theo từng truy vấn: Cassandra với
QUORUMgần với CP, vớiONElà AP; MongoDB vớiwriteConcern: majorityvàreadConcern: majoritykhác hẳn mặc định. - PACELC bổ sung: khi không có chia mạng (E — else), hệ vẫn phải chọn giữa độ trễ (L) và consistency (C). Đây mới là đánh đổi bạn gặp hằng ngày.
Consistency trong ACID khác consistency trong CAP: ACID-C là “dữ liệu thoả mọi ràng buộc”, CAP-C là “mọi lần đọc thấy lần ghi mới nhất” (linearizability).
flowchart TD
A[Bài toán dữ liệu] --> B{Cần transaction nhiều bản ghi?}
B -->|Có| C{Vừa một node, kể cả replica?}
C -->|Có| D[PostgreSQL / MySQL]
C -->|Không| E[NewSQL hoặc Vitess/Citus]
B -->|Không| F{Truy vấn chính}
F -->|Theo khoá, ghi rất nhiều| G[Cassandra / ScyllaDB]
F -->|Theo khoá, cần cực nhanh| H[Redis / DynamoDB]
F -->|Linh hoạt, nhiều thuộc tính| I[MongoDB]
F -->|Quét nhiều dòng để tổng hợp| J[ClickHouse]
F -->|Metric theo thời gian| K[TimescaleDB]
F -->|Full-text| L[Elasticsearch]
4. Columnar storage cho báo cáo
Ý chính: OLAP (phân tích: quét hàng triệu dòng, chỉ cần vài cột) chạy nhanh khi dữ liệu lưu theo cột thay vì theo dòng, vì chỉ đọc cột cần và nén rất tốt.
Lưu theo dòng: một trang chứa các dòng đầy đủ. Lưu theo cột: mỗi cột là một file riêng, giá trị thứ i của mọi file thuộc cùng dòng i. Câu SELECT sum(net_price) FROM fact_sales WHERE date_key = 140102 chỉ đọc hai file cột thay vì cả bảng 20 cột.
Hai kỹ thuật làm nó nhanh:
- Bitmap theo giá trị: cột ít giá trị khác nhau (low cardinality) như
product_skcó một bitmap cho mỗi giá trị (bit thứ i = 1 nếu dòng i có giá trị đó).WHERE product_sk IN (29, 30, 74)là OR ba bitmap rồi đếm số bit 1, CPU làm việc này bằng lệnh popcount, cực nhanh. - Run-length encoding (RLE): bitmap thưa được nén thành “9 số 0, 1 số 1, phần còn lại 0” → tiết kiệm dung lượng nhiều lần.
Cái giá: sửa một dòng giữa dữ liệu đã nén rất khó. Cách giải: ghi vào bộ nhớ trước (giống memtable của LSM), rồi gộp theo lô xuống đĩa. ClickHouse khuyên insert theo lô lớn (hàng nghìn tới trăm nghìn dòng mỗi lần), không insert từng dòng.
5. Time-series và search
Ý chính: dữ liệu gắn thời gian, chỉ thêm vào, xoá theo tuổi (metric, log thiết bị) hợp với time-series database; tìm theo nội dung văn bản hợp với search engine.
TimescaleDB là extension của PostgreSQL. Bạn tạo một hypertable, nó tự chia thành nhiều bảng con (chunk) theo khoảng thời gian (ví dụ 1 ngày) và tuỳ chọn theo không gian (device_id). Lợi ích:
- Insert luôn rơi vào chunk mới nhất, index nhỏ, vừa RAM.
- Xoá dữ liệu cũ = drop chunk (tức thì), không
DELETEtừng dòng. - Nén chunk cũ theo cột, có continuous aggregate (bảng tổng hợp tự cập nhật).
Mẹo tăng tốc ghi cho workload nặng ghi: gom lô trong bộ nhớ, commit theo lô, ghi song song nhiều worker, và cân nhắc synchronous_commit = off (commit trả về trước khi WAL xuống đĩa; mất tối đa vài trăm ms dữ liệu khi crash, nhưng không hỏng dữ liệu). Chỉ dùng cho dữ liệu chấp nhận mất một ít như metric.
Elasticsearch nhanh nhờ inverted index (từ → danh sách tài liệu), chạy song song trên nhiều shard/segment, dựa vào filesystem cache, và chấm điểm liên quan để dừng sớm. Chi tiết ở Elasticsearch indexing cơ bản.
6. Chọn theo mức tranh chấp
Ý chính: cùng là “cần consistency mạnh”, lời giải khác nhau tuỳ request có tranh cùng một dòng hay không. Tranh chấp cao là giới hạn của bài toán, không phải của database.
| Tình huống | Gợi ý |
|---|---|
| Consistency mạnh + đồng thời cao + ít tranh chấp (mỗi user sửa dữ liệu của mình) | NewSQL (TiDB) hoặc shard RDBMS: chia ra nhiều node là tăng TPS gần tuyến tính. |
| Consistency mạnh + đồng thời vừa + nhiều tranh chấp (ví dụ giữ ghế, trừ kho) | Một node RDBMS + optimistic lock / conditional update, giữ transaction ngắn. Xem optimistic và pessimistic locking. |
| Consistency mạnh + đồng thời rất cao + nhiều tranh chấp (flash sale) | Đổi cách làm: trừ kho trong Redis bằng Lua, xếp hàng qua queue, chia nhỏ tồn kho thành nhiều “bucket”, rồi ghi DB bất đồng bộ. |
Ghi nhớ
- Nói được trần thô của một node quan hệ (QPS, TPS ít/nhiều tranh chấp) và dùng nó để ước lượng số node.
- Giải thích được bốn lý do RDBMS khó scale ngang và LSM-tree giúp NoSQL ghi nhanh thế nào.
- Chọn được họ database cho: tin nhắn chat, catalog sản phẩm, báo cáo doanh thu, metric thiết bị, tìm kiếm sản phẩm.
- Giải thích được vì sao columnar nhanh cho OLAP mà chậm cho update.
- Phân biệt được ba tình huống theo mức tranh chấp và lời giải cho mỗi cái.
Câu hỏi phỏng vấn
Mid
Khi nào bạn chọn NoSQL thay vì PostgreSQL?
Khi truy vấn chính đã biết trước và đi theo khoá, cần throughput hoặc scale ngang vượt một node, và không cần transaction hay ràng buộc giữa nhiều bản ghi.
Ví dụ tin nhắn chat: luôn đọc theo channel_id, ghi rất nhiều, không cần join → Cassandra/ScyllaDB. Ngược lại, đơn hàng + thanh toán cần transaction và báo cáo linh hoạt → PostgreSQL, scale bằng replica/partition trước.
Vì sao insert vào bảng có nhiều index trên MySQL chậm dần khi bảng lớn?
Mỗi index là một B+tree; mỗi insert phải tìm đúng trang lá trong từng cây, và khi index vượt RAM thì mỗi lần tìm là random I/O xuống đĩa.
Khoá ngẫu nhiên (UUIDv4) làm tệ hơn vì chèn vào giữa cây, gây page split. Cách giảm: bớt index phụ, khoá tăng dần (UUIDv7, Snowflake), insert theo lô, hoặc dùng hệ LSM cho workload chỉ-ghi.
Columnar database nhanh hơn row-store ở đâu và chậm hơn ở đâu?
Nhanh khi quét nhiều dòng nhưng ít cột (chỉ đọc file các cột cần, nén tốt, bitmap); chậm khi đọc hay sửa một dòng đầy đủ, vì dòng đó nằm rải rác ở mọi file cột.
Vì vậy OLTP dùng row-store, báo cáo dùng columnar, nối bằng CDC hoặc Kafka.
Senior
Hệ thống cần 3.000 TPS ghi, consistency mạnh. Bạn chọn gì?
Trước tiên hỏi mức tranh chấp: 3.000 TPS rải trên hàng triệu user khác hẳn 3.000 TPS vào cùng vài dòng.
- Ít tranh chấp: một node khoảng 1.000 TPS nên cần chia ghi. Chọn shard RDBMS theo user (Vitess/Citus) nếu đội mạnh MySQL/PostgreSQL, hoặc TiDB/CockroachDB nếu cần transaction xuyên shard và chấp nhận độ trễ đồng thuận.
- Nhiều tranh chấp: chia node không giúp; giảm tranh chấp bằng thiết kế (tách dòng nóng, Redis + Lua làm cổng, xếp hàng) rồi ghi DB bất đồng bộ.
NewSQL có miễn phí không? Cái giá là gì?
Không. Mỗi commit cần đa số replica đồng ý (Raft), nên độ trễ ghi cao hơn một node vài ms tới vài chục ms nếu khác vùng, và transaction tranh chấp vẫn phải retry.
Thêm: chưa đủ ANSI SQL, một số tính năng PostgreSQL/MySQL không có, chi phí vận hành nhiều node, và OLAP cần thành phần riêng. Đáng giá khi dữ liệu và tải ghi vượt một node mà vẫn cần transaction.
Bạn thiết kế lưu metric của 1 triệu thiết bị, mỗi 10 giây một điểm, giữ 90 ngày. Database nào và vì sao?
Time-series database (TimescaleDB nếu cần join với dữ liệu nghiệp vụ), vì dữ liệu chỉ thêm theo thời gian, đọc theo thiết bị + khoảng thời gian, và xoá theo tuổi.
Ước lượng: 1M / 10 s = 100K điểm/s, 8,64 tỷ điểm/ngày; ~20 byte/điểm là ~170 GB/ngày, ~15 TB cho 90 ngày khi chưa nén; nén cột (thường ×10) còn ~1,5 TB. Hypertable chunk 1 ngày, nén chunk cũ hơn 2 ngày, retention policy drop chunk sau 90 ngày, continuous aggregate theo phút/giờ cho dashboard. Ghi qua Kafka rồi batch insert.
CAP nói gì, và vì sao “MySQL là CA” là cách nói sai?
CAP: khi mạng bị chia, hệ phân tán phải chọn trả lời (A) hoặc trả lời đúng bản mới nhất (C). P không phải tuỳ chọn.
MySQL một node không phân tán nên không thuộc tam giác. Có replica bất đồng bộ thì đọc replica có thể cũ (bỏ C), failover có thể mất ghi. PACELC nhắc thêm: lúc bình thường vẫn phải đổi độ trễ lấy consistency.
Từ vựng tiếng Anh
| Term | Phát âm | Nghĩa | Ví dụ câu tiếng Anh dùng trong phỏng vấn |
|---|---|---|---|
| contention | /kənˈten.ʃən/ | tranh chấp tài nguyên | “The bottleneck isn’t the database, it’s contention on a single hot row.” |
| scale out | /skeɪl aʊt/ | mở rộng ngang | “Relational databases scale up easily but scale out with a lot of effort.” |
| wide-column store | /waɪd ˈkɑː.ləm stɔːr/ | database cột rộng | “Chat messages fit a wide-column store keyed by channel.” |
| columnar storage | /kəˈlʌm.nɚ ˈstɔːr.ɪdʒ/ | lưu theo cột | “Columnar storage only reads the columns the query touches.” |
| run-length encoding | /rʌn leŋθ ɪnˈkoʊ.dɪŋ/ | nén theo chuỗi lặp | “Low-cardinality columns compress well with run-length encoding.” |
| hypertable | /ˈhaɪ.pɚ.teɪ.bəl/ | bảng chia chunk theo thời gian | “A hypertable lets us drop a whole day of data instantly.” |
| consensus | /kənˈsen.səs/ | đồng thuận | “Every commit in TiDB waits for a Raft consensus round.” |
| query-first modeling | /ˈkwɪr.i fɝːst ˈmɑː.dəl.ɪŋ/ | thiết kế bảng theo truy vấn | “In Cassandra we do query-first modeling, one table per access pattern.” |
| eventual consistency | /ɪˈven.tʃu.əl kənˈsɪs.tən.si/ | nhất quán sau cùng | “A like counter can live with eventual consistency.” |
| back-of-the-envelope | /bæk əv ðə ˈen.və.loʊp/ | ước lượng nhanh | “A back-of-the-envelope estimate says one node handles this load.” |
Ghi chép dựa trên khoá System Design (Ronin Engineer), viết lại theo cách hiểu của mình.