Đến nội dung chính
notes.vinhnq.com

Tìm kiếm

System DesignSenior19 phút đọc

Nguyên tắc thiết kế: CAP, PACELC, scalability, performance và availability

Ôn 13 thẻ
Trong bài này

Ba mục tiêu mà vòng system design hay xoáy vào là scalability, performance và availability, và chúng thường kéo nhau theo ba hướng khác nhau. Bài này gom các nguyên tắc nền, CAP và PACELC nói cho đúng, rồi đi qua từng mục tiêu: đo bằng gì, đòn bẩy nào, trade-off ở đâu. Con số dùng trong bài lấy từ bài ước lượng back-of-the-envelope.

1. Nguyên tắc nền và các trade-off hay gặp

Ý chính: đặt mục tiêu trước, biết giới hạn của mọi công nghệ, chấp nhận trade-off, tránh tối ưu sớm và thiết kế quá tay. Phần lớn quyết định thiết kế là chọn một vế trong vài cặp trade-off quen thuộc.

Nguyên tắc nền theo khoá học:

  • Định mục tiêu trước (bằng con số, xem bài quy trình phỏng vấn).
  • Biết giới hạn: công nghệ nào cũng có giới hạn, kể cả công nghệ “xịn”. So giới hạn với nhu cầu của mình.
  • Trade-off: không có phương án thắng mọi mặt.
  • Tránh tối ưu sớm và KISS (giữ đơn giản, đừng bắt người khác phải nghĩ nhiều): không thêm Kafka khi một bảng outbox là đủ.
  • SOLID và 80/20 ở cấp hệ thống: 20% luồng gánh 80% tải, tối ưu đúng 20% đó.
  • Hiểu nguyên lý hoạt động của giải pháp có sẵn rồi mới dùng: hiểu Redis đơn luồng thì mới biết một lệnh KEYS * có thể làm treo cả node.
Cặp trade-off Ví dụ
Consistency và availability CAP: lúc partition trả lỗi hay trả dữ liệu cũ
Consistency và performance Đồng bộ hay bất đồng bộ; strong hay eventual consistency
Không gian và thời gian Cache, nén, chuẩn hoá hay gộp sẵn (aggregation), batch hay stream
Performance và security Mã hoá, kiểm tra quyền ở mỗi bước làm chậm request
Độ phức tạp và độ linh hoạt Microservices linh hoạt nhưng khó vận hành
Tốc độ phát triển và chất lượng Ra nhanh với nợ kỹ thuật, hay chậm mà chắc

Nhiều trade-off không phải chọn mà gỡ được bằng cách tách coupling theo thời gian, không gian, hoặc giữa phần và toàn thể. Phần này đã có bài riêng: phân tích trade-off như senior.

2. CAP và PACELC, nói cho đúng

Ý chính: trong hệ phân tán, partition mạng là chuyện sẽ xảy ra, nên CAP thực chất hỏi: khi partition, bạn trả lỗi (giữ C) hay trả dữ liệu có thể cũ (giữ A)? PACELC bổ sung: khi không có partition, bạn vẫn phải chọn giữa latency thấp và consistency.

Slide phát biểu CAP là “chỉ có được tối đa hai trong ba”. Câu này dễ dẫn tới hiểu sai rằng có thể “chọn CA”. Ba chữ cái:

  • C (consistency): mọi lần đọc thấy lần ghi mới nhất, như thể chỉ có một bản dữ liệu (linearizability).
  • A (availability): mọi request tới node còn sống đều nhận được câu trả lời không phải lỗi.
  • P (partition tolerance): hệ thống vẫn chạy khi mạng giữa các node bị cắt hoặc mất gói.
flowchart TD
  A[Có partition mạng?] -->|Có| B{Chọn gì}
  B -->|C| C[Từ chối hoặc chờ: trả lỗi, timeout]
  B -->|A| D[Trả lời ngay: dữ liệu có thể cũ]
  A -->|Không| E{PACELC: chọn gì}
  E -->|L| F[Trả lời nhanh, sao chép bất đồng bộ]
  E -->|C| G[Chờ các bản sao xác nhận, chậm hơn]

Ví dụ thực tế:

Hệ thống Khi partition Lúc bình thường
PostgreSQL primary + replica đồng bộ (synchronous_commit = on với standby đồng bộ) PC: primary chờ, ghi bị treo nếu mất standby EC: mỗi commit chờ standby
PostgreSQL/MySQL replica bất đồng bộ (mặc định) Failover có thể mất vài giao dịch cuối EL: đọc từ replica có thể cũ
Cassandra, DynamoDB PA: vẫn nhận ghi, hoà giải sau EL mặc định, chỉnh được bằng quorum
Redis Sentinel Sao chép bất đồng bộ: failover có thể mất ghi EL
Các mức consistency và quorum

Giữa “strong” và “eventual” có nhiều mức, từ mạnh tới yếu:

  • Linearizable: đọc luôn thấy lần ghi mới nhất theo thời gian thực. Đắt nhất.
  • Sequential: mọi node thấy cùng một thứ tự ghi, nhưng có thể trễ.
  • Causal: cái gì có quan hệ nhân quả (trả lời sau bình luận) thì thấy đúng thứ tự.
  • Read-your-writes: bạn luôn thấy cái chính mình vừa ghi. Hay làm bằng cách đọc từ primary trong vài giây sau khi ghi, hoặc gắn session vào một node.
  • Monotonic reads: không bao giờ thấy dữ liệu “lùi về quá khứ” giữa hai lần đọc.
  • Eventual: ngừng ghi thì cuối cùng các bản sao giống nhau.

Quorum trong hệ kiểu Dynamo: N bản sao, ghi chờ W bản xác nhận, đọc hỏi R bản. Nếu R + W > N thì tập đọc và tập ghi luôn giao nhau, nên đọc thấy bản mới nhất (trong điều kiện không có lỗi đồng hồ hay ghi chen). Ví dụ N = 3, W = 2, R = 2. Giảm W hoặc R thì nhanh hơn, sẵn sàng hơn, đổi lại có thể đọc dữ liệu cũ.

3. Scalability: bốn đòn bẩy

Ý chính: hệ thống scale tốt khi thêm tài nguyên thì sức chịu tải tăng gần tương ứng. Bốn đòn bẩy: dùng tài nguyên hiệu quả, giữ service stateless, tách (dữ liệu, nghiệp vụ, thao tác), và để ý các thành phần hạ tầng dùng chung.

Đòn bẩy Làm gì
Dùng tài nguyên hiệu quả CPU: hạn chế context switch. RAM: chọn cấu trúc dữ liệu hợp lý. Đĩa: nén, ưu tiên ghi tuần tự
Stateless Không giữ session trong RAM của instance, nên thêm instance sau load balancer là xong
Tách tầng lưu trữ Theo chiều dọc: mỗi service một database. Theo chiều ngang: partition, sharding
Tách tầng nghiệp vụ Theo domain (microservices, DDD); theo mức quan trọng (lõi được ưu tiên scale, phần phụ thì giảm cấp); theo nguồn request (ngoài/trong, web/mobile)
Tách theo thao tác Ghi vào primary, đọc từ replica; cache để giảm tải database
Hạ tầng dùng chung Database, load balancer, băng thông mạng, hệ thống bên thứ ba, cache: thứ nào cũng có thể thành trần

4. Performance: đo, tìm bottleneck, rồi mới tối ưu

Ý chính: đặt mục tiêu bằng throughput và p99 (ví dụ ≥ 10K QPS, p99 < 250 ms), tìm bottleneck bằng số đo, xác định tải là CPU hay I/O, tối ưu đúng chỗ đó, rồi đo lại. Tối ưu là một vòng lặp, không phải một bước.

  • Throughput: RPS, QPS, TPS, Mbps.
  • Latency: dùng p99 (99% request nhanh hơn mức này). Max chỉ để tham khảo vì một request xui có thể làm méo; trung bình che mất đuôi chậm. Kiểm mục tiêu p99 bằng load test tự fail khi trượt SLO, và tránh để công cụ đo sai p99 (coordinated omission): xem Performance test.
Tải nặng CPU Tải nặng I/O
Dấu hiệu CPU gần 100%, ít chờ CPU thấp, thread chủ yếu chờ đĩa hoặc mạng
Định vị Profiler: perf, async-profiler, eBPF iostat, vmstat, APM (New Relic, Datadog), tracing
Tối ưu Đổi cấu trúc dữ liệu, thuật toán; bớt việc trên đường đi chính (đẩy sang xử lý bất đồng bộ) Bớt số lần I/O (batch, tránh N+1); tối ưu phía được gọi (index); I/O non-blocking
Thread pool ≈ số core (+1) ≈ số core × (1 + thời gian chờ ÷ thời gian chạy)

Ở tầng giao tiếp: non-blocking, batching, nén, định dạng serialization gọn, và mô hình network I/O phù hợp (bài giao tiếp đồng bộ).

Bốn nhóm bottleneck cần kiểm: CPU (context switch, I/O wait), RAM (kích thước, swap), đĩa (IOPS theo phần cứng, ghi tuần tự nhanh hơn ngẫu nhiên rất nhiều, phân mảnh), mạng (băng thông, mô hình I/O). Cách đo từng nhóm có trong bài I/O model.

Vì sao p99, và đuôi latency nhân lên khi fan-out

Một request của người dùng thường gọi nhiều service hoặc nhiều shard song song, và phải chờ cái chậm nhất. Nếu mỗi lần gọi có 1% xác suất chậm (vượt p99), một request gọi 100 lần sẽ bị chậm với xác suất 1 − 0,99¹⁰⁰ ≈ 63%. Đuôi của từng thành phần trở thành thân của cả hệ thống.

Cách giảm đuôi:

  • Hedged request: gửi lại sang bản sao khác nếu chưa có trả lời sau mức p95, lấy câu trả lời nào về trước.
  • Timeout theo ngân sách: tổng thời gian cho cả request được chia cho từng bước, bước sau biết còn bao nhiêu thời gian.
  • Giảm fan-out: gộp dữ liệu sẵn (denormalize, precompute) để một request chạm ít node hơn.
  • Cẩn thận GC pause và noisy neighbor: hai nguyên nhân hay gặp của đuôi dài trên JVM và trên cloud.

5. Availability: thiết kế để chịu lỗi

Ý chính: availability = MTBF / (MTBF + MTTR), trong đó MTBF là thời gian trung bình giữa hai lần hỏng, MTTR là thời gian trung bình để khôi phục. Mọi thứ sẽ hỏng, nên hãy thiết kế cho lúc hỏng: có bản dự phòng, phát hiện nhanh, chuyển nhanh, và hy sinh phần phụ để giữ phần lõi.

Ví dụ: một service hỏng trung bình 30 ngày một lần, mỗi lần mất 1 giờ để khôi phục → 720 / 721 ≈ 99,86%. Giảm MTTR xuống 5 phút nhờ failover tự động → ≈ 99,99%. Giảm MTTR thường rẻ hơn nhiều so với làm cho phần cứng ít hỏng hơn.

Nhóm Cơ chế Ví dụ
Dự phòng, chuyển đổi Leader election bằng giao thức đồng thuận Raft (etcd, Kafka KRaft), Paxos (cũ và khó hơn)
Chuyển sang bản dự phòng Redis Sentinel, Patroni cho PostgreSQL
Bảo vệ khi lỗi Timeout, giảm cấp dịch vụ (degrade), rate limit Xem timeout, retry, circuit breaker
Phát hiện lỗi Heartbeat, health check Load balancer bỏ node không trả lời
Vận hành Canary, blue-green khi phát hành Đưa bản mới cho 1–5% traffic trước
Chaos engineering Chủ động tắt node để kiểm chứng failover
flowchart LR
  H[Heartbeat mất] --> D[Phát hiện lỗi]
  D --> E[Bầu leader mới hoặc nâng standby]
  E --> R[Định tuyến lại traffic]
  R --> M[Hệ thống chạy tiếp, sửa node hỏng sau]

Availability của một chuỗi phụ thuộc thì nhân lại: gateway 99,95%, service 99,9%, database 99,95% nối tiếp → 0,9995 × 0,999 × 0,9995 ≈ 99,8%. Đặt song song hai bản độc lập 99,9% → 1 − 0,001² = 99,9999%. Đó là lý do mỗi phụ thuộc đồng bộ thêm vào là một khoản nợ availability.

SLI, SLO, SLA và error budget
  • SLI (service level indicator): con số đo được. Ví dụ tỉ lệ request trả về không lỗi 5xx và dưới 300 ms.
  • SLO (objective): mục tiêu nội bộ cho SLI. Ví dụ 99,9% request trong 30 ngày đạt SLI.
  • SLA (agreement): cam kết với khách hàng, có phạt tiền. Luôn lỏng hơn SLO (ví dụ SLA 99,5% khi SLO là 99,9%) để có vùng đệm.

Error budget = 100% − SLO. Với 99,9% trong 30 ngày, ngân sách là ~43 phút lỗi, hay 0,1% request. Đội được “tiêu” ngân sách này cho phát hành, thử nghiệm. Hết ngân sách thì ngừng ra tính năng mới, dồn sức vào độ ổn định. Cách này biến cuộc cãi “nhanh hay ổn định” thành một con số cả hai bên cùng theo dõi.

Cảnh báo theo burn rate (tốc độ tiêu ngân sách) tốt hơn theo ngưỡng tức thời: tiêu 2% ngân sách tháng trong 1 giờ là đáng gọi người dậy, còn một phút lỗi lẻ tẻ thì không.

6. Chọn công nghệ

Ý chính: ưu tiên công nghệ “nhàm chán” đã được kiểm chứng và đội đã quen, có cộng đồng lớn và còn được phát triển tích cực. Mỗi đội chỉ có vài “token đổi mới”, đừng tiêu vào chỗ không tạo khác biệt.

Công nghệ đã cũ có nhiều “biết là chưa biết” (lỗi đã được ghi lại, có cách xử lý) và ít “không biết là chưa biết”. Công nghệ mới thì ngược lại. Kiểm tra độ sống của một dự án: tần suất commit và release, số người đóng góp, issue có được trả lời không (các trang như Open Hub tổng hợp sẵn). Phân tích sâu hơn ở bài phân tích trade-off như senior.

Bài tập

Bài 1: Tính availability của một chuỗi gọi

Đề (tự đặt): request đặt hàng đi qua API gateway (99,95%), order service (99,9%), gọi đồng bộ inventory service (99,9%) và payment service (99,5%), cùng dùng một PostgreSQL (99,95%). Tính availability của luồng đặt hàng, và đề xuất cách đưa nó lên trên 99,9%.

Lời giải bài 1

Nối tiếp nên nhân: 0,9995 × 0,999 × 0,999 × 0,995 × 0,9995 ≈ 0,9920, tức ~99,2%, khoảng 70 giờ chết mỗi năm. Thủ phạm chính là payment 99,5%.

Cách nâng:

  • Bỏ payment khỏi đường đồng bộ: tạo đơn ở trạng thái “chờ thanh toán”, thanh toán xử lý bất đồng bộ qua queue và báo kết quả sau. Luồng đặt hàng còn ≈ 0,9995 × 0,999 × 0,999 × 0,9995 ≈ 99,7%.
  • Inventory: giữ chỗ (reservation) bất đồng bộ, hoặc chạy 2 bản ở 2 AZ. Hai bản 99,9% song song → ~99,9999%, chuỗi còn ≈ 0,9995 × 0,999 × 0,9995 ≈ 99,8%.
  • Order service và database: nhiều instance và failover tự động (Patroni) để giảm MTTR. Nếu đưa order lên 99,95% và database lên 99,99%, chuỗi đạt ≈ 99,9%.

Bài học: số service gọi đồng bộ trong một request là thứ đầu tiên phải cắt khi cần availability cao.

Bài 2: Chọn C hay A cho ba tính năng

Đề (tự đặt): khi partition xảy ra, mỗi tính năng sau nên ưu tiên consistency hay availability? (a) giỏ hàng, (b) số dư ví, (c) bộ đếm lượt thích.

Lời giải bài 2
  • (a) Giỏ hàng: A. Cho thêm hàng vào giỏ ngay cả khi các bản sao chưa đồng bộ, hợp nhất sau (hợp hai giỏ). Mất một lượt thêm vào giỏ tệ hơn nhiều so với một món bị trùng. Đây đúng là ví dụ kinh điển của Amazon Dynamo.
  • (b) Số dư ví: C. Từ chối giao dịch còn hơn để tiêu một số tiền hai lần. Ghi qua một primary với ràng buộc số dư không âm, đọc số dư để quyết định thì đọc từ primary.
  • (c) Lượt thích: A. Đếm lệch vài đơn vị trong vài giây không ai để ý. Cộng dồn ở nhiều nơi rồi gộp (counter phân tán, CRDT).

Một hệ thống thường có cả ba lựa chọn cùng lúc: CAP là quyết định theo từng loại dữ liệu, không phải cho cả hệ thống.

Ghi nhớ

  • Phát biểu được CAP cho đúng: khi partition chọn C hoặc A, và giải thích được vế “ELC” của PACELC.
  • Phân biệt được chữ C trong CAP với chữ C trong ACID.
  • Kể được bốn đòn bẩy scalability và thứ tự scale một hệ thống từ nhỏ tới lớn.
  • Biết vì sao dùng p99, và cách tối ưu khác nhau giữa tải CPU và tải I/O.
  • Tính được availability từ MTBF/MTTR và của một chuỗi service nối tiếp hoặc song song.

Câu hỏi phỏng vấn

Junior

Scale up và scale out khác nhau thế nào?

Scale up là thay máy mạnh hơn; scale out là thêm nhiều máy. Scale out cần service stateless và load balancer.

Scale up đơn giản nhưng có trần và vẫn là một điểm chết. Scale out gần như không trần, chịu lỗi tốt hơn, nhưng phức tạp hơn với dữ liệu.

Vì sao dùng p99 thay vì latency trung bình?

Vì trung bình che mất phần request chậm, mà người dùng nhớ chính những lần chậm đó.

p99 = 300 ms nghĩa là 1% request chậm hơn 300 ms. Với hệ thống có hàng triệu request mỗi ngày, 1% là hàng chục nghìn người dùng.

Mid

Phát biểu định lý CAP. Có chọn được CA không?

Khi mạng giữa các node bị chia cắt, hệ phân tán phải chọn giữa trả lời nhất quán (C) và luôn trả lời (A). CA chỉ có ở hệ một node, không phải hệ phân tán.

PACELC bổ sung: lúc không partition, vẫn phải chọn giữa latency thấp và consistency, ví dụ sao chép đồng bộ hay bất đồng bộ.

Chữ C trong CAP và trong ACID khác nhau thế nào?

ACID-C là không phá ràng buộc dữ liệu trong một database; CAP-C là mọi bản sao trả cùng giá trị mới nhất.

Có thể đúng ACID-C trên primary mà vẫn đọc dữ liệu cũ từ replica bất đồng bộ.

Service chậm. Bạn tối ưu theo thứ tự nào?

Đặt mục tiêu bằng số (p99, QPS), đo để tìm bottleneck, xác định CPU hay I/O, sửa đúng chỗ đó, rồi đo lại.

Thường gặp nhất là I/O: N+1 query, thiếu index, gọi API tuần tự thay vì song song. Không đoán, không tối ưu chỗ chưa đo.

Senior

Bạn nâng availability của một hệ thống từ 99,5% lên 99,95% thế nào?

Giảm MTTR (phát hiện và failover tự động), bỏ bớt phụ thuộc đồng bộ khỏi đường chính, thêm dự phòng ở điểm chết, và phát hành an toàn (canary, rollback nhanh).

Tính availability của chuỗi để tìm mắt xích yếu nhất trước. Thêm SLO và error budget để đo tiến độ, và chaos test để chứng minh failover chạy thật.

Khi hệ thống quá tải, bạn làm gì để không sập cả?

Rate limit ở cửa vào, giảm cấp các tính năng phụ (thí tốt giữ xe), timeout và circuit breaker ở mọi lần gọi ra ngoài, và để queue hấp thụ phần ghi có thể làm sau.

Danh sách tính năng được tắt và công tắc để tắt phải chuẩn bị từ trước, kiểm thử trong chaos test, không quyết lúc đang cháy.

R + W > N trong quorum nghĩa là gì?

Với N bản sao, ghi chờ W bản xác nhận và đọc hỏi R bản, nếu R + W > N thì tập đọc luôn giao tập ghi, nên lần đọc thấy được bản mới nhất.

N = 3, W = 2, R = 2 là cấu hình phổ biến. Giảm W hoặc R thì nhanh và sẵn sàng hơn nhưng có thể đọc cũ; vẫn có ngoại lệ với ghi chen và đồng hồ lệch, nên quorum không bằng linearizability.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
network partition /ˈnet.wɝːk pɑːrˈtɪʃ.ən/ mạng bị chia cắt “During a network partition we have to choose consistency or availability.”
linearizability /ˌlɪn.i.ɚ.aɪ.zəˈbɪl.ə.t̬i/ đọc luôn thấy lần ghi mới nhất “Linearizability is the C in CAP.”
eventual consistency /ɪˈven.tʃu.əl kənˈsɪs.tən.si/ nhất quán sau cùng “Likes can be eventually consistent.”
stateless /ˈsteɪt.ləs/ không giữ trạng thái “Keeping the service stateless lets us scale out behind a load balancer.”
tail latency /teɪl ˈleɪ.tən.si/ độ trễ đuôi “Fan-out turns tail latency into the common case.”
graceful degradation /ˈɡreɪs.fəl ˌdeɡ.rəˈdeɪ.ʃən/ giảm cấp có kiểm soát “Under load we degrade gracefully by turning off recommendations.”
failover /ˈfeɪlˌoʊ.vɚ/ chuyển sang bản dự phòng “Automatic failover keeps our MTTR under five minutes.”
error budget /ˈer.ɚ ˈbʌdʒ.ɪt/ ngân sách lỗi “We froze releases once the error budget was spent.”
single point of failure /ˈsɪŋ.ɡəl pɔɪnt əv ˈfeɪl.jɚ/ điểm chết duy nhất “The shared database is still a single point of failure.”
premature optimization /ˌpriː.məˈtʃʊr ˌɑːp.tə.məˈzeɪ.ʃən/ tối ưu quá sớm “Without measurements, that’s premature optimization.”

Ghi chép dựa trên khoá System Design (Ronin Engineer), viết lại theo cách hiểu của mình.