Đến nội dung chính
notes.vinhnq.com

Tìm kiếm

Git, DevOps & ToolingSenior21 phút đọc

Chiến lược deploy: rolling, blue-green, canary, feature flag và zero-downtime trên Kubernetes

Ôn 17 thẻ
Trong bài này

Deploy hỏng hiếm khi do code sai, mà do lúc chuyển giao: pod mới nhận request khi chưa sẵn sàng, pod cũ bị giết giữa chừng, hay schema mới làm bản cũ vỡ. Bài này so sánh các chiến lược deploy, cách đổi schema khi hai phiên bản chạy cùng lúc, và cấu hình Kubernetes, Spring Boot để deploy không mất request. Nên đọc trước 12-Factor App, phần Disposability.

1. Sáu cách đưa bản mới ra

Ý chính: các chiến lược khác nhau ở ba thứ: rollback nhanh tới đâu, tốn thêm bao nhiêu máy, và có bắt hai phiên bản chạy cùng lúc không. Rolling là mặc định hợp lý, canary cho thay đổi rủi ro, blue-green khi cần rollback tức thì.

Chiến lược Cách làm Rollback Chi phí thêm Hai bản chạy cùng lúc
Recreate Tắt hết bản cũ, bật bản mới Deploy lại bản cũ (có downtime) 0 Không, nhưng có downtime
Rolling Thay dần từng nhóm pod kubectl rollout undo, cũng chạy dần Vài pod (maxSurge) Có, trong suốt lúc rollout
Blue-green Dựng đủ cụm mới (green), đổi router một lần Đổi router về blue: vài giây Gấp đôi trong lúc chuyển Ngắn, nhưng database dùng chung
Canary 1–5% traffic sang bản mới, tăng dần theo số đo Đưa trọng số về 0 Ít Có, khá lâu
Shadow (mirroring) Nhân bản request thật sang bản mới, bỏ response Không cần, người dùng không thấy Gấp đôi tải cho phần bị nhân Có
Feature flag Code mới đã deploy nhưng tắt, bật theo nhóm người dùng Tắt flag: tức thì Gần 0 Cả hai nhánh code nằm trong một binary

Recreate chỉ hợp khi hai phiên bản không thể chạy song song. Deployment của Kubernetes có sẵn recreate và rolling; blue-green và canary cần thêm lớp định tuyến: đổi selector của Service, ingress có trọng số (annotation canary-weight của ingress-nginx), service mesh, hoặc Argo Rollouts, Flagger.

flowchart LR
    A[Deploy canary 0%] --> B[5% traffic]
    B --> C{So với bản cũ:<br/>error rate, p99, SLO burn}
    C -->|tốt sau N phút| D[25% rồi 50%]
    D --> E{Vẫn tốt?}
    E -->|có| F[100%, xoá bản cũ]
    C -->|xấu| R[Trọng số về 0, rollback]
    E -->|xấu| R
Shadow traffic: chỗ dễ gây hại

2. Deploy không phải release: feature flag

Ý chính: deploy là đưa binary lên máy, release là cho người dùng thấy tính năng. Feature flag tách hai việc này, nên có thể deploy liên tục và bật tính năng theo nhóm người dùng, tắt trong vài giây mà không cần deploy lại.

Flag là một if đọc giá trị từ dịch vụ cấu hình (Unleash, LaunchDarkly, chuẩn mở OpenFeature). Ba kiểu: release flag giấu code dở dang (sống vài tuần), kill switch tắt tính năng nặng khi quá tải (sống lâu), experiment flag chia người dùng theo hash user id cho A/B test.

Canary chia theo pod, flag chia theo người dùng; hai cái kết hợp được: rolling với flag tắt, rồi bật cho 1% người dùng.

Dark launch và nợ feature flag

3. Expand/contract: đổi schema khi hai bản chạy cùng lúc

Ý chính: trong lúc rolling hay canary, bản N và N+1 cùng đọc ghi một database. Nên mỗi thay đổi schema phải chia thành nhiều release: expand (thêm, không phá), migrate (chuyển dữ liệu và đọc ghi), contract (xoá cái cũ khi không còn ai dùng).

Ví dụ đổi tên cột phone thành phone_number. Làm một lần ALTER TABLE ... RENAME COLUMN thì pod cũ còn chạy sẽ lỗi ngay lập tức.

Release Schema Ứng dụng Rollback về release trước an toàn?
1. Expand Thêm cột phone_number nullable Ghi cả hai cột, vẫn đọc phone Có, bản cũ bỏ qua cột mới
2. Backfill Copy phone → phone_number theo batch Như release 1 Có
3. Đổi nguồn đọc Không đổi Đọc phone_number, vẫn ghi cả hai Có, vì phone vẫn được ghi
4. Ngừng ghi cũ Không đổi Chỉ ghi phone_number Chỉ về release 3
5. Contract Xoá cột phone Không đổi Không cần nữa

Quy tắc: migration chạy trước code mới, và phải chạy được với bản code ngay trước nó. Backfill theo batch nhỏ như khi xoá dữ liệu cũ, ALTER bảng lớn phải là DDL online. API và message cũng vậy: thêm field thì được, xoá hay đổi nghĩa cần một chu kỳ như trên, giống compatibility mode của Schema Registry.

Flyway script cho từng bước và các thay đổi hay gặp
-- V41__expand_phone_number.sql (release 1)
ALTER TABLE customer ADD COLUMN phone_number VARCHAR(20);

-- V42__backfill_phone_number.sql (release 2, chạy lặp theo batch, hoặc làm bằng job riêng)
UPDATE customer SET phone_number = phone
WHERE phone_number IS NULL AND id BETWEEN :from AND :to;

-- V45__contract_phone.sql (release 5, sau khi chắc không còn pod nào đọc phone)
ALTER TABLE customer DROP COLUMN phone;

Cách làm cho các thay đổi khác:

Thay đổi Cách an toàn
Thêm cột NOT NULL Thêm nullable (hoặc có DEFAULT), backfill, rồi mới thêm ràng buộc
Xoá cột Release trước: code ngừng đọc ghi và bỏ khỏi entity JPA. Release sau: drop
Đổi kiểu cột, tách bảng Như đổi tên: cái mới, ghi cả hai, backfill, đổi nguồn đọc, xoá cái cũ
Thêm index trên bảng lớn CREATE INDEX CONCURRENTLY (PostgreSQL) hoặc ALGORITHM=INPLACE, LOCK=NONE (MySQL)

Với JPA, entity có cột mà DB chưa có sẽ lỗi ngay ở câu SELECT (hoặc ddl-auto=validate từ chối khởi động), nên migration luôn đi trước code.

4. Kubernetes tối thiểu cho backend dev

Ý chính: Deployment giữ số pod và điều khiển rollout, Service gom các pod ready thành một địa chỉ ổn định. Probe, tham số rollout, resources và PodDisruptionBudget quyết định deploy có mất request không.

Probe Câu hỏi Khi fail Nên kiểm tra
Startup Đã khởi động xong chưa? Hết failureThreshold × periodSeconds thì restart Như liveness, cho phép lâu
Readiness Có nên nhận traffic không? Gỡ khỏi Service endpoints, không restart Trạng thái nội bộ, có thể cả dependency dùng chung thiết yếu
Liveness Process còn cứu được không? Restart container Chỉ trạng thái nội bộ (deadlock, kẹt)

Startup probe tắt hai probe kia cho tới khi nó thành công, nên ứng dụng khởi động 60 giây không bị liveness giết oan. Readiness chạy suốt vòng đời, không chỉ lúc khởi động.

  • maxSurge (mặc định 25%, làm tròn lên): được tạo thêm bao nhiêu pod so với replicas. maxUnavailable (mặc định 25%, làm tròn xuống): được thiếu bao nhiêu pod ready. maxSurge: 1, maxUnavailable: 0 không bao giờ giảm năng lực, đổi lại rollout chậm.
  • Resources: requests là phần scheduler giữ chỗ, limits là trần. Vượt CPU limit bị throttle (tăng p99), vượt memory limit bị OOMKilled. Xem CPU quota và heap so với memory limit.
  • PodDisruptionBudget (PDB): giới hạn số pod bị gỡ cùng lúc khi có gián đoạn tự nguyện như drain node, ví dụ minAvailable: 2.
Manifest đầy đủ: Deployment, Service và PDB cho một service Spring Boot
apiVersion: apps/v1
kind: Deployment
metadata: { name: order-service }
spec:
  replicas: 4
  minReadySeconds: 10            # pod phải ready ổn định 10s mới tính là available
  strategy:
    type: RollingUpdate
    rollingUpdate: { maxSurge: 1, maxUnavailable: 0 }
  selector: { matchLabels: { app: order-service } }
  template:
    metadata: { labels: { app: order-service } }
    spec:
      terminationGracePeriodSeconds: 45     # > preStop + timeout-per-shutdown-phase
      containers:
        - name: app
          image: registry.example.com/order-service:1.42.0   # tag cố định, không dùng latest
          ports: [{ containerPort: 8080 }]
          resources:
            requests: { cpu: "500m", memory: "768Mi" }
            limits:   { memory: "768Mi" }   # nhiều team bỏ CPU limit để tránh throttle
          startupProbe:
            httpGet: { path: /livez, port: 8080 }
            periodSeconds: 5
            failureThreshold: 24            # cho phép khởi động tới 120s
          readinessProbe:
            httpGet: { path: /readyz, port: 8080 }
            periodSeconds: 5
            failureThreshold: 2
          livenessProbe:
            httpGet: { path: /livez, port: 8080 }
            periodSeconds: 10
            failureThreshold: 3
          lifecycle:
            preStop:
              exec: { command: ["sh", "-c", "sleep 10"] }
---
apiVersion: v1
kind: Service
metadata: { name: order-service }
spec:
  selector: { app: order-service }
  ports: [{ port: 80, targetPort: 8080 }]
---
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata: { name: order-service }
spec:
  minAvailable: 3
  selector: { matchLabels: { app: order-service } }

Vài chi tiết: progressDeadlineSeconds (mặc định 600) đánh dấu rollout thất bại nếu không tiến triển, nhưng Kubernetes không tự rollback; pipeline phải xem kubectl rollout status và gọi rollout undo. requests == limits cho mọi container thì pod thuộc QoS Guaranteed, ít bị đuổi khi node thiếu RAM. Manifest này chưa được apply lên cluster thật trong lúc viết bài.

5. Spring Boot: health group và graceful shutdown

Ý chính: Actuator có sẵn hai health group liveness và readiness cho probe. Khi nhận SIGTERM, Spring Boot chuyển readiness sang REFUSING_TRAFFIC, ngừng nhận request mới và chờ request đang chạy xong, trong giới hạn spring.lifecycle.timeout-per-shutdown-phase.

# Probe trên port chính, để probe fail khi web server chính hỏng
management.endpoint.health.probes.add-additional-paths=true   # /livez, /readyz
# Readiness thêm DB vì không có DB thì pod vô dụng; liveness giữ mặc định
management.endpoint.health.group.readiness.include=readinessState,db
server.shutdown=graceful                         # mặc định từ Spring Boot 3.4
spring.lifecycle.timeout-per-shutdown-phase=30s

Bản Spring Boot cũ chỉ bật hai group khi phát hiện chạy trên Kubernetes hoặc khi đặt management.endpoint.health.probes.enabled=true. Actuator ở port riêng thì probe có thể xanh trong khi port chính đã chết, nên dùng add-additional-paths.

SIGTERM và việc gỡ pod khỏi endpoints xảy ra song song, nên cần preStop sleep vài giây trước khi ứng dụng ngừng nhận kết nối. Chi tiết này và lỗi ENTRYPOINT dạng shell nuốt SIGTERM có ở 12-Factor App và bài hệ điều hành.

sequenceDiagram
    participant K as Kubernetes
    participant P as Pod (Spring Boot)
    participant L as Service / Ingress
    K->>L: Gỡ pod khỏi endpoints (bất đồng bộ)
    K->>P: Chạy preStop: sleep 10
    Note over L: Vài giây sau mới ngừng gửi request
    K->>P: SIGTERM
    P->>P: Readiness = REFUSING_TRAFFIC, ngừng nhận request mới
    P->>P: Chờ request đang chạy (tối đa 30s)
    P-->>K: Thoát
    Note over K,P: Quá terminationGracePeriodSeconds thì SIGKILL

6. Session và sticky session

Ý chính: deploy giết pod, nên trạng thái trong bộ nhớ pod sẽ mất. Sticky session chỉ giảm triệu chứng; hãy đưa session ra ngoài (Redis, JDBC) hoặc dùng token không trạng thái.

  • Sticky session (gắn người dùng vào một pod bằng cookie) làm tải lệch, và người dùng vẫn mất phiên khi pod đó bị thay.
Canary, session dùng chung và kết nối dài
  • Canary theo trọng số làm một người gặp bản cũ và mới xen kẽ; đổi hành vi API thì định tuyến canary theo user (header, cookie).
  • Session ở ngoài phải deserialize được ở cả hai phiên bản (Spring Session, session và JWT). Kết nối dài (WebSocket, gRPC stream) phải được server đóng khi tắt và client reconnect có jitter.

7. Canary: nhìn gì và khi nào dừng

Ý chính: so canary với nhóm bản cũ cùng thời điểm, theo các tín hiệu người dùng cảm nhận được: tỉ lệ lỗi, p99, và tốc độ đốt error budget. Dừng tự động khi vượt ngưỡng ghi sẵn.

Tín hiệu Ví dụ ngưỡng dừng Ghi chú
Tỉ lệ lỗi 5xx Canary > bản cũ + 0,5 điểm % So tương đối, lỗi nền đổi theo giờ
p99 latency Canary > 1,2 × bản cũ Trung bình che đuôi chậm
SLO burn rate > 10 trong 10 phút Burn rate = tỉ lệ lỗi / (1 − SLO)
Saturation CPU throttle, chờ connection, GC pause Đúng nhưng tốn tài nguyên hơn
Tín hiệu nghiệp vụ Số đơn mỗi phút, tỉ lệ thanh toán thành công Bắt lỗi “trả 200 nhưng sai”

Burn rate là error budget bị đốt nhanh gấp mấy lần mức cho phép: SLO 99,9% cho lỗi 0,1%, canary lỗi 0,5% là burn rate 5. Sổ tay SRE của Google cảnh báo khi burn rate 14,4 kéo dài một giờ, tức đã đốt 2% budget 30 ngày (xem SLO và error budget).

8. Checklist zero-downtime

Ý chính: thiếu một chi tiết là mất vài request mỗi lần deploy.

  • Migration expand/contract, chạy trước code, tương thích bản N-1; API và message chỉ thêm field.
  • Ba probe tách biệt; liveness không gọi dependency.
  • maxUnavailable: 0 hoặc đủ dư năng lực; có minReadySeconds.
  • ENTRYPOINT dạng exec, graceful shutdown, preStop sleep, grace period lớn hơn tổng thời gian tắt.
  • Không có trạng thái trong bộ nhớ pod; PDB cho service từ 2 pod.
  • Image tag cố định, lệnh rollback đã thử, tiêu chí canary bằng số.
  • Warm-up nếu pod lạnh làm p99 tăng (JIT, connection pool, cache cục bộ).

Bài tập

Bài 1: Đếm pod trong rolling update

Deployment replicas: 10 dùng mặc định maxSurge: 25%, maxUnavailable: 25%. Lúc rollout, tối đa có bao nhiêu pod, tối thiểu bao nhiêu pod available? Đổi sang maxSurge: 1, maxUnavailable: 0 thì sao, và cái giá là gì?

Lời giải Bài 1
  • 25% của 10 là 2,5. maxSurge làm tròn lên thành 3, maxUnavailable làm tròn xuống thành 2.
  • Tối đa 10 + 3 = 13 pod cùng tồn tại, tối thiểu 10 − 2 = 8 pod available. Bước đầu, controller tạo 3 pod mới và có thể gỡ ngay 2 pod cũ.
  • Với maxSurge: 1, maxUnavailable: 0: tối đa 11 pod, luôn đủ 10 available. Mỗi lần chỉ thay một pod và phải chờ pod mới ready (cộng minReadySeconds), nên rollout lâu khoảng 10 lần một chu kỳ khởi động. Nếu cluster không còn chỗ cho pod thứ 11, rollout đứng yên.
  • Service đang chạy 80% CPU thì cấu hình mặc định bắt 8 pod gánh tải của 10, mỗi pod lên 100%. Lúc đó chọn maxUnavailable: 0.

Bài 2: Tách cột full_name

Bảng customer có full_name. Yêu cầu mới cần first_name và last_name, và service chạy rolling với 6 pod. Viết kế hoạch release, nói rõ mỗi bước rollback được về đâu.

Lời giải Bài 2
  1. R1 expand: migration thêm first_name, last_name nullable. Code ghi cả full_name lẫn hai cột mới (tách bằng quy tắc thống nhất), vẫn đọc full_name. Rollback về R0 an toàn vì R0 không biết hai cột mới.
  2. R2 backfill: job batch tách full_name cho dòng cũ, ghi log những tên tách không chắc (một từ, nhiều khoảng trắng). Không đổi code đọc. Rollback an toàn.
  3. R3 đổi nguồn đọc: code đọc first_name/last_name, vẫn ghi cả ba cột. Bật bằng feature flag để tắt nhanh nếu hiển thị sai. Rollback về R2 an toàn vì full_name vẫn đúng.
  4. R4 ngừng ghi full_name: chỉ ghi hai cột mới, bỏ full_name khỏi entity. Từ đây không rollback về R2 được nữa (R2 đọc full_name sẽ thấy dữ liệu cũ), chỉ về R3.
  5. R5 contract: sau một chu kỳ quan sát (ví dụ một tuần), drop full_name. Nếu bên khác (báo cáo, ETL, CDC) còn đọc cột này thì phải chuyển họ trước.

Dòng tạo giữa lúc backfill đã có cả ba cột nhờ R1, nên backfill chỉ cần WHERE first_name IS NULL.

Ghi nhớ

  • So sánh được các chiến lược deploy theo rollback, chi phí và việc hai bản chạy song song.
  • Viết được kế hoạch expand/contract cho đổi tên cột, mỗi bước rollback về đâu.
  • Phân biệt startup, readiness, liveness, và biết vì sao liveness không được kiểm tra database.
  • Tính được số pod theo maxSurge/maxUnavailable, biết PDB bảo vệ khỏi cái gì.
  • Kể được thứ tự tắt pod và các tín hiệu dừng canary bằng số.

Câu hỏi phỏng vấn

Junior

Readiness probe và liveness probe khác nhau thế nào?

Readiness fail thì pod bị gỡ khỏi Service nhưng vẫn chạy; liveness fail thì container bị restart.

Readiness trả lời “có nên gửi request cho tôi không”, dùng lúc khởi động, lúc tắt và khi quá tải tạm thời. Liveness trả lời “tôi còn cứu được không”, chỉ nên fail khi process kẹt hẳn. Startup probe che cả hai trong lúc khởi động chậm.

Rolling update là gì và Kubernetes làm thế nào để không mất request?

Thay dần pod cũ bằng pod mới, chỉ gửi traffic tới pod đã ready, trong giới hạn maxSurge và maxUnavailable.

Để thật sự không mất request còn cần ứng dụng tắt êm: nhận SIGTERM, ngừng nhận request mới, làm xong request đang chạy, cộng preStop sleep để load balancer kịp gỡ pod.

Mid

Bạn cần đổi tên một cột đang được dùng. Deploy thế nào để không downtime?

Expand/contract qua nhiều release: thêm cột mới, ghi cả hai, backfill, đổi nguồn đọc, ngừng ghi cột cũ, cuối cùng mới xoá.

Lý do: trong lúc rolling, pod cũ và mới cùng chạy trên một database, nên schema phải hợp với cả hai. Mỗi migration phải chạy được với bản code ngay trước nó, và bước drop chỉ làm khi chắc không còn rollback về bản đọc cột cũ.

Blue-green khác canary thế nào, khi nào chọn cái nào?

Blue-green đổi toàn bộ traffic một lần sang cụm mới đã dựng sẵn; canary đưa một phần nhỏ traffic sang trước rồi tăng dần theo số đo.

Blue-green hợp khi cần rollback tức thì và chấp nhận gấp đôi tài nguyên. Canary hợp với thay đổi rủi ro trên service nhiều traffic, vì lỗi chỉ chạm một phần người dùng. Cả hai dùng chung database, nên vẫn cần migration tương thích.

Feature flag giúp gì cho deploy, và cái giá là gì?

Tách deploy khỏi release: code lên production ở trạng thái tắt, bật dần theo người dùng và tắt trong vài giây mà không cần deploy lại.

Cái giá: mỗi flag nhân đôi số đường đi của code, cần test cả hai nhánh, và flag cũ thành nợ kỹ thuật. Release flag nên có ngày hết hạn; kill switch thì sống lâu và phải được thử định kỳ.

Senior

Mỗi lần deploy, dashboard thấy vài chục lỗi 502. Bạn điều tra thế nào?

Gần như luôn là pod nhận request khi chưa sẵn sàng hoặc bị đóng khi vẫn còn được định tuyến tới; kiểm tra lần lượt hai đầu vòng đời pod.

  • Lúc khởi động: readiness có phản ánh ứng dụng đã sẵn sàng thật không (pool, cache), có minReadySeconds không.
  • Lúc tắt: JVM có nhận SIGTERM không (ENTRYPOINT dạng exec), graceful shutdown có bật không, có preStop sleep để ingress kịp gỡ pod không, grace period có đủ dài không.
  • Keep-alive: proxy giữ connection tới pod cũ, nên timeout keep-alive của proxy phải ngắn hơn của ứng dụng, hoặc ứng dụng gửi Connection: close khi đang tắt (xem reverse proxy).
  • Đối chiếu thời điểm lỗi với event Killing và Readiness probe failed của pod.
Thiết kế canary tự động cho một service thanh toán.

Canary theo trọng số với các bước 5%, 25%, 50%, mỗi bước có phân tích tự động so canary với bản cũ, và rollback tự động khi vượt ngưỡng.

  • Tín hiệu: tỉ lệ 5xx, p99, burn rate của SLO, tỉ lệ thanh toán thành công và số giao dịch mỗi phút theo nhãn version.
  • Đủ mẫu: kéo dài bước cho tới khi đủ số giao dịch, không chỉ đủ thời gian.
  • Định tuyến theo user để một người không bị đổi phiên bản giữa luồng thanh toán.
  • Thay đổi schema hay message đi trước, theo expand/contract. Công cụ: Argo Rollouts hoặc Flagger với metric từ Prometheus.
PodDisruptionBudget dùng để làm gì và cấu hình sai thì sao?

PDB giới hạn số pod bị gỡ cùng lúc khi có gián đoạn tự nguyện như drain node, để service luôn còn đủ pod.

Nó không áp dụng cho rollout của Deployment hay cho node chết. Đặt minAvailable bằng replicas, hoặc PDB cho Deployment chỉ có 1 pod, làm kubectl drain treo và chặn nâng cấp cluster. Thường dùng maxUnavailable: 1 hoặc minAvailable nhỏ hơn số replica.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
rolling update /ˈroʊ.lɪŋ ˈʌp.deɪt/ thay dần từng pod “A rolling update replaces pods a few at a time.”
canary release /kəˈner.i rɪˈliːs/ thả bản mới cho một phần nhỏ trước “We send five percent of traffic to the canary first.”
blue-green deployment /bluː ɡriːn dɪˈplɔɪ.mənt/ hai cụm, đổi router một lần “Blue-green gives instant rollback at the cost of double capacity.”
feature flag /ˈfiː.tʃɚ flæɡ/ công tắc bật tắt tính năng “We deploy behind a feature flag and release separately.”
expand and contract /ɪkˈspænd ənd kənˈtrækt/ mở rộng rồi thu gọn schema “Renaming a column takes several releases with expand and contract.”
backward compatible /ˈbæk.wɚd kəmˈpæt.ə.bəl/ tương thích với bản cũ “Every migration must be backward compatible with the previous release.”
readiness probe /ˈred.i.nəs proʊb/ kiểm tra sẵn sàng nhận traffic “A failing readiness probe removes the pod from the service.”
graceful shutdown /ˈɡreɪs.fəl ˈʃʌt.daʊn/ tắt êm “Graceful shutdown lets in-flight requests finish.”
disruption budget /dɪsˈrʌp.ʃən ˈbʌdʒ.ɪt/ giới hạn số pod bị gỡ “The disruption budget keeps at least three pods during a node drain.”
burn rate /bɝːn reɪt/ tốc độ đốt error budget “We roll back automatically if the burn rate exceeds ten.”

Ghi chép tự tổng hợp từ tài liệu chính thức và kinh nghiệm thực tế.