Đến nội dung chính
notes.vinhnq.com

Tìm kiếm

System DesignSenior19 phút đọc

Mạng máy tính cho backend: DNS, TCP, TLS và cách debug kết nối

Ôn 14 thẻ
Trong bài này

“Connection reset”, “connect timed out”, request treo 15 phút sau một đêm rảnh: dev backend phải tự đọc được các lỗi mạng này. Bài này đi theo một lần gọi API từ DNS tới byte cuối, gom những điều TCP hay gây sự cố, và chỉ cách khoanh vùng lỗi bằng curl, dig, ss, tcpdump, openssl. Số liệu là từ lần chạy của mình (macOS, JDK 21.0.13, curl tới example.com).

1. Chuyện gì xảy ra khi gọi một API

Ý chính: trước khi byte đầu tiên của request đi được, client phải tìm IP (DNS), mở kết nối (TCP) và thoả thuận mã hoá (TLS). Mỗi bước tốn khoảng một vòng đi về (RTT), nên dùng lại connection là cách tăng tốc rẻ nhất.

sequenceDiagram
  participant C as Client
  participant D as DNS resolver
  participant S as Server
  C->>D: A/AAAA api.example.com?
  D-->>C: 104.20.23.154 (TTL 300)
  C->>S: SYN
  S-->>C: SYN-ACK
  C->>S: ACK + TLS ClientHello (SNI, ALPN, key share)
  S-->>C: ServerHello + Certificate + Finished
  C->>S: Finished + GET /orders
  S-->>C: 200 OK (connection giữ lại để dùng tiếp)

Đo bằng curl -w (các mốc thời gian đều tính từ lúc bắt đầu, không phải từng đoạn):

Lần gọi DNS xong TCP xong TLS xong Byte đầu (TTFB) Tổng
Connection mới, DNS đã cache ở OS 1,9 ms 47,9 ms 106,6 ms 166,0 ms 166,1 ms
Connection mới, DNS chưa cache 32,2 ms 76,5 ms 159,6 ms 217,0 ms 217,2 ms
Request thứ hai trên cùng connection 0 0 0 51,7 ms 52,1 ms

RTT khoảng 48 ms: TCP 1 RTT, TLS 1.3 thêm 1 RTT, request thêm 1 RTT. Keep-alive cắt 166 ms xuống 52 ms, nên HTTP client và JDBC đều dùng connection pool (bể connection mở sẵn), xem Connection pool và HikariCP.

DNS đổi tên thành IP; câu trả lời có TTL (được cache bao lâu). Đường đi: cache trong app → resolver của OS → recursive resolver → root → TLD → authoritative server.

DNS chi tiết: cấu hình TTL của JVM, stale cache, Kubernetes ndots
  • Đặt TTL của JVM: sửa $JAVA_HOME/conf/security/java.security, hoặc gọi Security.setProperty("networkaddress.cache.ttl", "10") trước lookup đầu tiên. -Dsun.net.inetaddr.ttl là cách cũ, không chính thức.
  • File java.security của JDK 21 còn có networkaddress.cache.stale.ttl (mặc định 0): cho dùng tạm kết quả cũ khi resolver không trả lời.
  • Kubernetes đặt ndots:5 trong pod: tên ít hơn 5 dấu chấm được thử ghép với từng search domain trước, một lần gọi ra ngoài thành 4–5 lookup. Dùng tên có dấu chấm cuối (api.stripe.com.) hoặc hạ ndots trong dnsConfig.
TLS 1.3 handshake: SNI, ALPN, 0-RTT và cái mình thấy bằng openssl
  • ClientHello gửi kèm key share (khoá tạm ECDHE) ngay từ đầu, nên TLS 1.3 cần 1 RTT; TLS 1.2 cần 2.
  • SNI: tên host gửi dạng rõ để server chọn đúng certificate; thiếu SNI dễ gặp lỗi hostname mismatch.
  • ALPN: chọn h2 hay http/1.1 ngay trong bắt tay.
  • Client kiểm tra chuỗi certificate tới CA tin cậy, hạn dùng, tên host khớp SAN.
  • 0-RTT (kết nối lại bằng session ticket) gửi dữ liệu ngay gói đầu nhưng có thể bị phát lại (replay): chỉ cho request idempotent.
  • openssl s_client -connect example.com:443 -servername example.com -brief của mình in: TLSv1.3, cipher TLS_AES_256_GCM_SHA384, nhóm trao đổi khoá X25519MLKEM768 (lai cổ điển và hậu lượng tử), Verification: OK.

Chi tiết về mã hoá, forward secrecy và vì sao chỉ bật TLS 1.2/1.3 ở bài web và HTTP.

2. TCP: những điều backend phải biết

Ý chính: TCP là đường ống tin cậy giữa hai IP:port. Sáu chi tiết hay gây sự cố: port tạm, TIME_WAIT, Nagle, backlog, và cách đóng bằng FIN hay RST.

Khái niệm Nghĩa Khi nào cắn
Ephemeral port (port tạm) Port nguồn client tự chọn, Linux mặc định 32768–60999 Nhiều connection ngắn tới cùng một đích: Cannot assign requested address
TIME_WAIT Bên đóng trước giữ socket thêm 2×MSL (Linux 60 giây) để gói lạc không lẫn vào connection mới Hàng chục nghìn socket ở client khi không có keep-alive
Nagle Gom các lần ghi nhỏ, chờ ACK gói trước Gặp delayed ACK: trễ hàng chục ms. Chữa bằng TCP_NODELAY
Backlog Hàng đợi connection đã bắt tay, app chưa accept() Đầy thì Linux bỏ SYN, client connect chậm hoặc timeout
FIN Đóng lịch sự: “tôi gửi xong rồi” Bên kia read() trả -1
RST Huỷ ngay: “connection này không tồn tại / bỏ đi” Bên kia nhận Connection reset

Giới hạn port và file descriptor chi tiết ở I/O model và epoll.

Backlog, Nagle và delayed ACK chi tiết
  • Linux có hai hàng: SYN queue (đang bắt tay) và accept queue (đã xong, chờ accept()). Kích thước accept queue = min(backlog app truyền vào listen(), net.core.somaxconn); somaxconn mặc định 4096 từ Linux 5.4 (trước đó 128). Tomcat truyền server.tomcat.accept-count (mặc định 100).
  • Xem: ss -lnt với socket LISTEN, cột Recv-Q là số connection đang chờ accept, Send-Q là kích thước backlog. Bộ đếm tràn: nstat -az TcpExtListenOverflows hoặc netstat -s | grep -i listen.
  • Accept queue đầy thường nghĩa là app không theo kịp (hết worker, GC dài); tăng backlog chỉ làm client chờ lâu hơn.
  • Nagle + delayed ACK: client ghi header rồi body thành hai lần nhỏ. Nagle giữ lần thứ hai chờ ACK, bên kia hoãn ACK (Linux tới khoảng 40 ms). Mỗi request chậm thêm một khoảng cố định. Code tự viết bằng Socket thì gọi setTcpNoDelay(true) và gom dữ liệu thành một lần ghi.

3. Connect timeout, read timeout và các lỗi hay gặp

Ý chính: mỗi lỗi mạng chỉ ra một tầng cụ thể. Đọc đúng tên lỗi là đã khoanh được nửa vùng tìm.

Chương trình JDK 21 của mình tạo từng tình huống (code ở Bài tập 2):

Tình huống Java báo Thời gian đo Nghĩa là
Không ai nghe port ConnectException: Connection refused 7 ms Tới được máy, kernel trả RST cho SYN (hoặc firewall REJECT)
SYN vào hư không (10.255.255.1) SocketTimeoutException: Connect timed out 1001 ms (timeout 1 s) Không ai trả lời: firewall DROP, máy chết, IP sai, backlog đầy
Server nhận nhưng không trả lời SocketTimeoutException: Read timed out 504 ms (timeout 500 ms) Connection ổn, bên kia chậm hoặc treo
Server đóng với SO_LINGER=0 SocketException: Connection reset 1 ms Bên kia gửi RST
Server đóng bình thường read() trả -1; ghi tiếp thì Broken pipe — FIN, rồi RST khi ta cố ghi

Connect timeout đo việc mở TCP (client HTTP thường gộp cả TLS), đặt 1–2 giây. Read timeout đo khoảng chờ giữa hai lần nhận dữ liệu, đặt theo p99 của bên kia. Không có connect timeout thì Linux thử lại SYN (tcp_syn_retries=6) khoảng 2 phút mới bỏ. Chọn giá trị và retry ở Timeout, retry và circuit breaker.

4. Load balancer L4, L7, NAT và MTU

Ý chính: giữa client và server thường có load balancer, NAT, firewall. Mỗi thiết bị giữ trạng thái connection với idle timeout riêng; quên connection thì drop gói hoặc trả RST.

L4 (TCP/UDP) L7 (HTTP)
Nhìn thấy IP, port URL, header, cookie, từng request HTTP/2
Cân bằng theo Connection Request
TLS Chuyển nguyên (passthrough) hoặc terminate Terminate để đọc HTTP
Ví dụ AWS NLB, kube-proxy (Service ClusterIP) AWS ALB, Nginx, Envoy, ingress

Vì L4 cân bằng theo connection, connection sống lâu (HTTP/2, gRPC, pool JDBC) bám mãi vào một backend; đây là cái bẫy gRPC trên Kubernetes ở bài giao tiếp đồng bộ.

NAT và conntrack. NAT (đổi IP:port riêng thành IP công khai) và conntrack của Linux (bảng theo dõi connection, dùng cho NAT và kube-proxy) giữ một dòng cho mỗi connection. Rảnh quá idle timeout thì dòng bị xoá: gói sau bị drop hoặc nhận RST. Bảng đầy thì kernel log nf_conntrack: table full, dropping packet.

MTU (gói lớn nhất một chặng truyền được): Ethernet 1500 byte, trừ header IPv4 + TCP còn MSS 1460 byte. VPN, overlay (VXLAN thêm 50 byte) làm MTU nhỏ hơn. Firewall chặn ICMP “fragmentation needed” thì Path MTU Discovery hỏng: request nhỏ chạy, response lớn treo.

5. HTTP/1.1, HTTP/2, HTTP/3 ở tầng transport và mTLS

Ý chính: phiên bản HTTP quyết định cần bao nhiêu connection và connection sống bao lâu. mTLS thêm bước server kiểm tra certificate của client.

  • HTTP/1.1: một connection chỉ chạy một request tại một thời điểm, nên client cần pool nhiều connection mỗi host.
  • HTTP/2: nhiều stream trên một connection TCP, thường chỉ một connection mỗi host. Mất một gói thì mọi stream chờ (head-of-line blocking ở TCP), và L4 LB không chia được tải.
  • HTTP/3: chạy trên QUIC (UDP), gộp bắt tay transport và TLS, connection định danh bằng connection ID nên đổi mạng không đứt. Firewall hay chặn UDP, nên client luôn có đường lùi về TCP.

Bảng so sánh đầy đủ ở web và HTTP; REST hay gRPC trên HTTP/2 ở giao tiếp đồng bộ.

mTLS (mutual TLS): server cũng đòi client trình certificate do CA nội bộ ký. Dùng giữa các service theo kiểu zero-trust (không tin ai chỉ vì cùng mạng). Trong Java, keystore chứa certificate và private key của mình, truststore chứa các CA mình tin; Spring Boot 3.1+ gom vào spring.ssl.bundle. Service mesh (Istio, Linkerd) tự cấp và xoay vòng certificate.

6. Bộ công cụ debug

Ý chính: đi từ dưới lên: tên ra IP chưa (dig), mở TCP/TLS mất bao lâu (curl, openssl), socket ở trạng thái nào (ss), vẫn mù thì xem gói thật (tcpdump).

Câu hỏi Lệnh
Tên ra IP nào, TTL còn bao lâu dig +noall +answer api.example.com, dig +trace, dig @10.0.0.2 name (hỏi resolver cụ thể)
Chậm ở pha nào curl -o /dev/null -sS -w '...time_connect...' URL, curl -v --trace-time URL
Bỏ qua DNS, gọi thẳng một IP curl --resolve api.example.com:443:10.0.1.5 https://api.example.com/
Certificate, TLS version, ALPN openssl s_client -connect host:443 -servername host -alpn h2
Socket đang ở trạng thái gì ss -tan state time-wait | wc -l, ss -tnp dst :5432, ss -ti (RTT, retransmit); macOS: netstat -an
Ai gửi RST, SYN có ra không sudo tcpdump -i any -nn 'port 5432 and (tcp[tcpflags] & (tcp-syn|tcp-rst) != 0)'

tcpdump -w file.pcap rồi mở bằng Wireshark: lọc tcp.flags.reset == 1 tìm ai gửi RST, tcp.analysis.retransmission tìm gói phải gửi lại.

Mình chưa chạy ss (macOS không có), tcpdump (cần sudo) và các tham số kernel Linux; cần thử lại trên máy Linux.

Bài tập

Bài 1: Đọc bảng thời gian của curl -w

Chạy lệnh dưới đây ba lần, rồi trả lời: RTT tới server là bao nhiêu, TLS tốn mấy RTT, server xử lý mất bao lâu? Nếu time_connect là 3 giây, time_appconnect − time_connect là 2 giây, hoặc time_starttransfer − time_appconnect là 2 giây, thì mỗi trường hợp nghi ngờ gì?

curl -o /dev/null -sS -w 'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total} new=%{num_connects}\n' https://example.com/
Lời giải bài 1

Kết quả của mình: dns=0.001857 connect=0.047921 tls=0.106648 ttfb=0.165987 total=0.166090 new=1.

Các mốc cộng dồn từ lúc bắt đầu, nên lấy hiệu:

Pha Cách tính Kết quả
DNS dns 1,9 ms (đã cache ở OS; lần lạnh là 32 ms)
TCP handshake connect − dns 46 ms ≈ 1 RTT
TLS 1.3 tls − connect 59 ms ≈ 1 RTT + chút CPU
Request tới byte đầu ttfb − tls 59 ms ≈ 1 RTT + thời gian server
Tải body total − ttfb 0,1 ms (trang nhỏ)

RTT khoảng 46–48 ms, nên server (CDN) xử lý chỉ vài ms. Ba trường hợp bất thường:

  • connect = 3 s: SYN bị mất và gửi lại (Linux chờ 1 s rồi tăng dần), backlog server đầy, hoặc firewall drop. tcpdump sẽ thấy nhiều SYN không có SYN-ACK.
  • TLS = 2 s: server thiếu CPU cho handshake, hoặc client kiểm tra OCSP/CRL chậm. Dùng openssl s_client để tách khỏi app.
  • ttfb − tls = 2 s: mạng ổn, chính ứng dụng chậm. Chuyển sang distributed tracing.

new=0 và ba mốc đầu bằng 0 nghĩa là request đi trên connection cũ (52 ms ở lần đo của mình).

Bài 2: Phân biệt “connection reset” và “connect timeout”

Viết chương trình Java tạo lại năm tình huống ở mục 3. Sau đó chẩn đoán: (a) service báo Connect timed out tới DB sau khi đổi security group; (b) service báo Connection reset lác đác vào buổi sáng khi gọi một API nội bộ qua ALB.

Lời giải bài 2: code và chẩn đoán
// Trích phần cốt lõi; ba tình huống còn lại (refused, read timeout, FIN) viết tương tự
try (Socket s = new Socket()) {                       // SYN vào hư không
    start(); s.connect(new InetSocketAddress("10.255.255.1", 80), 1000);
} catch (IOException e) { System.out.println("connect : " + e + " after " + ms()); }

try (ServerSocket server = new ServerSocket(0, 50, InetAddress.getLoopbackAddress())) {
    Thread srv = Thread.ofPlatform().start(() -> {    // server huỷ connection bằng RST
        try { Socket c = server.accept(); c.setSoLinger(true, 0); c.close(); } catch (Exception ignored) {}
    });
    try (Socket s = new Socket()) {
        s.connect(server.getLocalSocketAddress(), 1000); srv.join(); Thread.sleep(100);
        start(); s.getInputStream().read();
    } catch (IOException e) { System.out.println("rst     : " + e + " after " + ms()); }
}
// Read timeout: server accept() rồi ngủ, client setSoTimeout(500) rồi read().
// FIN: server close() bình thường, client read() trả -1, ghi tiếp thì Broken pipe.

Kết quả trên JDK 21.0.13 (macOS):

refused : java.net.ConnectException: Connection refused (connect failed) after 7 ms
connect : java.net.SocketTimeoutException: Connect timed out after 1001 ms
read    : java.net.SocketTimeoutException: Read timed out after 504 ms
rst     : java.net.SocketException: Connection reset after 1 ms
fin     : read returned -1
fin     : write after FIN -> java.net.SocketException: Broken pipe

(a) Connect timeout sau khi đổi security group. Security group drop gói chứ không trả RST, nên client thấy timeout chứ không phải refused. Kiểm tra: dig tên DB ra đúng IP chưa; nc -vz -w 2 db-host 5432 từ chính máy app; tcpdump thấy SYN ra mà không có SYN-ACK; rồi rà inbound rule và NACL. Nếu là Connection refused thì mạng thông, chỉ là DB không nghe port đó.

(b) Reset lác đác buổi sáng qua ALB. Lác đác và sau khoảng rảnh gợi ý connection keep-alive cũ: ALB đóng connection rảnh sau 60 giây, pool client vẫn dùng lại. Xác nhận: lỗi chỉ ở request đầu trên mỗi connection, tcpdump thấy RST từ phía LB. Sửa: idle eviction của pool ngắn hơn idle timeout của ALB, retry một lần cho request idempotent. Reset giữa lúc tải cao thì nghĩ tới backend crash, deploy không drain connection, hoặc conntrack đầy.

Ghi nhớ

  • Giải thích được một lần gọi HTTPS mới tốn những RTT nào và vì sao keep-alive cắt được ~2/3 thời gian.
  • Biết JVM cache DNS bao lâu, cấu hình ở đâu, và vì sao connection trong pool không thấy DNS đổi.
  • Phân biệt được refused, connect timeout, read timeout, reset, và chỉ ra tầng gây ra mỗi lỗi.
  • Biết idle timeout của LB/NAT ảnh hưởng gì tới pool và đặt maxLifetime, keepalive cho đúng.
  • Dùng được curl -w, dig, openssl s_client, ss, tcpdump để khoanh vùng lỗi mạng.

Câu hỏi phỏng vấn

Junior

Chuyện gì xảy ra khi service của bạn gọi https://api.example.com/orders?

Tra DNS ra IP, bắt tay TCP (1 RTT), bắt tay TLS (1 RTT với TLS 1.3), gửi request và chờ response (1 RTT + thời gian server); connection được giữ lại cho lần sau.

Đo thật với RTT 48 ms: connection mới 166 ms, dùng lại connection 52 ms.

Connect timeout và read timeout khác nhau thế nào?

Connect timeout giới hạn thời gian mở kết nối; read timeout giới hạn thời gian chờ dữ liệu trên kết nối đã mở.

Connect timeout đặt 1–2 giây, read timeout theo p99 của bên kia, thêm deadline tổng nếu có retry.

Mid

TIME_WAIT là gì và khi nào nó thành vấn đề?

Trạng thái bên đóng connection trước giữ socket thêm 2×MSL (60 giây trên Linux) để gói trễ không lẫn vào connection mới; nó thành vấn đề khi một client mở rất nhiều connection ngắn tới cùng một đích.

Tới cùng một đích chỉ có khoảng 28.000 ephemeral port; triệu chứng Cannot assign requested address. Chữa bằng keep-alive và connection pool.

Load balancer L4 và L7 khác nhau thế nào, khi nào chọn cái nào?

L4 chuyển tiếp TCP/UDP theo connection mà không đọc nội dung; L7 hiểu HTTP và cân bằng, route theo từng request.

L4 nhanh, mọi giao thức, chuyển nguyên TLS được. L7 route theo path/header, retry, chia tải đúng cho HTTP/2 và gRPC.

Log có Connection reset by peer. Bạn nghĩ tới những nguyên nhân nào?

Bên kia, hoặc thiết bị giữa đường, đã gửi RST: thường là dùng lại connection đã bị đóng vì rảnh, process bên kia chết, hoặc LB/NAT quên connection.

Xem lỗi có đi sau khoảng rảnh hay trùng lúc deploy không, tcpdump để biết RST từ IP nào. Sửa idle timeout của pool ngắn hơn bên kia, retry request idempotent.

Senior

DB failover xong nhưng service Java vẫn lỗi vài phút. Vì sao?

Connection đang mở trong pool vẫn trỏ tới IP cũ vì DNS chỉ được hỏi khi tạo connection mới, cộng thêm cache DNS của JVM và TTL của bản ghi.

Cần TTL DNS ngắn, networkaddress.cache.ttl thấp, socket timeout để phát hiện connection chết, và maxLifetime để connection được thay định kỳ.

Query đầu tiên sau một đêm rảnh treo khoảng 15 phút rồi mới lỗi. Bạn điều tra thế nào?

Nghi ngay idle timeout của NAT, firewall hoặc LB: connection rảnh bị xoá khỏi bảng trạng thái, gói gửi đi bị drop, TCP retransmit tới khi bỏ cuộc.

15 phút khớp tcp_retries2=15. Kiểm tra idle timeout trên đường (NAT Gateway, NLB 350 giây), tcpdump thấy retransmit không ACK. Sửa: maxLifetime ngắn hơn timeout đó, keepaliveTime của pool, và socket timeout.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
round trip time (RTT) /raʊnd trɪp taɪm/ thời gian một vòng đi về “A fresh HTTPS call costs about three round trips before the first byte.”
ephemeral port /ɪˈfem.ər.əl pɔːrt/ port tạm phía client “We ran out of ephemeral ports because every request opened a new connection.”
connection reset /kəˈnek.ʃən ˌriːˈset/ kết nối bị huỷ bằng RST “The reset came from the load balancer, not from our service.”
black-holed /ˈblæk.hoʊld/ gói bị nuốt, không phản hồi “Our SYNs were black-holed by the security group, so we saw connect timeouts.”
idle timeout /ˈaɪ.dəl ˈtaɪm.aʊt/ thời gian rảnh tối đa “The NAT gateway’s idle timeout is shorter than our pool’s max lifetime.”
TLS termination /ˌtiː.elˈes ˌtɝː.mɪˈneɪ.ʃən/ giải mã TLS tại một điểm “We terminate TLS at the ingress and use mTLS inside the mesh.”
head-of-line blocking /hed əv laɪn ˈblɑː.kɪŋ/ nghẽn đầu hàng “HTTP/2 still suffers TCP-level head-of-line blocking on lossy networks.”
path MTU discovery /pæθ ˌem.tiːˈjuː dɪˈskʌv.ər.i/ dò kích thước gói tối đa “Blocking ICMP broke path MTU discovery, so large responses hung.”

Ghi chép tự tổng hợp từ tài liệu chính thức và kinh nghiệm thực tế.