Khi request đi qua gateway → booking-service → payment-service → Kafka → notification-service, mỗi service ghi log riêng, đồng hồ lệch nhau vài mili giây, và không có gì nói dòng log nào thuộc request nào. Distributed tracing gắn cho mỗi request một id đi theo nó qua mọi service, để trả lời được “vì sao request này mất 3 giây”. Đọc xong, bạn đọc được header traceparent, gắn Java agent, chọn được head hay tail sampling và nối log với trace.
Bài dựa trên sơ đồ tracing của dự án homestay trong khoá học (Spring Boot + OpenTelemetry Java agent + SigNoz), bổ sung từ tài liệu chính thức của OpenTelemetry và W3C. Liên quan: Reverse proxy với Nginx (chuyển id request qua proxy), Xử lý lỗi trong Spring Boot (trả traceId trong response lỗi).
1. Ba tín hiệu và vị trí của trace
Ý chính: metric báo có vấn đề, trace chỉ ra request nào chậm ở đâu, log của đúng span đó cho chi tiết. Trace id là sợi dây nối ba thứ.
OpenTelemetry (OTel) gom ba loại tín hiệu (telemetry, dữ liệu hệ thống tự báo về mình):
| Tín hiệu | Trả lời câu hỏi | Ví dụ |
|---|---|---|
| Metric | Hệ thống có ổn không, xu hướng ra sao? | p99 latency, số request lỗi/giây |
| Log | Chuyện gì đã xảy ra ở một chỗ cụ thể? | “payment declined, code=51” |
| Trace | Request này đi qua đâu, chậm ở đâu? | cây span của một request |
2. Trace và span
Ý chính: trace là cả hành trình của một request; span là một đoạn công việc trong đó, biết cha của nó. Các span cùng trace id ghép thành cây, vẽ ra thành biểu đồ thác nước.
Trace định danh bằng trace_id 16 byte. Một span có:
span_id(8 byte) vàparent_span_id(span gốc không có cha);- tên, thời điểm bắt đầu và kết thúc;
- attributes: cặp key-value mô tả công việc (
http.request.method,http.route,db.system); - events: các mốc có thời gian bên trong span (ví dụ một exception);
- links: tham chiếu tới span ở trace khác có quan hệ nhân quả (hay gặp với batch consumer: một span xử lý message từ nhiều trace);
- status:
Unset,OkhoặcError; - span kind:
Server(nhận request đồng bộ),Client(gọi ra đồng bộ),Producer(gửi việc đi để xử lý sau),Consumer(xử lý việc từ producer),Internal(việc trong process, mặc định).
Sơ đồ của khoá học, vẽ lại: agent ở Service 1 tạo span gốc, gửi context sang Service 2 qua header, Service 2 tạo span con; cả hai export span về Collector, Collector ghi vào kho, giao diện truy vấn.
sequenceDiagram
participant C as Client
participant S1 as Service 1 (agent)
participant S2 as Service 2 (agent)
participant OC as OTel Collector
participant DB as ClickHouse
participant UI as SigNoz UI
C->>S1: 0. HTTP request
Note over S1: 1. tạo span: trace t1, span s1, parent null
S1->>S2: 2. HTTP + traceparent (t1, s1)
Note over S2: 3. tạo span con: trace t1, span s2, parent s1
S2-->>S1: 4. response
S1-->>C: 5. response
S1-)OC: 6. export span qua OTLP
S2-)OC: 6. export span qua OTLP
OC->>DB: ghi span
UI->>DB: truy vấn trace t1
Trên giao diện, trace hiện thành biểu đồ thác nước:
trace 0af7651916cd43dd8448eb211c80319c 0ms ......... 820ms
└─ GET /bookings (gateway) SERVER [=============================] 820ms
└─ POST /bookings (booking-service) SERVER [===========================] 790ms
├─ SELECT homestay_availability ... CLIENT [==] 45ms
├─ POST /payments (payment-service) CLIENT [====================] 610ms
│ └─ POST /payments SERVER [===================] 600ms
│ └─ POST vnpay.example/init CLIENT [=================] 570ms
└─ send booking-created PRODUCER [=] 8ms
Đọc một dòng là biết: 610 trên 790 ms là ở payment, gần hết là chờ cổng thanh toán bên ngoài. Khi latency nằm ở bên thứ ba như thế, nên log gì cho mỗi lời gọi ra và mỗi webhook, gửi traceparent cho đối tác ra sao, cảnh báo khi p99 gần timeout của họ: xem Tích hợp bên thứ ba.
3. Context propagation và header traceparent
Ý chính: bên gọi gửi context qua header W3C traceparent gồm bốn trường version-traceid-parentid-flags. Header sai định dạng bị bỏ qua lặng lẽ, trace đứt làm hai.
Context propagation là việc chuyển trace id và span id hiện tại sang bên kia ranh giới (service, thread, message). Chuẩn chung là W3C Trace Context: header traceparent và tracestate. Slide ghi traceparent: <trace_id>-<span_id>; đó là bản rút gọn, định dạng thật là:
traceparent: 00-0af7651916cd43dd8448eb211c80319c-b7ad6b7169203331-01
│ │ │ └ trace-flags (01 = sampled)
│ │ └ parent-id: 16 hex (8 byte), span id của bên gọi
│ └ trace-id: 32 hex (16 byte)
└ version: 00
trace-idhoặcparent-idtoàn số 0 là không hợp lệ; bên nhận bỏ qua header và bắt đầu trace mới.- Bit thấp nhất của
trace-flagslà cờ sampled: bên gọi có ghi trace này. Bên nhận dùng nó để quyết định có ghi tiếp không (samplerparentbased). tracestatemang dữ liệu riêng của vendor, dạngkey=valuecách nhau dấu phẩy, tối đa 32 cặp.- OTel còn có header
baggagemang cặp key-value của ứng dụng (ví dụtenant=acme) qua mọi service.
Tự viết parse và tạo traceparent bằng Java 21 thuần
Chỉ để học; code thật dùng W3CTraceContextPropagator của OTel. Mình đã chạy với JDK 21:
import java.security.SecureRandom;
import java.util.HexFormat;
import java.util.Optional;
import java.util.regex.Pattern;
public record TraceParent(String traceId, String spanId, boolean sampled) {
private static final Pattern FORMAT =
Pattern.compile("^([0-9a-f]{2})-([0-9a-f]{32})-([0-9a-f]{16})-([0-9a-f]{2})$");
private static final SecureRandom RANDOM = new SecureRandom();
private static final HexFormat HEX = HexFormat.of();
/** Đọc header đến; rỗng nghĩa là "bắt đầu trace mới". */
public static Optional<TraceParent> parse(String header) {
if (header == null) return Optional.empty();
var m = FORMAT.matcher(header.trim());
if (!m.matches() || m.group(1).equals("ff")) return Optional.empty();
String traceId = m.group(2), spanId = m.group(3);
if (traceId.chars().allMatch(c -> c == '0') || spanId.chars().allMatch(c -> c == '0')) {
return Optional.empty();
}
boolean sampled = (Integer.parseInt(m.group(4), 16) & 0x01) == 1;
return Optional.of(new TraceParent(traceId, spanId, sampled));
}
public static TraceParent newRoot(boolean sampled) {
return new TraceParent(randomHex(16), randomHex(8), sampled);
}
/** Span con: giữ trace id, span id mới; span id của bên gọi trở thành cha. */
public TraceParent child() {
return new TraceParent(traceId, randomHex(8), sampled);
}
public String header() {
return "00-" + traceId + "-" + spanId + "-" + (sampled ? "01" : "00");
}
private static String randomHex(int bytes) {
byte[] b = new byte[bytes];
do { RANDOM.nextBytes(b); } while (allZero(b));
return HEX.formatHex(b);
}
private static boolean allZero(byte[] b) {
for (byte x : b) if (x != 0) return false;
return true;
}
public static void main(String[] args) {
String incoming = "00-0af7651916cd43dd8448eb211c80319c-b7ad6b7169203331-01";
var parent = parse(incoming).orElseGet(() -> newRoot(true));
var child = parent.child();
System.out.println("parent " + parent.header());
System.out.println("child " + child.header() + " (parent span " + parent.spanId() + ")");
System.out.println("bad1 " + parse("00-00000000000000000000000000000000-b7ad6b7169203331-01"));
System.out.println("bad2 " + parse("00-0AF7651916CD43DD8448EB211C80319C-b7ad6b7169203331-01"));
System.out.println("simple " + parse("0af7651916cd43dd8448eb211c80319c-b7ad6b7169203331"));
}
}
Kết quả:
parent 00-0af7651916cd43dd8448eb211c80319c-b7ad6b7169203331-01
child 00-0af7651916cd43dd8448eb211c80319c-6b6d3322f8c71382-01 (parent span b7ad6b7169203331)
bad1 Optional.empty
bad2 Optional.empty
simple Optional.empty
Bản này chặt hơn chuẩn ở một điểm: chuẩn yêu cầu bên nhận cố đọc header có version cao hơn 00 theo bốn trường đầu, còn ở đây chỉ chấp nhận đúng định dạng version 00.
Context bị mất ở đâu
Trong một process, context nằm trong ThreadLocal (OTel Context.current()). Nó mất ở mọi chỗ công việc nhảy sang thread khác hoặc ra khỏi process mà không ai mang theo:
ExecutorService,CompletableFuture.supplyAsync,@Async: Java agent tự bọc các executor phổ biến; tự viết thì dùngContext.current().wrap(runnable)hoặcContext.taskWrapping(executor).- Message broker: context phải nằm trong header của message. Agent làm sẵn cho Kafka client, RabbitMQ, JMS. Với Kafka, span consumer có cha là span producer, nên một trace kéo dài qua cả phần bất đồng bộ.
- Job định kỳ, batch đọc bảng outbox: không có request đến nên mỗi lần chạy là trace mới. Muốn nối với request gốc thì lưu
traceparentvào bản ghi outbox và dùng span link khi xử lý.
4. Kiến trúc OpenTelemetry
Ý chính: code chỉ phụ thuộc OTel API; SDK hoặc Java agent tạo span và gửi qua OTLP tới Collector; Collector batch, lọc, sampling rồi chuyển tới kho lưu trữ.
flowchart LR
subgraph App["Ứng dụng Java"]
API["OTel API<br/>(code gọi)"] --> SDK["OTel SDK<br/>sampler, processor, exporter"]
AG["Java agent<br/>tự instrument Spring, JDBC, Kafka..."] --> SDK
end
SDK -- "OTLP gRPC :4317<br/>hoặc HTTP :4318" --> COL["OTel Collector<br/>receivers → processors → exporters"]
COL --> ST[("Kho lưu trữ<br/>ClickHouse / Tempo / Jaeger")]
ST --> UI["Giao diện<br/>SigNoz / Grafana"]
- API: interface để tạo span, đọc context. Thư viện chỉ phụ thuộc API, không phụ thuộc SDK.
- SDK: phần cài đặt: sampler, span processor (thường là
BatchSpanProcessor), exporter. - Instrumentation: code tạo span cho thư viện có sẵn. Java agent (zero-code) chèn bytecode lúc load class cho hàng trăm thư viện: Spring MVC/WebFlux, JDBC, Hibernate, Kafka, RestTemplate/WebClient, gRPC, Redis client.
- OTLP: giao thức gửi dữ liệu, trên gRPC (cổng 4317) hoặc HTTP/protobuf (cổng 4318).
- Collector: process riêng nhận, xử lý, chuyển tiếp dữ liệu. Pipeline gồm receivers (OTLP, Jaeger, Prometheus), processors (memory limiter, batch, sampling, xoá attribute nhạy cảm), exporters (gửi tới một hay nhiều backend).
- Backend: SigNoz (lưu vào ClickHouse, column store hợp với span nhiều cột, ghi nhiều, đọc theo khoảng thời gian), Jaeger, Grafana Tempo, hoặc dịch vụ trả phí.
Gắn Java agent
Cách của khoá học: tải opentelemetry-javaagent.jar, cấu hình qua biến môi trường để không sửa lệnh chạy:
export JAVA_TOOL_OPTIONS="-javaagent:/otel/opentelemetry-javaagent.jar"
export OTEL_SERVICE_NAME=booking-service
export OTEL_RESOURCE_ATTRIBUTES=deployment.environment=prod,service.version=1.4.2
export OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
export OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
export OTEL_TRACES_SAMPLER=parentbased_traceidratio
export OTEL_TRACES_SAMPLER_ARG=0.1
java -jar booking-service.jar
Cần nhớ: protocol và cổng phải khớp nhau, và sampler mặc định ghi 100% trace, quá đắt cho production tải lớn (mục 5).
Mặc định của Java agent theo tài liệu OTel
- Từ bản 2.0, agent mặc định gửi OTLP qua
http/protobuf(4318); trước đó làgrpc(4317). README khoá học đặtgrpcvà:4317: vẫn đúng, miễn protocol và cổng khớp nhau. - Exporter mặc định của traces, metrics, logs đều là
otlp; propagator mặc định làtracecontext,baggage. - Sampler mặc định
parentbased_always_onghi 100% trace: hợp khi dev, quá đắt cho production tải lớn. - Collector không bắt buộc, SDK gửi thẳng tới backend được. Nhưng tài liệu OTel khuyên chạy Collector cạnh service: service đẩy dữ liệu đi nhanh, retry, batch, lọc dữ liệu nhạy cảm do Collector lo.
Span tự tạo
Agent đã tạo span cho HTTP và DB; bước nghiệp vụ quan trọng bên trong thì tự thêm, bằng @WithSpan hoặc OTel API. Nhớ span.end() trong finally: quên là span không bao giờ được export.
Code tạo span bằng @WithSpan và bằng OTel API
Cần dependency opentelemetry-api và opentelemetry-instrumentation-annotations. Mình không chạy đoạn này vì cần cả ứng dụng và agent.
@Service
@RequiredArgsConstructor
class PricingService {
private final Tracer tracer; // GlobalOpenTelemetry.getTracer("booking") hoặc bean
// Cách 1: annotation, agent tạo span tên "PricingService.quote"
@WithSpan
Money quote(@SpanAttribute("homestay.id") long homestayId, DateRange nights) {
return compute(homestayId, nights);
}
// Cách 2: API, kiểm soát tên, attribute, event và status
Money quoteManual(long homestayId, DateRange nights) {
Span span = tracer.spanBuilder("pricing.quote")
.setAttribute("homestay.id", homestayId)
.setAttribute("pricing.nights", nights.count())
.startSpan();
try (Scope ignored = span.makeCurrent()) { // span con của request hiện tại
Money total = compute(homestayId, nights);
span.setAttribute("pricing.total_vnd", total.amount().longValue());
return total;
} catch (RuntimeException e) {
span.recordException(e);
span.setStatus(StatusCode.ERROR, e.getMessage());
throw e;
} finally {
span.end(); // quên end() là span không bao giờ được export
}
}
}
5. Sampling: ghi bao nhiêu
Ý chính: ghi hết thì đắt hơn cả hệ thống chính, nên phải sampling (chỉ giữ một phần trace). Head sampling quyết định ở đầu trace, rẻ nhưng mù với lỗi; tail sampling quyết định ở Collector sau khi thấy cả trace.
Tính nhanh: 2.000 request/giây × 20 span × 1 KB/span (sau nén) = 40.000 span/giây, 40 MB/giây, khoảng 3,5 TB mỗi ngày. Phần lớn trace lại giống nhau (nhanh, thành công).
| Head sampling | Tail sampling | |
|---|---|---|
| Quyết định ở đâu, khi nào | service đầu tiên, khi trace bắt đầu, theo trace id | Collector, sau khi thấy (gần) đủ trace |
| Ví dụ | traceidratio 0.1 giữ 10% |
giữ mọi trace lỗi, mọi trace > 2 giây, mọi trace payment, 5% còn lại |
| Ưu | rẻ, đơn giản, không trạng thái; cờ sampled đi theo traceparent nên các service dùng parentbased_* theo quyết định gốc, trace không khuyết |
giữ đúng trace đáng xem |
| Nhược | chưa biết request lỗi hay chậm: 90% trace lỗi cũng bị bỏ | Collector giữ span trong bộ nhớ chờ (decision_wait), có trạng thái, mọi span của một trace phải tới cùng một instance Collector |
Cấu hình Collector tail sampling đã chạy thử
Mình đã kiểm cấu hình dưới bằng otelcol-contrib validate (bản 0.114.0) và chạy thử: gửi bốn trace (một lỗi, một chậm 3 giây, một của payment-service, một nhanh và thành công), Collector chỉ xuất ba trace đầu.
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
http:
endpoint: 0.0.0.0:4318
processors:
memory_limiter: # đặt đầu pipeline: từ chối dữ liệu thay vì bị OOM kill
check_interval: 1s
limit_percentage: 80
spike_limit_percentage: 20
tail_sampling:
decision_wait: 10s # chờ span của trace về đủ
num_traces: 50000 # số trace giữ trong bộ nhớ
policies: # giữ trace nếu khớp BẤT KỲ policy nào
- name: keep-errors
type: status_code
status_code: { status_codes: [ERROR] }
- name: keep-slow
type: latency
latency: { threshold_ms: 2000 }
- name: keep-payments
type: string_attribute
string_attribute: { key: service.name, values: [payment-service] }
- name: sample-the-rest
type: probabilistic
probabilistic: { sampling_percentage: 5 }
batch:
send_batch_size: 8192
timeout: 2s
exporters:
otlp/backend:
endpoint: signoz-otel-collector:4317
tls:
insecure: true
service:
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, tail_sampling, batch]
exporters: [otlp/backend]
6. Nối log với trace
Ý chính: Java agent tự đưa trace_id, span_id, trace_flags vào MDC của Logback/Log4j; chỉ cần in chúng ra là từ một span tìm được đúng dòng log của nó.
MDC (Mapped Diagnostic Context) là túi key-value gắn với thread, logger in kèm vào mỗi dòng.
<!-- logback-spring.xml -->
<pattern>%d{ISO8601} %-5level [%X{trace_id},%X{span_id}] %logger{36} - %msg%n</pattern>
Tốt hơn là log JSON (Spring Boot 3.4 có structured logging sẵn: logging.structured.format.console=ecs hoặc logstash), gửi qua OTLP hay agent thu log, để từ span trên giao diện bấm ra đúng log. Hai chỗ khác dùng trace id:
- Response lỗi: trả
traceIdtrong body lỗi (ProblemDetail) để người dùng hay đội hỗ trợ gửi lại, kỹ sư tra thẳng trace. Xem Xử lý lỗi trong Spring Boot. - Exemplar: metric histogram (ví dụ latency) đính kèm trace id của vài mẫu; bấm vào điểm cao trên biểu đồ p99 là mở ra trace cụ thể.
7. Những vấn đề khi vận hành
Ý chính: bốn việc phải lo khi chạy thật: đồng hồ lệch, dữ liệu nhạy cảm, chi phí CPU/heap ở service, và thời hạn lưu.
- Đồng hồ lệch (clock skew): span của hai máy dùng hai đồng hồ, lệch vài mili giây làm span con trông như bắt đầu trước span cha. Chạy NTP/chrony; khi đọc waterfall, tin thời lượng từng span hơn vị trí tương đối giữa các máy.
- Dữ liệu nhạy cảm: instrumentation có thể ghi câu SQL (tham số được làm sạch mặc định), URL có token trong query string, header. Lọc ở Collector bằng processor
attributes/redactiontrước khi dữ liệu rời hạ tầng. - Chi phí ở service: agent thêm vài phần trăm CPU và vài chục MB heap; đo trước và sau khi bật. Tắt instrumentation không cần (
OTEL_INSTRUMENTATION_<NAME>_ENABLED=false) nếu một thư viện tạo quá nhiều span vụn. Đo trước và sau thế nào cho đúng (cùng mức tải, so p99, không so trung bình) có ở Performance test. - Thời gian lưu: trace có giá trị vài ngày tới vài tuần; đặt TTL cho bảng ClickHouse thay vì giữ mãi.
Bài tập
Bài 1: Đọc và tạo traceparent
Đề: gateway nhận traceparent: 00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-01 và gọi booking-service. (a) Trace id, span id của bên gọi, có được sample không? (b) Header gateway gửi xuống booking-service trông thế nào? (c) Nếu header nhận được là 00-4bf92f3577b34da6a3ce929d0e0e4736-0000000000000000-01 thì sao?
Lời giải Bài 1
(a) Trace id 4bf92f3577b34da6a3ce929d0e0e4736, parent span id 00f067aa0ba902b7, flags 01 nên đã được sample.
(b) Gateway tạo span của nó với span id mới, ví dụ 53995c3f42cd8ad8, và gửi 00-4bf92f3577b34da6a3ce929d0e0e4736-53995c3f42cd8ad8-01: trace id giữ nguyên, parent-id là span id của gateway, không phải 00f067aa0ba902b7.
(c) parent-id toàn số 0 là không hợp lệ: gateway bỏ qua header, bắt đầu trace mới với trace id mới. Gặp nhiều thì đó là dấu hiệu một client hay proxy phía trước đang tạo header sai.
Bài 2: Chính sách sampling cho hệ thống đặt phòng
Đề: hệ thống 3.000 request/giây lúc cao điểm, ngân sách lưu khoảng 300 GB trace mỗi ngày, mỗi trace trung bình 15 span, 1 KB/span. Yêu cầu: không mất trace lỗi, xem được request chậm, luồng thanh toán phải đủ. Thiết kế sampling.
Lời giải Bài 2
Giữ hết cần 3.000 × 15 × 1 KB = 45 MB/s, khoảng 3,9 TB/ngày lúc cao điểm, gấp hơn 10 lần ngân sách.
Dùng tail sampling ở Collector như cấu hình mục 5: giữ 100% trace có lỗi, 100% trace trên 2 giây, 100% trace có payment-service, 5% phần còn lại. Nếu lỗi và chậm chiếm khoảng 2%, thanh toán khoảng 3%, tổng giữ khoảng 5% + 0,95 × 5% ≈ 10%, tức khoảng 380 GB/ngày nếu cả ngày đều ở mức cao điểm. Trung bình cả ngày thấp hơn nên vừa ngân sách.
Triển khai:
- Tầng 1: Collector agent (sidecar hay DaemonSet) với
loadbalancingexporter theotraceID. Tầng 2: nhóm Collector chạytail_sampling. - SDK để
parentbased_always_onđể mọi span tới Collector. - Theo dõi metric
otelcol_processor_tail_sampling_*và bộ nhớ Collector; quá tải thì thêm head sampling 50% ở gateway.
Bài 3: Trace bị đứt ở Kafka
Đề: trên SigNoz, trace của POST /bookings dừng ở span send booking-created; phần notification-service xử lý message xuất hiện thành trace riêng. Liệt kê nguyên nhân có thể và cách kiểm tra.
Lời giải Bài 3
- notification-service không chạy agent hoặc tắt instrumentation Kafka: xem log khởi động của agent.
- Message không mang header
traceparent: xem bằngkafka-console-consumer --property print.headers=true. Nguyên nhân hay gặp: producer đi qua lớp tự viết (ví dụ outbox relay đọc DB rồi gửi) nên context của request gốc không còn. Sửa bằng cách lưutraceparentvào bảng outbox và đặt lại vào header khi gửi. - Consumer xử lý theo lô: một span xử lý message từ nhiều trace, instrumentation dùng span link thay vì quan hệ cha con. Trên giao diện cần mở link để tới trace gốc.
Ghi nhớ
- Viết ra được bốn trường của
traceparent, và biết vì sao bản rút gọn<trace>-<span>làm trace đứt. - Kể được ba chỗ context hay bị mất (thread pool, broker, outbox/job) và cách mang nó theo.
- So sánh được head và tail sampling: quyết định ở đâu, tốn gì, vì sao cần định tuyến theo trace id.
- Giải thích được vì sao span name phải là route template và baggage không được chứa dữ liệu cá nhân.
- Biết đi từ một báo cáo lỗi tới nguyên nhân:
traceIdtrong response → trace → log qua MDC.
Câu hỏi phỏng vấn
Junior
Trace và span khác nhau thế nào?
Trace là toàn bộ hành trình của một request (một trace id); span là một đoạn công việc trong trace.
Span (một lần gọi HTTP, một query, một lần gửi message) có thời điểm bắt đầu, kết thúc, attribute và span cha. Các span cùng trace id ghép thành cây, cho biết thời gian nằm ở đâu.
Log, metric và trace dùng vào việc gì?
Metric báo hệ thống có ổn không, trace chỉ ra một request chậm ở đâu, log cho chi tiết ở một điểm.
Metric (p99, tỷ lệ lỗi) rẻ để giữ lâu. Thường đi từ metric báo động sang trace để khoanh vùng, rồi xem log của đúng span đó; trace id là thứ nối ba loại lại.
Mid
Context được truyền giữa các service thế nào?
Qua header W3C Trace Context: traceparent dạng version-traceid-parentid-flags, cộng tracestate cho dữ liệu riêng của vendor.
Ví dụ 00-<32 hex>-<16 hex>-01. Bên gọi đặt span id của mình vào parent-id, bên nhận tạo span con với cùng trace id. Với message broker, context nằm trong header của message. Trong process, context nằm trong ThreadLocal nên phải được mang theo khi chuyển sang thread khác.
Java agent của OpenTelemetry làm gì?
Nó chèn bytecode lúc load class để tự tạo span cho thư viện phổ biến, không cần sửa code.
Agent phủ Spring MVC, JDBC, Kafka, HTTP client; tự propagate context qua header và executor, đưa trace id vào MDC của log, export traces, metrics, logs qua OTLP. Cấu hình bằng biến môi trường OTEL_*. Đổi lại khởi động lâu hơn và không chạy với native image.
Vì sao nên có OTel Collector thay vì gửi thẳng tới backend?
Để service chỉ việc đẩy dữ liệu nhanh, còn batch, retry, lọc, sampling và định tuyến do Collector lo.
Collector còn giới hạn bộ nhớ, lọc dữ liệu nhạy cảm, chạy tail sampling, gửi tới một hay nhiều backend. Đổi backend không cần deploy lại service. Hệ thống nhỏ hoặc khi dev thì gửi thẳng cũng được.
Bạn thấy span con bắt đầu trước span cha trên waterfall. Vì sao?
Đồng hồ của hai máy lệch nhau (clock skew).
Thời lượng từng span vẫn đúng vì đo trên cùng một máy, nhưng vị trí tương đối giữa các máy sai theo độ lệch. Chạy NTP/chrony trên mọi máy và đừng kết luận dựa trên vài mili giây lệch giữa service.
Senior
Head sampling và tail sampling khác nhau thế nào, bạn chọn cái nào?
Head quyết định ở đầu trace theo trace id, rẻ nhưng mù với lỗi; tail quyết định ở Collector sau khi thấy trace, giữ được lỗi nhưng tốn và có trạng thái.
- Head: quyết định đi theo cờ sampled nên trace luôn đủ, nhưng không biết request có lỗi hay chậm.
- Tail: phải gửi mọi span tới Collector, Collector cần bộ nhớ và cần định tuyến theo trace id để mọi span của một trace tới cùng instance.
- Tải nhỏ: giữ 100% với thời hạn lưu ngắn. Tải lớn: tail sampling giữ lỗi, chậm, luồng quan trọng và một tỷ lệ nhỏ phần còn lại, thêm head sampling bảo vệ phía trước nếu cần.
Làm sao giữ trace liền mạch qua Kafka và qua outbox?
Mang traceparent trong header message; với outbox thì lưu nó vào bản ghi outbox để relay đặt lại.
Producer đặt traceparent vào header (agent làm sẵn với Kafka client), consumer đọc ra và tạo span con hoặc span link. Với outbox, request gốc chỉ ghi DB, relay gửi message sau trong thread khác không có context, nên relay phải lấy traceparent từ bản ghi. Consumer xử lý theo lô thì dùng span link vì một span không thể có nhiều cha.
Tracing làm hệ thống chậm hay tốn kém ở đâu, bạn kiểm soát thế nào?
Tốn CPU/heap/khởi động ở service và tốn mạng/lưu trữ theo số span; kiểm soát bằng đo, sampling, cardinality thấp và TTL.
- Ở service: CPU và heap của instrumentation, thời gian khởi động của agent, hàng đợi export. Ở mạng và lưu trữ: số span nhân số request.
- Kiểm soát: đo trước và sau khi bật, tắt instrumentation tạo span vụn, sampling, span name theo template, TTL ở kho lưu trữ, theo dõi số span bị drop.
- Export bất đồng bộ theo lô nên Collector chết không làm chậm request; đổi lại là mất span.
Một request lỗi được người dùng báo cáo. Bạn đi từ báo cáo tới nguyên nhân thế nào?
Lấy traceId từ response lỗi, mở trace tìm span Error, rồi xem log của đúng span qua trace_id trong MDC.
Response lỗi trả traceId (ProblemDetail), người dùng hay đội hỗ trợ gửi lại. Trên trace, xem span nào có status Error và span nào chiếm thời gian. Vì vậy chính sách tail sampling phải luôn giữ trace có lỗi. Nếu trace không được giữ, vẫn dùng trace id để lọc log ở mọi service, vì log có trace id kể cả khi span không được sample.
Từ vựng tiếng Anh
| Term | Phát âm | Nghĩa | Ví dụ câu tiếng Anh dùng trong phỏng vấn |
|---|---|---|---|
| distributed tracing | /dɪˈstrɪbjuːtɪd ˈtreɪsɪŋ/ | truy vết request qua nhiều service | “Distributed tracing showed that 80% of the latency was in the payment call.” |
| span | /spæn/ | một đoạn công việc trong trace | “Each outgoing HTTP call becomes a client span.” |
| context propagation | /ˈkɒntekst ˌprɒpəˈɡeɪʃn/ | truyền context qua ranh giới | “Context propagation breaks whenever work jumps to another thread.” |
| instrumentation | /ˌɪnstrəmenˈteɪʃn/ | code sinh ra telemetry | “The Java agent provides instrumentation for JDBC and Kafka out of the box.” |
| sampling | /ˈsɑːmplɪŋ/ | chỉ giữ một phần dữ liệu | “We use tail sampling to keep every trace with an error.” |
| exporter | /ɪkˈspɔːtə/ | thành phần gửi dữ liệu đi | “The OTLP exporter batches spans every five seconds.” |
| collector | /kəˈlektə/ | process nhận và xử lý telemetry | “The collector redacts sensitive attributes before export.” |
| cardinality | /ˌkɑːdɪˈnæləti/ | số giá trị khác nhau | “Putting the order ID in the span name blew up cardinality.” |
| clock skew | /klɒk skjuː/ | độ lệch đồng hồ | “Clock skew made a child span appear before its parent.” |
| span link | /spæn lɪŋk/ | liên kết tới span ở trace khác | “Batch consumers use span links instead of a single parent.” |
| exemplar | /ɪɡˈzemplə/ | mẫu trace gắn vào metric | “Exemplars let us jump from a p99 spike to an actual trace.” |
| baggage | /ˈbæɡɪdʒ/ | key-value đi theo request | “We never put personal data in baggage because it leaves our system.” |
Tham khảo
- W3C Trace Context
- OpenTelemetry: Traces
- OpenTelemetry: Sampling
- OpenTelemetry: Java agent, getting started và cấu hình
- OpenTelemetry: SDK environment variables
- OpenTelemetry Collector
Ghi chép dựa trên khoá Advanced Backend (Ronin Engineer), viết lại theo cách hiểu của mình.