Cụm bài Kafka bên trong: 1. Producer bên trong · 2. Serialization và Schema Registry · 3. Consumer group, rebalance và liveness
Broker Kafka chỉ thấy byte; ý nghĩa của byte là hợp đồng giữa producer và consumer. Bài này nói về hợp đồng đó: serializer đặt ở đâu, chọn format nào, Schema Registry giữ hợp đồng ra sao, và đổi schema thế nào để không làm vỡ consumer đang chạy. Phần Java serialization (Serializable) nằm ở bài byte stream và serialization.
1. Serializer: đặt ở đâu và hay sai ở đâu
Ý chính: serializer biến key và value thành byte ở producer; deserializer làm ngược lại ở consumer. Kafka không biết và không kiểm tra kiểu dữ liệu, nên mọi sai lệch chỉ lộ ra khi consumer đọc.
Ba khái niệm hay bị lẫn:
| Serialization | Parsing | Marshaling | |
|---|---|---|---|
| Làm gì | Object ↔ byte để lưu hoặc gửi | Văn bản → cấu trúc (JSON → cây, HTML → DOM) | Serialization để gọi hàm từ xa (RPC) |
| Chiều | Hai chiều | Thường một chiều | Hai chiều |
Hai cách cấu hình trong Java:
// 1. Theo property: đơn giản, nhưng không kiểm kiểu lúc biên dịch
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
// 2. Truyền instance: có generic type-safe, tự cấu hình serializer được
var producer = new KafkaProducer<String, OrderPaid>(props,
new StringSerializer(), new OrderPaidSerializer(objectMapper));
2. Chọn format
Ý chính: JSON dễ bắt đầu nhưng không có hợp đồng tường minh và tốn chỗ. Avro và Protobuf có schema, nhỏ hơn 2–3 lần và cho phép kiểm tra tương thích trước khi deploy. Với nhiều team cùng đọc một topic, hợp đồng quan trọng hơn kích thước.
Đo một đơn hàng 5 field (orderId, userId, amount, currency, status):
| Format | Kích thước | Ghi chú |
|---|---|---|
| JSON | 85 byte | Tên field lặp lại trong mọi message |
| Avro qua Schema Registry | 29 byte | 5 byte header + 24 byte dữ liệu; tên field nằm trong schema, không nằm trong message |
| Tiêu chí | JSON (không schema) | Avro | Protobuf |
|---|---|---|---|
| Đọc bằng mắt | Có | Không (cần schema) | Không (cần schema) |
| Hợp đồng | Ngầm, trong code của từng bên | Schema JSON, tiến hoá theo luật | File .proto, tiến hoá theo số field |
| Kiểm tương thích tự động | Có nếu dùng JSON Schema + Registry | Có | Có |
| Hợp với | Ít consumer, cùng team, debug nhiều | Hệ sinh thái Kafka (Connect, ksqlDB), data platform | Đã dùng gRPC, nhiều ngôn ngữ |
Slide của khoá chọn JSON vì đơn giản cho người mới; đó là lựa chọn hợp lý khi bắt đầu. Khi topic có từ ba team trở lên đọc, mình nghiêng về Avro hoặc Protobuf có Registry.
3. Schema Registry hoạt động thế nào
Ý chính: producer gửi schema lên Registry một lần và nhận lại số id; mỗi message chỉ mang 5 byte header (0x00 + id). Consumer đọc id, lấy schema từ Registry (cache lại), rồi giải mã.
sequenceDiagram
participant P as Producer
participant SR as Schema Registry
participant K as Kafka
participant C as Consumer
P->>SR: đăng ký schema cho subject orders-value
SR-->>P: id = 1 (kiểm compatibility trước)
P->>K: 0x00 + 00000001 + dữ liệu Avro
C->>K: poll
K-->>C: 0x00 + 00000001 + dữ liệu
C->>SR: GET /schemas/ids/1 (lần đầu)
SR-->>C: schema, cache lại
Lab với KafkaAvroSerializer của Confluent (client 8.0, Registry giả lập trong bộ nhớ mock://): 8 byte đầu của message là 00 00 00 00 01 12 6f 72. Byte 0 là magic byte 0, 4 byte tiếp là schema id 1 (big-endian), sau đó là dữ liệu Avro (12 là độ dài chuỗi “ord-12345” mã hoá zig-zag, rồi tới o, r…). Subject được tạo là orders-value.
- Subject: tên “dòng phiên bản” của một schema. Mặc định
TopicNameStrategy:<topic>-keyvà<topic>-value, nên một topic chỉ chứa một loại value. - Registry lưu schema trong một topic Kafka nén (
_schemas), nên chính nó cũng bền như Kafka. - Client cache schema theo id; Registry sập thì producer và consumer đang chạy vẫn hoạt động với schema đã biết, nhưng instance mới khởi động hoặc gặp id lạ thì lỗi.
Subject naming strategy và nhiều loại event trong một topic
| Strategy | Tên subject | Khi nào dùng |
|---|---|---|
TopicNameStrategy (mặc định) |
orders-value |
Một topic, một loại event |
RecordNameStrategy |
shop.OrderPaid |
Cùng loại event xuất hiện ở nhiều topic, và một topic chứa nhiều loại |
TopicRecordNameStrategy |
orders-shop.OrderPaid |
Một topic chứa nhiều loại event, mỗi loại tiến hoá riêng trong topic đó |
Vì sao cần nhiều loại event trong một topic: giữ thứ tự giữa các event của cùng một thực thể (OrderCreated, OrderPaid, OrderShipped với cùng key orderId phải vào cùng partition). Cách khác là dùng một Avro union hoặc Protobuf oneof bọc tất cả các loại dưới TopicNameStrategy, đổi lại mỗi lần thêm loại event là sửa schema bọc ngoài.
Với Protobuf, sau 4 byte id còn có danh sách message index (message nào trong file .proto), nên header dài hơn 5 byte.
4. Compatibility mode: đổi schema mà không vỡ consumer
Ý chính: compatibility mode là luật Registry áp khi đăng ký phiên bản mới. Nó quyết định thay đổi nào được phép và bên nào phải nâng cấp trước.
| Mode | Đảm bảo | Nâng ai trước | Hợp với |
|---|---|---|---|
BACKWARD (mặc định) |
Schema mới đọc được dữ liệu ghi bằng schema liền trước | Consumer | Event topic, consumer cần đọc lại dữ liệu cũ |
FORWARD |
Schema liền trước đọc được dữ liệu ghi bằng schema mới | Producer | Consumer nâng cấp chậm, khó phối hợp |
FULL |
Cả hai chiều | Thứ tự nào cũng được | Nhiều team, deploy độc lập |
*_TRANSITIVE |
Như trên, nhưng so với mọi phiên bản cũ | Topic giữ lâu (retention dài, compacted) | |
NONE |
Không kiểm | Chỉ khi đổi topic mới |
Mình kiểm từng loại thay đổi bằng AvroSchema.isCompatible() của thư viện Registry (v1 có 5 field như trên):
| Thay đổi v1 → v2 | BACKWARD | FORWARD | FULL |
|---|---|---|---|
| Thêm field có default | ✓ | ✓ | ✓ |
| Thêm field không default | ✗ | ✓ | ✗ |
Thêm field optional (["null","string"], default null) |
✓ | ✓ | ✓ |
| Xoá field không có default | ✓ | ✗ | ✗ |
| Đổi tên field | ✗ | ✗ | ✗ |
Đổi tên kèm aliases tên cũ |
✓ | ✗ | ✗ |
Đổi kiểu long → double (Avro cho phép nâng kiểu) |
✓ | ✗ | ✗ |
Đổi kiểu string → int |
✗ | ✗ | ✗ |
Lỗi Registry trả về cho dòng thứ hai rất rõ: READER_FIELD_MISSING_DEFAULT_VALUE: The field 'note' ... has no default value and is missing in the old schema. Tức là reader mới đọc message cũ không có note thì không biết điền gì.
Quy tắc tiến hoá của Protobuf và JSON Schema
Protobuf định danh field bằng số, không bằng tên:
- Đổi tên field: an toàn trên wire (tên không có trong message), nhưng phá code sinh ra và JSON mapping.
- Thêm field: an toàn, reader cũ bỏ qua field lạ.
- Xoá field: an toàn nếu đánh dấu
reserved 5; reserved "note";để không ai dùng lại số 5. Dùng lại số cũ cho kiểu khác là lỗi nghiêm trọng: dữ liệu cũ bị đọc thành giá trị sai mà không báo lỗi. - proto3 không có “required”, mọi field đều có giá trị zero mặc định, nên khó phân biệt “không gửi” với “gửi 0” (dùng
optionalhoặc wrapper type).
JSON Schema trong Registry khó hơn: kết quả kiểm tương thích phụ thuộc mô hình nội dung “mở” hay “đóng” (additionalProperties), nên cùng một thay đổi (thêm một field) có thể hợp lệ hay bị từ chối tuỳ cách viết schema. Luật rắc rối hơn Avro nhiều, đây là lý do nhiều team chọn Avro hoặc Protobuf khi đã cần Registry.
5. Spring Kafka: JSON và lỗi deserialize
Ý chính: JsonSerializer của Spring mặc định ghi tên class Java vào header __TypeId__, làm consumer phụ thuộc vào package của producer. Và một message không deserialize được sẽ làm consumer lặp lỗi mãi nếu không bọc bằng ErrorHandlingDeserializer.
spring:
kafka:
producer:
value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
properties:
spring.json.add.type.headers: false # không gửi tên class Java
consumer:
value-deserializer: org.springframework.kafka.support.serializer.ErrorHandlingDeserializer
properties:
spring.deserializer.value.delegate.class: org.springframework.kafka.support.serializer.JsonDeserializer
spring.json.value.default.type: com.shop.billing.OrderPaidEvent
spring.json.use.type.headers: false
spring.json.trusted.packages: com.shop.billing
Cấu hình trên chưa chạy trong bài này; tên property theo tài liệu Spring Kafka 3.x.
ErrorHandlingDeserializer bắt lỗi deserialize, trả null và gắn exception vào header, để error handler của container quyết định (retry vô ích với lỗi format, nên chuyển thẳng sang dead letter topic). Chi tiết DefaultErrorHandler, retry topic và DLT ở bài số partition, lag và tác vụ chạy lâu; cơ chế ở mức client thuần nằm ở bài 3 của cụm này.
Bài tập
Bài 1: Đổi tên field status thành state
Topic orders dùng Avro, mode BACKWARD, retention 7 ngày, 4 consumer thuộc 3 team. Lên kế hoạch đổi tên field mà không làm vỡ ai.
Lời giải Bài 1
Đổi tên trực tiếp bị từ chối ở mọi mode (bảng mục 4). Hai cách:
Cách A: alias (BACKWARD). v2 khai báo {"name":"state","type":"string","aliases":["status"]}. Reader v2 đọc được dữ liệu v1 (alias ánh xạ tên cũ). Nhưng FORWARD thì không: consumer còn ở v1 đọc dữ liệu v2 sẽ thiếu status. Nên thứ tự: nâng cả 4 consumer lên v2 trước, rồi mới nâng producer.
Cách B: mở rộng rồi thu hẹp (an toàn cho deploy độc lập).
- v2: thêm
state(default""), producer ghi cảstatusvàstate. Tương thích FULL. - Từng team chuyển consumer sang đọc
statetheo lịch của họ. - Khi metric cho thấy không ai đọc
statusnữa và đã qua 7 ngày retention: v3 đổistatusthành có default rồi bỏ hẳn ở v4.
Cách B dài hơn nhưng không cần phối hợp lịch deploy giữa 3 team; mình chọn B cho topic dùng chung.
Bài 2: “Unknown magic byte!”
Consumer dùng KafkaAvroDeserializer bắt đầu ném SerializationException: Unknown magic byte! ở một vài offset. Liệt kê nguyên nhân có thể và cách xử lý.
Lời giải Bài 2
Byte đầu của value không phải 0x00, tức message không được ghi bằng serializer của Registry:
- Một producer khác (script test,
kafka-console-producer, service mới cấu hình sai) ghi JSON hoặc chuỗi thô vào topic. - Tombstone (value
null) trên topic compacted: deserializer trảnull, code xử lý phải chịu đượcnull. - Key và value cấu hình nhầm: key là
Stringnhưng consumer đặtKafkaAvroDeserializercho key.
Xử lý: bọc bằng ErrorHandlingDeserializer và đẩy message lỗi sang DLT kèm offset; tìm producer gây lỗi qua header hoặc client.id trong log broker; chặn từ gốc bằng ACL chỉ cho service đúng ghi vào topic.
Ghi nhớ
- Giải thích được vì sao deserializer phải khớp serializer, và vì sao không đi qua
String. - Mô tả được wire format
0x00+ 4 byte id + dữ liệu, và Registry sập thì client đang chạy còn hoạt động không. - Thuộc bảng: thay đổi nào hợp lệ ở BACKWARD/FORWARD/FULL, và mỗi mode thì nâng bên nào trước.
- Biết khi nào cần
_TRANSITIVE. - Biết hai bẫy của Spring
JsonSerializer: header__TypeId__và trusted packages.
Câu hỏi phỏng vấn
Junior
Kafka lưu dữ liệu dạng gì, ai lo chuyển object thành byte?
Broker chỉ lưu byte; serializer ở producer chuyển key và value thành byte, deserializer ở consumer làm ngược lại.
Kafka không có serializer mặc định và không kiểm kiểu. Hai bên phải thống nhất format; lệch nhau thì consumer lỗi khi đọc.
Vì sao không deserialize thành String rồi parse JSON?
Vì tốn thêm một bản copy và một lần giải mã cho mỗi message; đọc thẳng từ byte sang object nhanh hơn và ít rác hơn.
Jackson đọc được trực tiếp từ byte[], và Spring có JsonDeserializer làm sẵn việc này.
Mid
Schema Registry hoạt động thế nào?
Producer đăng ký schema và nhận id; mỗi message mang magic byte 0 cộng 4 byte id; consumer tra id để lấy schema và giải mã, có cache.
Registry kiểm compatibility khi đăng ký, lưu schema trong topic _schemas. Subject mặc định là <topic>-value.
BACKWARD và FORWARD compatibility khác nhau thế nào?
BACKWARD: schema mới đọc được dữ liệu cũ, nên nâng consumer trước. FORWARD: schema cũ đọc được dữ liệu mới, nên nâng producer trước.
FULL là cả hai, deploy theo thứ tự nào cũng được. Thêm field có default thì hợp lệ ở cả ba.
Thêm một field bắt buộc vào event Avro thì làm thế nào?
Không thêm “bắt buộc” ngay được: thêm kèm default (hoặc optional null), cho producer điền giá trị thật, rồi xử lý default ở consumer.
Thêm field không default bị từ chối ở BACKWARD vì consumer mới không biết điền gì khi đọc message cũ.
Senior
Bạn chọn compatibility mode cho topic dùng chung nhiều team thế nào?
FULL_TRANSITIVE: thay đổi hẹp hơn nhưng các team deploy độc lập, và consumer đọc lại được mọi phiên bản còn trong topic.
BACKWARD buộc nâng mọi consumer trước producer; không transitive thì dữ liệu cũ hơn một phiên bản có thể không đọc được. Thay đổi phá vỡ thật thì sang topic mới.
Schema Registry sập thì chuyện gì xảy ra?
Producer và consumer đang chạy vẫn hoạt động với schema đã cache; instance mới khởi động, schema mới, hoặc id chưa gặp thì lỗi.
Vì vậy Registry cần chạy nhiều instance (một leader ghi, các node khác phục vụ đọc), và deploy schema mới không nên trùng lúc sự cố Registry. Tắt auto-register giúp producer không cần ghi vào Registry lúc chạy.
JSON hay Avro cho một nền tảng event mới?
Nếu nhiều team đọc và topic sống lâu: Avro hoặc Protobuf với Registry, vì hợp đồng được kiểm trước khi deploy và message nhỏ 2–3 lần. Một team, ít consumer: JSON vẫn ổn.
Đo của mình: cùng một đơn hàng 85 byte JSON so với 29 byte Avro. Lợi lớn hơn là lỗi tương thích bị chặn ở producer thay vì làm vỡ consumer lúc chạy.
Từ vựng tiếng Anh
| Term | Phát âm | Nghĩa | Ví dụ câu tiếng Anh dùng trong phỏng vấn |
|---|---|---|---|
| serializer | /ˈsɪr.i.ə.laɪ.zɚ/ | bộ chuyển object thành byte | “Kafka has no default serializer; you configure one for key and value.” |
| wire format | /waɪr ˈfɔːr.mæt/ | định dạng byte trên đường truyền | “The Confluent wire format is a magic byte, a four-byte schema id, then the payload.” |
| schema evolution | /ˈskiː.mə ˌev.əˈluː.ʃən/ | tiến hoá schema | “Schema evolution is safe as long as new fields have defaults.” |
| backward compatible | /ˈbæk.wɚd kəmˈpæt.ə.bəl/ | tương thích ngược | “Backward compatible means the new reader can read old data.” |
| forward compatible | /ˈfɔːr.wɚd kəmˈpæt.ə.bəl/ | tương thích xuôi | “Forward compatible lets old consumers read data from the new producer.” |
| transitive | /ˈtræn.sə.t̬ɪv/ | bắc cầu (so với mọi phiên bản) | “For long retention topics I use the transitive mode.” |
| subject | /ˈsʌb.dʒɪkt/ | tên dòng phiên bản schema | “By default the subject is the topic name plus -value.” |
| default value | /dɪˈfɑːlt ˈvæl.juː/ | giá trị mặc định | “The reader fills in the default value when the field is missing.” |
| alias | /ˈeɪ.li.əs/ | tên phụ | “An alias lets the new schema read the old field name.” |
| trusted packages | /ˈtrʌs.tɪd ˈpæk.ɪ.dʒɪz/ | package được phép nạp | “Never trust all packages for data from outside.” |
Ghi chép dựa trên khoá Advanced Backend (Ronin Engineer), viết lại theo cách hiểu của mình.