Đến nội dung chính
notes.vinhnq.com

Tìm kiếm

SpringMid17 phút đọc

Phân trang và lọc động trong Spring: Pageable, Page, Slice và JPA Specification

Ôn 13 thẻ
Trong bài này

Cụm bài Spring MVC từ đầu đến cuối: 1. Maven và cấu trúc dự án · 2. DispatcherServlet và view · 3. Form và validation · 4. Form login với Spring Security · 5. Session và remember-me · 6. Upload file · 7. Giỏ hàng và đặt hàng · 8. Phân trang và lọc động

Trang danh sách sản phẩm của một shop phải làm hai việc: chỉ lấy một trang dữ liệu, và lọc theo bất kỳ tổ hợp tiêu chí nào người dùng tick. Bài này làm cả hai bằng Spring Data JPA: Pageable cho phân trang, Specification cho điều kiện WHERE động. Đọc xong, bạn viết được trang /products?factory=APPLE,DELL&price=10-15-trieu&page=2&sort=price,desc không lỗi 400, không SQL injection qua tham số sort, không tải cả bảng vào RAM.

Sơ đồ tóm tắt:

flowchart LR
  A["URL: page, size, sort, lọc"] --> B["Controller: Pageable + filter"]
  B --> C["Whitelist cột sort, enum giá"]
  C --> D["Specification.allOf"]
  D --> E["(giá1 OR giá2) AND hãng"]
  E --> F{"Cần tổng số dòng?"}
  F -->|"Có"| G["Page: thêm count(*)"]
  F -->|"Xem thêm"| H["Slice: lấy size + 1"]

1. Vì sao phân trang, và OFFSET/LIMIT làm gì

Ý chính: lấy cả bảng ra để hiển thị 12 sản phẩm thì tốn RAM, băng thông và thời gian, càng nhiều dữ liệu càng chậm. Phân trang lấy đúng một trang bằng LIMIT (số dòng) và OFFSET (bỏ qua bao nhiêu dòng).

Trang n (đếm từ 1), mỗi trang size dòng: OFFSET = (n - 1) × size. Trang 1 bỏ 0 dòng, trang 3 với size 10 bỏ 20 dòng. Hibernate 6 trên H2 sinh offset ? rows fetch first ? rows only, trên MySQL/PostgreSQL là limit ? offset ?.

Thông tin trang nằm trong query string (phần sau dấu ? của URL, các cặp khoá=giá trị nối bằng &). Nhờ vậy trang có link riêng: bookmark, chia sẻ, bấm Back đều đúng.

2. Pageable, Page và Slice trong Spring Data

Ý chính: cho repository kế thừa JpaRepository (đã có PagingAndSortingRepository), truyền Pageable vào findAll, nhận Page<T>. Controller không cần tự đọc page bằng @RequestParam: khai báo tham số Pageable là Spring tự dựng.

@GetMapping({"/", "/products"})
String list(@ModelAttribute("filter") ProductFilter filter,
            @PageableDefault(size = 12, sort = "id") Pageable pageable, Model model) {
    model.addAttribute("page", service.search(filter, safeSort(pageable)));
    return "products/list";
}
Kiểu Chạy những câu SQL nào Dùng khi
Page<T> câu lấy trang + select count(*) cần tổng số trang, thanh số trang 1 2 3 …
Slice<T> một câu lấy size + 1 dòng nút “xem thêm”, cuộn vô hạn: chỉ cần biết còn trang sau
List<T> + Pageable chỉ câu lấy trang tự lo phần điều hướng

Page cho view: getContent() (các dòng), getNumber() (trang hiện tại, từ 0), getTotalPages(), hasNext(), hasPrevious(). Từ đó view in nút trước/sau và tô active cho trang hiện tại.

Cấu hình one-indexed, max-page-size và cách Spring bỏ bớt câu count
spring.data.web.pageable.one-indexed-parameters=true   # URL ?page=1 là trang đầu
spring.data.web.pageable.max-page-size=50              # ?size=100000 bị hạ xuống 50
spring.data.web.pageable.default-page-size=20          # khi không có @PageableDefault

one-indexed-parameters chỉ đổi URL. Bên trong, Pageable.getPageNumber() và Page.getNumber() vẫn đếm từ 0, nên view phải +1 khi in số trang (${i == page.number + 1}). Test trong lab: không truyền gì → number = 0, size = 12; ?page=2 → number = 1; ?size=100000 → size = 50.

Không chặn size thì ?size=1000000 là một lệnh tải cả bảng, ai cũng gửi được.

Spring Data không phải lúc nào cũng chạy câu count. Khi trang đầu đã có ít dòng hơn size, nó biết tổng ngay mà không cần đếm (PageableExecutionUtils). Bật spring.jpa.show-sql=true khi chạy các test lọc của lab: 10 câu lấy trang nhưng chỉ 4 câu select count(p1_0.id) from product p1_0, vì các lần lọc còn lại ra ít hơn 12 dòng.

Lỗi giao diện khi bảng rỗng: vòng lặp in số trang từ 1 tới totalPages, mà totalPages = 0 thì JSP ném 'end' < 0. Trong Thymeleaf, #numbers.sequence(1, 0) không lỗi mà đếm lùi ra 1, 0. Bọc thanh phân trang trong th:if="${page.totalPages > 1}" và in “Không có dữ liệu” khi page.empty.

Ý chính: ?sort=price,desc được Spring đổi thành Sort cho bạn, nghĩa là người dùng chọn được cột để ORDER BY. Lọc cột bằng danh sách trắng trước khi truyền xuống repository.

private static final Set<String> SORTABLE = Set.of("price", "name", "id");

static Pageable safeSort(Pageable p) {
    Sort sort = Sort.by(p.getSort().stream().filter(o -> SORTABLE.contains(o.getProperty())).toList());
    return PageRequest.of(p.getPageNumber(), p.getPageSize(), sort.isUnsorted() ? Sort.by("id") : sort);
}

Spring Data không nối chuỗi sort vào SQL thô, nên đây không phải SQL injection cổ điển. Nhưng cột lạ (?sort=passwordHash) hoặc ném PropertyReferenceException thành lỗi 500, hoặc cho người ngoài sắp xếp theo một trường nhạy cảm để dò dữ liệu. Danh sách trắng chặn cả hai, và luôn có một cột duy nhất (id) cuối cùng để thứ tự giữa các trang ổn định.

Link sang trang khác phải giữ nguyên filter. Link chỉ có ?page=3 là người dùng mất các ô đã tick. Trong Thymeleaf, @{/products(page=${i}, factory=${filter.factory}, price=${filter.price}, sort=${param.sort})} dựng lại query string; giá trị null bị bỏ. Đổi filter thì quay về trang 1.

URL có %2C thay cho dấu phẩy là bình thường: trình duyệt mã hoá ký tự đặc biệt (percent-encoding), Spring giải mã trước khi bind.

4. Các cách viết truy vấn lọc

Ý chính: query method và JPQL hợp với điều kiện cố định; khi số điều kiện thay đổi theo những gì người dùng tick, cần dựng WHERE lúc chạy: Criteria API, Specification (Criteria gói gọn), hoặc QueryDSL.

Cách Ví dụ Hợp khi Vướng ở đâu
Query method findByFactoryInAndPriceBetween 1-2 điều kiện cố định 3 tiêu chí tuỳ chọn là 2³ = 8 method
@Query JPQL where (:f is null or p.factory in :f) điều kiện cố định, cần join mẹo is null or làm plan kém, khó đọc
Criteria API cb.and(...) với EntityManager dựng động hoàn toàn dài, lặp code
Specification allOf(factoryIn(f), priceAtLeast(min)) lọc động trên một entity join phức tạp và projection thì vụng
QueryDSL product.factory.in(f).and(...) nhiều query động, type-safe thêm thư viện và bước sinh code

orm-va-jpa-phan-2 đã có ví dụ Specification ngắn và so JPQL với native query (JPA phần 2). Phần còn lại của bài đi sâu vào bài lọc sản phẩm.

5. Specification và JPA metamodel

Ý chính: Specification<T> là một hàm (root, query, cb) -> Predicate. root là entity đang truy vấn, cb (CriteriaBuilder) tạo điều kiện, query dùng khi cần sửa cả câu (distinct, group by). Repository kế thừa thêm JpaSpecificationExecutor<T> để có findAll(spec, pageable).

Predicate ở đây là jakarta.persistence.criteria.Predicate (một biểu thức WHERE), không phải java.util.function.Predicate (hàm trả boolean chạy trong Java). Cùng tên, khác hoàn toàn: cái đầu chạy trong database.

public static Specification<Product> factoryIn(Collection<String> factories) {
    if (factories == null || factories.isEmpty()) return null;      // không lọc
    return (root, query, cb) -> root.get(Product_.factory).in(factories);
}

public static Specification<Product> priceAtLeast(BigDecimal min) {
    if (min == null) return null;
    return (root, query, cb) -> cb.greaterThanOrEqualTo(root.get(Product_.price), min);
}

// ProductService
Specification<Product> spec = Specification.allOf(
        nameContains(f.q()), factoryIn(f.factory()), targetIn(f.target()),
        priceAtLeast(f.minPrice()), priceAtMost(f.maxPrice()), priceInAnyRange(f.priceRanges()));
return products.findAll(spec, pageable);

Product_ là metamodel: class được annotation processor sinh lúc compile, có field type-safe cho từng thuộc tính (Product_.price là SingularAttribute<Product, BigDecimal>). Đổi tên field price thì code lọc lỗi compile, thay vì root.get("price") lỗi lúc chạy.

pom.xml cho metamodel và nhóm Specification đầy đủ của lab
<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-compiler-plugin</artifactId>
  <configuration>
    <annotationProcessorPaths>
      <path>
        <groupId>org.hibernate.orm</groupId>
        <artifactId>hibernate-jpamodelgen</artifactId>
        <version>${hibernate.version}</version>   <!-- 6.6.x theo Spring Boot 3.5 -->
      </path>
    </annotationProcessorPaths>
  </configuration>
</plugin>

Class sinh ra nằm ở target/generated-sources/annotations/.../Product_.java.

public final class ProductSpecs {
    public static Specification<Product> nameContains(String q) {
        if (q == null || q.isBlank()) return null;
        String pattern = "%" + q.trim().toLowerCase() + "%";
        return (root, query, cb) -> cb.like(cb.lower(root.get(Product_.name)), pattern);
    }
    public static Specification<Product> targetIn(Collection<String> targets) { /* như factoryIn */ }
    public static Specification<Product> priceAtMost(BigDecimal max) { /* lessThanOrEqualTo */ }

    /** (r1 OR r2 OR ...), rồi AND với các tiêu chí khác. */
    public static Specification<Product> priceInAnyRange(List<PriceRange> ranges) {
        if (ranges == null || ranges.isEmpty()) return null;
        return (root, query, cb) -> {
            var price = root.get(Product_.price);
            Predicate[] ors = ranges.stream()
                    .map(r -> r.max() == null ? cb.greaterThanOrEqualTo(price, r.min()) : cb.between(price, r.min(), r.max()))
                    .toArray(Predicate[]::new);
            return cb.or(ors);
        };
    }
}

Specification.allOf (Spring Data 3.x) bỏ qua phần tử null, nên mỗi hàm trả null khi tham số trống là đủ, không cần if ở service. Cách cũ Specification.where(a).and(b) cũng chấp nhận null.

6. Lab: lọc sản phẩm theo hãng, mục đích và khoảng giá

Ý chính: gom query string vào một record ProductFilter, đổi slug khoảng giá thành enum trong danh sách trắng, mỗi tiêu chí là một Specification, ghép bằng allOf. Các khoảng giá OR với nhau trong một Specification nên dấu ngoặc luôn đúng.

Đề bài (diễn đạt lại): trang /products hỗ trợ

  1. minPrice, maxPrice: giá tối thiểu, tối đa.
  2. factory=APPLE hoặc factory=APPLE,DELL: một hoặc nhiều hãng (điều kiện IN).
  3. target=GAMING,VAN-PHONG: mục đích sử dụng, nhiều giá trị.
  4. price=10-15-trieu,tren-20-trieu: một hoặc nhiều khoảng giá cố định.
  5. q=tuf: tìm theo tên; kết hợp tất cả cùng page và sort.
/** Spring tự tách "APPLE,DELL" thành List<String> khi bind. */
public record ProductFilter(String q, List<String> factory, List<String> target,
                            BigDecimal minPrice, BigDecimal maxPrice, List<String> price) {
    public List<PriceRange> priceRanges() {
        return price == null ? List.of() : price.stream().map(PriceRange::fromSlug).flatMap(Optional::stream).toList();
    }
}

public enum PriceRange {
    UNDER_10M("duoi-10-trieu", 0, 10_000_000L),
    FROM_10_TO_15M("10-15-trieu", 10_000_000L, 15_000_000L),
    FROM_15_TO_20M("15-20-trieu", 15_000_000L, 20_000_000L),
    OVER_20M("tren-20-trieu", 20_000_000L, null);
    // slug, min, max, fromSlug(...)
}

SQL Hibernate sinh cho ?price=10-15-trieu,tren-20-trieu&factory=APPLE,ASUS (lấy từ log khi chạy test):

select ... from product p1_0
where p1_0.factory in (?,?) and (p1_0.price between ? and ? or p1_0.price>=?)
order by p1_0.id offset ? rows fetch first ? rows only

Dấu ngoặc quanh hai khoảng giá là điều quan trọng nhất. Nếu mỗi khoảng là một Specification riêng rồi ghép bằng .or() vào chuỗi .and(), thứ tự ghép quyết định kết quả và dễ ra factory IN (...) AND r1 OR r2, tức là mọi sản phẩm trên 20 triệu của mọi hãng.

Test filterByFactoryListAndPriceRanges (đều qua): factory=APPLE,DELL ra MacBook và Dell; hai khoảng giá ra MacBook (25 triệu) và Dell (12 triệu); thêm factory=APPLE,ASUS chỉ còn MacBook; minPrice=16000000&sort=price,desc ra MacBook rồi Asus; slug lạ khong-ton-tai bị bỏ qua, chỉ còn lọc theo q=tuf.

Count query, fetch join và DISTINCT khi Specification có join

Khi lọc theo một bảng con (ví dụ sản phẩm có ít nhất một đánh giá 5 sao), Specification phải join:

static Specification<Product> hasRatingAtLeast(int stars) {
    return (root, query, cb) -> {
        query.distinct(true);                        // join 1-n làm một sản phẩm lặp nhiều dòng
        Join<Product, Review> r = root.join(Product_.reviews);
        return cb.greaterThanOrEqualTo(r.get(Review_.stars), stars);
    };
}

(Đoạn này chưa chạy: lab không có entity Review.)

Ba điểm cần biết:

  • Join 1-n nhân dòng: không có distinct, một sản phẩm có 3 review khớp hiện 3 lần trên trang và tổng số dòng sai.
  • Fetch join trong Specification + phân trang: root.fetch(...) làm Hibernate phân trang trong RAM (cảnh báo HHH90003004, như ở phần 7), và câu count do Spring Data sinh từ cùng Specification sẽ lỗi vì count không có fetch. Nếu buộc phải fetch, kiểm query.getResultType(): chỉ fetch khi không phải Long (câu count).
  • Projection cho trang danh sách: entity Product của lab có cột @Lob detailDesc, và câu lấy trang chọn cả nó. Trang danh sách chỉ cần tên, giá, ảnh; dùng interface projection hoặc DTO (Spring Data 3.x có findBy(spec, q -> q.as(ProductCard.class).page(pageable)), chưa chạy trong lab) để không kéo text dài qua mạng.

Ghi nhớ

  • Giải thích được vì sao nhận Pageable tốt hơn @RequestParam int page, và page đếm từ 0 hay 1 ở đâu.
  • Biết khi nào dùng Page, khi nào dùng Slice, và khi nào phải chuyển sang keyset.
  • Viết được Specification cho IN, khoảng giá OR, so sánh, và ghép bằng allOf với mảnh null.
  • Kể được ba đầu vào từ URL phải giới hạn: size, sort, giá trị lọc (enum hoặc danh sách trắng).
  • Nhận ra bẫy LIKE có % ở đầu, và bẫy fetch join khi có phân trang.

Câu hỏi phỏng vấn

Junior

OFFSET và LIMIT là gì? Trang 3, mỗi trang 10 dòng thì OFFSET bao nhiêu?

LIMIT là số dòng lấy, OFFSET là số dòng bỏ qua trước đó. Trang 3 (đếm từ 1), size 10: OFFSET = (3 - 1) × 10 = 20.

Trong Spring, PageRequest.of(2, 10) (đếm từ 0) cho cùng kết quả. Thêm ORDER BY một cột duy nhất, không thì thứ tự giữa các trang không xác định.

Controller nhận @RequestParam int page và người dùng mở URL không có page. Chuyện gì xảy ra, sửa thế nào?

Spring trả 400 vì tham số bắt buộc bị thiếu. Sửa bằng cách nhận Pageable với @PageableDefault, hoặc ít nhất defaultValue.

Pageable còn xử lý luôn giá trị không phải số, sort và size, và tôn trọng cấu hình one-indexed-parameters, max-page-size.

Mid

Page và Slice khác nhau thế nào? Khi nào chọn Slice?

Page chạy thêm một câu count(*) để biết tổng số dòng và số trang; Slice chỉ lấy size + 1 dòng để biết còn trang sau hay không.

Chọn Slice cho “xem thêm” hoặc cuộn vô hạn, nhất là khi count trên bảng lớn có điều kiện phức tạp tốn kém. Chọn Page khi giao diện cần thanh số trang.

Vì sao phải lọc tham số sort đến từ URL?

Vì nó quyết định cột trong ORDER BY: cột lạ gây lỗi 500, và sắp xếp theo trường nhạy cảm giúp người ngoài dò dữ liệu.

Spring Data không nối chuỗi sort thô vào SQL, nhưng vẫn nhận mọi thuộc tính của entity. Dùng danh sách trắng, map tên hiển thị (gia-tang-dan) sang Sort phía server, và luôn thêm cột duy nhất cuối cùng để thứ tự ổn định.

Specification là gì và khác query method ở đâu?

Specification là một mảnh điều kiện WHERE dựng lúc chạy bằng Criteria API; query method cố định điều kiện trong tên method lúc compile.

Với ba tiêu chí tuỳ chọn, query method cần tám method, còn Specification là ba hàm nhỏ ghép bằng allOf, mảnh nào null thì bỏ. Dùng metamodel (Product_) để tên thuộc tính được kiểm lúc compile.

Người dùng chọn hai khoảng giá và hai hãng. Điều kiện SQL đúng là gì và hay sai ở đâu?

factory IN (a, b) AND (price BETWEEN x1 AND y1 OR price >= x2): các khoảng giá phải được bọc ngoặc trước khi AND với hãng.

Ghép từng khoảng bằng .or() vào chuỗi .and() dễ thành ... AND r1 OR r2, khớp mọi sản phẩm thuộc r2 bất kể hãng. Gom các khoảng vào một Specification trả cb.or(...), rồi đọc SQL trong log để kiểm.

Senior

Trang danh sách có tìm kiếm theo tên bằng LIKE và chạy chậm khi bảng lớn. Bạn xử lý thế nào?

LIKE '%x%' không dùng được B-tree, nên chuyển sang công cụ hợp với tìm kiếm chuỗi: trigram index, full-text index của DB, hoặc search engine; đồng thời xem lại count query và cột được chọn.

Đo bằng EXPLAIN trước. Nếu chỉ cần tìm theo tiền tố thì LIKE 'x%' dùng được index. Với PostgreSQL, pg_trgm + GIN hợp với tìm chứa chuỗi; tìm có xếp hạng và gõ sai thì Elasticsearch. Ngoài ra: dùng Slice nếu không cần tổng, projection để không kéo cột @Lob, và escape %, _ trong từ khoá.

Specification có join tới bảng con và trang trả về trùng dòng, tổng số sai. Vì sao và sửa thế nào?

Join 1-n nhân mỗi sản phẩm thành nhiều dòng; thêm query.distinct(true) hoặc đổi join thành subquery exists, và không dùng fetch join khi phân trang.

Fetch join collection cộng phân trang làm Hibernate cắt trang trong RAM, và câu count sinh từ cùng Specification sẽ lỗi. Subquery exists thường cho plan tốt hơn distinct trên bảng lớn. Kiểm bằng log SQL và test có dữ liệu nhiều dòng con.

Từ vựng tiếng Anh

Term Phát âm Nghĩa Ví dụ câu tiếng Anh dùng trong phỏng vấn
pagination /ˌpædʒ.əˈneɪ.ʃən/ phân trang “Pagination keeps each response small and predictable.”
offset /ˈɔːf.set/ số dòng bỏ qua “Deep offsets get slower because the database still scans the skipped rows.”
keyset pagination /ˈkiː.set ˌpædʒ.əˈneɪ.ʃən/ phân trang theo khoá cuối “For infinite scroll I’d switch to keyset pagination.”
query string /ˈkwɪr.i strɪŋ/ phần tham số sau dấu ? “Filters live in the query string, so every page is bookmarkable.”
count query /kaʊnt ˈkwɪr.i/ câu đếm tổng số dòng “Page runs an extra count query; Slice doesn’t.”
specification /ˌspes.ə.fəˈkeɪ.ʃən/ mảnh điều kiện truy vấn “Each filter is a small specification, combined with allOf.”
predicate /ˈpred.ɪ.kət/ biểu thức điều kiện “The criteria builder returns a predicate for the WHERE clause.”
metamodel /ˈmet.əˌmɑː.dəl/ class mô tả thuộc tính entity “The generated metamodel makes attribute names type-safe.”
allowlist /ˈaʊ.loʊ.lɪst/ danh sách trắng “Sort fields go through an allowlist before reaching the repository.”
leading wildcard /ˈliː.dɪŋ ˈwaɪld.kerd/ ký tự % ở đầu mẫu LIKE “A leading wildcard rules out a B-tree index.”

Ghi chép dựa trên tài liệu khoá học của Hỏi Dân IT, viết lại và bổ sung theo cách hiểu của mình.