Elasticsearch và quá trình phân tích dữ liệu (Các thành phần của một analyzer)

Tram Ho

1. Analyzer

Analyzer là thứ sẽ xử lý dữ liệu được gửi lên elasticsearch và xử lý dữ liệu của một số loại query search như match query.
Như mình đã đề cập ở bài viết trước, một analyzer bao gồm các thành phần sau: một hoặc nhiều character filter để chuẩn hóa dữ liệu trước khi phân tích, một tokenizer để phân tích dữ liệu và một hoặc nhiều token filter để chuẩn hóa dữ liệu sau khi phân tích.

2 Build in analyzer

Hiện tại elasticsearch cung cấp một số build-in analyzer

2.1 Standard

Đây là analyzer mặc định, sử dụng standard, lowercase, và stop token-filter, sẽ đề cập ở phần sau

2.2 Simple

Simple analyzer tách đoạn text thành token khi gặp một ký tự không phải là letter. Nó bao gồm lowercase tokenizer

kết quả:
[ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

2.3 Whitespace

Tách đoạn text thành token dựa vào các whitespace. Nó bao gồm whitespace tokenizer

Kết quả:
[ The, 2, QUICK, Brown-Foxes, jumped, over, the, lazy, dog’s, bone. ]

2.4 Stop

Giống với Simple analyzer, tách đoạn text thành token khi gặp một ký tự không phải là letter nhưng có thêm một tính năng là loại bỏ các token là stopword(a, an, the, sẽ đề cập ở phần sau) nhờ có thêm một token filter là Stop Token Filter

[ quick, brown, foxes, jumped, lazy, dog, s, bone ]

2.5 Keyword

Lấy tất cả đoạn text thành một token. Khuyến khích set field thành not_analyzed thay vì dùng analyzer keyword

Khuyến khích

2.6 Pattern

Tách đoạn text thành token dựa vào biểu thức chính quy (RegEx), pattern mặc định là W+: ngoại trừ tất cả non-word characters

kết quả:
[ the, 2, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

2.7 Language analyzer

Tập hợp các analyzer dành cho các ngôn ngữ khác nhau (arabic, armenian, basque, bengali, brazilian, bulgarian, catalan, cjk, czech, danish, dutch, english, finnish, french, galician, german, greek, hindi, hungarian, indonesian, irish, italian, latvian, lithuanian, norwegian, persian, portuguese, romanian, russian, sorani, spanish, swedish, turkish, thai).

3. Custom một analyzer

Ngoài các analyzer được cung cấp sẵn, chúng ta cũng có thể tự tạo các analyzer cho phù hợp với yêu cầu bài toán bằng cách kết hợp các character filter, tokenizer, token filter của elasticsearch.

Ví dụ: Custom một analyzer sử dụng các charfilter, tokenizer, token filter

3.1 Tokenizer

Hiện tại các analyzer của elasticsearch được chia thành 3 nhóm nhu sau:

3.1.1 Nhóm Các tokenizer hướng về xử lý text hướng từ ngữ (word oriented tokenizers)

Các tokenizer của nhóm này có chức năng tách các đoạn text dài thành các từ riêng lẻ

Standard tokenizer

Đây là tokenizer mặc định, sự dụng thuật toán tách từ của UAX 29 nên nó có thể áp dụng được cho hầu hết các ngôn ngữ thuộc châu âu.

Kết quả
[ The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog’s, bone ]

Các options

  • max_token_length: độ dài cho phép của 1 token, mặc định là 255

Letter tokenizer

Tách đoạn text thành token bất cứ khi nào gặp phải một ký tự không phải letter

Kết quả
[ The, QUICK, Brown, Foxes, jumped, over, the, lazy, dog, s, bone ]

Lowercase tokenizer

Giống với Letter tokenizer tách đoạn text thành token bất cứ khi nào gặp phải một ký tự không phải letter, nhưng đồng thời cũng lowercase các token tách được

Kết quả:
[ the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone ]

Whitespace tokenizer

Giống với Letter tokenizer tách đoạn text thành token bất cứ khi nào gặp phải một ký tự whitespace
Các options

  • max_token_length: độ dài cho phép của 1 token, mặc định là 255

3.1.2 Nhóm về xứ lý text hướng cấu trúc (structured text tokenizers)

Các tokenizer của nhóm này thiên về tách đoạn text thành các đoạn text nhỏ hơn theo các cấu trúc text khác như email, file path

Keyword tokenizer

Cho ra cả đoạn text input thành một term, dùng để kết hợp với tokenizer để chuẩn hóa dữ liệu đầu ra, thường dùng cho search like

ví dụ

POST _analyze
{
“tokenizer”: “keyword”,
“text”: “New York”
}

Kết quả
[ New York ]

Các options

  • max_token_length: độ dài cho phép của 1 token, mặc định là 255

UAX URL email tokenizer

Giống với standard tokenizer ngoại trừ nó có thể nhận ra và lưu url và email thành một token

POST _analyze
{
“tokenizer”: “uax_url_email”,
“text”: “Email me at [email protected] or visit https://john-smith.com”
}

kết quả
[ Email, me, at, [email protected] , or , visit, https://john-smith.com]

Các options

  • max_token_length: độ dài cho phép của 1 token, mặc định là 255

Path hierarchy tokenizer

Dùng để xử lý các đường dẫn thư mục, file. Tách đoạn text thành các đường dẫn thư mục theo hướng từ thư mục cha vào

POST _analyze
{
“tokenizer”: “path_hierarchy”,
“text”: “/usr/local/var/log/elasticsearch.log”
}

kết quả
[/usr, /usr/local, /usr/local/var, /usr/local/var/log, /usr/local/var/log/elasticsearch.log]

Các options:

  • delimiter : định nghĩa path separator, mặc định là ‘/’
  • replacement : thay thế delimiter trong token đầu ra
  • buffer_size : mặc định 1024
  • reverse : tách từ theo hướng từ con -> cha, mặc định là false

3.1.3 Nhóm xử lý text hướng phân mảnh (partial word tokenizers)

Tách từ, các đoạn text thành các fragment nhỏ hơn.

N-gram tokenizer

Tách một chuỗi thành các chuỗi con (gram) đều nhau có độ dài là N, hữu dụng cho các ngôn ngũ không nối các từ dài bằng khoảng trắng như tiếng Đức

POST _analyze
{
“tokenizer”: “ngram”,
“text”: “Quick Fox”
}
kết quả
[ Q, Qu, u, ui, i, ic, c, ck, k, “k “, ” “, ” F”, F, Fo, o, ox, x ]

các options

  • min_gram : độ dài nhỏ nhất của 1 gram, mặc định là 1
  • max_gram : độ dài lớn nhất của 1 gram, mặc định là 2
  • token_chars : các loại ký tự mà được dùng để tách gram gồm : letter (ký tự chữ), digit (chữ số), whitespace (‘ ‘ hoặc ‘n’), symbol

Edge N-gram tokenizer

Giống N-gram nhưng chỉ cho ra các gram là bắt đầu của một từ

3.2 Token filter

Dùng để chuẩn hóa các token được sinh ra sau quá trình tokenizing để đưa vào index, dùng để custom một analyzer, có thể có 0 hoặc nhiều token filter trong một analyzer

3.2.1 Standard token filter

Ở các phiên bản cũ thì nó trim chữ s sau các từ, còn ở các phiên bản sau này bây giờ thì nó đơn giản là không làm gì cả.

3.2.2 Lowercase/Upper token filter

Lowercase/uppercase các token

3.3.3 Stopword token filter

Loại bỏ các token là stopword, ví dụ như các từ a, an, the, and … trong tiếng Anh, hỗ trọ nhiều ngôn ngữ khác nhau https://www.ranks.nl/stopwords

3.3.4 Stemming tokenizers

Các tokenizer dùng để chuyển đổi các token về từ gốc theo ngữ pháp, vd: “walks“, “walking“, “walked” có từ gốc là “walk”, trong es có 3 thuật toán stemming tương ứng với 3 tokenizer : porter, snowball, kstem

4. Lời kết

Trên đây là bài giói thiệu của mình về các analyzer của elassticsearch cũng như các thành phần cấu tạo nên chúng. Cám ơn các bạn đã quan tâm ^_^

Nguồn tham khảo:

Chia sẻ bài viết ngay

Nguồn bài viết : Viblo