Elaticsearch trong hành động

Tram Ho

Elasticsearch là gì?

  • Full-text search engine.
  • NoSQL database.
  • Analytics engine.
  • Được viết bằng Java.
  • Lucence based.
  • Inverted indices.
  • Dễ scale
  • RESTful interface (HTTP/JSON)
  • “Schemaless“.
  • Real-time.
  • ELK stack.

Download Elasticseach.

Bài viết này sử dụng Elastichsearch 7.5

https://www.elastic.co/downloads/elasticsearch

Sau khi download và cài đặt xong, tiến hành chạy Elasticsearch,
các bạn có thể trỏ browser của mình tới http://localhost:9200 (hoặc dùng curl, mình thích dùng curl hơn) để kiểm tra elasticsearch có chạy thành công hay không, và đây là kết quả nhận được:

Một số khái niệm.

Nếu so sánh với cơ sở dữ liệu quan hệ (RDBMS) thì các thuật ngữ sau có thể hiểu là tương đương.

RDBMSElasticsearch
DatabaseIndex
TableType
RowDocument

Index.

Để tạo database (hay trong Elasticseach thì gọi là Index) chúng ta sử dụng method PUT cái tên database lên, ví dụ tạo index post:

Document.

Để tạo document, chỉ cần truyền lên một đoạn json, và gán cho nó 1 id

Ở request trên, post là tên index, doc là type, 1 là id.
Nói thêm một chút về type, trong Elasticsearch mỗi khi document được lưu thì sẽ có 1 index và một mapping type tương ứng, Ví dụ index twitter có type user và tweet, mỗi type này có thể có các trường riêng, user có user_name, email, còn tweet có content, tweeted_at và cũng có user_name.
(Để tạo document chúng ta cũng làm tương tự: PUT /twitter/user/1, PUT /twitter/tweet/1

Trong Elasticsearch, mọi người thường coi index như database trong SQL database, còn type thì giống với table, đây là một sự tương đương không tốt và dẫn đến nhiều hệ lụy xấu. Trong SQL database các table là độc lập nhau, 2 trường cùng tên ở 2 table khacs nhau thì không liên quan gì đến nhau. Nhưng trong Elasticsearch thì không giống vậy, chúng cùng được hỗ trợ bởi một trường Lucence bên trong. Điều này dẫn tới một số hệ quả xấu. Có 2 giải pháp thay thế đó là:

  • Mỗi type thì ta cho 1 index riêng.
  • Hoặc custome type.

Chính vì vậy cho nên từ Elasticsearch 7.x thì chỉ định type trong API tạo index là không cần thiết nữa.
Từ Elasticsearch 8 thì khai báo type trong API sẽ không được hỗ trợ.
Chi tiết xem ở:
https://www.elastic.co/guide/en/elasticsearch/reference/current/removal-of-types.html

Trở lại ví dụ, sau khi tạo xong post, chúng ta có thể lấy thông tin nó bằng method GET

Mapping.

Đầu bài mình có nói là Elasticsearch schemaless, thực ra không hẳn như vậy. Kiểm tra mapping của index post trong ví dụ trước:

(text: analyzed, keyword: nonanalyzed)

Ta thấy tất cả đều là text, nếu không chỉ rõ thì Elasticsearch sẽ tự đoán kiểu dữ liệu cho chúng ta.
Như vậy là không ổn lắm, ví dụ các trường cần kiểu ngày/giờ hay số sẽ bị cho là text hết.
Chúng ta tự mapping tại thời điểm khởi tạo Index như sau, chỉ cần truyền json lên:

Analyzers.

Trước tiên hãy xem request mapping sau (tương tự bên trên), khi khai báo analyzer cho trường title.

Analyzer là gì?
Analyzer vs non-analyzer <=> Full-text vs giá_trị_chính_xác
Analyzer thường có các bước:

  • Character filter. (thay thế character)
  • Tokenizer. (Bẻ text thành từng term)
  • Token filters. (Thêm/xóa/sửa token)

Xem các built-in analyzer của Elasticsearch ở đây https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-analyzers.html
Ví dụ anlyzer:

Hey man, how are you doing?

  • Whitespace analyzer: Hey | man, | how | are | you | doing? |
  • English analyzer: hei | man | how | you | do |

Test mấy cái analyzer vừa tạo như sau

Thực hiện search, giả sử có rất nhiều document, bạn tìm kiếm từ working

Search

Trước tiên hãy import tập data này vào https://gist.githubusercontent.com/lumosnysm/664e4b76c81eacefaa515c7c1133823c/raw/ebbd60808a868bc3626497d77e3f984747dfd9bb/post.json


Để lấy ra toàn bộ document ta sử dụng method GET:
Kết quả trả về được phân trang như sau

hoặc có thể dùng POST và truyền lên đoạn json, kết quả cũng cho giống hệt

tương tự 2 cách dưới là tương đương nhau

Để đếm document, ta sử dụng count

Filter và Query

Filter:

  • Document có match với không? (có hoặc không).
  • Không quan tâm đến sự tương quan (relevance).
  • Nhanh và cache được.
  • Dùng cho trường non-analyzed (như trên thì mình đã để là raw ấy).

Query:

  • Document được match có tốt không?
  • Full-text search.
  • Dùng cho trường được analyzed.

Ví dụ sử dụng filter:

Ở trên mình dùng must, must_not, should.
Có thể hiểu đơn giản: must là AND, must_not là NOT, còn should là OR.

Relevance

Xem ví dụ sau sử dụng query

Để ý các phần max_score, _score. Ở doc đầu tiên có chứa cả ‘good’ và ‘news’ nên score là 9.7 cao hơn doc thứ hai là 4.9 khi chỉ chứa từ news. Và kết quả trả về được sắp xếp theo thứ tự điểm từ cao-> thấp

Ngoài ra chúng ta cũng có thể sử dụng như bên dưới để tất cả chung score là 1.0, như vậy ta sẽ thoải mái sắp xếp kết quả từ trường bất kỳ theo ý muốn. Cách này biến Elasticsearch giống như một NoSQL database hơn là một Full-text search engine

Xem một ví dụ khác:

Ở trên có sử dụng should. Điều đặc biệt là should khi dùng ở trong query khác với trong filter. Trong filter thì should đơn giản như là phép OR, kết quả sẽ được trả về bất kể việc should có match hay không. Còn trong query thì should có nếu match sẽ boost relevance score của document đó lên.
Như request trên, vẫn giống như cũ, ta tìm kiếm các post mà title chứa ‘good news’, ngoài ra score sẽ được boost thêm nếu document đó có category là ‘apps’. Chạy thử kiểm tra để thấy được doc có id 5895 có category chứa ‘apps’ sau khi chạy request trên có score là 7.7 cao hơn 4.9 khi không tìm với should.

Ngoài ra, ta có thể tự khai báo boost query theo ý muốn như sau:

Aggregation

Aggregation cơ bản là group by trong SQL database, nhưng khỏe hơn.

Thậm chí chúng ta có thể query nested để phân tích dữ liệu sâu hơn nữa:

Như vậy là mình đã điểm qua một số thứ cơ bản trong Elasticsearch, hy vọng nó sẽ giúp ích cho các bạn.

Tham khảo
https://www.elastic.co/
https://github.com/ThijsFeryn/elasticsearch_tutorial

Chia sẻ bài viết ngay

Nguồn bài viết : Viblo