Tìm hiểu và cài đặt Elasticsearch
- Tram Ho
Elasticsearch là gì?
Elasticsearch là một NoSQL database, một search engine phân tán, dựa trên phần mềm Lucene. Elasticsearch có nhiều công cụ với giao diện web HTTP và hỗ trợ dữ liệu JSON. Elasticsearch là một công cụ tìm kiếm phổ biến nhất hiện nay.
Elasticsearch cung cấp công cụ tìm tiếm và phân tích gần như là thời gian thực, áp dụng với mọi kiểu dữ liệu – văn bản có cấu trúc hoặc phi cấu trúc, số, thông tin địa lý… Elasticsearch sẽ tự lưu trữ và đánh chỉ mục chúng để tìm kiếm hiệu quả. Vì Elasticsearch là một search engine phân tán nên bạn có thể dễ dàng mở rộng khi dữ liệu mở rộng.
Ưu điểm và nhược điểm
1. Ưu điểm
- Tốc độ tìm kiếm của Elasticsearch rất nhanh chóng và linh hoạt (đúng như tên gọi)
- Elasticsearch có thể chạy trên mọi nền tảng nhờ vào máy ảo Java và dễ dàng mở rộng
- Elasticsearch là công cụ tìm kiếm near realtime, dữ liệu nhanh chóng có thể tìm kiếm được sau khi thêm vào hệ thống
- Dễ dàng backup toàn bộ hệ thống
- Hỗ trợ nhiều loại dữ liệu
- Opensource
2. Nhược điểm
- Vấn đề split-brain khi kết nối của các node với master có vấn đề
- Elasticsearch là một NoSQL, nó không hỗ trợ database transaction
- Ngoài việc search thì hiệu suất của các thao tác khác đối với dữ liệu của Elasticsearch không thực sự tốt, có thể mất mát dữ liệu đối với luồng dữ liệu lớn
- Vì Elasticsearh sẽ đánh
indexcho các dữ liệu được thêm vào nên nó không phù hợp với hệ thống cập nhật dữ liệu thường xuyên
Ứng dụng
1. Database
Elasticsearch là một NoSQL database, vì thế chúng ta hoàn toàn có thể sử dụng nó như một database. Nó có đầy đủ các chức năng CRUD cơ bản cần thiết để làm một database.
Nhưng như những nhược điểm đã nêu ở phần trên, Elasticsearch có thể sử dụng được với những usecase hệ thống nhỏ. Nhưng đối với những hệ thống lớn, dữ liệu được cập nhật thường xuyên và luồng dữ liệu hàng lớn, Elasticsearch hoàn toàn không phù hợp.
2. Search engine
Đây chính là mục đích mà nó được tạo ra, Elasticsearch được sử dụng phổ biến như là một công cụ tìm kiếm.
- Logging and Log Analysis: Elasticsearch là một platform phổ biến nhất cho logging. Elasticsearch giúp bạn không phải căng mắt tìm kiếm trong hàng ngìn dòng log trên nhiều hệ thống khác nhau.
- Tìm kiếm văn bản: Elasticsearch có thể được dùng để tìm kiếm văn bản thuần túy với cụm từ được cung cấp chính xác nhất. Rất nhiều tên tuổi lớn đang sử dụng công cụ tìm kiếm này, có thể kể đến như Microsoft, Github, Wikipedia, Facebook, Linkedin, Stackoverflow, Viblo…
- Tìm kiếm sản phẩm: Chúng ta có thể sử dụng Elasticsearch để tìm kiếm các sản phẩm trong hệ thống theo tên hoặc theo các trường dữ liệu bất kỳ khác vì Elasticsearch hỗ trợ rất nhiều kiểu dữ liệu có cấu trúc.
- AutoComplete: Vì thời gian tìm kiếm của Elasticsearch rất nhanh nên chúng ta có thể tích hợp nó như một công cụ gợi ý autocomplete, tăng độ trải nhiệm của người dùng.
Thao tác sử dụng cơ bản
1.Cài đặt
Bạn có thể cài đặt Elasticsearch cùng với Kibanna (Giao diện quản lý cho Elasticsearch) rất dễ dàng với Docker
1 2 3 4 5 6 7 | // Elasticsearch $ docker pull docker.elastic.co/elasticsearch/elasticsearch:7.12.1 $ docker run --name kibana --net elasticnet -p <span class="token number">9200</span>:9200 -p <span class="token number">9300</span>:9300 -e <span class="token string">"discovery.type=single-node"</span> docker.elastic.co/elasticsearch/elasticsearch:7.12.1 // Kibana $ docker pull docker.elastic.co/kibana/kibana:7.12.1 $ docker run -d --name kibana --net elasticnet -p <span class="token number">5601</span>:5601 docker.elastic.co/kibana/kibana: |
Hoặc sử dụng Docker-compose
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 | <span class="token key atrule">version</span><span class="token punctuation">:</span> <span class="token string">'2.2'</span> <span class="token key atrule">services</span><span class="token punctuation">:</span> <span class="token key atrule">es01</span><span class="token punctuation">:</span> <span class="token key atrule">image</span><span class="token punctuation">:</span> docker.elastic.co/elasticsearch/elasticsearch<span class="token punctuation">:</span>7.12.1 <span class="token key atrule">container_name</span><span class="token punctuation">:</span> es01 <span class="token key atrule">environment</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> node.name=es01 <span class="token punctuation">-</span> cluster.name=es<span class="token punctuation">-</span>docker<span class="token punctuation">-</span>cluster <span class="token punctuation">-</span> discovery.seed_hosts=es02<span class="token punctuation">,</span>es03 <span class="token punctuation">-</span> cluster.initial_master_nodes=es01<span class="token punctuation">,</span>es02<span class="token punctuation">,</span>es03 <span class="token punctuation">-</span> bootstrap.memory_lock=true <span class="token punctuation">-</span> <span class="token string">"ES_JAVA_OPTS=-Xms512m -Xmx512m"</span> <span class="token key atrule">ulimits</span><span class="token punctuation">:</span> <span class="token key atrule">memlock</span><span class="token punctuation">:</span> <span class="token key atrule">soft</span><span class="token punctuation">:</span> <span class="token number">-1</span> <span class="token key atrule">hard</span><span class="token punctuation">:</span> <span class="token number">-1</span> <span class="token key atrule">volumes</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> data01<span class="token punctuation">:</span>/usr/share/elasticsearch/data <span class="token key atrule">ports</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> 9200<span class="token punctuation">:</span><span class="token number">9200</span> <span class="token key atrule">networks</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> elastic <span class="token key atrule">es02</span><span class="token punctuation">:</span> <span class="token key atrule">image</span><span class="token punctuation">:</span> docker.elastic.co/elasticsearch/elasticsearch<span class="token punctuation">:</span>7.12.1 <span class="token key atrule">container_name</span><span class="token punctuation">:</span> es02 <span class="token key atrule">environment</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> node.name=es02 <span class="token punctuation">-</span> cluster.name=es<span class="token punctuation">-</span>docker<span class="token punctuation">-</span>cluster <span class="token punctuation">-</span> discovery.seed_hosts=es01<span class="token punctuation">,</span>es03 <span class="token punctuation">-</span> cluster.initial_master_nodes=es01<span class="token punctuation">,</span>es02<span class="token punctuation">,</span>es03 <span class="token punctuation">-</span> bootstrap.memory_lock=true <span class="token punctuation">-</span> <span class="token string">"ES_JAVA_OPTS=-Xms512m -Xmx512m"</span> <span class="token key atrule">ulimits</span><span class="token punctuation">:</span> <span class="token key atrule">memlock</span><span class="token punctuation">:</span> <span class="token key atrule">soft</span><span class="token punctuation">:</span> <span class="token number">-1</span> <span class="token key atrule">hard</span><span class="token punctuation">:</span> <span class="token number">-1</span> <span class="token key atrule">volumes</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> data02<span class="token punctuation">:</span>/usr/share/elasticsearch/data <span class="token key atrule">networks</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> elastic <span class="token key atrule">es03</span><span class="token punctuation">:</span> <span class="token key atrule">image</span><span class="token punctuation">:</span> docker.elastic.co/elasticsearch/elasticsearch<span class="token punctuation">:</span>7.12.1 <span class="token key atrule">container_name</span><span class="token punctuation">:</span> es03 <span class="token key atrule">environment</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> node.name=es03 <span class="token punctuation">-</span> cluster.name=es<span class="token punctuation">-</span>docker<span class="token punctuation">-</span>cluster <span class="token punctuation">-</span> discovery.seed_hosts=es01<span class="token punctuation">,</span>es02 <span class="token punctuation">-</span> cluster.initial_master_nodes=es01<span class="token punctuation">,</span>es02<span class="token punctuation">,</span>es03 <span class="token punctuation">-</span> bootstrap.memory_lock=true <span class="token punctuation">-</span> <span class="token string">"ES_JAVA_OPTS=-Xms512m -Xmx512m"</span> <span class="token key atrule">ulimits</span><span class="token punctuation">:</span> <span class="token key atrule">memlock</span><span class="token punctuation">:</span> <span class="token key atrule">soft</span><span class="token punctuation">:</span> <span class="token number">-1</span> <span class="token key atrule">hard</span><span class="token punctuation">:</span> <span class="token number">-1</span> <span class="token key atrule">volumes</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> data03<span class="token punctuation">:</span>/usr/share/elasticsearch/data <span class="token key atrule">networks</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> elastic <span class="token key atrule">kib01</span><span class="token punctuation">:</span> <span class="token key atrule">image</span><span class="token punctuation">:</span> docker.elastic.co/kibana/kibana<span class="token punctuation">:</span>7.12.1 <span class="token key atrule">container_name</span><span class="token punctuation">:</span> kib01 <span class="token key atrule">ports</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> 5601<span class="token punctuation">:</span><span class="token number">5601</span> <span class="token key atrule">environment</span><span class="token punctuation">:</span> <span class="token key atrule">ELASTICSEARCH_URL</span><span class="token punctuation">:</span> http<span class="token punctuation">:</span>//es01<span class="token punctuation">:</span><span class="token number">9200</span> <span class="token key atrule">ELASTICSEARCH_HOSTS</span><span class="token punctuation">:</span> <span class="token string">'["http://es01:9200","http://es02:9200","http://es03:9200"]'</span> <span class="token key atrule">networks</span><span class="token punctuation">:</span> <span class="token punctuation">-</span> elastic <span class="token key atrule">volumes</span><span class="token punctuation">:</span> <span class="token key atrule">data01</span><span class="token punctuation">:</span> <span class="token key atrule">driver</span><span class="token punctuation">:</span> local <span class="token key atrule">data02</span><span class="token punctuation">:</span> <span class="token key atrule">driver</span><span class="token punctuation">:</span> local <span class="token key atrule">data03</span><span class="token punctuation">:</span> <span class="token key atrule">driver</span><span class="token punctuation">:</span> local <span class="token key atrule">networks</span><span class="token punctuation">:</span> <span class="token key atrule">elastic</span><span class="token punctuation">:</span> <span class="token key atrule">driver</span><span class="token punctuation">:</span> bridge |
Sau khi chạy thành công (với file docker-compose.yml ở trên), container của một master node es01, 2 slaves es02, es03 và kibana được tạo như dưới đây:
1 2 3 4 5 6 7 8 9 | $ docker-composer <span class="token function">ps</span> --------------------------------------------------------------------------------------------------- Name Command State Ports --------------------------------------------------------------------------------------------------- es01 /bin/tini -- /usr/local/bi <span class="token punctuation">..</span>. Up <span class="token number">0.0</span>.0.0:9200-<span class="token operator">></span><span class="token number">9200</span>/tcp,:::9200-<span class="token operator">></span><span class="token number">9200</span>/tcp, <span class="token number">9300</span>/tcp es02 /bin/tini -- /usr/local/bi <span class="token punctuation">..</span>. Up <span class="token number">9200</span>/tcp, <span class="token number">9300</span>/tcp es03 /bin/tini -- /usr/local/bi <span class="token punctuation">..</span>. Up <span class="token number">9200</span>/tcp, <span class="token number">9300</span>/tcp kib01 /bin/tini -- /usr/local/bi <span class="token punctuation">..</span>. Up <span class="token number">0.0</span>.0.0:5601-<span class="token operator">></span><span class="token number">5601</span>/tcp,:::5601-<span class="token operator">></span><span class="token number">5601</span>/tcp |
Nếu có lỗi es0x exist with code 78, hãy chạy câu lệnh sau để tăng Virtual memory
1 2 | $ <span class="token function">sudo</span> sysctl -w vm.max_map_count<span class="token operator">=</span><span class="token number">262144</span> |
Bây giờ, bạn có thể truy cập vào Kibana tại địahttp://localhost:5601, Kibana cung cấp cho bạn rất nhiều tiện ích để làm việc với Elasticsearch 
Một số Query DSL cơ bản
Tạo index
1 2 | PUT <span class="token operator">/</span>students?pretty |
Tạo bản ghi
1 2 3 4 5 6 7 | POST <span class="token operator">/</span>human<span class="token operator">/</span>_doc<span class="token operator">/</span><span class="token number">1</span> { <span class="token string">"name"</span>: <span class="token string">"Văn A"</span><span class="token punctuation">,</span> <span class="token string">"university"</span>: <span class="token string">"HUST"</span><span class="token punctuation">,</span> <span class="token string">"Age"</span>: <span class="token number">22</span> } |
Tìm kiếm tất cả index
1 2 3 4 5 6 7 | GET <span class="token operator">/</span>students<span class="token operator">/</span>_search { <span class="token string">"query"</span>: { <span class="token string">"match_all"</span>: {} } } |
Tìm kiếm bằng trường dữ liệu
1 2 3 4 5 6 7 8 9 | GET <span class="token operator">/</span>students<span class="token operator">/</span>_search { <span class="token string">"query"</span>: { <span class="token string">"match"</span>: { <span class="token string">"name"</span>:<span class="token string">"Văn D"</span> } } } |
Lời kết
Mình cùng các bạn vừa tìm hiểu những kiến thức cơ bản về Elasticsearch, ưu nhược điểm để có thể áp dụng hợp lý, cũng như cách cài đặt Kibana. Cảm ơn các bạn đã quan tâm bài viết!