Các API lưu trữ dữ liệu của Alluxio tăng tốc độ liên kết giữa các ứng dụng và lưu trữ

Ngoc Huynh

Các tính năng lưu trữ API của Alluxio hỗ trợ Amazon S3, Google Cloud Storage, OpenStack Swift, EMC, và NetApp.

Alluxio, trước đây được biết đến là Tachyon, sẽ giúp cho các ứng dụng với dữ liệu lớn (big data) nhanh hơn, truy cập hợp nhất vào lưu trữ dữ liệu.

Với phiên bản 1.0, Alluxio mang đến cho các framework như Spark, MapReduce, Flink hoặc Presto với khả năng truy cập vào nhiều loại hệ thống lưu trữ. Các nhà cung cấp dịch vụ lưu trữ đám mây như Amazon S3, Google Cloud Storage, và OpenStack Swift đều được hỗ trợ, cùng với các nhà cung cấp khác như EMC và NetApp.

Nhìn từ bên ngoài, Alluxio có vẻ giống như một hệ thống caching trên bộ nhớ như Memcached hay Redis. Thay vì đó là một lớp nằm giữa lưu trữ và các ứng dụng và các ứng dụng điện toán phân tán (distributed computing application), thì sẽ đưa ra sự truy cập cũ (former access) cho truy cập mới hơn qua một unified API. Các ứng dụng có thể sử dụng API của Alluxio, mang đến tốc độ cao nhất có thể, hoặc các ứng dụng có thể sử dụng các API kế thừa, tuy sẽ chậm hơn nhưng mang tính tương thích cao hơn.

Trong một bài viết gần đây, các kỹ sư ở Intel đã mô tả cách Alluxio giúp giải quyết một vài vấn đề cơ bản với các big data framework, chẳng hạn như việc chia sẻ dữ liệu giữa các ứng dụng. Thay vì viết dữ liệu vào HDFS và đọc nó lại một lần nữa, thì người dùng có thể viết dữ liệu vào nơi lưu trữ trên bộ nhớ của Alluxio và đọc nó lại một lần nữa ở một tốc độ cao hơn.

Cũng như thế, bộ thu dọn rác (GC – Garbage collection) của JVM và các vấn đề về bộ nhớ cache sẽ được gia tăng bới các framework như Spark, có thể được làm giảm bớt bằng cách sử dụng Alluxio.

Alluxio bổ sung các giải pháp khác; chẳng hạn như Apache Arrow làm tăng tốc độ quá trình xử lý dữ liệu bằng cách tạo ra sự có mặt của nó trong một ứng dụng theo một định dạng phù hợp với các CPU hiện đại. Dữ liệu đã được yêu cầu bởi Arrow sẽ được truy xuất từ nơi lưu trữ và được cung cấp bởi Alluxio.

Chia sẻ bài viết ngay

Nguồn bài viết : http://www.infoworld.com/