Framework xử lý ngôn ngữ tự nhiên mã nguồn mở của Facebook

Facebook đã và đang làm việc trên framework xử lý ngôn ngữ tự nhiên (NLP) của riêng mình để vượt qua thử nghiệm nhanh và các thách thức triển khai quy mô lớn. PyText là một thư viện dựa trên khung công tác học tập sâu nguồn mở PyTorch của công ty.

Trong nỗ lực giúp các nhà phát triển xây dựng và triển khai các hệ thống NLP, công ty đã quyết định cũng mở nguồn khung PyText cũng như chia sẻ các mô hình và hướng dẫn đã được kiểm tra trước.

Theo công ty, với PyText, nó đã có thể đạt được thử nghiệm nhanh hơn, xử lý xử lý văn bản và quản lý từ vựng theo quy mô và khai thác hệ sinh thái PyTorch cho các mô hình và công cụ dựng sẵn.

Tại Facebook, chúng tôi đã sử dụng framework này để đưa các mô hình NLP từ ý tưởng đến thực hiện đầy đủ chỉ trong vài ngày, thay vì vài tuần hoặc vài tháng và để triển khai các mô hình phức tạp dựa trên học tập đa nhiệm. Tại Facebook ngày hôm nay, PyText được sử dụng cho hơn một tỷ dự đoán hàng ngày, chứng minh rằng nó có thể hoạt động ở quy mô sản xuất và vẫn đáp ứng các yêu cầu về độ trễ nghiêm ngặt, công ty đã viết trong một bài đăng trên blog.

Công ty giải thích rằng các nhà nghiên cứu và kỹ sư theo truyền thống phải đánh đổi giữa các khung được xây dựng cho các thí nghiệm và khung được xây dựng để sản xuất. Điều này đặc biệt đúng đối với các hệ thống NLP, có thể yêu cầu tạo, đào tạo và thử nghiệm hàng tá mô hình và sử dụng cấu trúc động vốn có. Các khung định hướng nghiên cứu có thể cung cấp giao diện dễ thực hiện, háo hức, giúp tăng tốc quá trình viết các mô hình tiên tiến và năng động, nhưng chúng cũng chịu sự gia tăng độ trễ và sử dụng bộ nhớ trong sản xuất.

Với sức mạnh của PyTorch 1.0, giải quyết các trở ngại nghiên cứu và sản xuất với một khung thống nhất duy nhất, PyText có thể đưa các tính năng của PyTorch trộm 1.0 vào xử lý ngôn ngữ tự nhiên. Các tính năng bao gồm khả năng chia sẻ các mô hình giữa các tổ chức khác nhau trong cộng đồng AI, các mô hình dựng sẵn các tác vụ NLP phổ biến như phân loại văn bản và mô hình ngôn ngữ và mô hình ngữ cảnh để cải thiện hiểu biết đàm thoại.

Facebook có kế hoạch sử dụng framework trong các giải pháp của riêng mình để cung cấp các tính năng mạnh mẽ, gắn cờ các bài đăng vi phạm chính sách, thực hiện các bản dịch và cải thiện sản phẩm.

Trong tương lai, công ty có kế hoạch giải quyết các quy trình công việc từ đầu đến cuối cho các mô hình trên thiết bị và cung cấp mô hình đa ngôn ngữ cũng như các khả năng mô hình hóa khác cung cấp khả năng gỡ lỗi và cải thiện đào tạo phân tán.

Công ty Py PyText đã là một nỗ lực hợp tác trên Facebook AI, bao gồm các nhà nghiên cứu và kỹ sư tập trung vào NLP và AI đàm thoại, và chúng tôi mong muốn được làm việc cùng nhau để tăng cường khả năng của nó, công ty đã viết.

Nguồn bài viết : https://sdtimes.com