Như đã mô tả ở Chương 1: Giới thiệu Lifelong Machine Learning, học suốt đời (LML) có ba đặc điểm chính: Quá trình học liên tục, duy trì; tích lũy tri thức và sử dụng kiến thức đã học trong quá khứ để hỗ trợ nhiệm vụ mới. Ngoài ra nó cũng có thể phát hiện ra những nhiệm vụ mới và học chúng từng bước để thêm tri thức giúp cải thiện mô hình. Có một số mô hình học máy (ML) có các đặc trưng liên quan. Chương này sẽ thảo luận một số mô hình ML liên quan nhất tới học suốt đời là Học chuyển giao; Học đa nhiệm vụ (MTL); Học trực tuyến; Học tăng cường và Siêu học. Hai mô hình đầu tiên liên quan chặt chẽ hơn với LL bởi vì cả hai đều liên quan tới chuyển giao tri thức trên các miền hoặc nhiệm vụ, nhưng chúng không học liên tục và không tích lũy lại tri thức đã học. Học trực tuyến và học tăng cường liên quan tới việc học liên tục nhưng chúng tập trung vào một nhiệm vụ học (miền) duy nhất với một chiều thời gian. Meta-learning cũng quan tâm tới nhiều nhiệm vụ, tập trung chủ yếu vào học một lần hoặc ít học.
1. Học chuyển giao (Transfer learning)
Học chuyển đổi (hay là Học chuyển đổi hay học truyền dẫn) khá phổ biến trong nghiên cứu học máy và khai phá dữ liệu. Hay còn được gọi là thích ứng miền (domain adaptation) trong xử lý ngôn ngữ tự nhiên. Học chuyển đổi thường bao gồm hai miền: một miền nguồn và một miền đích. Có thể có nhiều hơn một miền nguồn nhưng hầu hết các nghiên cứu hiện tại chỉ sử dụng một miền nguồn.
- Miền nguồn thường có một lượng lớn dữ liệu huấn luyện được gắn nhãn.
- Miền đích có ít hoặc không có dữ liệu huấn luyện được gắn nhãn.
Mục đích của học chuyển giao là sử dụng dữ liệu có gắn nhãn ở miền nguồn để giúp học trong miền đích. Có nhiều loại tri thức có thể được chuyển từ miền nguồn sang miền đích để giúp học trong miền đích.
1.1 Structural Correspondence Learning (SCL)
Một trong những kỹ thuật học chuyển giao phổ biến chủ yếu được dùng trong phân lớp văn bản. Thuật toán hoạt động với:
- Input: Dữ liệu được gắn nhãn từ miền nguồn và dữ liệu không được gắn nhãn ở cả hai miền nguồn và đích.
- Output: Tập các đặc trưng trục có cùng đặc điểm, hành vi trong cả hai miền.
Cách thức hoạt động:
- Chọn tập các đặc trưng m xuất hiện thường xuyên ở cả hai miền (chúng cũng là những yếu tố giúp dự đoán nhãn tốt).
- SCL tính toán mối tương quan của các đặc trưng không phải là trục với các đặc trưng trục trong cả hai miền.
Tạo ra ma trận trương quan W trong đó:
Hàng i là một vecto của các giá trị tương quan của các đặc trưng không phải là trục với các đặc trưng trục thư i.
Giá trị dương cho biết các đặc trưng không phải là trục này có mối tương quan thuận với đặc trưng trục i trong miền nguồn hoặc đích. Có thể thiết lập được sự tương quan giữa hai miền
1.2 Sự khác biệt với học suốt đời
Vì tài liệu học chuyển giao rất rộng nên có thể nhưng khác biệt được mô tả ở đây có thể không áp dụng được cho tất cả bài học chuyển giao.
Không liên quan đến học liên tục hoặc tích lũy tri thức.
Việc chuyển giao thông tin, tri thức từ miền nguồn trong miền đích thường chỉ là một lần. Nó không giữ lại tri thức để sử dụng cho các nhiệm vụ trong tương lai. Mặt khác LL cho học liên tục và duy trì tri thức và tích lũy là điều thiết yếu đối với LL.Học chuyển giao là học một chiều
Nó chỉ chuyển giao tri thức từ miền nguồn tới miền đích. Trong khi đó LL, kết quả học từ miền, nhiệm vụ mới có thể được sử dụng để cải thiện học trong các miền hoặc nhiệm vụ trước đó nếu cần.Số lượng miền
Học chuyển giao thường chỉ liên quan tới hai miền, một miền nguồn và một miền đích (mặc dù có trường hợp có nhiều miền nguồn). Nó giả định rằng miền nguồn có những đặc trưng giống miền đích, hai miền tương tự thường được người dùng chọn. Mặt khác LL xem xét một số lượng lớn các miền (có thể không giới hạn). Khi giải quyết một vấn đề mới, bộ học cần phải quyết định tri thức nào trong quá khứ sẽ là phù hợp với nhiệm vụ mới.Xác định nhiệm vụ học mới.
Học chuyển giao không thể phát hiện những nhiệm vụ mới trong quá trình học ngược lại với LL.
2. Học đa nhiệm vụ (Multi-task learning)
Học đa nhiệm (MTL) học nhiều nhiệm vụ cùng một lúc nhằm đạt hiệu suất tốt hơn bằng cách sử dụng thông tin liên quan được chia sẻ bởi nhiều nhiệm vụ. Nó cũng ngăn chăn overfitting trong các nhiệm vụ cá nhân và do đó có một khả năng tổng quan tốt hơn. Bây giờ chúng ta tìm hiểu học đa nhiệm vụ hay còn được gọi là học đa nhiệm vụ theo lô.
Định nghĩa: Học đa nhiệm vụ (MTL) liên quan tới học nhiều nhiệm vụ T={1,2,..,N} đồng thời. Mỗi nhiệm vụ t thuộc T có dữ liệu huấn luyện là Dt. Mục tiêu là tối đa hóa hiệu xuất trên mọi nhiệm vụ.
Hầu hết các công trình nghiên cứu hiện tại chỉ thảo luận về học đa nhiệm có giám sát.
So sánh giữa học đa nhiệm và học suốt đời
- Giống nhau:
Cả hai đều nhằm mục đích sử dụng một số thông tin được chia sẻ giữa các nhiệm vụ để giúp học. - Khác nhau:
Học đa nhiệm làm theo mô hình truyền thống nhưng thay vì tối ưu hóa một nhiệm vụ nó tối ưu hóa nhiều nhiệm vụ cùng một lúc. Nó không tích lũy tri thức theo thời gian và nó không có khái niệm học liên tục là những đặc trưng của LL. Vì vậy điều quan trọng là giữ lại tri thức để cho phép học gia tăng của nhiều nhiệm vụ với sự trợ giúp của tri thức đã học trong quá khứ từ các nhiệm vụ trước đó. Đó là lý do tại sao chúng ta coi MTL trực tuyến hoặc gia tăng là LL.
3. Học trực tuyến (Online learning)
Là mô hình học nơi các điểm dữ liệu huấn luyện đến theo thứ tự tuần tự. Khi một điểm dữ liệu mới đến, mô hình hiện tại được cập nhật nhanh chóng để tạo ra mô hình tốt nhất từ trước tới nay. Nó thường được sử dụng khi tính toán không thể thực hiện được trên toàn bộ tập dữ liệu hoặc các ứng dụng thực tế không thể đợi cho đến khi thu thập được một lượng lớn dữ liệu dữ liệu huấn luyện. Điều này trái ngược với học hàng loạt cổ điển, nơi tất cả dữ liệu huẩn luyện có sẵn ngay từ đầu để đào tạo.
- Sự khác biệt học trực tuyến và học suốt đời
Mặc dù giao dịch học trực tuyến với dữ liệu trong tương lai trong luồn hoặc theo thứ tự tuần tự nhưng mục đích của nó rất khác với LL. Học trực tuyến vẫn thực hiện nhiệm vụ học tương tự theo thời gian. Mục tiêu của nó là để học thêm hiệu quả với các dữ liệu đến từng bước. Mặt khác LL, nhằm mục đích học từ một chuỗi các nhiệm vụ khác nhau, giữ lại tri thức đã học cho đến nay, và sử dụng tri thức để giúp học công việc trong tương lai.
4. Học tăng cường (Reinforcement Learning)
Là việc một tác nhân học học thông qua các thử nghiệm và tương tác lỗi với một môi trường năng động. Trong mỗi bước tương tác, tác nhân nhận đầu vào có chứa trạng thái hiện tại của môi trường. Tác nhận chọn một hành động từ tập các hành động có thể. Hành động này thay đổi trạng thái của môi trường. Đại lý sẽ nhận được giá trị của của quá trình chuyển đổi trạng thái này, có thể là phần thưởng hoặc hình phạt. Quá trình này lặp đi lặp lại khi tác nhân biết được quỹ đạo của các hành động để tối ưu hóa mục tiêu của nó. Mục tiêu của học tăng cường là học một cách chính sách tối ưu để ánh xạ trạng thái cho các hành động tối đa hóa tổng số tiền thưởng dài hạn.
- Sự khác biệt giữa học tăng cường và học suốt đời
Học tăng cường là học bằng cách thử và sai trong tương tác của nó với môi trường mang lại phản hồi hoặc phần thưởng cho đại lý được giới hạn trong một nhiệm vụ và một môi trường. Không có khái niệm tích lũy tri thức để giúp các công việc học trong tương lai.
5. Siêu học (Meta-learning)
Nhằm mục đích học một nhiệm vụ mới chỉ với một số ít ví dụ đào tạo bằng cách sử dụng một mô hình đã được đào tạo về nhiều miền nhiệm vụ rất giống nhau. Nó thường được sử dụng để giải quyết vấn đề học một lần hoặc ít học. Thường có hai thành phần học trong hệ thống siêu học: Một bộ học cơ sở (hoặc một bộ học nhanh) và một người siêu học (hoặc một bộ học châm).
- Bộ học cơ sở được đào tạo trong một nhiệm vụ với cập nhật nhanh chóng.
- Người siêu học thực hiện trong một không gian meta nhiệm vụ với mục đích là chuyển giao tri thức qua các nhiệm vụ. Mô hình học được từ người siêu học cho phép bộ học cơ sở học hiệu quả chỉ với một tập các ví dụ huấn luyện rất nhỏ.
Với kiến trúc hai tầng meta-learning thường được mô tả là “học để học”. Về cơ bản Meta-learning xử lý N nhiệm vụ học như các ví dụ học.
- Sự khác biệt giữa siêu học và học suốt đời
Meta-learning đào tạo một mô hình meta từ một số lượng lớn các nhiệm vụ nhanh chóng thích ứng với một nhiệm vụ mới chỉ với một vài ví dụ. Một giả định chính được thực hiện bởi hầu hết các kỹ thuật meta-learning là nhiệm vụ đào tạo và kiểm tra/nhiệm vụ mới là từ cùng một phân phối, đó là một yếu điểm lớn và giới hạn phạm vi ứng dụng của meta-learning. Lý do trong hầu hết các tình huống thực tế, chúng ta hy vọng rằng nhiều nhiệm vụ mới có cái gì đó về cơ bản khác với các nhiệm vụ cũ. Trong việc đánh giá các thuật toán meta-learning, các nhiệm vụ trong quá khứ thường được tạo nhận tạo để có cùng phân phối như các nhiệm vụ mới/thử nghiệm. Nói chung LL không đưa ra giả định này. LL phải lựa chọn những phần tri thức phù hợp để áp dụng vào giải quyết vấn đề mới. Nếu không có gì sử dụng được, sẽ không có tri thức nào được trước đó được sử dụng. Meta-learning liên quan tới LL ở điểm sử dụng N nhiệm vụ để giúp học nhiệm vụ mới.
Tổng kết
Các đặc điểm chính của LL là quá trình học liên tục, tích lũy tri thức trong KB, sử dụng tri thức trong quá khứ để học trong tương lai các đặc trưng nâng cao hơn bao gồm học trong khi làm việc và phát hiện ra các vấn đề mới trong khi thực hiện nhiệm vụ. Mô hình ML liên quan không có đầy đủ những đặc trưng này. Tóm lại, LL về cơ bản cố gắng bắt chước quá trình học của con người để vượt qua những hạn chế của mô hình học cô lập hiện tại. Trong những chương tiếp theo, chúng ta xem xét các hướng nghiên cứu LL hiện có và các thuật toán, kỹ thuật biểu diễn.