Giới thiệu
Các hệ thống được gọi là mạng thần kinh thực hiện các chức năng được thực hiện bởi các tế bào thần kinh trong não người. Mạng nơ-ron là hệ thống chúng ta sử dụng để tạo nơ-ron và hoạt động của não bắt chước cách mọi người học và chúng là một thành phần của trí tuệ nhân tạo (AI), cũng bao gồm học máy.
Đây là giai đoạn đầu tiên trong việc tạo ra các hệ thống nhân tạo bắt chước cách hoạt động của các tế bào thần kinh trong não của chúng ta để hỗ trợ việc học tập ở con người.
Mạng nơ ron nhân tạo chính xác là gì?
Một lớp ẩn của mạng nơ-ron (NN) được tạo thành từ các đơn vị chuyển đổi đầu vào thành đầu ra để lớp đầu ra có thể sử dụng giá trị. Cả lớp thần kinh và đơn vị thần kinh đều là tên của quá trình chuyển đổi này. Một nhóm các đặc điểm, còn được gọi là các tính năng, được sử dụng làm đầu vào cho các cấp độ tiếp theo trong một chuỗi các chuyển đổi, mỗi chuyển đổi có một giá trị riêng biệt cho từng cấp độ.
Mạng thần kinh học thông tin phi tuyến tính như các dạng cạnh bằng cách lặp lại các sửa đổi lặp đi lặp lại, sau đó nó kết hợp với lớp cuối cùng để dự đoán những thứ ngày càng phức tạp. Hình thức mở rộng của mạng lưới thần kinh, thường được gọi là học sâu, sẽ là trọng tâm chính của bài viết này. Để giảm sự khác biệt giữa giá trị đầu vào và giá trị đích của một đặc tính cụ thể hoặc hình dạng cạnh, các tham số trọng lượng mạng sẽ thay đổi.
Bộ não con người là một trong những máy tính phức tạp nhất từng được tạo ra và các mạng thần kinh sinh học đã biết thường được sử dụng làm mô hình cho hoạt động bên trong của bộ não con người. Theo Viện Y tế Quốc gia, ước tính có khoảng 100 tỷ tế bào thần kinh được kết nối thông qua các tuyến và mạng (NIH). Ngoài các thông tin đã nói ở trên, đây là một số sự thật đáng kinh ngạc về ANN:
Mạng thần kinh nhân tạo là mô hình máy tính có ảnh hưởng sinh học dựa trên mạng lưới thần kinh trong não người. Chúng cũng có thể được xem như các thuật toán học mô hình hóa mối quan hệ đầu vào-đầu ra. Mạng thần kinh nhân tạo được sử dụng để dự đoán và nhận dạng mẫu. Mạng thần kinh nhân tạo (ANN) là các thuật toán học máy được tạo ra để tự học bằng cách xác định các mẫu trong dữ liệu. Họ mô hình hóa mối quan hệ giữa các yếu tố đầu vào bằng cách áp dụng hàm phi tuyến tính cho tổng trọng số của các yếu tố đầu vào. ANN là các xấp xỉ chức năng ánh xạ đầu vào thành đầu ra và được tạo thành từ một số đơn vị xử lý được liên kết, còn được gọi là nơ-ron. Đầu vào được ánh xạ tới đầu ra bằng cách sử dụng ANN, là một hàm hoặc bộ xấp xỉ. Khi nhiều nơ-ron tương tác với nhau, các hiệu ứng kết hợp của chúng có thể chứng minh khả năng học tập ấn tượng mặc dù thực tế là các nơ-ron riêng lẻ bị hạn chế về sự hội tụ vốn có. Nhận thức của con người chủ yếu dựa vào mạng lưới thần kinh được thiết lập bởi các tế bào thần kinh và các khớp thần kinh của chúng, chịu trách nhiệm về nhiều quá trình nhận thức bao gồm trí nhớ, suy nghĩ và ra quyết định. Mặt khác, tế bào thần kinh sinh học hiện được cho là một trong những trung tâm tính toán mạnh nhất của não, có khả năng học hỏi và ghi nhớ. Xem xét điều này, thật hợp lý khi cho rằng mạng lưới thần kinh kỹ thuật số phải được sử dụng để mô phỏng chức năng và năng lực của bộ não, bao gồm trí thông minh và khả năng thực hiện các nhiệm vụ nhận thức như học tập và đưa ra quyết định. Có bằng chứng cho thấy các lý thuyết nhận thức về chủ nghĩa kết nối và chủ nghĩa tính toán có thể cùng tồn tại nhờ các mạng quan hệ và máy thần kinh Turing. Các mô hình thống kê được gọi là mạng thần kinh nhân tạo (ANN) được tạo khuôn mẫu một phần hoặc trực tiếp sau mạng thần kinh sinh học. Mạng thần kinh nhân tạo là một lớp các khái niệm và phương pháp thống kê phức tạp, và một trong những đặc điểm chính của nó là mô hình hóa đồng thời các tương tác phi tuyến tính giữa đầu vào và đầu ra. Có nhiều loại mạng thần kinh khác đã được phát triển, nhưng “mạng thông tin di cư” là loại cơ bản nhất. Mạng thần kinh là loại mạng phổ biến nhất, trong đó dữ liệu di chuyển tuyến tính từ vùng này sang vùng khác của mạng. Một mạng máy tính khoa học tái tạo các đặc điểm của bộ não con người được gọi là mạng thần kinh nhân tạo (ANN). Tế bào thần kinh nhân tạo là đơn vị xử lý của ANN có thể bắt chước các tế bào thần kinh não ban đầu. Là những đơn vị bình đẳng, “nơ-ron” và “nơ-ron nhân tạo” cho thấy mối quan hệ chặt chẽ với nơ-ron thực. Các tế bào thần kinh được liên kết tạo nên ANN được lấy cảm hứng từ cách thức hoạt động của bộ não nhưng có nhiều phẩm chất và đặc tính khác nhau. Học sâu được mô tả là mô phỏng cấp độ vi mô của bộ não con người bằng cách sử dụng thuật ngữ “nơ-ron”. Tuy nhiên, “học sâu” có liên quan chặt chẽ với mạng lưới thần kinh hơn là sinh lý học của bộ não con người. Bằng cách sử dụng mạng thần kinh, một máy tính có thể học cách thực hiện một nhiệm vụ bằng cách nghiên cứu các trường hợp huấn luyện. Mạng lưới thần kinh có thể được coi là máy móc mà trí thông minh của con người sử dụng trên quy mô lớn hơn. Các nút xử lý đơn giản được liên kết chặt chẽ với nhau tạo thành mạng lưới thần kinh, được mô phỏng gần đúng theo bộ não con người. Hầu hết các mạng thần kinh hiện đại bao gồm các lớp nút và mỗi nút có thể di chuyển vào và ra khỏi mạng theo một cách đáng kể. Chẳng hạn, một tập hợp các mẫu trực quan trong một bức ảnh thường tương ứng với một nhãn nhất định có thể được cung cấp cho một hệ thống nhận dạng đối tượng. Cô ấy sẽ phát hiện ra rằng các nhãn và kiểu hình ảnh của hình ảnh tương ứng với nhau. Các loại mạng nơ-ron nhân tạo trong khoa học dữ liệu
Học máy sử dụng mạng thần kinh, có chức năng tương tự như hệ thần kinh của con người. Nó được thiết kế để hoạt động tương tự như bộ não con người, có một số kết nối phức tạp. Mạng thần kinh nhân tạo có nhiều ứng dụng trong các lĩnh vực mà máy tính thông thường gặp khó khăn. Mô hình tính toán sử dụng nhiều loại mạng thần kinh nhân tạo. Loại mạng thần kinh được sử dụng để thu được kết quả phụ thuộc vào tập hợp các tham số và phép toán toán học. Ở đây, chúng ta sẽ nói về 7 loại mạng thần kinh quan trọng được sử dụng trong học máy.
Mạng nơ-ron mô-đun – Một số mạng nơ-ron riêng biệt hoạt động cùng nhau trong loại mạng nơ-ron này để thu được kết quả. Mỗi mạng thần kinh này thực hiện và xây dựng nhiều công việc nhỏ hơn. So với các mạng thần kinh khác, điều này cung cấp một tập hợp các đầu vào khác biệt. Các mạng thần kinh này không giao tiếp hoặc trao đổi tín hiệu để thực hiện bất kỳ tác vụ nào. Các mạng mô-đun này giải cấu trúc hoàn toàn quy trình tính toán lớn thành các thành phần nhỏ, giúp giảm độ phức tạp của một vấn đề trong khi giải quyết nó. Khi số lượng kết nối giảm và sự cần thiết của các mạng thần kinh giao tiếp với nhau giảm đi, tốc độ tính toán cũng tăng lên. Số lượng tế bào thần kinh được sử dụng trong tính toán kết quả và tổng thời gian xử lý sẽ bị ảnh hưởng bởi các yếu tố này. Một trong những lĩnh vực con phát triển nhanh nhất trong AI là mạng nơ-ron mô-đun (MNN). Mạng Nơ-ron Feedforward (Nơ-ron nhân tạo) – Mạng nơ-ron là loại mạng nơ-ron nhân tạo cơ bản nhất vì tất cả thông tin chỉ truyền theo một chiều. Dữ liệu đi vào loại mạng thần kinh này thông qua các nút đầu vào và rời khỏi các nút đầu ra và nó có thể bao gồm các lớp ẩn. Trong mạng thần kinh này, chức năng kích hoạt phân loại được sử dụng. Chỉ cho phép sóng lan truyền phía trước; lan truyền ngược không được phép. Mạng thần kinh Feedforward có nhiều mục đích sử dụng, bao gồm nhận dạng giọng nói và thị giác máy tính. Những loại mạng thần kinh này đơn giản hơn để duy trì và phản hồi rất tốt với dữ liệu ồn ào. Chức năng cơ sở xuyên tâm Mạng thần kinh – Các chức năng RBF được chia thành hai lớp bởi một mạng thần kinh. Chúng được sử dụng để tính toán khoảng cách từ tâm đến một điểm. Radial Basis Function được kết hợp với các đặc tính lớp bên trong lớp đầu tiên. Kết quả từ lớp này được tính đến trong giai đoạn sau để tính toán đầu ra tương tự trong lần lặp sau. Hệ thống phục hồi năng lượng là một lĩnh vực sử dụng chức năng Radial Basis. Trong thời gian mất điện, điện cần được khôi phục một cách đáng tin cậy và nhanh chóng nhất có thể. Mạng thần kinh tự tổ chức Kohonen – Mạng thần kinh tự tổ chức Kohonen cho phép nhập các vectơ từ bất kỳ chiều nào vào một bản đồ rời rạc. Bằng cách đào tạo bản đồ, dữ liệu đào tạo cho một tổ chức được tạo ra. Bản đồ có thể có một hoặc hai chiều. Tùy thuộc vào giá trị, trọng lượng của các tế bào thần kinh có thể dao động. Trong suốt quá trình đào tạo bản đồ, vị trí của nơ-ron sẽ không đổi. Ở giai đoạn đầu của quá trình tự tổ chức, mỗi giá trị nơ ron được cung cấp một vectơ đầu vào và một trọng số nhỏ. Tế bào thần kinh gần mục tiêu nhất là tế bào thần kinh chiến thắng. Trong giai đoạn thứ hai, ngoài tế bào thần kinh chiến thắng, các tế bào thần kinh khác cũng sẽ bắt đầu di chuyển theo hướng của vị trí. Khoảng cách Euclide được sử dụng để tính toán khoảng cách giữa các nơ-ron và điểm, với nơ-ron chiến thắng có khoảng cách ngắn nhất. Việc nhóm tất cả các điểm sẽ diễn ra thông qua các lần lặp lại và mỗi nơ-ron đóng vai trò đại diện cho một loại cụm khác nhau. Nhận dạng các mẫu dữ liệu là một trong những ứng dụng chính của Kohonen Neural Network. Ngoài ra, nó được sử dụng trong phân tích y tế để chẩn đoán chính xác hơn các rối loạn. Sau khi kiểm tra các xu hướng trong dữ liệu, dữ liệu được nhóm thành nhiều nhóm. Mạng thần kinh tái phát (RNN) – Mạng thần kinh tái phát hoạt động trên cơ sở đầu ra của mỗi lớp được gửi trở lại đầu vào ban đầu của nó. Ý tưởng này hỗ trợ trong việc báo trước kết luận của lớp. Mỗi nơ-ron hoạt động như một ô nhớ trong suốt quá trình tính toán. Khi nó chuyển sang bước thời gian tiếp theo, tế bào thần kinh sẽ lưu giữ một số thông tin. Quá trình mạng thần kinh tái phát là tên được đặt cho nó. Thông tin sẽ được sử dụng sau này sẽ được giữ lại và công việc ở bước tiếp theo sẽ tiếp tục. Sửa lỗi sẽ làm cho dự báo tốt hơn. Để có được kết quả dự báo chính xác, một số điều chỉnh nhất định được thực hiện trong quá trình sửa lỗi. Tỷ lệ học tập đo tốc độ mạng có thể đưa ra dự đoán đúng sau khi đưa ra một dự đoán sai. Mạng thần kinh hồi quy có một số cách sử dụng và một trong số đó là mô hình chuyển văn bản thành giọng nói. Không cần đầu vào giảng dạy, mạng thần kinh hồi quy được tạo ra để học có giám sát. Mạng nơ-ron tích chập – Trong loại mạng nơ-ron này, các nơ-ron ban đầu được cung cấp các độ lệch và trọng số có thể học được. Một số ứng dụng của nó trong lĩnh vực thị giác máy tính bao gồm xử lý hình ảnh và tín hiệu. Bây giờ nó kiểm soát OpenCV. Một số ảnh được lưu trữ trong bộ nhớ để hỗ trợ quá trình tính toán của mạng. Bằng cách thu thập các tính năng đầu vào theo đợt, các bức ảnh được xác định. Hình ảnh tỷ lệ HSI hoặc RGB được chuyển thành thang độ xám trong suốt quá trình tính toán. Khi một hình ảnh đã được sửa đổi, nó được phân loại thành nhiều loại. Các cạnh được xác định bằng cách xác định sự thay đổi giá trị pixel. ConvNet sử dụng kỹ thuật xử lý tín hiệu và phân loại hình ảnh. Convolutional Neural Networks cực kỳ chính xác trong việc phân loại hình ảnh. Mạng thần kinh tích chập thống trị các phương pháp tiếp cận thị giác máy tính vì lý do tương tự. Mạng thần kinh tích chập cũng được sử dụng để dự đoán năng suất trong tương lai và mở rộng diện tích đất trong bối cảnh dữ liệu khí tượng và nông nghiệp. Trí nhớ dài hạn/ngắn hạn – Schmidhuber và Hochreiter đã tạo ra một mạng thần kinh gọi là mạng trí nhớ dài hạn ngắn hạn vào năm 1997. (LSTMs). Mục tiêu chính của nó là lưu trữ thông tin trong một ô nhớ được chỉ định rõ ràng trong một khoảng thời gian dài. Trừ khi “cổng quên” hướng dẫn ô nhớ quên các giá trị, các giá trị trước đó sẽ được lưu trong ô nhớ. “Cổng đầu vào” cho phép bổ sung thông tin mới, sau đó được truyền từ ô nhớ sang trạng thái ẩn tiếp theo dọc theo các vectơ được xác định bởi “cổng đầu ra”. Một số cách sử dụng LSTM bao gồm ghi nhớ các chuỗi khó, viết như Shakespeare và tạo nhạc thô sơ. Kỹ Thuật Huấn Luyện Các Loại Mạng Nơ-ron Nhân Tạo
Các kỹ sư học máy xử lý các loại mạng thần kinh nhân tạo khác nhau phải hiểu cách đào tạo phần mềm để hoạt động tốt hơn. Dưới đây là một số kỹ thuật đào tạo có thể hữu ích khi tương tác với nhiều ANN khác nhau:
Củng cố – Nghiên cứu và quan sát hình thành cơ sở của chiến lược củng cố. ANN đưa ra quyết định bằng cách quan sát môi trường của nó. Nếu quan sát không thuận lợi, mạng sẽ sửa đổi trọng số của nó để quyết định chính xác vào lần sau. Được giám sát – Nó đòi hỏi một giáo viên am hiểu hơn chính ANN, đó là lý do tại sao nó được giám sát. Ví dụ, bạn có thể cung cấp một số dữ liệu mẫu mà bạn đã biết câu trả lời. Điều này sẽ cho phép bạn đánh giá hiệu quả của ANN. Để ANN thực hiện các quan sát cần thiết và thay đổi câu trả lời thành câu bạn muốn, nếu nó đưa ra giải pháp không chính xác, bạn phải nhập câu trả lời đúng. Do đó, nó cũng sẽ tạo ra các kết quả có thể so sánh được cho các yêu cầu tiếp theo của bạn. Không giám sát – Học không giám sát là bắt buộc khi không có tập dữ liệu mẫu với các giải pháp đã biết. chẳng hạn như tìm kiếm một mô hình ẩn. Sử dụng các tập dữ liệu đã cho, một tập hợp các thành phần được nhóm thành các nhóm ở đây theo một mẫu phi logic. Phần kết luận
ANNs là một chủ đề thú vị để tìm hiểu nếu được quan tâm như nhau giữa khóa học và chương trình giảng dạy, tức là kiến thức và ứng dụng.