Nguyên tắc hoạt động của Augmented Reality

Preface

Như các bạn đã biết, trong khoảng 20 năm qua, công nghệ đã phát triển như thế nào, đã trải qua một quá trình chuyển đổi rõ ràng như nào. Từ các văn phòng cố định với các máy tính để bàn, ban đầu là trên các website, rồi đó tới các phương tiện truyền thông và xã hội, sau đó là điện toán di động. ĐIều này đã giúp cho doanh số của điện thoại di động và máy tính bảng đã vượt qua doanh số của máy tính để bàn trong nhiều năm nay.

Với một giao diện người dùng yêu cầu ngày càng cao thì khi mà người dùng rời khỏi máy tính để bàn, việc đưa thế giới vật lý vào trải nghiệm điện toán của chúng ta ngày càng có ý nghĩa phải không nào?Do đó cho thấy rằng thế thế giới vật lý không phẳng và không chỉ bao gồm các tài liệu, có thể coi nó như là một UI metaphor mới trở nên cần thiết.

AR( Augmented Reality ) có tiềm năng trở thành UI metaphor hàng đầu cho điện toán định vị. AR cung cấp một liên kết trực tiếp giữa thực tế vật lý và thông tin ảo về thực tế đó. Thế giới trở thành 1 dạng UI, dẫn đến một câu quen thuộc mà mình thường được nghe: “Back to the real world!” ?))

VR( Virtual Reality ) nó giúp người sử dụng có tầm nhìn đắm mình vào thế giới nhân tạo, nó đã thúc đẩy sự phát triển của máy chơi game với đồ họa 3D tuyệt vời hơn. Mặc dù vậy, một UI metaphor như VR, theo định nghĩa thì là không được, nhưng sao ta không thử đặt câu hỏi đó là: “nó sẽ như nào nếu không nhất thiết phải sử dụng cùng máy tính?”

Thực ra VR và AR được đưa ra từ rất nhiều ý tưởng trước đó, việc tăng cường điện toán di động để việc liên kết với các thế giới thực dường như là một đề xuất hấp dẫn. Một vài ví dụ dễ dàng minh họa cho ý tưởng này:

Các dịch vụ dựa trên vị trí có thể cung cấp điều hướng cá nhân dựa trên Hệ thống tích hợp toàn cầu (GPS), trong khi máy quét mã vạch có thể giúp xác định danh sách trong thư viện hoặc sản phẩm trong siêu thị. Tuy nhiên, các phương pháp này yêu cầu các hành động rõ ràng của người dùng và khá thô. Mã vạch rất hữu ích để xác định sách, nhưng không phải để đặt tên cho các đỉnh núi trong một chuyến đi bộ đường dài; tương tự như vậy, họ không thể giúp xác định các bộ phận nhỏ của đồng hồ đang được sửa chữa, chứ chưa nói đến cấu trúc giải phẫu trong quá trình phẫu thuật.

AR hứa hẹn sẽ tạo ra các liên kết trực tiếp, tự động và có thể hành động giữa thế giới vật lý và thông tin điện tử. Nó cung cấp một giao diện người dùng đơn giản và ngay lập tức cho một thế giới vật lý được tăng cường điện tử. Tiềm năng to lớn của AR như UI metaphor thay đổi mô hình trở nên rõ ràng khi chúng ta xem xét một vài cột mốc thời gian gần đây nhất trong tương tác máy tính với con người: sự xuất hiện của World Wide Web, mạng xã hội và cuộc cách mạng thiết bị di động.

Quỹ đạo của loạt các cột mốc này rất rõ ràng: Đầu tiên, có sự gia tăng lớn về khả năng tiếp cận thông tin trực tuyến, dẫn đến một lượng lớn người tiêu dùng thông tin. Những người tiêu dùng này sau đó cũng được cho phép đóng vai trò là nhà sản xuất thông tin và liên lạc với nhau, và cuối cùng được trao phương tiện để quản lý thông tin liên lạc của họ từ bất cứ đâu, trong mọi tình huống. Tuy nhiên, thế giới vật chất, trong đó tất cả các hoạt động truy xuất thông tin, tác giả và giao tiếp này diễn ra, không dễ dàng liên kết với hoạt động điện tử của người dùng. Đó là, mô hình đã bị mắc kẹt trong một thế giới của các trang web và dịch vụ trừu tượng mà không liên quan trực tiếp đến thế giới vật lý. Rất nhiều tiến bộ công nghệ đã xảy ra trong lĩnh vực điện toán và dịch vụ dựa trên vị trí, đôi khi được gọi là điện toán định vị ( Situated computing ). Mặc dù vậy, giao diện người dùng với các dịch vụ dựa trên vị trí vẫn chủ yếu bắt nguồn từ các mô hình sử dụng trên máy tính để bàn, ứng dụng và web.

AR có thể thay đổi tình trạng này, và, khi làm như vậy, có thể xác định lại thông tin trình duyệt và tác giả. UI metaphor này và các công nghệ cho phép nó tạo thành một trong những lĩnh vực hấp dẫn nhất và định hướng tương lai của khoa học máy tính và phát triển ứng dụng. AR có thể che lấp thông tin do máy tính tạo ra về quan điểm của thế giới thực, khuếch đại nhận thức và nhận thức của con người theo những cách mới đáng chú ý.

Definition and Scope

Definition and Scope phải nói như nào nhỉ, trong khi thực tế ảo (VR) đặt người dùng vào trong một môi trường hoàn toàn do máy tính tạo ra, thì thực tế tăng cường (AR) nhằm mục đích trình bày thông tin được đăng ký trực tiếp vào môi trường vật lý. AR vượt xa điện toán di động ở chỗ nó thu hẹp khoảng cách giữa thế giới ảo và thế giới thực, cả về mặt không gian và nhận thức. Với AR, thông tin kỹ thuật số dường như trở thành một phần của thế giới thực, ít nhất là trong nhận thức của người dùng.

Để đạt được sự kết nối này là một mục tiêu lớn, một mục tiêu dựa trên kiến thức từ nhiều lĩnh vực khoa học máy tính, nhưng có thể dẫn đến những quan niệm sai lầm về AR thực sự là gì.

Ví dụ, nhiều người kết hợp trực quan giữa các yếu tố ảo và thực với các hiệu ứng đặc biệt trong các bộ phim như Công viên kỷ Jura và Avatar. Mặc dù các kỹ thuật đồ họa máy tính được sử dụng trong phim cũng có thể áp dụng cho AR, nhưng phim thiếu một khía cạnh quan trọng đó là tính tương tác của AR. Vậy AR là gì?

Định nghĩa về AR được chấp nhận rộng rãi nhất được đề xuất bởi Azuma trong bài khảo sát năm 1997 của ông According to Azuma, AR phải có ba đặc điểm sau:

• Kết hợp giữa thực và ảo (Combines real and virtual)
• Tương tác trong thời gian thực (Interactive in real time)
• Có liên kết với 3D (Registered in 3D)

  Với định nghĩa này bạn có thể hiểu là: nó không yêu cầu một thiết bị đầu ra cụ thể, chẳng hạn như head-mounted displa (HMD), cũng như không giới hạn AR đối với phương tiện trực quan. Audio, haptics và thậm chí cả khứu giác hoặc AR được đưa vào phạm vi của nó, mặc dù chúng có thể khó nhận ra.

Lưu ý rằng define không yêu cầu real-time và đăng ký không gian( spatial registration ), nghĩa là căn chỉnh thời gian thực chính xác của thông tin ảo và thực phản hồi. Nhiệm vụ này ngụ ý rằng người dùng màn hình AR ít nhất có thể thực hiện một số loại điều khiển tương tác và các phần tăng do máy tính tạo ra trong màn hình vẫn sẽ được đăng ký cho các đối tượng được tham chiếu trong môi trường.

Mặc dù có những opinions về những gì đủ điều kiện là hiệu suất real-time có thể khác nhau tùy thuộc vào cá nhân và tác vụ hoặc ứng dụng, tính tương tác ngụ ý rằng giao diện máy tính của con người hoạt động trong một vòng phản hồi được kết hợp chặt chẽ. Người dùng liên tục điều hướng cảnh AR và kiểm soát trải nghiệm AR. Đến lượt mình, hệ thống sẽ chọn đầu vào của người dùng bằng cách theo dõi quan điểm hoặc tư thế của người dùng. Nó đăng ký tư thế trong thế giới thực với nội dung ảo, và sau đó trình bày cho người dùng một hình ảnh trực quan (một hình ảnh được đăng ký cho các đối tượng trong thế giới thực).

Chúng ta có thể thấy rằng một hệ thống AR hoàn chỉnh cần ít nhất ba thành phần:

• thành phần theo dõi
• thành phần đăng ký
• thành phần trực quan hóa

Một thành phần thứ tư là một mô hình không gian (tức là một cơ sở dữ liệu) về các thông tin về thế giới thực và về thế giới ảo. Mô hình trong thế giới thực được yêu cầu để phục vụ như một tài liệu tham khảo cho thành phần theo dõi, phải xác định vị trí của người dùng trong thế giới thực. Mô hình thế giới ảo bao gồm các nội dung được sử dụng để tăng cường. Cả hai phần của mô hình không gian phải được đăng ký trong cùng một hệ tọa độ.

AR sử dụng vòng phản hồi giữa người dùng và hệ thống máy tính. Người dùng quan sát màn hình AR và điều khiển quan điểm. Hệ thống theo dõi quan điểm của người dùng, đăng ký tư thế trong thế giới thực với nội dung ảo và trình bày trực quan hóa.

A Brief History of Augmented Reality

Mặc dù người ta có thể dễ dàng quay ngược thời gian để tìm các ví dụ trong đó lớp phủ thông tin được xếp chồng lên trên thế giới vật lý, đủ để nói rằng các chú thích đầu tiên của thế giới vật lý với thông tin do máy tính tạo ra đã xảy ra vào những năm 1960. Ivan Sutherland có thể được ghi nhận khi bắt đầu lĩnh vực mà cuối cùng sẽ biến thành cả VR và AR. Năm 1965, anh ấy đã đưa ra The ultimate display trong một bài tiểu luận có chứa trích dẫn nổi tiếng sau đây:

The ultimate display would, of course, be a room within which the computer can control the existence of matter. A chair displayed in such a room would be good enough to sit in. Handcuffs displayed in such a room would be confining, and a bullet displayed in such a room would be fatal. With appropriate programming such a display could liter- ally be the Wonderland into which Alice walked.

Tuy nhiên, bài tiểu luận của Sutherland (1965) không chỉ bao gồm một mô tả ban đầu về immersive displays. Nó cũng chứa một trích dẫn ít được thảo luận, nhưng điều đó dự đoán rõ ràng về AR:

The user of one of today’s visual displays can easily make solid objects transparent—he can “see through matter!”

Hình trên là Sword of Damocles là biệt danh của màn hình đầu tiên trên thế giới, được chế tạo vào năm 1968. Được sự cho phép của Ivan Sutherland.

Những tiến bộ trong hiệu suất điện toán của những năm 1980 và đầu những năm 1990 cuối cùng đã đạt được yêu cầu để AR nổi lên như một lĩnh vực nghiên cứu độc lập. Trong suốt những năm 1970 và 1980, Myron Krueger, Dan Sandin, Scott Fisher và những người khác đã thử nghiệm nhiều khái niệm pha trộn tương tác của con người với các lớp phủ do máy tính tạo ra trên video để trải nghiệm nghệ thuật tương tác. về các chú thích đồ họa giữa các hình bóng người tham gia trong các bản cài đặt Videoplace của mình vào khoảng năm 1974.

Năm 1992 đánh dấu sự ra đời của thuật ngữ thực tế tăng cường. Thuật ngữ này lần đầu tiên xuất hiện trong tác phẩm của Caudell và Mizell tại Boeing, nhằm tìm cách hỗ trợ công nhân trong một máy bay trực thăng, bằng cách hiển thị sơ đồ lắp ráp dây trong nhìn xuyên qua HMD

Nối tiếp đó, năm 1993, Feiner et al. đã giới thiệu KARMA, một hệ thống kết hợp AR dựa trên tri thức. Hệ thống này có khả năng tự động suy ra các chuỗi hướng dẫn phù hợp cho các quy trình sửa chữa và bảo trì

Cũng trong năm 1993, Fitzmaurice đã tạo ra màn hình nhận biết không gian cầm tay đầu tiên, đóng vai trò là tiền thân của AR cầm tay. The Chameleon bao gồm một màn hình tinh thể lỏng cầm tay (LCD) có dây buộc. Màn hình hiển thị đầu ra video của máy trạm đồ họa SGI thời đó và được theo dõi không gian bằng thiết bị theo dõi từ tính. Hệ thống này có khả năng hiển thị thông tin theo ngữ cảnh khi người dùng di chuyển thiết bị xung quanh, ví dụ, cung cấp thông tin chi tiết về vị trí trên bản đồ treo tường.

Năm 1994, State et al. at the University of North Carolina tại Chapel Hill đã trình bày một ứng dụng AR y tế hấp dẫn, có khả năng cho phép bác sĩ quan sát trực tiếp thai nhi trong một bệnh nhân đang mang thai. Mặc dù việc đăng ký chính xác đồ họa máy tính lên trên một vật thể biến dạng như cơ thể người vẫn là một thách thức ngày nay, công việc tinh thần này gợi ý về sức mạnh của AR đối với y học và các nhiệm vụ tế nhị khác

Vào khoảng giữa những năm 1990, Steve Mann tại MIT Media Lab đã triển khai và thử nghiệm với một máy tính túi đeo thắt lưng thực tế của nhà cung cấp với một máy xem qua HMD (VR4 được sửa đổi bởi Hệ thống nghiên cứu ảo) cho phép người dùng để tăng cường, thay đổi hoặc làm giảm thực tế thị giác. Thông qua dự án WearCam, Mann (1997) đã khám phá máy tính có thể đeo được và thực tế tầm thường. Công việc của ông cuối cùng đã giúp thiết lập lĩnh vực học thuật về điện toán đeo được, trong những ngày đầu, có rất nhiều sức mạnh tổng hợp với AR (Starner et al. 1997).

Vào năm 1995, Rekimoto và Nagao đã tạo ra màn hình AR cầm tay thật sự đầu tiên mặc dù có màn hình AR cầm tay. NaviCam của họ đã được kết nối với một máy trạm, nhưng được trang bị một camera phía trước. Từ nguồn cấp dữ liệu video, nó có thể phát hiện các điểm đánh dấu được mã hóa màu trong hình ảnh camera và thông tin hiển thị trên chế độ xem qua video.

Năm 1996, Schmalstieg và cộng sự. đã phát triển Studierstube, hệ thống AR hợp tác đầu tiên. Với hệ thống này, nhiều người dùng có thể trải nghiệm các đối tượng ảo trong cùng một không gian chung. Mỗi người dùng có một HMD được theo dõi và có thể nhìn thấy hình ảnh lập thể chính xác theo quan điểm từ một quan điểm cá nhân. Không giống như trong multi-user VR,, các tín hiệu giao tiếp tự nhiên, như giọng nói, tư thế cơ thể và cử chỉ, không bị ảnh hưởng trong Studierstube, vì nội dung ảo đã được thêm vào một tình huống hợp tác thông thường theo cách gây khó chịu một cách tối thiểu. Một trong những ứng dụng được giới thiệu là một khóa học hình học (Kaufmann và Schmalstieg 2003), đã được thử nghiệm thành công với giáo dục

Từ 1997 đến 2001, chính phủ Nhật Bản và Canon Inc. đã cùng tài trợ cho Mixed Reality Systems Laboratory như một công ty nghiên cứu tạm thời. Liên doanh này là cơ sở nghiên cứu thử nghiệm lớn nhất cho nghiên cứu mixed reality (MR) cho đến thời điểm đó (Tamura 2000). Một trong những thành tựu đáng chú ý nhất của nó là thiết kế video âm thanh nổi đồng trục đầu tiên nhìn xuyên qua HMD, COASTAR. Nhiều hoạt động được thực hiện trong phòng thí nghiệm cũng được hướng tới thị trường giải trí kỹ thuật số, đóng vai trò rất nổi bật tại Nhật Bản.

Năm 1997, Feiner et al. đã phát triển hệ thống AR ngoài trời đầu tiên, Touring Machine, tại Đại học Columbia. Máy Touring sử dụng thiết bị HMD nhìn xuyên qua có GPS và theo dõi định hướng. Cung cấp đồ họa 3D di động thông qua hệ thống này yêu cầu một chiếc ba lô cầm chứa một máy tính, nhiều cảm biến khác nhau và một máy tính bảng đầu tiên để nhập liệu.

Chỉ một năm sau, năm 1998, Thomas và cộng sự. công bố công trình của họ về việc xây dựng một hệ thống định vị AR ngoài trời, Map-in-the-Hat. Nền tảng này đã được sử dụng cho các ứng dụng nâng cao, như khảo sát 3D, nhưng nổi tiếng nhất là cung cấp trò chơi AR ngoài trời đầu tiên, ARQuake. Trò chơi này, là một cổng của ứng dụng bắn súng góc nhìn thứ nhất nổi tiếng Quake to Tinmith các bạn có thể search nhé,không biết giờ còn chơi được không, đặt người dùng vào giữa một cuộc tấn công zombie trong một bãi đậu xe thực sự.

Trong cùng năm đó, Raskar et al. tại Đại học Bắc Carolina tại Đồi Chapel gửi tới The Office of the Future, một hệ thống từ xa được xây dựng dựa trên ý tưởng về hệ thống quét ánh sáng và máy chiếu có cấu trúc. Mặc dù phần cứng cần thiết không thực sự thiết thực để sử dụng hàng ngày vào thời điểm đó, các công nghệ liên quan, chẳng hạn như cảm biến độ sâu và khớp nối máy ảnh, đóng một vai trò nổi bật trong AR và các lĩnh vực khác hiện nay.

Cho đến năm 1999, không có phần mềm AR nào có sẵn bên ngoài các phòng thí nghiệm nghiên cứu chuyên ngành. Tình trạng này đã thay đổi khi Kato và Billinghurstphát hành ARToolKit, nền tảng phần mềm nguồn mở đầu tiên cho AR. Nó nổi bật với một thư viện theo dõi 3D sử dụng các ống kính đen trắng, có thể dễ dàng sản xuất trên máy in laser. Thiết kế phần mềm thông minh, kết hợp với sự sẵn có của webcam, khiến ARToolKit trở nên phổ biến rộng rãi.

Trong cùng năm đó, Bộ Giáo dục và Nghiên cứu Liên bang Đức đã khởi xướng một chương trình trị giá 21 triệu euro cho AR công nghiệp, được gọi là ARVIKA (Thực tế tăng cường cho phát triển, sản xuất và phục vụ). Hơn 20 nhóm nghiên cứu từ ngành công nghiệp và học viện đã nghiên cứu phát triển các hệ thống AR tiên tiến cho ứng dụng công nghiệp, đặc biệt là trong ngành công nghiệp ô tô Đức. Chương trình này đã nâng cao nhận thức về AR trên toàn thế giới trong các cộng đồng chuyên nghiệp và được theo dõi bởi một số chương trình tương tự được thiết kế để tăng cường ứng dụng công nghiệp của công nghệ.

Một ý tưởng đáng chú ý khác cũng xuất hiện vào cuối năm 1999: nhà nghiên cứu IBM Spohrer đã viết một bài tiểu luận về Worldboard, một cơ sở hạ tầng có thể mở rộng để biết thông tin đăng ký không gian liên kết, mà Spohrer đã đề xuất đầu tiên khi ông làm việc với Apple. Công việc này có thể được xem là khái niệm đầu tiên cho AR trên browser.

Và từ năm 2000 trở đi, các bạn cũng thấy sự phát triển của điện thoại di động và điện toán di động, AR cũng vậy, nó được kết hợp với mobile và cho ra các sản phầm ví dụ như: Pin- taric et al. (2005), một trò chơi AR cầm tay nhiều người chơi, đã được trải nghiệm bởi hàng ngàn khách truy cập tại SIGGRAPH.

Phải mất vài năm, cho đến năm 2008, hệ thống theo dõi tính năng tự nhiên thực sự có thể sử dụng đầu tiên cho điện thoại thông minh được giới thiệu Wagner et al. 2008b. Công việc này trở thành tổ tiên của bộ công cụ Vuforia nổi tiếng dành cho các nhà phát triển AR. Những thành tựu đáng chú ý khác trong những năm gần đây trong lĩnh vực theo dõi bao gồm hệ thống theo dõi và lập bản đồ song song (PTAM) của Klein và Murray (2007), có thể theo dõi mà không cần chuẩn bị trong môi trường không xác định và hệ thống KinectFusion do Newcombe et al phát triển. (2011), xây dựng các mô hình 3D chi tiết từ một cảm biến độ sâu không tốn kém.

Ngày nay, các nhà phát triển AR có thể chọn trong số nhiều nền tảng phần mềm, nhưng các hệ thống mô hình này tiếp tục đại diện cho các hướng quan trọng cho các nhà nghiên cứu như là Pokemon GO một trò chơi rất nổi năm trước cũng sử dụng mô hình này để phát triển.

Nguồn bài viết : viblo.asia