Disney nghiên cứu công nghệ thay đổi gương mặt diễn viên với chất lượng cực cao, có thể áp dụng để làm phim bom tấn trong tương lai gần

Chỉ trong vòng vài năm ngắn ngủi vừa qua, các ứng dụng, phần mềm thay đổi khuôn mặt dựa trên mạng thần kinh (neural network) đã có những bước phát triển vượt bậc và cho ra những sản phẩm chân thật đến không thể tin nổi. Không chỉ dừng lại ở mức độ cắt ghép hình ảnh tĩnh như photoshop đã và đang làm rất tốt trong nhiều năm qua, sức mạnh của neural network thậm chí còn “khủng” đến nỗi có thể thao túng cả những đoạn video phức tạp (được biết đến thông qua khái niệm deepfake).

Chắc chắn đây sẽ là 1 công cụ sẽ còn được áp dụng rộng rãi hơn nữa trong tương lai, đặc biệt là trong lĩnh vực điện ảnh. Mới đây, Disney đã công bố nghiên cứu về 1 hệ thống “tráo đối gương mặt” chất lượng cao hoàn toàn mới, hứa hẹn sẽ là món vũ khí đắc lực cho đội ngũ kĩ xảo, hậu kì của Hollywood trong 1 tương lai không xa.

Một trong những thách thức lớn nhất mà các đoạn video deepfake gặp phải chính là chúng cần đến cơ sở dữ liệu khổng lồ. Những dữ liệu này bao gồm hình ảnh gương mặt, chân dung của hàng triệu, thậm chí là hàng tỉ người khác nhau. Mỗi người lại sở hữu vài chục cho đến vài trăm biểu cảm riêng biệt. Cơ sở dữ liệu càng lớn, chất lượng ảnh đầu vào càng cao thì sản phẩm deepfake cuối cùng sẽ càng chân thực.

Tuy nhiên, đa số các ảnh chụp hiện nay đều được thu thập từ Internet với độ phân giải còn nhiều hạn chế. Những đoạn video 4K cũng bó tay không thể xử lý nổi ảnh chụp quá mờ hoặc vỡ nét, dẫn đến việc chất lượng của quá trình thay đổi gương mặt không được như ý.

Vì thế, nhiệm vụ đầu tiên mà Disney cần xử lý chính là tạo ra nguồn ảnh chất lượng cực cao, phục vụ riêng cho việc thay đổi gương mặt diễn viên. Trong bài nghiên cứu “Kĩ thuật tráo đổi khuôn mặt chất lượng cao trong khâu kĩ xảo”, được công bố tại sự kiện Eurographics Symposium 2020, đội ngũ nghiên cứu của ETH Zurich và Disney Research Studios đã chia sẽ chi tiết hơn về vấn đề này. Theo đó, họ đưa ra hàng loạt sáng kiến và cách tiếp cận mới tân tiến hơn cho quá trình tự động thay đổi gương mặt với chất lượng sắc nét, đủ điều kiện để có thể sử dụng trong bom tấn chiếu rạp sau này.

Chất lượng ảnh đầu vào có vai trò đặc biệt quan trọng đối với video deepfake cũng như việc đánh tráo gương mặt.

Đầu tiên, thuật toán mới mà các nhà nghiên cứu của Disney đưa ra sẽ chỉnh sửa video gốc để tạo điều kiện cho quá trình thay đổi gương mặt diễn viên sau này. Các chuyển động trọng đoạn video đó sẽ được biến đổi ổn định hơn, mượt mà hơn, loại bỏ toàn bộ những vấn đề có thể xảy ra. Ví dụ như chỉ cần đôi môi của nhân vật hơi run rẩy 1 chút thôi cũng có thể gây ảnh hưởng xấu đến chất lượng của việc trao đổi gương mặt.

Bên cạnh đó, đội ngũ nghiên cứu cũng cải thiện rất nhiều yếu tố khác. Trong đó có thể kể đến công đoạn hòa trộn những gương mặt khác nhau bằng các kĩ thuật có độ chính xác cao hơn, tạo ra sản phẩm chuẩn hơn với ánh sáng, độ tương phản hài hòa hơn. Thuật toán này cũng sẽ giữ chuyển động khung hình mượt mà trong suốt quá trình hoán đổi mặt, loại bỏ hoàn toàn tình trạng gương mặt mới có thể bị lỗi, bị glitch và để lộ ra gương mặt trong đoạn video gốc.

Với sự phát triển của machine learning, không có gì ngạc nhiên khi mỗi ngày, giới khoa học lại tìm ra 1 ứng dụng mới của công nghệ này. Điều đó sẽ giúp họ nhanh chóng giải quyết những vấn đề mà trước đây vốn cực kì phức tạp và tốn thời gian. Kể từ khi những đoạn video deepfake đầu tiên xuất hiện trên Internet, các chuyên gia kĩ xảo đã nhìn ngay ra tiềm năng mà công nghệ này sở hữu đối với ngành công nghiệp điện ảnh và truyền hình. Trong đó, việc tráo đổi gương mặt giữa các diễn viên đóng thế với sao chính đã không còn là 1 công việc quá xa lạ đối với đội ngũ hậu kì.

Khi deepfake đạt đến độ hoàn hảo, đội ngũ hậu kì có thể sẽ không còn phải vất vả trong việc biến khuôn mặt của diễn viên đóng thế thanh gương mặt của sao chính nữa.

Tuy nhiên, để thực hiện được điều đó ở thời điểm hiện tại lại là cả 1 công đoạn khá cồng kềnh, từ khâu trang điểm, thiết kế góc quay, cho đến những thao tác xử lý phức tạp trên máy tính, và đôi khi là phải quay lại 1 số phân cảnh để lấy được góc cạnh khác trên gương mặt của họ. Toàn bộ quá trình trên, cộng với việc phụ thuộc quá nhiều vào đội ngũ VFX, thường ngốn 1 khoản tiền không nhỏ của các studio phim.

Với nghiên cứu mới của Disney, những đoạn phim quay đã quay xong nhưng không được dùng có thể sẽ trở thành dữ liệu để “dạy” cho thuật toán của họ, và rồi nó sẽ tự tìm ra phương án hoán đổi khuôn mặt hợp lý nhất. Thế nhưng, điều này cũng đặt ra 1 vấn đề khá nghiêm trọng: Chúng ta sẽ khó lòng có thể phân biệt được những đoạn video deepfake trong tương lai, khi công cụ này đã hoàn hảo và được ứng dụng rộng rãi. Viễn cảnh Internet lại ngập tràn trong nạn tin giả, dưới hình thức tinh vi hơn – video, là hoàn toàn có thể xảy ra và sẽ gây ra nhiều khó khăn trong việc chắt lọc thông tin từ phía người dùng.

Theo Gizmodo