在當今數字化時代，虛擬現實（Virtual Reality，VR）和增強現實(Augmented Reality, AR)技術正迅速成為創新交互體驗的前沿。這些技術通過模擬或增強用戶的視覺和聽覺感知，開辟了全新的沉浸式體驗領域。
特別地，音頻技術在這一進程中扮演著至關重要的角色。它不僅增強了視覺體驗的真實感，還通過聲音的空間定位、動態反饋和情感表達，為用戶創造了一個全方位、多層次的感官世界。
隨著技術的不斷進步，音頻技術與VR和AR的結合正逐漸改變我們與數字世界的互動方式。從游戲到教育，從醫療到藝術，音頻技術的應用前景無限廣闊。
1．音頻技術在虛擬現實中的應用
在虛擬現實音頻的背景下，一個核心研究問題是空間音頻技術。這種技術通過模擬人類在現實世界中對聲音的三維感知，為每個3D對象提供具有定位感的音頻源。雙耳音頻技術利用了人耳對聲音到達時間差異和強度差異的敏感性，從而實現對聲音來源方向和距離的準確判斷。
在VR環境中，應用雙耳音頻技術為音頻的創新使用提供了新機遇。它允許虛擬對象擁有可以被精確定位的音頻源。這種音頻源的本地化不僅增強了VR體驗的真實感，而且由于其非視覺的特性，它不會像視覺反饋那樣對用戶的視域造成干擾。這樣的音頻設計可以更加自然地融入VR環境，使用戶在探索虛擬空間時能夠獲得更加豐富和沉浸式的體驗。[1]
圖1 空間音頻技術
此外，空間音頻技術還可以用于增強用戶對虛擬環境中事件的感知，例如通過聲音提示用戶注意某個方向的動態或即將發生的事情。這種音頻提示可以是微妙的，但卻非常有效，因為它利用了人類對聲音的自然反應，而不需要用戶將注意力從當前任務上轉移開。[2]
虛擬現實在不同情境中的應用帶來了許多機遇，同時也面臨著需要克服的新挑戰，其中一些挑戰可以通過有效使用音頻技術來解決。
在用戶/玩家可以自由環顧其環境的敘事情境中，可以使用音頻提示來引導用戶的視線和注意力到關鍵點，避免占用有限的視覺空間，并提供持續的信息流，用于辨別環境本身的空間屬性。而且聲音具有“始終開啟”的特性，能夠傳遞空間特征，例如通過混響來實現，并且具有全方位屬性，這并不依賴于像頭戴式顯示器這樣的顯示設備的有限視野。
音頻相關技術在虛擬現實中的應用
（1）音頻空間定位技術。通過將立體聲技術與虛擬現實技術相結合，使得用戶準確的感受聲音的來源以及空間的傳播路徑。這種技術可以使得用戶更好的判斷來自不同方向的聲音，增強虛擬世界的沉浸感。
（2）環境音效模擬技術。通過音效編輯、混音和特效處理等技術手段,可以模擬各種環境聲音,如風吹樹葉聲、雨滴聲、水流聲等。這些逼真的環境音效能夠提升用戶的沉浸感,使虛擬世界與現實世界之間的界限更加模糊。
（3）語言交互技術。通過語音識別和合成技術,用戶可以與虛擬環境中的虛擬角色進行真實的對話。這種交互方式使得用戶能夠更加便捷地操作虛擬環境,增加了用戶的參與感與沉浸感。
2．音頻技術在增強現實中的應用
增強現實(Augmented Reality, AR)技術 旨在將計算機生成的虛擬內容與物理環境無縫融合，使虛擬內容與現實世界融為一體。
AR可以增強人們對周圍環境的感知和互動，也可以幫助人們更輕松地完成現實世界的任務。然而，絕大多數AR研究都集中在視覺增強上。音頻增強現實(Audio Augmented Reality, AAR)仍未得到充分開發。
在音頻增強現實中，虛擬聽覺內容被融合到物理世界中，以增強用戶的真實聲學環境。模擬真實世界的聽覺。
隨著價格合理的消費級技術的出現，用于交互式3D音頻的收聽和錄制，音頻增強現實體驗的提供變得更加普及。AAR技術通過在真實聽覺環境中加入虛擬音頻實體，實現了對環境的擴展。這種技術已經被廣泛應用于電話會議、無障礙音頻系統、基于位置的音頻游戲、純音頻游戲、協作工具、教育以及娛樂等多個領域。[3]
與傳統耳機相比，AAR技術的一個顯著優勢在于，它不會在私人聽覺空間和公共聽覺空間之間形成隔閡。AAR技術追求的是聲學透明性，即用戶在使用過程中，應該能夠像沒有佩戴耳機一樣自然地感知周圍環境，同時難以區分哪些聲源是真實存在的，哪些是由技術生成的。
然而，實現這種聲學透明性，讓聽者無法區分真實與虛擬聲源，仍然是該技術領域面臨的一個主要技術挑戰。
在音頻增強現實的研究領域，目前的研究重點主要集中在技術特性上，以及這些技術如何與設備和媒體進行交互。然而，對于用戶體驗的深入探索相對較少。
現有研究涉及了音質感知、區分真實與虛擬聲音的能力、真實感的營造，以及用戶對AAR可穿戴設備的適應性等方面。
AAR的空間音頻和格式技術在沉浸式劇院中的應用，為創造虛構空間和平行現實提供了新途徑，能夠以多樣化的方式吸引觀眾，并有可能促進更多的互動、參與和協作。
沉浸式劇院中的耳機劇院依賴于雙耳聲音技術，這種聲音虛擬現實加強了觀眾的沉浸感，并提升了表演的多模態體驗。但許多耳機劇院表演因為使觀眾彼此隔離，以及沒有將物理耳機作為表演的一部分來認可，而受到了批評。為了克服這些限制，一些劇院團體已經開始在現場表演中使用雙耳錄音設備。
例如，英國國家劇院的《安娜》和英國合拍劇團（Complicité）的《邂逅》等作品，就通過耳機為觀眾提供了更加親密和直接的表演體驗。這些劇目通過結合增強的聲音效果和現實生活中的互動，創造了一種新型的戲劇體驗，既利用了AAR技術的優勢，又保持了現場表演的互動性和共同體驗。[4]
圖2 英國合拍劇團（Complicité）出品的《邂逅》舞臺劇劇照（圖片源于網絡）
微軟的HoloLens 2 是一款混合現實頭戴設備，它通過先進的傳感器和攝像頭捕捉現實世界的環境信息，然后通過高分辨率的全息圖像疊加在用戶的視野中。HoloLens 2 配備了空間聲音技術，這種技術可以創建3D音頻效果，讓用戶感覺到聲音似乎來自虛擬對象所處的實際空間位置。
例如，在建筑設計中，設計師可以通過HoloLens 2聽到從不同方向傳來的聲音，增強對空間布局的感知，從而提高設計效率和體驗。
圖3 微軟HoloLens增強現實設備
參考文獻
[1]Baker, H. 2022. “Meta: $1 Billion Spent In Quest Store.”UploadVR. Accessed October 17, 2022.
[2] Barlow, C., T. Michailidis, G. Meadow, J. Gouch, and E.Rajabally. 2019. “Using Immersive Audio and Vibrationto Enhance Remote Diagnosis of Mechanical Failure inUncrewed Vessels.” Audio Engineering SocietyConference: 2019 AES International Conference onImmersive and Interactive Audio, York, UK.
[3] M. Comunità, A. Gerino, V . Lim, and L. Picinali, “Design and Evaluation of a Web- and Mobile-Based Binaural Audio Platform for Cultural Heritage,”Appl. Sci., vol. 11, no. 4, paper 1540 (2021 Feb.)
[4] S. Russell, G. Dublon, and J. A. Paradiso,“HearThere: Networked Sensory Prosthetics Through Auditory Augmented Reality,” in Proceedings of the 7th Augmented Human International Conference, paper 20.
|
