KR20240019392A - 혼합 현실 공간 오디오 - Google Patents

혼합 현실 공간 오디오 Download PDF

Info

Publication number
KR20240019392A
KR20240019392A KR1020247003741A KR20247003741A KR20240019392A KR 20240019392 A KR20240019392 A KR 20240019392A KR 1020247003741 A KR1020247003741 A KR 1020247003741A KR 20247003741 A KR20247003741 A KR 20247003741A KR 20240019392 A KR20240019392 A KR 20240019392A
Authority
KR
South Korea
Prior art keywords
location
acoustic
mixed reality
determining
user
Prior art date
Application number
KR1020247003741A
Other languages
English (en)
Inventor
브라이언 로이드 슈미트
제항기르 타직
진-마크 조트
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20240019392A publication Critical patent/KR20240019392A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

혼합 현실 환경의 사용자에게 오디오 신호를 제시하는 방법이 개시된다. 방법의 예들에 따르면, 혼합 현실 환경과 연관된 오디오 이벤트가 검출된다. 오디오 이벤트는 제1 오디오 신호와 연관된다. 혼합 현실 환경에 관한 사용자의 위치가 결정된다. 사용자의 위치와 연관된 음향 구역이 식별된다. 제1 음향 구역과 연관된 제1 음향 파라미터가 결정된다. 전달 함수는 제1 음향 파라미터를 사용하여 결정된다. 전달 함수는 제2 오디오 신호를 생성하기 위해 제1 오디오 신호에 적용되며, 이어서 제2 오디오 신호는 사용자에게 제시된다.

Description

혼합 현실 공간 오디오 {MIXED REALITY SPATIAL AUDIO}
[0001] 본 출원은, 2017년 10월 17일자로 출원된 미국 가특허 출원 제 62/573,448호, 및 2018년 2월 15일자로 출원된 미국 가특허 출원 제 62/631,418호의 우선권을 35 U.S.C. § 119(e) 하에서 주장하며, 그 가특허 출원들 둘 모두의 내용들은 모든 목적들을 위해 그들 전체가 인용에 의해 본 명세서에 포함된다.
[0002] 본 개시내용은 일반적으로 오디오 신호들을 제시하기 위한 시스템들 및 방법들에 관한 것으로, 더 상세하게는 혼합 현실 환경의 사용자에게 오디오 신호들을 제시하기 위한 시스템들 및 방법들에 관한 것이다.
[0003] 가상 환경들은 컴퓨팅 환경에서 어디에나 존재하여, 비디오 게임들(여기서, 가상 환경은 게임 세계를 표현할 수 있음); 맵(map)들(여기서, 가상 환경은 내비게이팅될 지역을 표현할 수 있음); 시뮬레이션된들(여기서, 가상 환경은 실제 환경을 시뮬레이팅할 수 있음); 디지털 스토리텔링(여기서, 가상 캐릭터들은 가상 환경에서 서로 상호작용할 수 있음); 및 많은 다른 애플리케이션들에서 용도를 발견한다. 현대의 컴퓨터 사용자들은 일반적으로 편안하게 가상 환경들을 인식하고 그들과 상호작용한다. 그러나, 가상 환경들에 대한 사용자의 경험들은 가상 환경들을 제시하기 위한 기술에 의해 제한될 수 있다. 예컨대, 종래의 디스플레이들(예컨대, 2D 디스플레이 스크린들) 및 오디오 시스템들(예컨대, 고정된 스피커들)은 흥미진진하고, 현실적이며, 몰입적인 경험을 생성하는 방식들로 가상 환경을 실현하는 것이 가능하지 않을 수 있다.
[0004] 가상 현실("VR"), 증강 현실("AR"), 혼합 현실("MR"), 및 관련 기술들(총괄하여, "XR")은 컴퓨터 시스템에서 데이터에 의해 표현되는 가상 환경에 대응하는 감각 정보를 XR 시스템의 사용자에게 제시하기 위한 능력을 공유한다. 그러한 시스템들은 가상의 시각적 및 오디오 큐들을 실제 시야들 및 사운드들과 조합함으로써 몰입 및 현실성의 고유하게 강화된 감각을 제공할 수 있다. 따라서, 사용자의 실제 환경에서 사운드들이 자연스럽고 사운드에 대한 사용자의 예상과 일치하게 발생하는 것으로 보이는 그러한 방식으로 XR 시스템의 사용자에게 디지털 사운드들을 제시하는 것이 바람직할 수 있다. 일반적으로 말하면, 사용자들은 가상 사운드들이, 그 사용자들이 들었던 실제 환경의 음향 속성들을 가질 것으로 예상한다. 예컨대, 대형 콘서트 홀에 있는 XR 시스템의 사용자는 XR 시스템의 가상 사운드들이 큰 동굴형(cavernous) 소리 품질들을 갖는 것으로 예상할 것이고; 반대로, 작은 아파트에 있는 사용자는 사운드가 더 약화되고 가까우며 즉각적인 것으로 예상할 것이다.
[0005] 기존의 기술들은 종종, 이를테면 사용자의 주변들을 고려하지 않은 가상 오디오를 제시하여, 사용자의 경험을 손상시킬 수 있는 가짜(inauthenticity)의 느낌들을 유발함으로써 이들 예상들에 미치지 못한다. XR 시스템들의 사용자들의 관찰들은, 사용자가 가상 콘텐츠와 실제 환경 사이의 시각적 미스매치들(예컨대, 조명의 불일치들)을 비교적 용서할 수 있는 반면; 사용자들이 청각적 미스매치들에 더 민감할 수 있다는 것을 표시한다. 우리의 삶 전반에 걸쳐 지속적으로 개량된 우리 자신의 청각적 경험들은, 우리의 물리적 환경들이, 우리가 듣는 사운드들에 어떻게 영향을 주는지를 우리가 예민하게 인식하게 할 수 있으며; 우리는 이들 예상들과 일치하지 않는 사운드들을 크게 인식할 수 있다. XR 시스템들을 이용하면, 그러한 불일치들은 거슬릴 수 있으며, 몰입적이고 흥미진진한 경험을 교묘하게 모방적인 경험으로 바꿀 수 있다. 극단적인 예들에서, 청각적 불일치들은, 내이(inner ear)가 청각적 자극들을 그들의 대응하는 시각적 큐들과 조화시킬 수 없으므로 멀미 및 다른 유해한 효과들을 야기할 수 있다.
[0006] 본 발명은 가상 사운드를 사용자에게 제시함으로써 이들 단점들을 해결하는 것에 관한 것이며, 사운드의 제시는 사용자의 실제 환경의 양상들에 기반하여 하나 이상의 재생 파라미터들을 포함한다. 예컨대, 제시는 시뮬레이팅된 잔향 효과를 포함할 수 있으며, 여기서 잔향의 하나 이상의 파라미터들은 사용자의 실제 환경의 속성들, 이를테면 룸(room)의 입방 체적 또는 룸의 벽들의 재료들에 의존한다. 사용자의 물리적 환경의 특성들을 고려함으로써, 본 명세서에 설명되는 시스템들 및 방법들은, 가상 사운드가 그 환경에서 자연적으로 생성된 실제 사운드인 것처럼 사용자에 의해 들릴 것을 시뮬레이팅할 수 있다. 사운드들이 실세계에서 거동하는 방식에 충실한 방식으로 가상 사운드들을 제시함으로써, 사용자는 혼합 현실 환경에 대한 강화된 감각의 연결성(connectedness)을 경험할 수 있다. 유사하게, 사용자의 움직임들 및 환경에 반응하는 위치-인식 가상 콘텐츠를 제시함으로써, 콘텐츠는 더 주관적이고 상호작용적이며 실제적이게 되는데, 예컨대, 포인트 A에서의 사용자의 경험은 포인트 B에서의 자신의 경험과 완전히 상이할 수 있다. 이러한 향상된 현실성과 상호작용성은 혼합 현실의 새로운 애플리케이션들, 이를테면 게임플레이, 소셜 특징들, 또는 상호작용형 거동들의 새로운 형태들을 가능하게 하기 위해 공간-인식 오디오를 사용하는 애플리케이션들에 대한 기반을 제공할 수 있다.
[0007] 혼합 현실 환경의 사용자에게 오디오 신호를 제시하는 시스템들 및 방법들이 개시된다. 예시적인 방법에 따르면, 혼합 현실 환경과 연관된 오디오 이벤트가 검출된다. 오디오 이벤트는 제1 오디오 신호와 연관된다. 혼합 현실 환경에 관한 사용자의 위치가 결정된다. 사용자의 위치와 연관된 음향 구역이 식별된다. 제1 음향 구역과 연관된 제1 음향 파라미터가 결정된다. 전달 함수는 제1 음향 파라미터를 사용하여 결정된다. 전달 함수는 제2 오디오 신호를 생성하기 위해 제1 오디오 신호에 적용되며, 이어서 제2 오디오 신호는 사용자에게 제시된다.
[0008] 도 1a 내지 도 1c는 본 개시내용의 하나 이상의 예들에 따른 예시적인 혼합 현실 환경을 예시한다.
[0009] 도 2는 본 개시내용의 하나 이상의 예들에 따른, 예시적인 혼합 현실 시스템의 예시적인 웨어러블 헤드 유닛을 예시한다.
[0010] 도 3a는 본 개시내용의 하나 이상의 예들에 따른, 혼합 현실 환경에 입력을 제공하는 데 사용될 수 있는 예시적인 혼합 현실 핸드헬드 제어기를 예시한다.
[0011] 도 3b는 본 개시내용의 하나 이상의 예들에 따른, 예시적인 혼합 현실 시스템에 포함될 수 있는 예시적인 보조 유닛을 예시한다.
[0012] 도 4는 본 개시내용의 하나 이상의 예들에 따른, 예시적인 혼합 현실 시스템에 대한 예시적인 기능 블록 다이어그램을 예시한다.
[0013] 도 5는 본 개시내용의 하나 이상의 예들에 따른, 예시적인 혼합 현실 시스템의 컴포넌트들의 예시적인 구성을 예시한다.
[0014] 도 6은 본 개시내용의 하나 이상의 예들에 따른, 혼합 현실 시스템에서 오디오 신호를 제시하기 위한 예시적인 프로세스의 흐름도를 예시한다.
[0015] 도 7 및 도 8은 본 개시내용의 하나 이상의 예들에 따른, 혼합 현실 시스템의 룸의 음향 파라미터들을 결정하기 위한 예시적인 프로세스들의 흐름도들을 예시한다.
[0016] 도 9는 본 개시내용의 하나 이상의 예들에 따른, 혼합 현실 환경 내의 음향적으로 커플링된 룸들의 일 예를 예시한다.
[0017] 도 10은 본 개시내용의 하나 이상의 예들에 따른, 음향 그래프 구조의 일 예를 예시한다.
[0018] 도 11은 본 개시내용의 하나 이상의 예들에 따른, 혼합 현실 시스템의 음향 환경의 합성 음향 파라미터들을 결정하기 위한 예시적인 프로세스의 흐름도를 예시한다.
[0019] 도 12 내지 도 14는 본 개시내용의 하나 이상의 예들에 따른, 예시적인 웨어러블 혼합 현실 시스템의 컴포넌트들을 예시한다.
[0020] 도 15는 본 개시내용의 하나 이상의 예들에 따른, 예시적인 혼합 현실 시스템의 컴포넌트들의 예시적인 구성을 예시한다.
[0021] 도 16 내지 도 20은 본 개시내용의 하나 이상의 예들에 따른, 혼합 현실 시스템의 사용자에게 오디오 신호를 제시하기 위한 예시적인 프로세스들의 흐름도들을 예시한다.
[0022] 도 21은 본 개시내용의 하나 이상의 예들에 따른, 혼합 현실 시스템의 사용자의 위치를 결정하기 위한 예시적인 프로세스의 흐름도를 예시한다.
[0023] 예들의 다음의 설명에서, 그 예의 일부를 형성하는 첨부한 도면들에 대한 참조가 이루어지며, 도면은, 실시될 수 있는 특정 예들을 예시로서 도시한다. 개시된 예들의 범위를 벗어나지 않으면서, 다른 예들이 사용될 수 있고 구조적인 변화들이 이루어질 수 있음을 이해할 것이다.
[0024] 혼합 현실 환경
[0025] 모든 사람과 같이, 혼합 현실 시스템의 사용자는 실제 환경, 즉 사용자에 의해 지각가능한 "실세계"의 3차원 부분, 및 그의 콘텐츠들 전부에 존재한다. 예컨대, 사용자는 그의 일반적인 사람 감각들 － 시각, 사운드, 촉각, 미각, 후각 － 을 사용하여 실제 환경을 지각하고, 실제 환경에서 그 자신의 신체를 이동시킴으로써 실제 환경과 상호작용한다. 실제 환경 내의 위치들은 좌표 공간 내의 좌표들로서 설명될 수 있으며; 예컨대, 좌표는 해수면에 대한 위도, 경도, 및 고도; 기준 포인트로부터의 3개의 직교 치수들에서의 거리들; 또는 다른 적합한 값들을 포함할 수 있다. 마찬가지로, 벡터는 좌표 공간에서 방향 및 크기를 갖는 양을 설명할 수 있다.
[0026] 컴퓨팅 디바이스는, 예컨대 디바이스와 연관된 메모리에 가상 환경의 표현을 유지할 수 있다. 본 명세서에서 사용되는 바와 같이, 가상 환경은 3차원 공간의 컴퓨테이셔널 표현이다. 가상 환경은 그 공간과 연관된 오브젝트, 액션, 신호, 파라미터, 좌표, 벡터, 또는 다른 특성의 표현들을 포함할 수 있다. 일부 예들에서, 컴퓨팅 디바이스의 회로부(예컨대, 프로세서)는 가상 환경의 상태를 유지 및 업데이트할 수 있으며; 예컨대, 프로세서는 제1 시간(t0)에, 가상 환경과 연관된 데이터 및/또는 사용자에 의해 제공된 입력에 기반하여 제2 시간(t1)에서의 가상 환경의 상태를 결정할 수 있다. 예컨대, 가상 환경 내의 오브젝트가 시간(t0)에서 제1 좌표에 위치되고 특정한 프로그래밍된 물리적 파라미터들(예컨대, 질량, 마찰 계수)을 가지며; 힘이 방향 벡터에서 오브젝트에 인가되어야 한다는 것을 사용자로부터 수신된 입력이 표시하면; 프로세서는 기본 역학을 사용하여 시간(t1)에서 오브젝트의 위치를 결정하기 위해 운동학의 법칙들을 적용할 수 있다. 프로세서는 시간(t1)에서 가상 환경의 상태를 결정하기 위해 가상 환경에 관해 알려진 임의의 적합한 정보 및/또는 임의의 적합한 입력을 사용할 수 있다. 가상 환경의 상태를 유지 및 업데이트할 시에, 프로세서는, 가상 환경 내의 가상 오브젝트들의 생성 및 삭제에 관련된 소프트웨어; 가상 환경에서 가상 오브젝트들 또는 캐릭터들의 거동을 정의하기 위한 소프트웨어(예컨대, 스크립트들); 가상 환경에서 신호들(예컨대, 오디오 신호들)의 거동을 정의하기 위한 소프트웨어; 가상 환경과 연관된 파라미터들을 생성 및 업데이트하기 위한 소프트웨어; 가상 환경에서 오디오 신호들을 생성하기 위한 소프트웨어; 입력 및 출력을 핸들링하기 위한 소프트웨어; 네트워크 동작들을 구현하기 위한 소프트웨어; 자산 데이터(예컨대, 시간에 걸쳐 가상 오브젝트를 이동시키기 위한 애니메이션 데이터)를 적용하기 위한 소프트웨어; 또는 많은 다른 가능성들을 포함하는 임의의 적합한 소프트웨어를 실행할 수 있다.
[0027] 디스플레이들 또는 스피커들과 같은 출력 디바이스들은 가상 환경의 양상들을 사용자에게 제시할 수 있다. 예컨대, 가상 환경은 사용자에게 시각적으로 제시될 수 있는 가상 오브젝트들(오브젝트들; 사람들; 동물들; 조명들 등의 표현들을 포함할 수 있음)을 포함할 수 있다. 프로세서는, (예컨대, 원점 좌표, 뷰 축, 및 절두체를 갖는 카메라에 대응하는) 가상 환경의 뷰를 결정하고; 그 뷰에 대응하는 가상 환경의 뷰잉가능한 장면을 디스플레이에 렌더링할 수 있다. 이러한 목적을 위해 임의의 적합한 렌더링 기술이 사용될 수 있다. 일부 예들에서, 뷰잉가능한 장면은 가상 환경에 가상 오브젝트들의 서브세트만을 포함하며, 특정한 다른 가상 오브젝트들을 배제할 수 있다. 유사하게, 가상 환경은 하나 이상의 오디오 신호들로서 사용자에게 제시될 수 있는 오디오 양상들을 포함할 수 있다. 예컨대, 가상 환경 내의 가상 오브젝트는 오브젝트의 위치 좌표로부터 발생하는 공간화된 사운드를 생성할 수 있거나(예컨대, 가상 캐릭터는 말하거나 사운드 효과를 야기할 수 있음); 또는 가상 환경은 특정한 위치와 연관될 수 있거나 연관되지 않을 수 있는 음악 큐들 또는 주변 사운드들과 연관될 수 있다. 프로세서는 "사용자" 좌표에 대응하는 오디오 신호 － 예컨대, 가상 환경에서 사운드들의 합성물에 대응하고, 사용자 좌표에서 사용자에 의해 들릴 오디오 신호를 시뮬레이팅하도록 렌더링된 오디오 신호 － 를 결정하고, 오디오 신호를 하나 이상의 스피커들을 통해 사용자에게 제시할 수 있다. 일부 예들에서, 사용자는 2개 이상의 청취자 좌표들 － 예컨대, 사용자의 좌측 및 우측 귀들에 각각 대응하는 제1 및 제2 청취자 좌표들 － 과 연관될 수 있고, 오디오 신호들은 각각의 청취자 좌표에 대해 개별적으로 렌더링될 수 있다.
[0028] 가상 환경이 컴퓨테이셔널 구조로서만 존재하기 때문에, 사용자는 사용자의 일반적인 감각들을 사용하여 가상 환경을 직접 지각할 수 없다. 대신, 사용자는, 예컨대 디스플레이, 스피커들, 햅틱 피드백 디바이스들 등에 의해 사용자에게 제시되는 바와 같이 가상 환경을 간접적으로 지각할 수 있다. 유사하게, 사용자는 가상 환경을 직접 터치하거나, 조작하거나 또는 그렇지 않으면 그와 상호작용할 수 없지만; 가상 환경을 업데이트하기 위해 디바이스 또는 센서 데이터를 사용할 수 있는 프로세서에 입력 데이터를 입력 디바이스들 또는 센서들을 통해 제공할 수 있다. 예컨대, 카메라 센서는, 사용자가 가상 환경 내의 오브젝트를 터치하려고 시도하고 있다는 것을 표시하는 광학 데이터를 제공할 수 있고, 프로세서는 그 데이터를 사용하여, 오브젝트로 하여금 그에 따라 가상 환경에서 반응하게 할 수 있다.
[0029] 혼합 현실 시스템은, 예컨대 헤드-장착형 웨어러블 유닛에 통합된 투과성 디스플레이 및/또는 하나 이상의 스피커들을 사용하여, 실제 환경과 가상 환경의 양상들을 조합하는 혼합 현실 환경("mixed reality environment")(MRE)을 사용자에게 제시할 수 있다. 본 명세서에서 사용되는 바와 같이, MRE는 실제 환경 및 대응하는 가상 환경의 동시적인 표현이다. 일부 예들에서, 대응하는 실제 및 가상 환경들은 단일 좌표 공간을 공유하고; 일부 예들에서, 실제 좌표 공간 및 대응하는 가상 좌표 공간은 변환 매트릭스(또는 다른 적합한 표현)에 의해 서로 관련된다. 따라서, 단일 좌표는(일부 예들에서는, 변환 매트릭스와 함께) 실제 환경 내의 제1 위치 및 또한 가상 환경 내의 제2의 대응하는 위치를 정의할 수 있고; 그 반대의 경우도 마찬가지이다.
[0030] MRE에서, (예컨대, MRE와 연관된 가상 환경 내의) 가상 오브젝트는 (예컨대, MRE와 연관된 실제 환경 내의) 실제 오브젝트에 대응할 수 있다. 예컨대, MRE의 실제 환경이 위치 좌표에서 실제 램프 포스트(실제 오브젝트)를 포함하면, MRE의 가상 환경은 대응하는 위치 좌표에서 가상 램프 포스트(가상 오브젝트)를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 실제 오브젝트는 그의 대응하는 가상 오브젝트와 조합하여, "혼합 현실 오브젝트"를 함께 구성한다. 가상 오브젝트가 대응하는 실제 오브젝트와 완벽하게 매칭하거나 정렬될 필요는 없다. 일부 예들에서, 가상 오브젝트는 대응하는 실제 오브젝트의 간략화된 버전일 수 있다. 예컨대, 실제 환경이 실제 램프 포스트를 포함하면, 대응하는 가상 오브젝트는 (램프 포스트들이 대략 원통형 형상일 수 있다는 것을 반영하여) 실제 램프 포스트와 대략 동일한 높이 및 반경의 원통을 포함할 수 있다. 이러한 방식으로 가상 오브젝트들을 간략화하는 것은 컴퓨테이셔널 효율성들을 허용할 수 있으며, 그러한 가상 오브젝트들에 대해 수행될 계산들을 간략화할 수 있다. 추가로, MRE의 일부 예들에서, 실제 환경 내의 모든 실제 오브젝트들이 대응하는 가상 오브젝트와 연관되지는 않을 수 있다. 마찬가지로, MRE의 일부 예들에서, 가상 환경 내의 모든 가상 오브젝트들이 대응하는 실제 오브젝트와 연관되지는 않을 수 있다. 즉, 일부 가상 오브젝트들은 임의의 실세계 대응부 없이 MRE의 가상 환경에만 존재할 수 있다.
[0031] 일부 예들에서, 가상 오브젝트들은 대응하는 실제 오브젝트들의 특성들과는 때때로 극적으로 상이한 특성들을 가질 수 있다. 예컨대, MRE의 실제 환경이 녹색의 2개의 팔을 갖는 선인장 － 가시로 뒤덮인 무생물 오브젝트 － 을 포함할 수 있는 반면, MRE 내의 대응하는 가상 오브젝트는 사람의 얼굴 특징부들 및 무뚝뚝한 태도를 갖는 녹색의 2개의 팔을 갖는 가상 캐릭터의 특성들을 가질 수 있다. 이러한 예에서, 가상 오브젝트는 특정한 특성들(컬러, 팔들의 수)에서 그의 대응하는 실제 오브젝트와 비슷하지만; 다른 특성들(얼굴 특징부들, 성격)에서 실제 오브젝트와 상이하다. 이러한 방식으로, 가상 오브젝트들은 창의적인, 추상적인, 과장된, 또는 공상적인 방식으로 실제 오브젝트들을 표현하거나; 또는 그렇지 않으면 무생물의 실제 오브젝트들에 거동들(예컨대, 사람 성격들)을 부여하기 위한 잠재성을 갖는다. 일부 예들에서, 가상 오브젝트들은 실세계 대응부가 없는 순수하게 공상적인 창작물들(예컨대, 실제 환경 내의 빈 공간에 대응하는 위치의 가상 환경 내의 가상 몬스터)일 수 있다.
[0032] 실제 환경을 차폐하면서 가상 환경을 사용자에게 제시하는 VR 시스템들과 비교하여, MRE를 제시하는 혼합 현실 시스템은 가상 환경이 제시되면서 실제 환경이 지각가능하게 유지되게 허용한다. 따라서, 혼합 현실 시스템의 사용자는 대응하는 가상 환경을 경험하고 그와 상호작용하기 위해 실제 환경과 연관된 시각적 및 오디오 큐들을 사용할 수 있다. 예컨대, 위에서 언급된 바와 같이, 사용자가 가상 환경을 직접 지각하거나 그와 상호작용할 수 없기 때문에, VR 시스템들의 사용자가 가상 환경에 디스플레이된 가상 오브젝트를 지각하거나 그와 상호작용하기 위해 노력할 수 있는 반면, MR 시스템의 사용자는 가상 오브젝트를 직관적이고 자연스럽게 발견하여, 그 자신의 실제 환경에서 대응하는 실제 오브젝트를 보고, 듣고 터치함으로써 가상 오브젝트와 상호작용할 수 있다. 이러한 레벨의 상호작용성은 가상 환경에 대한 몰입, 연결, 및 관계의 사용자의 느낌들을 강화시킬 수 있다. 유사하게, 실제 환경과 가상 환경을 동시에 제시함으로써, 혼합 현실 시스템들은 VR 시스템들과 연관된 부정적인 심리적 느낌들(예컨대, 인지적 불협화) 및 부정적인 신체적 느낌들(예컨대, 멀미)를 감소시킬 수 있다. 혼합 현실 시스템들은 실세계에 대한 우리의 경험들을 증강시키거나 변경시킬 수 있는 애플리케이션들에 대한 많은 가능성들을 추가로 제공한다.
[0033] 도 1a는 사용자(110)가 혼합 현실 시스템(112)을 사용하는 예시적인 실제 환경(100)을 예시한다. 혼합 현실 시스템(112)은, 예컨대 아래에서 설명되는 바와 같이, 디스플레이(예컨대, 투과성 디스플레이) 및 하나 이상의 스피커들, 및 하나 이상의 센서들(예컨대, 카메라)를 포함할 수 있다. 도시된 실제 환경(100)은, 사용자(110)가 서 있는 직사각형 룸(104A); 및 실제 오브젝트들(122A(램프), 124A(테이블), 126A(소파), 및 128A(그림))을 포함한다. 룸(104A)은 실제 환경(100)의 원점으로 고려될 수 있는 코너(106A)를 더 포함한다. 도 1a에 도시된 바와 같이, 코너(106A)에 자신의 원점을 갖는 환경 좌표계(108)(x-축(108X), y-축(108Y), 및 z-축(108Z)을 포함함)는 실제 환경(100)에 대한 좌표 공간을 정의할 수 있다. 일부 예들에서, 사용자(110)는 실제 환경(100)에서 실제 오브젝트로 고려될 수 있으며; 유사하게, 사용자(110)의 신체 부위들(예컨대, 손들, 발들)은 실제 환경(100)에서 실제 오브젝트로 고려될 수 있다. 일부 예들에서, 혼합 현실 시스템(112)에 대한 사용자 좌표계(114)가 정의될 수 있다. 이것은, 사용자의 헤드 또는 헤드-장착형 디바이스에 대한 위치들의 표현을 간략화할 수 있다. SLAM, 시각적 오도메트리(odometry), 또는 다른 기법들을 사용하여, 사용자 좌표계(114)와 환경 좌표계(108) 사이의 변환이 실시간으로 결정 및 업데이트될 수 있다.
[0034] 도 1b는 실제 환경(100)에 대응하는 예시적인 가상 환경(130)을 예시한다. 도시된 가상 환경(130)은 실제 직사각형 룸(104A)에 대응하는 가상 직사각형 룸(104B); 실제 오브젝트(122A)에 대응하는 가상 오브젝트(122B); 실제 오브젝트(124A)에 대응하는 가상 오브젝트(124B); 및 실제 오브젝트(126A)에 대응하는 가상 오브젝트(126B)를 포함한다. 가상 오브젝트들(122B, 124B, 126B)과 연관된 메타데이터는 대응하는 실제 오브젝트들(122A, 124A, 126A)로부터 도출된 정보를 포함할 수 있다. 가상 환경(130)은 부가적으로, 실제 환경(100) 내의 임의의 실제 오브젝트에 대응하지 않는 가상 몬스터(132)를 포함한다. 유사하게, 실제 환경(100) 내의 실제 오브젝트(128A)는 가상 환경(130) 내의 임의의 가상 오브젝트에 대응하지 않는다. 가상 룸(104B)은 실제 룸(104A)의 코너(106A)에 대응하는 코너(106B)를 포함하며, 가상 환경(130)의 원점으로 고려될 수 있다. 도 1b에 도시된 바와 같이, 코너(106B)에 자신의 원점을 갖는 좌표계(108)(x-축(108X), y-축(108Y), 및 z-축(108Z)을 포함함)는 가상 환경(130)에 대한 좌표 공간을 정의할 수 있다.
[0035] 도 1a 및 도 1b에 관해, 좌표계(108)는 실제 환경(100) 및 가상 환경(130) 둘 모두에 대한 공유된 좌표 공간을 정의한다. 도시된 예에서, 좌표 공간은 실제 환경(100)에서 코너(106A)에, 그리고 가상 환경(130)에서 코너(106B)에 자신의 원점을 갖는다. 추가로, 좌표 공간은 실제 환경(100) 및 가상 환경(130) 둘 모두에서 동일한 3개의 직교 축들(108X, 108Y, 108Z)에 의해 정의된다. 따라서, 실제 환경(100) 내의 제1 위치 및 가상 환경(130) 내의 제2의 대응하는 위치는 동일한 좌표 공간에 대해 설명될 수 있다. 이것은, 동일한 좌표들이 위치들 둘 모두를 식별하는 데 사용될 수 있기 때문에, 실제 및 가상 환경들에서 대응하는 위치들을 식별 및 디스플레이하는 것을 간략화할 수 있다. 그러나, 일부 예들에서, 대응하는 실제 및 가상 환경들은 공유된 좌표 공간을 사용할 필요가 없다. 예컨대, 일부 예들(도시되지 않음)에서, 매트릭스(또는 다른 적합한 표현)는 실제 환경 좌표 공간과 가상 환경 좌표 공간 사이의 변환을 특성화할 수 있다.
[0036] 도 1c는 혼합 현실 시스템(112)을 통해 사용자(110)에게 실제 환경(100) 및 가상 환경(130)의 양상들을 동시에 제시하는 예시적인 MRE(150)를 예시한다. 도시된 예에서, MRE(150)는 (예컨대, 혼합 현실 시스템(112)의 디스플레이의 투과성 부분을 통해) 실제 환경(100)으로부터 실제 오브젝트들(122A, 124A, 126A, 및 128A)을; 그리고 (예컨대, 혼합 현실 시스템(112)의 디스플레이의 활성 디스플레이 부분을 통해) 가상 환경(130)으로부터 가상 오브젝트들(122B, 124B, 126B, 및 132)을 사용자(110)에게 동시에 제시한다. 위와 같이, 룸 코너(106A/106B)는 MRE(150)에 대응하는 좌표 공간에 대한 원점으로서 작용하고, 좌표계(108)는 좌표 공간에 대한 x-축, y-축, 및 z-축을 정의한다.
[0037] 도시된 예에서, 혼합 현실 오브젝트들은 좌표 공간(108)에서 대응하는 위치들을 점유하는 실제 오브젝트들 및 가상 오브젝트들의 대응하는 쌍들(즉, 122A/122B, 124A/124B, 126A/126B)을 포함한다. 일부 예들에서, 실제 오브젝트들 및 가상 오브젝트들 둘 모두는 사용자(110)에게 동시에 보여질 수 있다. 이것은, 예컨대 가상 오브젝트가 (이를테면, 가상 오브젝트가 고대의 손상된 조각품의 사라진 조각들을 제시하는 박물관 애플리케이션에서) 대응하는 실제 오브젝트의 뷰를 증강시키도록 설계된 정보를 제시하는 인스턴스들에서 바람직할 수 있다. 일부 예들에서, 가상 오브젝트들(122B, 124B, 및/또는 126B)은 대응하는 실제 오브젝트들(122A, 124A, 및/또는 126A)을 가리기 위해 (예컨대, 픽셀화된 폐색 셔터를 사용하여 활성의 픽셀화된 폐색을 통해) 디스플레이될 수 있다. 이것은, 예컨대 가상 오브젝트가 (이를테면, 무생물의 실제 오브젝트가 "살아있는" 캐릭터가 되는 상호작용 스토리텔링 애플리케이션에서) 대응하는 실제 오브젝트에 대한 시각적 대체물로서 작용하는 인스턴스들에서 바람직할 수 있다.
[0038] 일부 예들에서, 실제 오브젝트들(예컨대, 122A, 124A, 126A)은, 반드시 가상 오브젝트들을 구성하지는 않을 수 있는 가상 콘텐츠 또는 헬퍼(helper) 데이터와 연관될 수 있다. 가상 콘텐츠 또는 헬퍼 데이터는 혼합 현실 환경에서 가상 오브젝트들의 프로세싱 또는 핸들링을 용이하게 할 수 있다. 예컨대, 그러한 가상 콘텐츠는 대응하는 실제 오브젝트들의 2차원 표현들; 대응하는 실제 오브젝트들과 연관된 맞춤형 자산 타입들; 또는 대응하는 실제 오브젝트들과 연관된 통계 데이터를 포함할 수 있다. 이러한 정보는, 실제 오브젝트에 대응하는 가상 오브젝트를 생성하여 연관시키는 것과 연관된 컴퓨테이셔널 오버헤드를 발생시키지 않으면서 실제 오브젝트를 수반하는 계산들을 가능하게 하거나 용이하게 할 수 있다.
[0039] 일부 예들에서, 위에서 설명된 제시는 또한 오디오 양상들을 통합할 수 있다. 예컨대, MRE(150)에서, 가상 몬스터(132)는 하나 이상의 오디오 신호들, 이를테면 몬스터가 MRE(150) 주위를 걸을 때 생성되는 발소리 사운드 효과와 연관될 수 있다. 아래에서 추가로 설명되는 바와 같이, 혼합 현실 시스템(112)의 프로세서는 MRE(150)에서 그러한 모든 사운드들의 혼합되고 프로세싱된 합성물에 대응하는 오디오 신호를 컴퓨팅하고, 혼합 현실 시스템(112)에 포함된 스피커를 통해 오디오 신호를 사용자(110)에게 제시할 수 있다.
[0040] 예시적인 혼합 현실 시스템
[0041] 예시적인 혼합 현실 시스템(112)은, (근안(near-eye) 디스플레이들일 수 있는 좌측 및 우측 투과성 디스플레이들, 및 디스플레이들로부터 사용자의 눈들로 광을 커플링시키기 위한 연관된 컴포넌트들을 포함할 수 있는) 디스플레이; (예컨대, 사용자의 좌측 및 우측 눈들에 인접하게 각각 포지셔닝된) 좌측 및 우측 스피커들; (예컨대, 디바이스의 안경다리의 팔(temple arm)에 장착된) IMU(inertial measurement unit); (예컨대, 좌측 안경다리 부분에 장착된) 직교 코일 전자기 수신기; 사용자로부터 떨어져 배향된 좌측 및 우측 카메라들(예컨대, 깊이(비행-시간) 카메라들); 및 (예컨대, 사용자의 눈 움직임들을 검출하기 위해) 사용자를 향해 배향된 좌측 및 우측 눈 카메라들을 포함하는 웨어러블 헤드-장착형 유닛(예컨대, 웨어러블 증강 현실 또는 혼합 현실 헤드기어 유닛)을 포함할 수 있다. 그러나, 혼합 현실 시스템(112)은 임의의 적합한 디스플레이 기술, 및 임의의 적합한 센서들(예컨대, 광학, 적외선, 음향, LIDAR, EOG, GPS, 자기)을 통합할 수 있다. 부가적으로, 혼합 현실 시스템(112)은 다른 혼합 현실 시스템들을 포함하는 다른 디바이스들 및 시스템과 통신하기 위한 네트워킹 특징부들(예컨대, Wi-Fi 능력)을 통합할 수 있다. 혼합 현실 시스템(112)은 배터리(사용자의 허리 주위에 장착되도록 설계된 벨트 팩과 같은 보조 유닛에 장착될 수 있음), 프로세서, 및 메모리를 더 포함할 수 있다. 혼합 현실 시스템(112)의 헤드-장착형 유닛은 사용자의 환경에 대한 헤드-장착형 유닛의 좌표들의 세트를 출력하도록 구성된 추적 컴포넌트들, 이를테면 IMU 또는 다른 적합한 센서들을 포함할 수 있다. 일부 예들에서, 추적 컴포넌트들은 SLAM(Simultaneous Localization and Mapping) 및/또는 시각적 오도메트리 알고리즘을 수행하는 프로세서에 입력을 제공할 수 있다. 일부 예들에서, 혼합 현실 시스템(112)은 또한, 아래에서 추가로 설명되는 바와 같이, 핸드헬드 제어기(300), 및/또는 웨어러블 벨트팩일 수 있는 보조 유닛(320)을 포함할 수 있다.
[0042] 도 2, 도 3a, 및 도 3b는 (MRE(150)에 대응할 수 있는) MRE를 사용자에게 제시하는 데 사용될 수 있는 (혼합 현실 시스템(112)에 대응할 수 있는) 예시적인 혼합 현실 시스템을 함께 예시한다. 도 2는 사용자의 헤드 상에 착용되도록 구성된 헤드-장착가능 시스템일 수 있는, 예시적인 혼합 현실 시스템의 예시적인 웨어러블 헤드 유닛(200)을 예시한다. 도시된 예에서, (예컨대, 웨어러블 증강 현실 또는 혼합 현실 헤드기어 유닛일 수 있는) 웨어러블 헤드 유닛(200)은 (좌측 및 우측 투과성 디스플레이들, 및 디스플레이들로부터 사용자의 눈들로 광을 커플링시키기 위한 연관된 컴포넌트들을 포함할 수 있는) 디스플레이; 좌측 및 우측 음향 구조들(예컨대, 사용자의 좌측 및 우측 귀들에 인접하게 각각 포지셔닝된 스피커들); 하나 이상의 센서들, 이를테면 레이더 센서들(송신 및/또는 수신 안테나들을 포함함), 적외선 센서들, 가속도계들, 자이로스코프들, 자력계들, GPS 유닛들, IMU(inertial measurement units), 음향 센서들; (예컨대, 좌측 안경다리 부분에 장착된) 직교 코일 전자기 수신기; 사용자로부터 떨어져 배향된 좌측 및 우측 카메라들(예컨대, 깊이(비행-시간) 카메라들); 및 (예컨대, 사용자의 눈 움직임들을 검출하기 위해) 사용자를 향해 배향된 좌측 및 우측 눈 카메라들을 포함한다. 그러나, 웨어러블 헤드 유닛(200)은 본 발명의 범위를 벗어나지 않으면서, 임의의 적합한 디스플레이 기술, 및 임의의 적합한 수 또는 타입의 컴포넌트들, 또는 컴포넌트들의 조합을 통합할 수 있다. 일부 예들에서, 웨어러블 헤드 유닛(200)은 사용자의 음성에 의해 생성된 오디오 신호들을 검출하도록 구성된 하나 이상의 마이크로폰들을 통합할 수 있으며; 그러한 마이크로폰들은 사용자의 입에 인접하게 웨어러블 헤드 유닛에 포지셔닝될 수 있다. 일부 예들에서, 웨어러블 헤드 유닛(200)은 다른 웨어러블 시스템들을 포함하는 다른 디바이스들 및 시스템들과 통신하기 위한 네트워킹 또는 무선 특징부들(예컨대, Wi-Fi 능력, 블루투스)을 통합할 수 있다. 웨어러블 헤드 유닛(200)은 배터리(사용자의 허리 주위에 장착되도록 설계된 벨트 팩과 같은 보조 유닛에 장착될 수 있음), 프로세서, 및 메모리를 더 포함할 수 있다. 일부 예들에서, 웨어러블 헤드 유닛(200)의 추적 컴포넌트들은 SLAM(Simultaneous Localization and Mapping) 및/또는 시각적 오도메트리 알고리즘을 수행하는 프로세서에 입력을 제공할 수 있다. 웨어러블 헤드 유닛(200)은 부가적인 시스템 컴포넌트들을 포함하는 혼합 현실 시스템의 제1 컴포넌트일 수 있다. 일부 예들에서, 그러한 웨어러블 시스템은 또한, 아래에서 추가로 설명되는 바와 같이, 핸드헬드 제어기(300), 및/또는 웨어러블 벨트 팩일 수 있는 보조 유닛(320)을 포함할 수 있다.
[0043] 도 3a는 예시적인 혼합 현실 시스템의 예시적인 핸드헬드 제어기 컴포넌트(300)를 예시한다. 일부 예들에서, 핸드헬드 제어기(300)는 그립 부분(346), 및 상단 표면(348)을 따라 배치된 하나 이상의 버튼들(350)을 포함한다. 일부 예들에서, 버튼들(350)은 광학 추적 타겟으로서 사용하도록, 예컨대 (일부 예들에서는 웨어러블 헤드 유닛(200)에 장착될 수 있는) 카메라 또는 다른 광학 센서와 함께 핸드헬드 제어기(300)의 6DOF(six-degree-of-freedom) 모션을 추적하도록 구성될 수 있다. 일부 예들에서, 핸드헬드 제어기(300)는 포지션 또는 배향, 이를테면 웨어러블 헤드 유닛 또는 벨트 팩에 대한 포지션 또는 배향을 검출하기 위한 추적 컴포넌트들(예컨대, IMU, 레이더 센서들(송신 및/또는 수신 안테나들을 포함함), 또는 다른 적합한 센서들 또는 회로부)을 포함한다. 일부 예들에서, 그러한 추적 컴포넌트들은 핸드헬드 제어기(300)의 핸들에 그리고 핸드헬드 제어기(300)의 표면(예컨대, 그립 부분(346), 상단 표면(348), 및/또는 하단 표면(352))으로부터 바깥쪽을 향하게 포지셔닝될 수 있고, 그리고/또는 핸드헬드 제어기에 기계식으로 커플링될 수 있다. 핸드헬드 제어기(300)는, 버튼들의 눌려진 상태; 또는 핸드헬드 제어기(300)의 포지션, 배향, 및/또는 모션 중 하나 이상에 대응하는 하나 이상의 출력 신호들을 (예컨대, IMU를 통해) 제공하도록 구성될 수 있다. 그러한 출력 신호들은 웨어러블 헤드 유닛(200), 핸드헬드 제어기(300), 또는 혼합 현실 시스템(예컨대, 웨어러블 혼합 현실 시스템)의 다른 컴포넌트의 프로세서에 대한 입력으로서 사용될 수 있다. 그러한 입력은 핸드헬드 제어기의 포지션, 배향, 및/또는 움직임에(그리고 확장하여, 제어기를 홀딩하는 사용자의 손의 포지션, 배향, 및/또는 움직임에) 대응할 수 있다. 그러한 입력은 또한 사용자가 버튼들(350)을 누르는 것에 대응할 수 있다. 일부 예들에서, 핸드헬드 제어기(300)는 프로세서, 메모리, 또는 다른 적합한 컴퓨터 시스템 컴포넌트들을 포함할 수 있다. 핸드헬드 제어기(300)의 프로세서는, 예컨대 본 명세서에 개시된 임의의 적합한 프로세스를 실행하는 데 사용될 수 있다.
[0044] 도 3b는 웨어러블 혼합 현실 시스템과 같은 혼합 현실 시스템의 예시적인 보조 유닛(320)을 예시한다. 보조 유닛(320)은, 예컨대 웨어러블 헤드 유닛(200) 및/또는 핸드헬드 제어기(300) 내의 디스플레이들 및/또는 음향 구조들을 포함하여 그 웨어러블 헤드 유닛(200) 및/또는 핸드헬드 제어기(300)를 동작시키기 위한 에너지를 제공하기 위한 하나 이상의 배터리들; (본 명세서에 개시된 임의의 적합한 프로세스를 실행할 수 있는) 프로세서; 메모리; 또는 웨어러블 시스템의 임의의 다른 적합한 컴포넌트들을 포함할 수 있다. 헤드-장착형 유닛들(예컨대, 웨어러블 헤드 유닛(200)) 또는 핸드헬드 유닛들(예컨대, 핸드헬드 제어기(300))과 비교하여, 보조 유닛(320)은 큰 또는 무거운 컴포넌트들(예컨대, 배터리들)을 하우징하기에 더 양호하게 적합할 수 있는데, 이는 보조 유닛이, 사용자의 신체 중, 무거운 아이템들에 의해 쉽게 피로해지지 않고 비교적 강한 부위들, 이를테면 허리 또는 등 상에 보다 쉽게 포지셔닝될 수 있기 때문이다.
[0045] 일부 예들에서, 감지 및/또는 추적 컴포넌트들은 보조 유닛(320)에 포지셔닝될 수 있다. 그러한 컴포넌트들은, 예컨대 하나 이상의 IMU들 및/또는 레이더 센서들(송신 및/또는 수신 안테나들을 포함함)을 포함할 수 있다. 일부 예들에서, 보조 유닛(320)은 핸드헬드 제어기(300); 웨어러블 헤드 유닛(200); 또는 보조 유닛 그 자체의 포지션들 및/또는 배향들(예컨대, 6DOF 위치들)을 결정하기 위해 그러한 컴포넌트들을 사용할 수 있다. 예에 도시된 바와 같이, 보조 유닛(320)은 보조 유닛(320)을 사용자의 벨트에 부착하기 위한 클립(2128)을 포함할 수 있다. 유닛을 사용자의 벨트에 장착하는 것을 수반하지 않는 폼 팩터들을 포함하여, 다른 폼 팩터들이 보조 유닛(320)에 적합하며 자명할 것이다. 일부 예들에서, 보조 유닛(320)은, 예컨대 전기 와이어들 및 광섬유들을 포함할 수 있는 다중도관 케이블을 통해 웨어러블 헤드 유닛(200)에 커플링될 수 있다. 보조 유닛(320)으로의 그리고 그로부터의 무선 연결들이 또한 사용될 수 있다(예컨대, 블루투스, Wi-Fi, 또는 임의의 다른 적합한 무선 기술).
[0046] 도 4는 예시적인 혼합 현실 시스템(예컨대, 도 2, 도 3a, 도 3b에 관해 위에서 설명된 컴포넌트들 중 하나 이상을 포함하는 혼합 현실 시스템)에 대응할 수 있는 예시적인 기능 블록 다이어그램을 도시한다. 도 4에 도시된 바와 같이, (핸드헬드 제어기(300)("토템")에 대응할 수 있는) 예시적인 핸드헬드 제어기(400B)는 토템-헤드기어 6DOF(six degree of freedom) 토템 서브시스템(404A) 및 센서들(407)을 포함할 수 있으며; (웨어러블 헤드 유닛(200)에 대응할 수 있는) 예시적인 증강 현실 헤드기어(400A)는 토템-헤드기어 6DOF 헤드기어 서브시스템(404B)을 포함할 수 있다. 이러한 예에서, 6DOF 토템 서브시스템(404A) 및 6DOF 헤드기어 서브시스템(404B)은, 증강 현실 헤드기어(400A)에 대한(예컨대, 증강 현실 헤드기어(400A)의 좌표계에 대한) 핸드헬드 제어기(400B)의 3개의 포지션 좌표들 및 3개의 회전 좌표들을 별개로 또는 집합적으로 결정할 수 있다. 3개의 포지션들은 그러한 좌표계에서 X, Y, 및 Z 값들로서; 병진이동 매트릭스로서; 또는 일부 다른 표현으로서 표현될 수 있다. 포지션 좌표들은, 이를테면 레이더, 소나, GPS, 또는 다른 센서들을 수반하는 임의의 적합한 포지셔닝 기법을 통해 결정될 수 있다. 회전 좌표들은, 요(yaw), 피치(pitch), 및 롤(roll) 회전들의 시퀀스로서; 회전 매트릭스로서; 쿼터니온(quaternion)으로서; 또는 일부 다른 표현으로서 표현될 수 있다.
[0047] 일부 예들에서, 웨어러블 헤드 유닛(400A); 웨어러블 헤드 유닛(400A)에 포함된 하나 이상의 깊이 카메라들(444)(및/또는 하나 이상의 비-깊이 카메라들); 및/또는 하나 이상의 광학 타겟들(예컨대, 위에서 설명된 바와 같은 핸드헬드 제어기(400B)의 버튼들(350), 또는 핸드헬드 제어기(400B)에 포함된 전용 광학 타겟들)이 6DOF 추적을 위해 사용될 수 있다. 일부 예들에서, 핸드헬드 제어기(400B)는 위에서 설명된 바와 같은 카메라를 포함할 수 있고; 웨어러블 헤드 유닛(400A)은 카메라와 함께 광학 추적을 위한 광학 타겟을 포함할 수 있다.
[0048] 일부 예들에서, 로컬 좌표 공간(예컨대, 웨어러블 헤드 유닛(400A)에 대해 고정된 좌표 공간)으로부터 관성 좌표 공간(예컨대, 실제 환경에 대해 고정된 좌표 공간)으로 좌표들을 변환하는 것이 필요하게 될 수 있다. 예컨대, 그러한 변환들은, 웨어러블 헤드 유닛(400A)의 디스플레이가 디스플레이 상의 고정된 포지션 및 배향에서보다는(예컨대, 디스플레이의 우측 하부 코너에서 동일한 포지션에서보다는), 실제 환경에 대한 예상되는 포지션 및 배향에서 가상 오브젝트(예컨대, 헤드기어의 포지션 및 배향에 관계없이, 실제 환경에서 전방을 향해 실제 의자에 앉아있는 가상 사람)를 제시하기 위해 필요할 수 있다. 이것은 가상 오브젝트가 실제 환경에 존재한다는 환상(illusion)을 보존할 수 있다(그리고, 예컨대 웨어러블 헤드 유닛(400A)이 시프트하고 회전함에 따라, 실제 환경에서 부자연스럽게 시프트 또는 회전하지 않음). 일부 예들에서, 좌표 공간들 사이의 보상 변환은, 좌표계에 대한 헤드기어의 변환을 결정하기 위해 (예컨대, SLAM 및/또는 시각적 오도메트리 기법들을 사용하여) 깊이 카메라들(444)로부터의 이미저리(imagery)를 프로세싱함으로써 결정될 수 있다. 도 4에 도시된 예에서, 깊이 카메라들(444)은 SLAM/시각적 오도메트리 블록(406)에 커플링될 수 있고, 이미저리를 블록(406)에 제공할 수 있다. SLAM/시각적 오도메트리 블록(406) 구현은, 이러한 이미저리를 프로세싱하고 사용자의 헤드의 포지션 및 배향을 결정하도록 구성된 프로세서를 포함할 수 있으며, 그 포지션 및 배향은 이어서, 헤드 좌표 공간과 실제 좌표 공간 사이의 변환을 식별하는 데 사용될 수 있다. 유사하게, 일부 예들에서, 사용자의 헤드 포즈 및 위치에 대한 정보의 부가적인 소스는 IMU(409)(또는 다른 적합한 센서, 이를테면 가속도계 또는 자이로스코프)로부터 획득된다. IMU(409)로부터의 정보는, 사용자의 헤드 포즈 및 포지션의 신속한 조정들에 대한 개선된 정확도 및/또는 더 시기적절한 정보를 제공하기 위해 SLAM/시각적 오도메트리 블록(406)으로부터의 정보와 통합될 수 있다.
[0049] 일부 예들에서, 깊이 카메라들(444)은, 웨어러블 헤드 유닛(400A)의 프로세서에 구현될 수 있는 손 제스처 추적기(411)에 3D 이미저리를 공급할 수 있다. 손 제스처 추적기(411)는, 예컨대 깊이 카메라들(444)로부터 수신된 3D 이미저리를 손 제스처들을 표현하는 저장된 패턴에 매칭시킴으로써 사용자의 손 제스처들을 식별할 수 있다. 사용자의 손 제스처들을 식별하는 다른 적합한 기법들이 자명할 것이다.
[0050] 일부 예들에서, 하나 이상의 프로세서들(416)은 웨어러블 헤드 유닛의 헤드기어 서브시스템(404B), 레이더 센서(408), IMU(409), SLAM/시각적 오도메트리 블록(406), 깊이 카메라들(444), 마이크로폰(450), 및/또는 손 제스처 추적기(411)로부터 데이터를 수신하도록 구성될 수 있다. 프로세서(416)는 또한, 제어 신호들을 전송하고 토템 시스템(404A)으로부터 제어 신호들을 수신할 수 있다. 프로세서(416)는, 이를테면 핸드헬드 제어기(400B)가 다른 시스템 컴포넌트들에 테더링되지 않은(untether) 예들에서 토템 시스템(404A)에 무선으로 커플링될 수 있다. 프로세서(416)는 부가적인 컴포넌트들, 이를테면 시청각 콘텐츠 메모리(418), GPU(Graphical Processing Unit)(420), 및/또는 DSP(Digital Signal Processor) 오디오 공간화기(422)와 추가로 통신할 수 있다. DSP 오디오 공간화기(422)는 HRTF(Head Related Transfer Function) 메모리(425)에 커플링될 수 있다. GPU(420)는 이미지와이즈(imagewise) 변조된 광의 좌측 소스(424)에 커플링된 좌측 채널 출력 및 이미지와이즈 변조된 광의 우측 소스(426)에 커플링된 우측 채널 출력을 포함할 수 있다. GPU(420)는 입체 이미지 데이터를 이미지와이즈 변조된 광의 소스들(424, 426)로 출력할 수 있다. DSP 오디오 공간화기(422)는 오디오를 좌측 스피커(412) 및/또는 우측 스피커(414)로 출력할 수 있다. DSP 오디오 공간화기(422)는, 사용자로부터 (예컨대, 핸드헬드 제어기(320)를 통하여 사용자에 의해 이동될 수 있는) 가상 사운드 소스로의 방향 벡터를 표시하는 입력을 프로세서(419)로부터 수신할 수 있다. 방향 벡터에 기반하여, DSP 오디오 공간화기(422)는 (예컨대, HRTF에 액세스함으로써 또는 다수의 HRTF들을 보간함으로써) 대응하는 HRTF를 결정할 수 있다. 이어서, DSP 오디오 공간화기(422)는 결정된 HRTF를 오디오 신호, 이를테면 가상 오브젝트에 의해 생성된 가상 사운드에 대응하는 오디오 신호에 적용할 수 있다. 이것은, 혼합 현실 환경에서 가상 사운드에 대한 사용자의 상대적인 포지션 및 배향을 통합함으로써, 즉 가상 사운드가 실제 환경에서 실제 사운드인 것처럼 그 가상 사운드가 들릴 사용자의 예상들과 매칭하는 가상 사운드를 제시함으로써, 가상 사운드의 신뢰성(believability) 및 현실성을 향상시킬 수 있다.
[0051] 일부 예들에서, 도 4에 도시된 일부 예들에서, 프로세서(416), GPU(420), DSP 오디오 공간화기(422), HRTF 메모리(425), 및 오디오/시각적 콘텐츠 메모리(418) 중 하나 이상은 (위에서 설명된 보조 유닛(320)에 대응할 수 있는) 보조 유닛(400C)에 포함될 수 있다. 보조 유닛(400C)은 그의 컴포넌트들에 전력공급하고 그리고/또는 전력을 다른 시스템 컴포넌트, 이를테면 웨어러블 헤드 유닛(400A) 및/또는 핸드헬드 제어기(400B)에 공급하기 위한 배터리(427)를 포함할 수 있다. 사용자의 허리에 장착될 수 있는 보조 유닛에 그러한 컴포넌트들을 포함시키는 것은 웨어러블 헤드 유닛(400A)의 사이즈 및 무게를 제한할 수 있으며, 이는 결국, 사용자의 헤드 및 목의 피로를 감소시킬 수 있다.
[0052] 도 4가 예시적인 혼합 현실 시스템의 다양한 컴포넌트들에 대응하는 엘리먼트들을 제시하지만, 이들 컴포넌트들의 다양한 다른 적합한 어레인지먼트들은 당업자들에게 자명하게 될 것이다. 예컨대, 보조 유닛(400C)과 연관되는 것으로 도 4에 제시된 엘리먼트들은 대신, 웨어러블 헤드 유닛(400A) 및/또는 핸드헬드 제어기(400B)와 연관될 수 있다. 그리고, 웨어러블 헤드 유닛(400A), 핸드헬드 제어기(400B), 및 보조 유닛(400C) 중 하나 이상은 본 명세서에 개시된 방법들 중 하나 이상을 실행할 수 있는 프로세서를 포함할 수 있다. 더욱이, 일부 혼합 현실 시스템들은 핸드헬드 제어기(400B) 또는 보조 유닛(400C)을 완전히 포기(forgo)할 수 있다. 그러한 변화들 및 수정들은 개시된 예들의 범위 내에 포함되는 것으로 이해될 것이다.
[0053] 도 5는 (웨어러블 혼합 현실 시스템을 포함하는 혼합 현실 시스템의 컴포넌트일 수 있는) 클라이언트 디바이스(510)가 통신 네트워크(530)를 통해 서버(520)와 통신하는 예시적인 구성을 도시한다. 클라이언트 디바이스(510)는, 예컨대 위에서 설명된 바와 같이 웨어러블 헤드 유닛(200), 핸드헬드 제어기(300), 및 보조 유닛(320) 중 하나 이상을 포함할 수 있다. 서버(520)는 (예컨대, 하나 이상의 클라우드 서버들을 포함할 수 있는) 하나 이상의 전용 서버 머신들을 포함할 수 있지만; 일부 예들에서는, 서버로서 거동할 수 있는, 웨어러블 헤드 유닛(200), 핸드헬드 제어기(300), 및/또는 보조 유닛(320) 중 하나 이상을 포함할 수 있다. 서버(520)는 통신 네트워크(530)를 통해(예컨대, 인터넷을 통해 그리고/또는 무선 네트워크를 통해), 클라이언트 컴포넌트(510)를 포함하는 하나 이상의 클라이언트 디바이스들과 통신할 수 있다. 서버(520)는 하나 또는 다수의 사용자들이 (예컨대, 각각의 사용자에 대응하는 클라이언트 디바이스를 통해) 상호작용할 수 있는 지속적인 세계 상태를 유지할 수 있다. 부가적으로, 서버(520)는 "씬(thin)" 클라이언트 하드웨어 상에서 실행되는 것이 금지될 컴퓨테이셔널적으로 집약적인 연산들을 수행할 수 있다. 도 5에 도시된 예에 부가하여 다른 클라이언트-서버 토폴로지(topology)들이 자명할 것이며; 예컨대, 일부 예들에서, 웨어러블 시스템은 다른 웨어러블 시스템 클라이언트들에 대해 서버로서 작용할 수 있다. 부가적으로, 일부 예들에서, 웨어러블 시스템들은 피어-투-피어 네트워크를 통해 정보를 통신하고 공유할 수 있다. 본 개시내용은 네트워킹된 컴포넌트들의 임의의 특정한 토폴로지로 제한되지 않는다. 추가로, 본 명세서의 개시내용의 예들은 클라이언트 및 서버 디바이스들에 속하는 프로세서들을 포함하여 클라이언트 및/또는 서버 컴포넌트들의 임의의 적합한 조합 상에서 구현될 수 있다.
[0054] 가상 사운드들
[0055] 위에서 설명된 바와 같이, (이를테면, 위에서 설명된 웨어러블 헤드 유닛(200), 핸드헬드 제어기(300), 또는 보조 유닛(320)과 같은 컴포넌트들을 포함할 수 있는 혼합 현실 시스템, 예컨대 혼합 현실 시스템(112)을 통해 경험되는) MRE는, MRE에서 원점 좌표를 갖는 사운드 소스에서 발생하고 MRE에서 배향 벡터의 방향으로 이동되는 것으로 MRE의 사용자에게 나타나는 오디오 신호들을 제시할 수 있다. 즉, 사용자는, 이들 오디오 신호들이 사운드 소스의 원점 좌표로부터 발생하고 배향 벡터를 따라 이동하는 실제 오디오 신호들인 것처럼 이들 오디오 신호들을 지각할 수 있다.
[0056] 일부 경우들에서, 오디오 신호들은, 그들이 가상 환경에서 컴퓨테이셔널 신호들에 대응한다는 점에서 가상으로 고려될 수 있다. 가상 오디오 신호들은 사람 귀에 의해 검출가능한 실제 오디오 신호들로서, 예컨대 도 2의 웨어러블 헤드 유닛(200)의 스피커들(2134 및 2136)을 통해 생성되는 것으로 사용자에게 제시될 수 있다.
[0057] 사운드 소스는 실제 오브젝트 및/또는 가상 오브젝트에 대응할 수 있다. 예컨대, 가상 오브젝트(예컨대, 도 1c의 가상 몬스터(132))는 MRE에서 오디오 신호를 방출할 수 있으며, 그 오디오 신호는 MRE에서 가상 오디오 신호로서 표현되고, 실제 오디오 신호로서 사용자에게 제시된다. 예컨대, 도 1c의 가상 몬스터(132)는 몬스터의 스피치(예컨대, 대화) 또는 사운드 효과들에 대응하는 가상 사운드를 방출할 수 있다. 유사하게, 실제 오브젝트(예컨대, 도 1c의 실제 오브젝트(122A))는 MRE에서 가상 오디오 신호를 방출하는 것으로 나타나게 만들어질 수 있으며, 그 가상 오디오 신호는 MRE에서 가상 오디오 신호로서 표현되고, 실제 오디오 신호로서 사용자에게 제시된다. 예컨대, 실제 램프(122A)는, 램프가 실제 환경에서 스위칭 온 또는 오프되지 않더라도, 램프가 스위칭 온 또는 오프되는 사운드 효과에 대응하는 가상 사운드를 방출할 수 있다. 가상 사운드는 (실제이든 또는 가상이든) 사운드 소스의 포지션 및 배향에 대응할 수 있다. 예컨대, 가상 사운드가 (예컨대, 스피커들(2134 및 2136)을 통해) 실제 오디오 신호로서 사용자에게 제시되면, 사용자는 사운드 소스의 포지션으로부터 발생하고 사운드 소스의 배향 방향으로 이동하는 것으로 가상 사운드를 지각할 수 있다. 사운드 소스들은, 사운드를 명백하게 방출하게 만들어진 기본 오브젝트 그 자체가 위에서 설명된 바와 같이 실제 또는 가상 오브젝트에 대응할 수 있더라도, 본 명세서에서 "가상 사운드 소스들"로 지칭된다.
[0058] 일부 가상 또는 혼합 현실 환경들은 환경들이 실제나 진본으로 느껴지지 않는다는 지각을 겪는다. 이러한 지각에 대한 하나의 이유는 오디오 및 시각적 큐들이 그러한 환경들에서 항상 서로 매칭하지는 않는다는 것이다. 예컨대, 사용자가 MRE에서 큰 벽돌 벽 뒤에 포지셔닝되면, 사용자는 벽돌 벽 뒤에서 나오는 사운드들이 사용자 바로 옆에서 발생하는 사운드들보다 더 조용하고 더 소리가 약한 것으로 예상할 수 있다. 이러한 예상은 실세계에서의 사용자의 청각적 경험들에 기반하며, 여기서 사운드들은 그들이 크고 조밀한 오브젝트들을 통과할 경우 조용해지고 소리가 약해진다. 사용자가 벽돌 벽 뒤로부터 의도적으로 발생하지만 소리가 약하지 않고 큰 볼륨으로 제시되는 오디오 신호를 제시받는 경우, 사운드가 벽돌 벽 뒤로부터 발생한다는 환상이 손상된다. 전체 가상 경험은, 부분적으로는 그 경험이 실세계 상호작용들에 기반한 사용자 예상들과 어울리지 않기 때문에 위조되고 진짜가 아니라고 느낄 수 있다. 추가로, 일부 경우들에서, "언캐니 밸리(uncanny valley)" 문제점이 발생하며, 여기서 가상 경험들과 실제 경험들 사이의 미묘한 차이들도 불편함의 강화된 느낌들을 야기할 수 있다. 미묘한 방식이더라도 사용자의 환경 내의 오브젝트들과 현실적으로 상호작용하는 것으로 나타나는 오디오 신호들을 MRE에서 제시함으로써 사용자의 경험을 개선시키는 것이 바람직하다. 그러한 오디오 신호들이 실세계 경험에 기반하여 사용자의 예상들과 더 일치될수록, MRE에서의 사용자의 경험이 더 몰입적이고 더 인상적일 수 있다.
[0059] 사용자들이 그들 주위의 환경을 지각하고 이해하는 하나의 방식은 오디오 큐들을 통하는 것이다. 실세계에서, 사용자들이 듣는 실제 오디오 신호들은, 이들 오디오 신호들이 어디로부터 발생하는지, 이들 오디오 신호들이 어느 방향으로 전파되는지, 및 오디오 신호들이 어떤 오브젝트들과 상호작용하는지에 의해 영향을 받는다. 예컨대, 다른 모든 인자들이 동일하면, 사용자로부터 먼 거리에서 발생하는 사운드(예컨대, 먼 거리에서 짖는 개)는 사용자로부터 짧은 거리에서 발생하는 동일한 사운드(예컨대, 사용자와 동일한 룸에서 짖는 개)보다 더 조용하게 나타날 것이다. 따라서, 사용자는 그 짖는 소리의 지각된 볼륨에 부분적으로 기반하여 실제 환경에서 개의 위치를 식별할 수 있다. 마찬가지로, 다른 모든 인자들이 동일하면, 사용자로부터 멀어지게 이동하는 사운드(예컨대, 사용자로부터 멀어지는 쪽을 향하는 사람의 음성)는 사용자를 향해 이동하는 동일한 사운드(예컨대, 사용자를 향하는 사람의 음성)보다 덜 선명하고 더 소리가 약하게(즉, 저역-통과 필터링되게) 나타날 것이다. 따라서, 사용자는 그 사람의 음성의 지각된 특성들에 기반하여 실제 환경에서 사람의 배향을 식별할 수 있다.
[0060] 실제 오디오 신호들의 사용자의 지각은 또한, 오디오 신호들이 상호작용하는 환경 내의 오브젝트들의 존재에 의해 영향을 받을 수 있다. 즉, 사용자는 사운드 소스에 의해 생성된 오디오 신호 뿐만 아니라 근처의 오브젝트들에 대한 그 오디오 신호의 잔향들을 지각할 수 있다. 예컨대, 사람이 벽들이 가까운 작은 룸에서 말하면, 사람의 음성이 벽들로부터 반사되므로, 이들 벽들은 짧고 자연스러운 잔향된 신호들이 발생하게 할 수 있다. 사용자는 벽들이 가까운 작은 룸에 그들이 있다고 이들 잔향들로부터 추론할 수 있다. 마찬가지로, 큰 콘서트 홀 또는 대성당은 더 긴 잔향들을 야기할 수 있으며, 그 잔향들로부터, 사용자는 그들이 크고 넓은 룸에 있다고 추론할 수 있다. 유사하게, 오디오 신호들의 잔향들은, 이들 신호들이 반사되는 표면들의 포지션 또는 배향, 또는 이들 표면들의 재료들에 기반하여 다양한 소리 특성들을 취할 수 있다. 예컨대, 타일 벽들에 대한 잔향들은 벽돌, 카펫, 건식벽, 또는 다른 재료들에 대한 잔향들과 상이하게 소리가 날 것이다. 이들 잔향 특성들은, 사용자가 거주하는 공간의 사이즈, 형상, 및 재료 조성을 음향적으로 이해하도록 사용자에 의해 사용될 수 있다.
[0061] 위의 예들은 오디오 큐들이 사용자 주위의 환경을 사용자의 지각에게 어떻게 통지할 수 있는지를 예시한다. 이들 큐들은 시각적 큐들과 조합하여 작용할 수 있으며: 예컨대, 사용자가 먼 거리에 있는 개를 보면, 사용자는 그 개의 짖는 소리의 사운드가 그 거리와 일치할 것으로 예상할 수 있다(그리고, 일부 가상 환경들에서와 같이, 그렇지 않다면 당황하거나 혼란스럽게 느낄 수 있음). 일부 예들에서, 이를테면 저조도 환경들에서, 또는 시각 장애 사용자들에 대해, 시각적 큐들은 제한되거나 이용가능하지 않을 수 있으며; 그러한 경우들에서, 오디오 큐들은 특히 중요할 수 있고, 사용자의 환경을 이해하는 사용자의 주요 수단으로서 기능할 수 있다.
[0062] MRE 내의 오브젝트들에 기반하여 현실적인 잔향 효과들을 통합하는 방식으로 MRE에서 가상 오디오 신호들을 사용자에게 제시하여, 사용자가 그들의 물리적 공간에서 현실적으로 존재하는 것으로 가상 오디오 신호들을 이해할 수 있게 하는 것이 바람직할 수 있다. 일부 혼합 현실 시스템들은 MRE에서의 사용자의 청각적 경험과 실세계에서의 사용자의 청각적 경험 사이에 불협화를 생성할 수 있어서, MRE 내의 오디오 신호들이 상당히 올바르지 않은 것처럼 보이게 된다(예컨대, "언캐니 밸리" 문제점). 다른 혼합 현실 오디오 시스템들과 비교하여, 본 개시내용은 사용자의 포지션, 배향, 사용자의 환경 내의 오브젝트들의 속성들, 사용자의 환경의 속성들, 및 오디오 신호들 및 환경에 대한 다른 특성들을 고려함으로써 오디오 신호들의 더 미묘하고 믿을 수 있는 제시를 허용할 수 있다. MRE의 사용자에게, 그들의 일상 생활의 오디오 경험들을 일깨우는 오디오 경험을 제시함으로써, MRE는, MRE에 관여될 경우 사용자의 몰입감 및 유대감을 향상시킬 수 있다.
[0063] 도 6은 일부 실시예들에 따른, 혼합 현실 환경(예컨대, 도 1c의 혼합 현실 환경(150))의 사용자에게 가상 오디오 신호를 제시하는 예시적인 프로세스(600)를 설명한다. 사용자는 도 1 내지 도 4에 관해 위에서 설명된 바와 같이 웨어러블 혼합 현실 시스템을 사용하고 있을 수 있다. 프로세스(600)에 따르면, 오디오 이벤트(610)가 식별될 수 있다. 오디오 이벤트(610)는 하나 이상의 오디오 자산들(예컨대, 마이크로폰 또는 네트워크로부터의 파형 오디오 파일 또는 라이브 오디오 스트림)과 연관될 수 있고, MRE의 좌표계에서 포지션 및 배향을 가질 수 있다. 사용자의 음향 공간 내에 있는(예컨대, 사용자가 듣기에 충분히 가까운) 오디오 이벤트들은 웨어러블 헤드 유닛(200)의 스피커들(2134 및 2136)과 같은 스피커들을 통해 사용자에게 제시될 수 있다.
[0064] 예시적인 프로세스(600)에 따르면, 그러한 오디오 이벤트들은 다음과 같이 웨어러블 혼합 현실 시스템의 사용자에게 제시될 수 있다. 스테이지(620)에서, 오디오 이벤트(610)와 연관된 하나 이상의 원시(raw) 오디오 자산들은 웨어러블 시스템의 메모리에 로딩되거나, 또는 그렇지 않으면 (예컨대, 오디오 스트림의 일부를 스트리밍 오디오 버퍼에 로딩함으로써) 웨어러블 시스템을 통한 제시를 위해 준비될 수 있다. 원시 오디오 자산은 하나 이상의 정적 오디오 파일들, 또는 그러한 오디오 파일들의 일부(예컨대, 파일들의 하나 이상의 샘플들)를 포함할 수 있고; 그리고/또는 실시간 오디오 피드(feed), 이를테면 마이크로폰의 출력, 또는 인터넷을 통해 수신되는 오디오 스트림을 포함할 수 있다. 일부 예들에서, 그러한 원시 오디오 자산들은 최소의 효과들 또는 프로세싱이 원시 오디오 자산들에 적용되어 "드라이(dry)"인 것이 바람직할 수 있다.
[0065] 스테이지(630)에서, 프로세싱된 오디오 신호를 생성하기 위해 스테이지(640)에서 원시 오디오 자산에 적용될 경우, 사용자의 현재 음향 환경(예컨대, 현재의 "룸")과 일치하는 소리 특성들을 부가함으로써 오디오 자산을 향상시킬 수 있는 하나 이상의 음향 파라미터들이 결정될 수 있다. 이들 음향 파라미터들은, 룸이 그 룸 내에서 생성된 기본 사운드에 부여할 음향 효과들에 대응할 수 있다. 그러한 음향 파라미터들은, 예컨대 기본 사운드의 감쇠(예컨대, 볼륨 감소); 기본 사운드의 필터링(예컨대, 저역-통과 필터); 기본 사운드의 위상 시프트; 기본 사운드의 피치 변조; 또는 다른 음향 효과들에 대응하는 파라미터들을 포함할 수 있다. 음향 파라미터들은 또한, 잔향 및 에코 효과들을 기본 사운드에 적용하기 위한 잔향 엔진에 대한 입력 파라미터들(예컨대, 웨트(wet)/드라이 레벨, 어택(attack)/감쇠 시간)을 포함할 수 있다. 따라서, 스테이지(640)에 의해 출력된 프로세싱된 오디오 신호는 룸의 벽들, 표면들, 및/또는 오브젝트들에 의해 원시 오디오 자산에 부여될 잔향, 감쇠, 필터링, 또는 다른 효과들의 시뮬레이션을 통합할 수 있다. 스테이지(640)에서의 음향 파라미터들의 적용은, 프로세싱된 오디오 신호를 생성하기 위한, 음향 파라미터들에 기반한 하나 이상의 전달 함수들(예컨대, 전달 함수 H(t))과 원시 오디오 자산의 콘볼루션(convolution)으로서 설명될 수 있다. 이러한 프로세스는, 원시 오디오 자산 및 적절한 입력 파라미터들이 공급되는 오디오 엔진(잔향 엔진을 포함할 수 있음)에 의해 수행될 수 있다. 스테이지(630)에서의 음향 파라미터들의 결정은 아래에서 더 상세히 설명된다.
[0066] 스테이지(640)에서 생성된 오디오 신호는, 사용자에 의해 직접 지각가능하지 않지만 하나 이상의 스피커들(예컨대 스피커들(2134 및/또는 2136))에 의해 실제 오디오 신호로 변환될 수 있어서, 그 오디오 신호가 사용자에 의해 들릴 수 있는 가상 오디오 신호일 수 있다. 예컨대, 오디오 신호는, 프로세싱된 오디오 신호가 발생하는 혼합 현실 환경 내의 좌표; MRE 내의 벡터(그 벡터를 따라, 프로세싱된 오디오 신호가 전파됨); 프로세싱된 오디오 신호가 발생한 시간; 프로세싱된 오디오 신호가 전파되는 속도; 또는 다른 적합한 특성들을 포함하는 컴퓨테이셔널 표현일 수 있다. 스테이지(650)에서, 하나 이상의 가상 오디오 신호들은, 이를테면 웨어러블 헤드 유닛(200)의 스피커 구성에 대응하는 하나 이상 채널들로 믹스 다운(mix down)될 수 있다. 예컨대, 스테이지(650)에서, 가상 오디오 신호들은 스테레오 스피커 구성의 좌측 및 우측 채널들로 믹스 다운될 수 있다. 스테이지(660)에서, 이들 믹스 다운된 신호들은 스피커를 통해 출력되며; 예컨대, 디지털 오디오 데이터는 (예컨대, 도 4의 DSP 오디오 공간화기(422)의 일부로서) 디지털-아날로그 변환기를 통해 아날로그 신호로 변환되고; 이어서 증폭되어 스피커를 구동시키도록 사용되어, 사용자에 의해 지각가능한 사운드를 생성할 수 있다.
[0067] 도 7은 예시적인 프로세스(600)의 스테이지(630)에 관해 위에서 설명된 바와 같이, 오디오 이벤트에 대한 음향 파라미터들을 결정하기 위한 예시적인 프로세스(700)를 설명한다. 예시적인 프로세스(700)는, 예컨대 웨어러블 헤드 유닛(200) 및/또는 서버, 이를테면 위에서 설명된 서버(520)의 하나 이상의 프로세서들 상에서 실행될 수 있다. 위에서 설명된 바와 같이, 그러한 음향 파라미터들은 오디오 이벤트가 발생하는 룸의 음향 특성들을 표현할 수 있다. 이들 음향 특성들 및 그에 따른 음향 파라미터들은 주로, 룸의 물리적 치수들; 룸에 존재하는 오브젝트들, 및 이들 오브젝트들의 사이즈 및 형상; 룸 내의 임의의 오브젝트들 및 룸 표면들의 재료들 등에 기반하여/그들에 관해 결정된다. 룸의 이들 특성들이 시간에 걸쳐 일정하게 유지될 수 있으므로, 그 룸의 음향 특성들을 설명하는 음향 파라미터들의 세트("음향 지문")와 MRE 내의 개별 룸을 연관시키는 것이 유익할 수 있다. 이러한 구성은 여러가지 잠재적인 장점들을 보유한다. 룸마다 음향 지문들을 생성, 저장, 및 리트리빙(retrieve)함으로써, 음향 파라미터들은 사용자가 룸에 진입할 때마다 그러한 파라미터들을 재생성할 필요 없이, 쉽고 효율적으로 관리, 교환, 및 업데이트될 수 있다. 부가적으로, 아래에서 설명되는 바와 같이, 이러한 구성은 2개 이상의 룸들의 합성을 설명하는 음향 파라미터들을 생성하는 프로세스를 간략화할 수 있다. 추가로, MRE 내의 물리적 공간에 관한 사용자의 청각적 경험이 (그것이 실세계 청각적 공간들에서 이루어지는 것처럼) 시간에 걸쳐 일관되게 유지되므로, 룸에 대한 음향 파라미터들이 시간에 걸쳐 지속되게 허용하는 것은 몰입의 느낌들을 향상시킬 수 있다. 그리고 게다가, 음향 파라미터들의 동일한 세트가 다수의 사용자들에게 제공될 수 있기 때문에, 단일의 공유된 공간 내의 다수의 사용자들은 공통의 청각적 경험을 겪어서, 이들 사용자들 간의 유대감들을 향상시킬 수 있다.
[0068] 예시적인 프로세스(700)는, 음향 파라미터들이 룸마다 저장되는 시스템을 설명한다(그러나, 다른 적합한 구성들이 가능하고, 본 개시내용의 범위 내에 있음). 프로세스(700)의 스테이지(710)에서, 룸이 오디오 이벤트에 대해 식별되며; 이러한 룸은, 오디오 이벤트에 적용되어야 하는 오디오 파라미터들의 세트를 결정할 수 있다. 룸은 혼합 현실 시스템의 하나 이상의 센서들(예컨대, 웨어러블 헤드 유닛(200)의 센서들)을 사용하여 식별될 수 있다. 예컨대, 웨어러블 헤드 유닛(200)의 GPS 모듈은 사용자의 위치를 식별할 수 있으며, 이 위치는 그 위치에 대응하는 룸을 결정하는 데 사용될 수 있다. 일부 예들에서, 사용자의 위치는 근처의 Wi-Fi 수신기들 또는 셀룰러 안테나들의 위치들에 기반한 삼각측량에 의해 결정될 수 있다. 일부 예들에서, LIDAR, 깊이 카메라들, RGB 카메라들 등과 같은 센서들은 사용자의 현재 주변들을 식별하는 데 사용될 수 있고, 센서 출력은 센서 출력에 대응하는 룸을 식별하도록 룸 데이터베이스에 대해 비교될 수 있다. 사용자의 위치로부터 룸을 결정하는 것은, 일부 예들에서 서버, 이를테면 위에서 설명된 서버(520) 상에 저장될 수 있는 맵핑 데이터 및/또는 건축 레코드들, 이를테면 평면도 레코드들에 기반하여 수행될 수 있다. 사용자의 현재 위치에 대응하는 룸을 식별하기 위한 다른 기법들이 당업자들에게 자명할 것이다.
[0069] 예시적인 프로세스(700)에서, 음향 파라미터들의 세트가 존재하는지 여부가 질의될 수 있고 리트리브될 수 있다. 스테이지(720)에서, 클라이언트 디바이스(예컨대, 웨어러블 헤드 유닛을 포함할 수 있는 위에서 설명된 클라이언트 디바이스(510))는 현재 룸에 대응하는 음향 파라미터들에 대해 질의받을 수 있다. 그러한 세트가 클라이언트 디바이스 상에 저장되어 있다고 결정되면(스테이지(730)), 그 세트는 리트리브되고 사용을 위해 출력될 수 있다(스테이지(770)). 음향 파라미터들의 세트가 클라이언트 디바이스 상에 저장되어 있지 않다면, 스테이지(740)에서, 서버(예컨대, 위에서 설명된 서버(520))는 음향 파라미터들에 대해 질의받을 수 있다. 위와 같이, 그러한 세트가 서버 상에 저장되어 있다고 결정되면(스테이지(750)), 그 세트는 리트리브되고 사용을 위해 출력될 수 있다(스테이지(770)). 현재 룸에 대한 음향 파라미터들의 세트가 클라이언트 디바이스 또는 서버 중 어느 하나 상에서 이용가능하지 않으면, 음향 파라미터들의 새로운 세트는, 아래에서 더 상세히 설명되는 바와 같이 스테이지(760)에서 룸에 대해 생성될 수 있고, 결과적인 음향 파라미터들은 사용을 위해 출력되며(스테이지(770)); 아래에서 설명되는 바와 같이, 후속 리트리벌을 위해 클라이언트 디바이스 또는 서버 디바이스 상에 잠재적으로 저장된다.
[0070] 도 8은, 이를테면 예시적인 프로세스(700)의 스테이지(760)에서 수행될 수 있는, 룸에 대한 음향 파라미터들의 세트를 결정하기 위한 예시적인 프로세스(800)를 설명한다. 예시적인 프로세스(800)는 그러한 음향 파라미터들을 결정하기 위해 적합한 기법들의 임의의 조합을 이용할 수 있다. 하나의 그러한 기법은 웨어러블 디바이스, 이를테면 웨어러블 헤드 유닛(200)의 센서들로부터의 데이터에 기반하여 음향 파라미터들을 결정하는 것을 포함한다. 스테이지(810)에서, 그러한 센서 데이터는 예시적인 프로세스에 대한 입력으로서 제공될 수 있다. 센서 데이터는, 깊이 카메라(예컨대, 깊이 카메라들(444)); RGB 카메라; LIDAR 모듈; 소나 모듈; 레이더 모듈; GPS 수신기; 배향 센서(예컨대, IMU, 자이로스코프, 또는 가속도계); 및/또는 마이크로폰(예컨대, 마이크로폰(450))으로부터의 데이터를 포함할 수 있다. 스테이지(820)에서, 센서 입력으로부터, 현재 룸의 기하학적 구조가 결정될 수 있다. 그러한 기하학적 구조는 룸 내의 하나 이상의 표면들(예컨대, 벽들, 바닥들, 천장들) 및/또는 오브젝트들의 사이즈, 형상, 포지션, 및/또는 배향을 포함할 수 있다. 이러한 데이터는 룸에서의 사운드들의 음향 속성들에 영향을 줄 수 있다. 예컨대, 큰 동굴형 공간들은 더 작은 공간에서 가능한 것보다 더 길고 더 두드러진 잔향들을 야기할 수 있다. 유사하게, 음향적으로 감쇠되는 오브젝트들(예컨대, 커튼들, 소파들)로 가득찬 룸들은 이들 룸들에서 사운드들을 감소시킬 수 있다.
[0071] 룸에 대한 기하학적 구조 정보는 센서 입력(예컨대, 기하학적 구조에 의해 반사된 광을 나타내는 카메라 이미지들; 기하학적 구조에 대응하는 공간 좌표들을 제공하는 LIDAR 데이터)에 기반하여, 그리고 당업자들에게 친숙한 기법들을 이용함으로써 결정될 수 있다. 일부 예들에서, 룸 기하학적 구조는, 스테이지(810)에서 GPS 수신기에 의해 제공될 수 있는 바와 같은 지리적 좌표들에 룸 기하학적 구조를 관련시키는 데이터베이스로부터 리트리브될 수 있다. 유사하게, 일부 예들에서, GPS 좌표들은 GPS 좌표들에 대응하는 건축 데이터(예컨대, 평면도들)를 리트리브하는 데 사용될 수 있고, 룸 기하학적 구조는 건축 데이터를 사용하여 결정될 수 있다.
[0072] 스테이지(820)에서 결정된 룸 기하학적 구조에 부가하여, 그 기하학적 구조에 대응하는 재료들이 스테이지(830)에서 결정될 수 있다. 그러한 재료들은 룸 내의 사운드들에 영향을 주는 음향 속성들을 나타낼 수 있다. 예컨대, 타일로 제조된 벽들은 음향적으로 반사적이며, 선명한 잔향들을 나타낼 것인 반면; 카펫으로 덮인 바닥들은 감쇠 효과들을 나타낼 것이다. 그러한 재료들은 스테이지(810)에서 제공된 센서 입력을 사용하여 결정될 수 있다. 예컨대, RGB 카메라는 표면 재료를, 그의 시각적 외관에 기반하여 식별하는 데 사용될 수 있다. 다른 적합한 기법들이 당업자들에게 자명할 것이다. 위와 같이, 일부 예들에서, 표면 재료들은, 스테이지(810)에서 GPS 수신기에 의해 제공될 수 있는 바와 같은 지리적 좌표들에 표면 재료들을 관련시키는 데이터베이스로부터; 또는 이들 좌표들에 대응하는 건축 데이터로부터 리트리브될 수 있다.
[0073] 스테이지(840)에서, 스테이지(820)에서 결정된 룸 기하학적 구조 및/또는 스테이지(830)에서 결정된 표면 재료들은 룸에 대한 대응하는 음향 파라미터들을 결정하여, 룸 기하학적 구조 및/또는 표면 재료들이 룸 내의 사운드들에 대해 줄 수 있는 음향 효과들을 표현하는 데 사용될 수 있다. 다양한 기법들이 그러한 음향 파라미터들을 결정하는 데 사용될 수 있다. 일 예로서, 잔향 엔진 입력 파라미터들(예컨대, 감쇠 시간, 믹스 레벨, 어택 시간, 또는 잔향 알고리즘에 대한 선택 인덱스)은 룸의 입방 체적에 대한 알려진 관계들에 기반하여 결정될 수 있다. 다른 예로서, 룸의 물리적 표현은 센서 입력에 기반하여 구성될 수 있으며, 룸의 음향 응답 모델은 그 표현으로부터 수학적으로 결정된다. 다른 예로서, 룩업 테이블이 유지되어, 잔향 파라미터들 또는 필터 파라미터들을 표면 재료 타입들과 연관시킬 수 있다. 룸이 상이한 음향 파라미터들을 갖는 다수의 재료들을 포함하는 경우, 음향 파라미터들의 합성 세트는, 예컨대 각각의 개개의 재료로 덮인 룸의 상대적인 표면 영역들에 기반하여 파라미터들을 블렌딩(blend)함으로써 결정될 수 있다. 다른 적합한 예시적인 기법들은, 예컨대 L. Savioja 등의 Creating Interactive Virtual Acoustic Environments, 47 J. Audio Eng. Soc. 675, 705 n. 9 (1999)에 설명되어 있으며, 당업자들에게는 친숙할 것이다.
[0074] 룸의 음향 특성들을 결정하기 위한 다른 기법은 룸에서 스피커를 통해 알려진 테스트 오디오 신호를 제시하는 것; 룸에서 마이크로폰을 통해 "웨트" 테스트 신호를 레코딩하는 것; 및 스테이지(840)에서의 비교를 위해 테스트 신호(850) 및 웨트 신호(860)를 제시하는 것을 포함한다. 테스트 신호와 웨트 신호의 비교는, 예컨대, A. Deb 등의 Time Invariant System Identification: Via 'Deconvolution', in ANALYSIS AND IDENTIFICATION OF TIME-INVARIANT SYSTEMS, TIME-VARYING SYSTEMS, AND MULTI-DELAY SYSTEMS USING ORTHOGONAL HYBRID FUNCTIONS 319-330 (Springer, 1st ed. 2016)에 설명되어 있는 바와 같이, 테스트 신호에 대한 룸의 음향 효과들을 특성화하는 전달 함수를 산출할 수 있다. 일부 예들에서, "블라인드(blind)" 추정 기법은, 예컨대 J. Jot 등의 Blind Estimation of the Reverberation Fingerprint of Unknown Acoustic Environments, Audio Engineering Society Convention Paper 9905 (October 18-21, 2017)에 설명되어 있는 바와 같이, 웨트 신호만을 레코딩함으로써 룸 음향 파라미터들을 리트리브하기 위해 이용될 수 있다.
[0075] 예시적인 프로세스(800)와 같은 일부 예들에서, 음향 파라미터들을 결정하기 위한 다수의 기법들이 조합될 수 있다. 예컨대, 스테이지들(850 및 860)에 관해 위에서 설명된 바와 같이, 테스트 신호 및 웨트 신호로부터 결정된 음향 파라미터들은 스테이지들(820 및 830)에서 결정된 룸 기하학적 구조 및 표면 재료들을 사용하여 각각 개량될 수 있고, 그리고/또는 그 반대의 경우도 마찬가지이다.
[0076] 스테이지(840)에서 룸에 대한 음향 파라미터들의 세트를 결정할 시에, 음향 파라미터들의 세트는 그러한 파라미터들을 리컴퓨팅할 필요성(이는, 상당한 컴퓨테이셔널 오버헤드를 발생할 수 있음)을 회피하도록, 나중의 리트리벌을 위해 저장될 수 있다. 음향 파라미터들의 세트는 클라이언트 디바이스(예컨대, 프로세스(700)의 스테이지(720)에 관해 위에서 설명된 바와 같이 리트리브되기 위해 클라이언트 디바이스(510))에; 서버 디바이스(예컨대, 프로세스(700)의 스테이지(740)에 관해 위에서 설명된 바와 같이 리트리브되기 위해 서버 디바이스(520))에; 다른 적합한 저장 위치에; 또는 위의 일부 조합에 저장될 수 있다.
[0077] 일부 예들에서, 하나 초과의 룸과 연관된 음향 파라미터들을 (예컨대, 예시적인 프로세스(600)의 스테이지(640)에서) 오디오 신호에 적용함으로써 더 현실적인 음향 모델링을 획득하는 것이 바람직할 수 있다. 예컨대, 하나 초과의 음향 구역 또는 룸을 포함하는 음향 환경에서, 오디오 신호들은 다수의 룸들의 음향 속성들을 취할 수 있다. 게다가, MRE에서, 그러한 룸들 중 하나 이상은, 반드시 실제 환경에 존재하지는 않는 음향 구역들에 대응하는 가상 룸들일 수 있다.
[0078] 도 9는 다수의 음향적으로 연결된 구역들을 포함하는 예시적인 내부(900)를 예시한다. 도 9에서, 구역(910)은 룸에 다양한 오브젝트들을 갖는 거실에 대응한다. 출입구(914)는 거실(910)을 제2 룸인 식당(960)과 연결시킨다. 사운드 소스(964)는 식당(960)에 포지셔닝된다. 이러한 실제 환경에서, 식당(960) 내의 사운드 소스(964)에 의해 생성되고 거실(910) 내의 사용자에 의해 들리는 사운드들은 식당(960) 및 거실(910) 둘 모두의 음향 특성들을 취할 것이다. 내부 장면(900)에 대응하는 MRE에서, 가상 사운드들이 이들 다수의 룸들의 음향 특성들을 유사하게 채용한다면, 더 현실적인 음향 경험이 초래될 것이다.
[0079] 도 9의 예시적인 내부(900)와 같은 다중-룸 음향 환경들은 환경 내의 룸들 사이의 음향 관계들을 설명하는 음향 그래프 구조에 의해 표현될 수 있다. 도 10은 예시적인 내부 장면(900)에 대응하는 집 내의 룸들을 설명할 수 있는 예시적인 음향 그래프 구조(1000)를 도시한다. 음향 그래프 구조에서 각각의 룸은 그 자신의 음향 특성들을 가질 수 있다. 일부 예들에서, 음향 그래프 구조(1000)는 서버, 이를테면 서버(520) 상에 저장될 수 있으며, 여기서 서버는 하나 이상의 클라이언트 디바이스들, 이를테면 클라이언트 디바이스(510)에 의해 액세스될 수 있다. 예시적인 음향 그래프 구조(1000)에서, 도 9에 도시된 거실(910)은 대응하는 룸 데이터 구조(1010)에 의해 표현된다. 룸 데이터 구조(1010)는 거실(910)의 양상들을 설명하는 하나 이상의 데이터 엘리먼트들(예컨대, 룸의 사이즈 및 형상, 룸 내의 오브젝트들 등)과 연관될 수 있다. 예에서, 음향 파라미터 데이터 구조(1012)는 룸 데이터 구조(1010)와 연관되며, 대응하는 거실(910)과 연관된 음향 파라미터들의 세트를 설명할 수 있다. 음향 파라미터들의 이러한 세트는, 예컨대 도 6, 도 7, 및 도 8에 관해 위에서 설명된 바와 같은 음향 파라미터들의 세트에 대응할 수 있다.
[0080] 음향 그래프 구조(1000)에서, 집 내의 룸들은 (예컨대, 창문들, 출입구들, 또는 음파들이 이동될 수 있는 오브젝트들을 통해) 음향적으로 연결될 수 있다. 이들 음향 연결들은 음향 그래프 구조(1000)에서 룸 데이터 구조들을 연결시키는 라인들을 통해 도시된다. 예컨대, 음향 그래프 구조(1000)는 도 9의 식당(960)에 대응하는 룸 데이터 구조(1060)를 포함한다. 도면에서, 식당 데이터 구조(1060)는 거실 데이터 구조(1010)로 라인에 의해 연결되며; 이는 도 9에 도시된 바와 같이, 식당(960) 및 거실(910)이 출입구(964)를 통해 음향적으로 커플링된다는 것을 반영한다. 거실 데이터 구조(1010)와 유사하게, 식당 데이터 구조(1060)는, 대응하는 식당(960)과 연관된 음향 파라미터들의 세트를 설명할 수 있는 음향 파라미터 데이터 구조(1062)와 연관된다. 유사하게, 음향 그래프 구조(1000)는 집 내의 다른 룸들(예컨대, 지하실(1030), 주방(1040), 작업실(1050), 침실(1020), 욕실(1070), 차고(1080), 사무실(1090))의 표현들 및 그들의 연관된 음향 파라미터들(예컨대, 지하실(1030), 주방(1040), 작업실(1050), 침실(1020), 욕실(1070), 차고(1080), 및 사무실(1090)에 각각 대응하는 1032, 1042, 1052, 1022, 1072, 1082, 및 1090)을 포함한다. 도면에 표시된 바와 같이, 이들 룸들 및 그들의 연관된 데이터는 해시 테이블(hash table)을 사용하여 표현될 수 있다. 룸 데이터 구조들을 연결시키는 라인들은 룸들 사이의 음향 연결들을 표현한다. 룸들 사이의 음향 연결들을 설명하는 파라미터들은, 예컨대 라인들과 연관된 데이터 구조들에 의해; 위에서 설명된 음향 파라미터 데이터 구조들(예컨대, 1012, 1062)로; 또는 일부 다른 데이터 구조를 통해 표현될 수 있다. 그러한 파라미터들은, 예컨대 룸들 사이의 개구(예컨대, 출입구(914))의 사이즈; 룸들 사이의 벽의 두께 및 재료 등을 포함할 수 있다. 이러한 정보는, 하나의 룸의 음향 속성들이 음향적으로 연결된 룸에서 생성되거나 들리는 사운드들에 영향을 주는 정도를 결정하는 데 사용될 수 있다.
[0081] 예시적인 음향 그래프 구조(1000)와 같은 음향 그래프 구조들은 임의의 적합한 기법을 사용하여 생성 또는 수정될 수 있다. 일부 예들에서, 룸들은, 웨어러블 시스템으로부터의 센서 입력(예컨대, 깊이 카메라들, RGB 카메라들, LIDAR, 소나, 레이더, 및/또는 GPS와 같은 센서들로부터의 입력)에 기반하여 음향 그래프 구조에 부가될 수 있다. 센서 입력은, 위에서 설명된 바와 같이 룸들, 룸 기하학적 구조, 룸 재료들, 오브젝트들, 오브젝트 재료 등을 식별하고, 룸들이 음향적으로 연결되는지 여부(그리고 어떤 방식으로 연결되는지)를 결정하는 데 사용될 수 있다. 일부 예들에서, 이를테면 혼합 현실 설계자가 (어떠한 실세계 대응부도 갖지 않을 수 있는) 가상 룸을 하나 이상의 기존의 룸들에 부가하기를 원할 경우, 음향 그래프 구조들은 수동으로 수정될 수 있다.
[0082] 도 11은, 제1 룸에서 (사운드 소스에 의해) 제시되고 제1 룸과 상이한 제2 룸에서 (사용자에 의해) 들릴 수 있는 사운드에 대해, 2개 이상의 음향적으로 연결된 룸들과 연관된 합성 음향 파라미터들의 세트를 결정하는 예시적인 프로세스(1100)를 도시한다. 예시적인 프로세스(1100)는, 오디오 신호에 적용할 음향 파라미터들을 리트리브하는 데 사용될 수 있고, 예컨대 위에서 설명된 예시적인 프로세스(600)의 스테이지(630)에서 수행될 수 있다. 스테이지(1110)에서, 예시적인 프로세스(700)의 스테이지(710)에 관해 위에서 설명된 바와 같이, 사용자의 위치에 대응하는 룸이 식별될 수 있다. 이러한 사용자의 룸은, 예컨대 위에서 설명된 거실(910)에 대응할 수 있다. 스테이지(1120)에서, 예컨대 도 7 및 도 8 그리고 스테이지들(720 내지 760)에 관해 위에서 설명된 바와 같이, 사용자의 룸의 음향 파라미터들이 결정된다. 위에서 설명된 예에서, 이들 파라미터들은 음향 파라미터들(1012)에 의해 설명될 수 있다.
[0083] 스테이지(1130)에서, 예시적인 프로세스(700)의 스테이지(710)에 관해 위에서 설명된 바와 같이, 사운드의 위치에 대응하는 룸이 식별될 수 있다. 예컨대, 이러한 사운드 소스는 위에서 설명된 사운드 소스(964)에 대응할 수 있으며; 사운드 소스의 룸은 위에서 설명된 (거실(910)에 음향적으로 연결된) 식당(960)에 대응할 수 있다. 스테이지(1140)에서, 예컨대 도 7 및 도 8 그리고 스테이지들(720 내지 760)에 관해 위에서 설명된 바와 같이, 사운드 소스의 룸의 음향 파라미터들이 결정된다. 위에서 설명된 예에서, 이들 파라미터들은 음향 파라미터들(1062)에 의해 설명될 수 있다.
[0084] 예시적인 프로세스(1100)의 스테이지(1150)에서, 사용자의 룸과 사운드 소스의 룸 사이의 음향 관계를 설명하는 음향 그래프가 결정될 수 있다. 음향 그래프는 위에서 설명된 음향 그래프 구조(1000)에 대응할 수 있다. 일부 예들에서, 이러한 음향 그래프는 음향 파라미터들을 리트리브하기 위하여 도 7에 관해 설명된 프로세스와 유사한 방식으로 리트리브될 수 있고; 예컨대, 음향 그래프는 센서 입력에 기반하여, 클라이언트 디바이스 및/또는 서버 상에 저장될 수 있는 음향 그래프들의 세트로부터 선택될 수 있다.
[0085] 음향 그래프를 결정할 시에, 어느 룸들이 소스의 룸 및/또는 사용자의 룸에 음향적으로 연결될 수 있는지 및 이들 룸들이 제시된 사운드에 어떤 음향 효과를 줄 수 있는지가 음향 그래프로부터 결정될 수 있다. 예컨대, 음향 그래프 구조(1000)를 일 예로서 사용하여, 음향 그래프는, 거실(1010) 및 식당(1060)이 제1 경로에 의해 직접 연결된다는 것을 표시하고; 음향 그래프는, 거실(1010) 및 식당(1060)이 또한 주방(1040)을 포함하는 제2 경로를 통해 간접적으로 연결된다는 것을 추가로 표시한다. 스테이지(1160)에서, 그러한 중간 룸들에 대한 음향 파라미터들이 (예컨대, 도 7 및 도 8 그리고 스테이지들(720 내지 760)에 관해 위에서 설명된 바와 같이) 결정될 수 있다. 부가적으로, 스테이지(1160)는 위에서 설명된 바와 같이, 이들 룸들 사이의 음향 관계를 설명하는 파라미터들(이를테면, 룸들 사이의 통로들 또는 오브젝트들의 사이즈 및 형상)을 결정할 수 있다.
[0086] 스테이지들(1120, 1140, 및 1160)의 출력들, 즉 사용자의 룸, 사운드 소스 룸, 및 임의의 중간 룸들에 각각 대응하는 음향 파라미터들은 그들의 음향 연결들을 설명하는 파라미터들과 함께 스테이지(1170)에 제시될 수 있으며, 그 포인트에서, 예컨대 J. Jot 등의 Binaural Simulation of Complex Acoustic Scenes for Interactive Audio, Audio Engineering Society Convention Paper 6950 (October 1, 2006)에 설명되어 있는 바와 같이, 그 음향 파라미터들은 사운드에 적용될 수 있는 음향 파라미터들의 단일 합성 세트로 조합될 수 있다. 일부 예들에서, 파라미터들의 합성 세트는 음향 그래프에 의해 표현될 수 있는 바와 같이, 룸들 사이의 음향 관계들에 기반하여 결정될 수 있다. 예컨대, 일부 예들에서, 사용자의 룸 및 사운드 소스의 룸이 두꺼운 벽에 의해 분리되면, 사용자의 룸의 음향 파라미터들이 사운드 소스의 룸의 음향 파라미터들에 비하여 음향 파라미터들의 합성 세트에서 우세할 수 있다. 그러나, 일부 예들에서, 룸들이 큰 출입구에 의해 분리되면, 사운드 소스의 룸의 음향 파라미터들이 더 두드러질 수 있다. 합성 파라미터들은 또한, 룸들에 대한 사용자의 위치에 기반하여 결정될 수 있으며; 예컨대, 사용자가 이웃한 룸에 가깝게 위치되면, 그 룸의 음향 파라미터들은, 사용자가 룸으로부터 더 멀리 떨어져 위치된 경우보다 더 두드러질 수 있다. 음향 파라미터들의 합성 세트를 결정할 시에, 합성 세트는 단일 룸 뿐만 아니라 음향 그래프에 의해 설명된 바와 같은 전체 연결된 음향 환경의 음향 특성들을 부여하기 위해 사운드에 적용될 수 있다.
[0087] 도 12, 도 13, 및 도 14는 위에서 설명된 하나 이상의 예들에 대응할 수 있는 예시적인 웨어러블 시스템의 컴포넌트들을 설명한다. 예컨대, 도 12에 도시된 예시적인 웨어러블 헤드 유닛(12-100), 도 13에 도시된 예시적인 웨어러블 헤드 유닛(13-100), 및/또는 도 14에 도시된 예시적인 웨어러블 헤드 유닛(14-100)은 웨어러블 헤드 유닛(200)에 대응할 수 있고; 도 12에 도시된 예시적인 핸드헬드 제어기(12-200)는 핸드헬드 제어기(300)에 대응할 수 있으며; 도 12에 도시된 예시적인 보조 유닛(12-300)은 보조 유닛(320)에 대응할 수 있다. 도 12에 예시된 바와 같이, 웨어러블 헤드 유닛(12-100)(또한, 증강 현실 안경으로 지칭됨)은 접안렌즈들, 카메라(들)(예컨대, 깊이 카메라, RGB 카메라 등), 입체 이미저리 소스들, IMU(inertial measurement unit), 및 스피커들을 포함할 수 있다. 도 13을 간단히 참조하면, 웨어러블 헤드 유닛(13-100)(또한, 증강 현실 안경으로 지칭됨)은 좌측 및 우측 접안렌즈들, 이미저리 소스(예컨대, 프로젝터), 좌측 및 우측 카메라들(예컨대, 깊이 카메라, RGB 카메라 등), 및 좌측 및 우측 스피커들을 포함할 수 있다. 웨어러블 헤드 유닛(13-100)은 사용자의 헤드 상에 착용될 수 있다. 도 14를 간단히 참조하면, 웨어러블 헤드 유닛(14-100)(또한, 증강 현실 안경으로 지칭됨)은 좌측 및 우측 접안렌즈들을 포함할 수 있으며, 각각의 접안렌즈는 하나 이상의 인-커플링 격자들, 직교 동공 확장 격자, 및 사출 동공 확장 격자를 포함한다. 도 12를 다시 참조하면, 웨어러블 헤드 유닛(12-100)은, 예컨대 유선 또는 무선 연결에 의해 보조 유닛(12-300)(또한, 배터리/컴퓨터로 지칭됨)에 통신가능하게 커플링될 수 있다. 핸드헬드 제어기(12-200)는, 예컨대 유선 또는 무선 연결에 의해 웨어러블 헤드 유닛(12-100) 및/또는 보조 유닛(12-300)에 통신가능하게 커플링될 수 있다.
[0088] 도 15는 위에서 설명된 하나 이상의 예들에 대응할 수 있는 예시적인 웨어러블 시스템의 예시적인 구성을 설명한다. 예컨대, 예시적인 증강 현실 사용자 기어(15-100)는 웨어러블 헤드 유닛을 포함할 수 있고, 도 5에 관해 위에서 설명된 클라이언트 디바이스(510)에 대응할 수 있고; 클라우드 서버(15-200)는 도 5에 관해 위에서 설명된 서버 디바이스(520)에 대응할 수 있으며; 통신 네트워크(15-300)는 도 5에 관해 위에서 설명된 통신 네트워크(530)에 대응할 수 있다. 클라우드 서버(15-200)는 다른 컴포넌트들/엘리먼트들/모듈들 중에서, 오디오 잔향 분석 엔진을 포함할 수 있다. 통신 네트워크(15-300)는, 예컨대 인터넷일 수 있다. 증강 현실 사용자 기어(15-100)는, 예컨대 웨어러블 헤드 유닛(200)을 포함할 수 있다. 증강 현실 사용자 기어(15-100)는 시각 시스템, 오디오 시스템, 및 로컬화 시스템을 포함할 수 있다. 시각 시스템은, 좌측 및 우측 증강 현실 접안렌즈들에 이미저리를 각각 제공하는 좌측 및 우측 입체 이미저리 소스들을 포함할 수 있다. 시각 시스템은 하나 이상의 카메라들(예컨대, 깊이 카메라, RGB 카메라 등)을 더 포함할 수 있다. 오디오 시스템은 하나 이상의 스피커들 및 하나 이상의 마이크로폰들을 포함할 수 있다. 로컬화 시스템은 센서들, 이를테면 하나 이상의 카메라들, 및 Wi-Fi, GPS, 및/또는 다른 무선 수신기들을 포함할 수 있다.
[0089] 도 16은, 위에서 설명된 하나 이상의 예들에 대응할 수 있는, 혼합 현실 시스템의 사용자에게 오디오 신호들을 제시하기 위한 예시적인 프로세스(16-100)의 흐름도를 예시한다. 예컨대, 예시적인 프로세스(16-100)의 하나 이상의 양상들은 도 6, 도 7, 및/또는 도 8에 관해 위에서 설명된 예시적인 프로세스들 중 하나 이상에 대응할 수 있다. 예시적인 프로세스(16-100)가 참조하는 혼합 현실 시스템은 혼합 현실 디바이스를 포함할 수 있다. 예시적인 프로세스를 시작한 이후, 룸에 대한 아이덴티티가 결정된다. 룸의 잔향 특성들/파라미터들이, 예컨대 혼합 현실 디바이스(때때로, 클라이언트 디바이스로 지칭됨) 상에 로컬로 저장되는지 여부가 결정된다. 룸의 잔향 특성들/파라미터들이 로컬로 저장되면, 로컬로 저장된 잔향 특성들/패턴들이 액세스되고, 룸의 잔향 특성들/파라미터들을 갖는 가상 콘텐츠와 연관된 오디오가 프로세싱된다. 룸의 잔향 특성들/파라미터들이 로컬로 저장되지 않으면, 룸에 대한 아이덴티티는 룸의 잔향 특성들/파라미터들에 대한 요청과 함께 클라우드 서버에 전송된다. 룸의 잔향 특성들/파라미터들이 클라우드 서버로부터 즉시 이용가능한지 여부가 결정된다. 룸의 잔향 특성들/파라미터들이 클라우드 서버로부터 즉시 이용가능하면, 룸의 룸 잔향 특성들/파라미터들은 클라우드 서버로부터 수신되고, 룸의 잔향 특성들/파라미터들을 갖는 가상 콘텐츠와 연관된 오디오가 프로세싱된다. 룸의 잔향 특성들/파라미터들이 클라우드 서버로부터 즉시 이용가능하지 않으면, 룸의 기하학적 구조가 맵핑되고, 룸에서 오디오에 영향을 주는 재료들이 검출되며, 룸의 오디오 신호들이 레코딩된다. 룸에 대한 아이덴티티, 룸의 맵핑된 기하학적 구조, 룸에서 오디오에 영향을 주는 재료들, 및 룸의 레코딩된 오디오 신호들이 클라우드 서버에 전송된다. 룸의 잔향 특성들/파라미터들은 클라우드 서버로부터 수신되고, 룸의 잔향 특성들/파라미터들을 갖는 가상 콘텐츠와 연관된 오디오가 프로세싱된다. 룸의 잔향 특성들/파라미터들을 갖는 가상 콘텐츠와 연관된 오디오가 프로세싱된 이후, 가상 콘텐츠와 연관된 오디오는 혼합 현실 시스템을 통해(예컨대, 혼합/증강 현실 사용자 기어를 통해) 출력된다.
[0090] 도 17 내지 도 19는 위에서 설명된 하나 이상의 예들에 대응할 수 있는, 혼합 현실 시스템의 사용자에게 오디오 신호들을 제시하기 위한 예시적인 프로세스들(17-100, 18-100, 및 19-100)의 흐름도들을 각각 예시한다. 예컨대, 예시적인 프로세스들(17-100, 18-100, 및/또는 19-100)의 하나 이상의 양상들은 도 6, 도 7, 및/또는 도 8에 관해 위에서 설명된 예시적인 프로세스들 중 하나 이상에 대응할 수 있다.
[0091] 일부 예들에서, 도 17의 프로세스(17-100)의 하나 이상의 단계들은 클라우드 서버에 의해 수행될 수 있다. 예시적인 프로세스(17-100)를 시작한 이후, 룸의 아이덴티티가 룸의 잔향 특성들/파라미터들에 대한 요청과 함께 수신된다. 룸의 잔향 특성들/파라미터들은 제1 혼합/증강 현실 사용자 기어에 전송된다.
[0092] 일부 예들에서, 도 18의 프로세스(18-100)의 하나 이상의 단계들은 클라우드 서버에 의해 수행될 수 있다. 예시적인 프로세스(18-100)를 시작한 이후, 특정한 룸의 아이덴티티가 수신된다. 인접한 연결된 룸들을 식별하기 위해 지속적인 세계 모델 그래프가 체크된다. 임의의 인접한 연결된 룸들의 잔향 특성들/파라미터들이 액세스된다. 임의의 인접한 연결된 룸들의 잔향 특성들/파라미터들이 혼합/증강 현실 사용자 기어에 송신된다.
[0093] 일부 예들에서, 도 19의 프로세스(19-100)의 하나 이상의 단계들은 클라우드 서버에 의해 수행될 수 있다. 예시적인 프로세스(19-100)를 시작한 이후, 룸 데이터와 함께 룸의 아이덴티티가 제1 혼합/증강 현실 사용자 기어로부터 수신된다. 룸 데이터는, 예컨대 룸의 맵핑된 기하학적 구조, 룸에서 오디오에 영향을 주는 재료들, 및 룸의 레코딩된 오디오 신호들을 포함할 수 있다. 일부 예들에서, 룸 기하학적 구조 및 룸에서 오디오에 영향을 주는 재료들에 기반하여, 잔향 특성들/파라미터들이 컴퓨팅된다. 일부 예들에서, 룸의 레코딩된 오디오 신호들은 룸의 잔향 특성들/파라미터들을 추출하도록 프로세싱된다. 룸의 아이덴티티와 연관된 룸의 잔향 특성들/파라미터들은 클라우드 서버에 저장된다. 룸의 잔향 특성들/파라미터들은 제1 혼합/증강 현실 사용자 기어에 전송된다.
[0094] 도 20은 위에서 설명된 하나 이상의 예들에 대응할 수 있는, 음향적으로 연결된 공간들의 파라미터들에 기반하여 혼합 현실 시스템의 사용자에게 오디오 신호를 제시하기 위한 예시적인 프로세스(20-100)의 흐름도를 예시한다. 예컨대, 예시적인 프로세스(20-100)의 하나 이상의 양상들은 도 11에 관해 위에서 설명된 예시적인 프로세스에 대응할 수 있다. 예시적인 프로세스(20-100)를 시작한 이후, 혼합/증강 현실 사용자 기어가 동작되고 있는 공간에 대한 음향 파라미터들이 수신된다. 혼합/증강 현실 사용자 기어가 동작되고 있는 공간에 대한 음향 파라미터들을 사용하여, 혼합/증강 현실 사용자 기어가 동작되고 있는 공간에서 가시적 및/또는 오디오 방출 가상 콘텐츠가 생성된다. 인접한 연결된 공간들을 식별하기 위해 세계 그래프 정보에 액세스한다. 인접한 연결된 공간들에 대한 음향 파라미터들이 수신된다. 가상 콘텐츠는 인접한 연결된 공간들로 이동된다. 인접한 연결된 공간들에 대한 음향 파라미터들을 사용하여, 가상 콘텐츠에 대한 오디오 세그먼트가 프로세싱된다. 이어서, 프로세싱된 오디오 세그먼트가 출력으로서 제시될 수 있다.
[0095] 도 21은, 위에서 설명된 하나 이상의 예들에 대응할 수 있는, 혼합 현실 시스템의 사용자의 위치를 결정하기 위한 예시적인 프로세스(21-100)의 흐름도를 예시한다. 예컨대, 예시적인 프로세스(21-100)는 도 7에 관해 위에서 설명된 예시적인 프로세스(700)의 스테이지(710)에서 수행될 수 있다. 예에서, 시작 이후, 충분한 수의 GPS 위성들이 범위에 존재하는지 여부가 결정된다. 충분한 수의 GPS 위성들이 범위에 존재하면, GPS 수신기는 포지션을 결정하도록 동작된다. 충분한 수의 GPS 위성들이 범위에 존재하지 않는다고 결정되면, 부근의 Wi-Fi 수신기들의 아이덴티티들이 수신된다. 부근의 Wi-Fi 수신기들의 로컬화에 대한 저장된 정보에 액세스한다. 디바이스가 위치되는 공간의 하나 이상의 이미지들이 캡처된다. 이미지들은 합성물로 어셈블리된다. 합성물의 픽셀 세기 히스토그램이 결정된다. 결정된 히스토그램은 미리-저장된 히스토그램들의 세트에 매칭되며, 미리-저장된 히스토그램들 각각은 세계 그래프에서 위치 노드에 링크된다. GPS 네트워크들, 액세스가능한 Wi-Fi 네트워크들의 아이덴티티들 및/또는 히스토그램 매치에 기반하여, 혼합/증강 현실 사용자 기어의 현재 위치가 추정될 수 있다.
[0096] 일부 예들에서, 증강 현실 사용자 기어는, 증강 현실 사용자 기어가 위치되는 공간의 아이덴티티를 결정하기 위한 로컬화 서브시스템, 공간의 아이덴티티와 연관된 적어도 하나의 오디오 파라미터를 수신하기 위해, 증강 현실 사용자 기어가 위치되는 공간의 아이덴티티를 통신하기 위한 통신 서브시스템, 및 적어도 하나의 파라미터에 기반하여 오디오 세그먼트를 프로세싱하고 오디오 세그먼트를 출력하기 위한 오디오 출력 서브시스템을 포함할 수 있다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 증강 현실 사용자 기어는, 증강 현실 사용자 기어가 위치되는 제1 공간의 음향 속성들에 관계된 정보를 획득하기 위한 센서 서브시스템, 제1 공간의 음향 속성들에 관계된 정보에 기반하여 오디오 세그먼트를 프로세싱하기 위한 오디오 프로세싱 서브시스템 － 오디오 프로세싱 서브시스템은 센서 서브시스템에 통신가능하게 커플링됨 －, 및 오디오 세그먼트를 출력하기 위한 오디오 스피커를 포함할 수 있으며, 오디오 스피커는 오디오 세그먼트를 수신하기 위해 오디오 프로세싱 서브시스템에 커플링된다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 센서 서브시스템은 제1 공간에 대한 기하학적 구조 정보를 획득하도록 구성된다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 센서 서브시스템은 카메라를 포함한다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 카메라는 깊이 카메라를 포함한다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 센서 시스템은 스테레오 카메라를 포함한다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 센서 서브시스템은 별개의 음향 흡수 속성들을 갖는 별개의 오브젝트들을 인식하도록 구성된 오브젝트 인식기를 포함한다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 오브젝트 인식기는 카펫, 커튼들 및 소파들로 이루어진 그룹으로부터 선택된 적어도 하나의 오브젝트를 인식하도록 구성된다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 센서 서브시스템은 마이크로폰을 포함한다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 증강 현실 기어는, 증강 현실 사용자 기어가 위치되는 제1 공간의 아이덴티티를 결정하기 위한 로컬화 서브시스템, 및 증강 현실 기어가 위치되는 제1 공간의 아이덴티티를 통신하고, 증강 현실 기어가 위치되는 제1 공간의 음향 속성들에 관계된 정보를 송신하기 위한 통신 서브시스템을 더 포함한다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 통신 서브시스템은 제2 공간의 음향 속성들로부터 도출된 정보를 수신하도록 추가로 구성된다. 위 대신에 또는 그에 부가하여, 일부 예들에서, 증강 현실 기어는, 가상 사운드 소스가 제2 공간에 위치된다고 결정하기 위한 로컬화 서브시스템, 및 제2 공간의 음향 속성들에 관계된 정보에 기반하여 가상 사운드 소스와 연관된 오디오 세그먼트를 프로세싱하기 위한 오디오 프로세싱 서브시스템을 더 포함한다.
[0097] 개시된 예들이 첨부 도면들을 참조하여 완전하게 설명되었지만, 다양한 변화들 및 수정들이 당업자에게 자명할 것임을 유의한다. 예컨대, 하나 이상의 구현들의 엘리먼트들은 추가적인 구현들을 형성하기 위해 조합, 삭제, 수정 또는 보충될 수 있다. 그러한 변화들 및 수정들은 첨부된 청구항들에 의해 정의된 바와 같은 개시된 예들의 범위 내에 포함되는 것으로 이해될 것이다.

Claims (20)

  1. 혼합 현실 환경의 사용자에게 사운드를 제시하는 방법으로서,
    상기 혼합 현실 환경에 관한 제1 위치를 결정하는 단계;
    상기 제1 위치와 연관된 제1 음향 파라미터를 결정하는 단계;
    상기 혼합 현실 환경에 관한 제2 위치를 결정하는 단계;
    상기 제1 위치와 상기 제2 위치 사이의 음향 관계를 결정하는 단계;
    상기 제1 음향 파라미터 및 상기 음향 관계에 기반하여, 전달 함수를 결정하는 단계;
    상기 혼합 현실 환경과 연관된 오디오 이벤트를 검출하는 단계 － 상기 오디오 이벤트는 제1 오디오 신호와 연관됨 －;
    제2 오디오 신호를 생성하기 위해 상기 전달 함수를 상기 제1 오디오 신호에 적용하는 단계; 및
    상기 제2 오디오 신호에 기반한 사운드를 상기 사용자에게 제시하는 단계를 포함하는,
    혼합 현실 환경의 사용자에게 사운드를 제시하는 방법.
  2. 제1항에 있어서,
    상기 방법은 제1 시간에 상기 제1 음향 파라미터를 메모리로 통신하는 단계를 더 포함하고, 그리고
    상기 전달 함수를 결정하는 단계는 상기 제1 시간보다 늦은 제2 시간에 상기 메모리로부터 상기 제1 음향 파라미터를 수신하는 단계를 포함하는,
    혼합 현실 환경의 사용자에게 사운드를 제시하는 방법.
  3. 제1항에 있어서,
    상기 제1 위치와 상기 제2 위치 사이의 음향 관계를 결정하는 단계는 상기 제1 위치가 상기 제2 위치에 음향적으로 커플링되었다고 결정하는 단계를 포함하는,
    혼합 현실 환경의 사용자에게 사운드를 제시하는 방법.
  4. 제1항에 있어서,
    상기 제1 위치와 상기 제2 위치 사이의 음향 관계를 결정하는 단계는 상기 제1 위치가 제1 음향 구역에 속하고 상기 제2 위치가 상기 제1 음향 구역에 속한다고 결정하는 단계를 포함하는,
    혼합 현실 환경의 사용자에게 사운드를 제시하는 방법.
  5. 제1항에 있어서,
    상기 제1 음향 파라미터를 결정하는 단계는 상기 혼합 현실 환경과 연관된 웨어러블 디바이스의 센서를 통해 상기 제1 위치의 공간적인 속성을 검출하는 단계를 포함하는,
    혼합 현실 환경의 사용자에게 사운드를 제시하는 방법.
  6. 제1항에 있어서,
    상기 제2 위치를 결정하는 단계는 상기 혼합 현실 환경과 연관된 웨어러블 디바이스의 센서의 출력에 기반하여 상기 제2 위치를 결정하는 단계를 포함하는,
    혼합 현실 환경의 사용자에게 사운드를 제시하는 방법.
  7. 제1항에 있어서,
    상기 제1 위치는 상기 오디오 이벤트의 소스 위치이고 그리고 상기 제2 위치는 상기 사용자의 위치인,
    혼합 현실 환경의 사용자에게 사운드를 제시하는 방법.
  8. 제1항에 있어서,
    상기 제2 위치와 연관된 제2 음향 파라미터를 결정하는 단계를 더 포함하고,
    상기 전달 함수는 상기 제2 음향 파라미터에 기반하여 결정되는,
    혼합 현실 환경의 사용자에게 사운드를 제시하는 방법.
  9. 제1항에 있어서,
    상기 제1 음향 파라미터 및 제1 위치를 그래프에 저장하는 단계를 더 포함하고,
    상기 그래프는 상기 혼합 현실 환경에서 둘 이상의 위치들 사이의 관계를 설명하는,
    혼합 현실 환경의 사용자에게 사운드를 제시하는 방법.
  10. 웨어러블 시스템으로서,
    하나 이상의 센서들;
    하나 이상의 스피커들; 및
    혼합 현설 환경의 사용자에게 사운드를 제시하는 방법을 수행하도록 구성된 하나 이상의 프로세서들을 포함하고, 상기 방법은:
    상기 혼합 현실 환경에 관한 제1 위치를 결정하는 단계;
    상기 제1 위치와 연관된 제1 음향 파라미터를 결정하는 단계;
    상기 하나 이상의 센서들을 통해, 상기 혼합 현실 환경에 관한 제2 위치를 결정하는 단계;
    상기 제1 위치와 상기 제2 위치 사이의 음향 관계를 결정하는 단계;
    상기 제1 음향 파라미터 및 상기 음향 관계에 기반하여, 전달 함수를 결정하는 단계;
    상기 혼합 현실 환경과 연관된 오디오 이벤트를 검출하는 단계 － 상기 오디오 이벤트는 제1 오디오 신호와 연관됨 －;
    제2 오디오 신호를 생성하기 위해 상기 전달 함수를 상기 제1 오디오 신호에 적용하는 단계; 및
    상기 하나 이상의 스피커들을 통해, 상기 제2 오디오 신호에 기반한 사운드를 상기 사용자에게 제시하는 단계를 포함하는,
    웨어러블 시스템.
  11. 제10항에 있어서,
    상기 방법은 제1 시간에 상기 제1 음향 파라미터를 메모리로 통신하는 단계를 더 포함하고, 그리고
    상기 전달 함수를 결정하는 단계는 상기 제1 시간보다 늦은 제2 시간에 상기 메모리로부터 상기 제1 음향 파라미터를 수신하는 단계를 포함하는,
    웨어러블 시스템.
  12. 제10항에 있어서,
    상기 제1 위치와 상기 제2 위치 사이의 음향 관계를 결정하는 단계는 상기 제1 위치가 상기 제2 위치에 음향적으로 커플링되었다고 결정하는 단계를 포함하는,
    웨어러블 시스템.
  13. 제10항에 있어서,
    상기 제1 위치와 상기 제2 위치 사이의 음향 관계를 결정하는 단계는 상기 제1 위치가 제1 음향 구역에 속하고 상기 제2 위치가 상기 제1 음향 구역에 속한다고 결정하는 단계를 포함하는,
    웨어러블 시스템.
  14. 제10항에 있어서,
    상기 제1 음향 파라미터를 결정하는 단계는 상기 하나 이상의 센서들을 통해 상기 제1 위치의 공간적인 속성을 검출하는 단계를 포함하는,
    웨어러블 시스템.
  15. 제10항에 있어서,
    상기 제1 위치는 상기 오디오 이벤트의 소스 위치이고 그리고 상기 제2 위치는 상기 사용자의 위치인,
    웨어러블 시스템.
  16. 명령들을 저장한 비-일시적 컴퓨터-판독가능 매체로서, 상기 명령들은 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금 혼합 현실 환경의 사용자에게 사운드를 제시하는 방법을 수행하게 하고, 상기 방법은:
    상기 혼합 현실 환경에 관한 제1 위치를 결정하는 단계;
    상기 제1 위치와 연관된 제1 음향 파라미터를 결정하는 단계;
    상기 혼합 현실 환경에 관한 제2 위치를 결정하는 단계;
    상기 제1 위치와 상기 제2 위치 사이의 음향 관계를 결정하는 단계;
    상기 제1 음향 파라미터 및 상기 음향 관계에 기반하여, 전달 함수를 결정하는 단계;
    상기 혼합 현실 환경과 연관된 오디오 이벤트를 검출하는 단계 － 상기 오디오 이벤트는 제1 오디오 신호와 연관됨 －;
    제2 오디오 신호를 생성하기 위해 상기 전달 함수를 상기 제1 오디오 신호에 적용하는 단계; 및
    상기 제2 오디오 신호에 기반한 사운드를 상기 사용자에게 제시하는 단계를 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
  17. 제16항에 있어서,
    상기 제1 위치와 상기 제2 위치 사이의 음향 관계를 결정하는 단계는 상기 제1 위치가 제1 음향 구역에 속하고 상기 제2 위치가 상기 제1 음향 구역에 속한다고 결정하는 단계를 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
  18. 제16항에 있어서,
    상기 제1 음향 파라미터를 결정하는 단계는 상기 혼합 현실 환경과 연관된 웨어러블 디바이스의 센서를 통해 상기 제1 위치의 공간적인 속성을 검출하는 단계를 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
  19. 제16항에 있어서,
    상기 제2 위치를 결정하는 단계는 상기 혼합 현실 환경과 연관된 웨어러블 디바이스의 센서의 출력에 기반하여 상기 제2 위치를 결정하는 단계를 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
  20. 제16항에 있어서,
    상기 제1 위치는 상기 오디오 이벤트의 소스 위치이고 그리고 상기 제2 위치는 상기 사용자의 위치인,
    비-일시적 컴퓨터-판독가능 매체.


KR1020247003741A 2017-10-17 2018-10-17 혼합 현실 공간 오디오 KR20240019392A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762573448P 2017-10-17 2017-10-17
US62/573,448 2017-10-17
US201862631418P 2018-02-15 2018-02-15
US62/631,418 2018-02-15
PCT/US2018/056385 WO2019079523A1 (en) 2017-10-17 2018-10-17 SPACE AUDIO WITH MIXED REALITY
KR1020207013593A KR102633727B1 (ko) 2017-10-17 2018-10-17 혼합 현실 공간 오디오

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207013593A Division KR102633727B1 (ko) 2017-10-17 2018-10-17 혼합 현실 공간 오디오

Publications (1)

Publication Number Publication Date
KR20240019392A true KR20240019392A (ko) 2024-02-14

Family

ID=66096162

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207013593A KR102633727B1 (ko) 2017-10-17 2018-10-17 혼합 현실 공간 오디오
KR1020247003741A KR20240019392A (ko) 2017-10-17 2018-10-17 혼합 현실 공간 오디오

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207013593A KR102633727B1 (ko) 2017-10-17 2018-10-17 혼합 현실 공간 오디오

Country Status (9)

Country Link
US (3) US10616705B2 (ko)
EP (1) EP3698201A4 (ko)
JP (2) JP7449856B2 (ko)
KR (2) KR102633727B1 (ko)
CN (2) CN115175064A (ko)
AU (1) AU2018353008B2 (ko)
CA (1) CA3078420A1 (ko)
IL (3) IL297445B2 (ko)
WO (1) WO2019079523A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
JP2018092313A (ja) * 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
WO2019161312A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
CN111713091A (zh) 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
US10628988B2 (en) * 2018-04-13 2020-04-21 Aladdin Manufacturing Corporation Systems and methods for item characteristic simulation
US11032664B2 (en) * 2018-05-29 2021-06-08 Staton Techiya, Llc Location based audio signal message processing
US10779082B2 (en) 2018-05-30 2020-09-15 Magic Leap, Inc. Index scheming for filter parameters
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
JP7208365B2 (ja) * 2018-09-18 2023-01-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 仮想３ｄオーディオを現実の室内に適応させる装置及び方法
US11055913B2 (en) * 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10890982B2 (en) * 2018-12-18 2021-01-12 Samsung Electronics Co., Ltd. System and method for multipurpose input device for two-dimensional and three-dimensional environments
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10897570B1 (en) 2019-01-28 2021-01-19 Facebook Technologies, Llc Room acoustic matching using sensors on headset
US11112389B1 (en) * 2019-01-30 2021-09-07 Facebook Technologies, Llc Room acoustic characterization using sensors
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US10674307B1 (en) * 2019-03-27 2020-06-02 Facebook Technologies, Llc Determination of acoustic parameters for a headset using a mapping server
US10743124B1 (en) * 2019-05-10 2020-08-11 Igt Providing mixed reality audio with environmental audio devices, and related systems, devices, and methods
CN113597777B (zh) * 2019-05-15 2023-07-07 苹果公司 音频处理
US10924875B2 (en) 2019-05-24 2021-02-16 Zack Settel Augmented reality platform for navigable, immersive audio experience
US10645520B1 (en) 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
US11871198B1 (en) 2019-07-11 2024-01-09 Meta Platforms Technologies, Llc Social network based voice enhancement system
US11070933B1 (en) * 2019-08-06 2021-07-20 Apple Inc. Real-time acoustic simulation of edge diffraction
US11276215B1 (en) 2019-08-28 2022-03-15 Facebook Technologies, Llc Spatial audio and avatar control using captured audio signals
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ， インコーポレイテッド 反響フィンガプリント推定
WO2021086624A1 (en) 2019-10-29 2021-05-06 Qsinx Management Llc Audio encoding with compressed ambience
US11483670B2 (en) * 2019-10-30 2022-10-25 Sonos, Inc. Systems and methods of providing spatial audio associated with a simulated environment
US11096006B1 (en) * 2019-11-04 2021-08-17 Facebook Technologies, Llc Dynamic speech directivity reproduction
EP4070284A4 (en) * 2019-12-06 2023-05-24 Magic Leap, Inc. ENVIRONMENTAL ACOUSTIC PERSISTENCE
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
CN115715470A (zh) 2019-12-30 2023-02-24 卡姆希尔公司 用于提供空间化声场的方法
JP7463796B2 (ja) 2020-03-25 2024-04-09 ヤマハ株式会社 デバイスシステム、音質制御方法および音質制御プログラム
WO2021243098A1 (en) * 2020-05-29 2021-12-02 Magic Leap, Inc. Surface appropriate collisions
WO2022031418A1 (en) * 2020-07-31 2022-02-10 Sterling Labs Llc. Sound rendering for a shared point of view
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
US11750745B2 (en) * 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11598962B1 (en) 2020-12-24 2023-03-07 Meta Platforms Technologies, Llc Estimation of acoustic parameters for audio system based on stored information about acoustic model
GB202020672D0 (en) * 2020-12-29 2021-02-10 Nokia Technologies Oy A method and apparatus for science dependent listener space adaptation
GB2602464A (en) * 2020-12-29 2022-07-06 Nokia Technologies Oy A method and apparatus for fusion of virtual scene description and listener space description
US11470162B2 (en) * 2021-01-30 2022-10-11 Zoom Video Communications, Inc. Intelligent configuration of personal endpoint devices
US11285393B1 (en) * 2021-04-07 2022-03-29 Microsoft Technology Licensing, Llc Cue-based acoustics for non-player entity behavior
KR20220146165A (ko) * 2021-04-23 2022-11-01 삼성전자주식회사 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법
US11570568B1 (en) * 2021-08-10 2023-01-31 Verizon Patent And Licensing Inc. Audio processing methods and systems for a multizone augmented reality space
US11805380B2 (en) 2021-08-31 2023-10-31 Qualcomm Incorporated Augmented audio for communications
JP2023037510A (ja) * 2021-09-03 2023-03-15 株式会社Gatari 情報処理システム、情報処理方法および情報処理プログラム
CN114286278B (zh) * 2021-12-27 2024-03-15 北京百度网讯科技有限公司 音频数据处理方法、装置、电子设备及存储介质
GB2614537A (en) * 2022-01-05 2023-07-12 Nokia Technologies Oy Conditional disabling of a reverberator
US20230224667A1 (en) * 2022-01-10 2023-07-13 Sound United Llc Virtual and mixed reality audio system environment correction
US20230232178A1 (en) * 2022-01-19 2023-07-20 Meta Platforms Technologies, Llc Modifying audio data transmitted to a receiving device to account for acoustic parameters of a user of the receiving device
GB2616424A (en) * 2022-03-07 2023-09-13 Nokia Technologies Oy Spatial audio rendering of reverberation
WO2023183054A1 (en) * 2022-03-25 2023-09-28 Magic Leap, Inc. Optimized mixed reality audio rendering
WO2023182024A1 (ja) * 2022-03-25 2023-09-28 ソニーグループ株式会社 音響信号制御方法、学習モデル生成方法および音響信号制御プログラム
WO2024063353A1 (ko) * 2022-09-23 2024-03-28 삼성전자주식회사 시각적 객체와 관련된 정보에 기반하여 오디오 신호를 변경하는 전자 장치 및 그 방법
WO2024067543A1 (zh) * 2022-09-30 2024-04-04 抖音视界有限公司 混响的处理方法、装置和非易失性计算机可读存储介质

Family Cites Families (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5264974A (en) 1975-11-25 1977-05-28 Victor Co Of Japan Ltd Reverberation time measuring device
JPS644200A (en) 1987-06-26 1989-01-09 Nissan Motor Sound field improving device
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
JPH04191885A (ja) * 1990-11-27 1992-07-10 Nippon Telegr & Teleph Corp <Ntt> 音像制御処理方法
GB9107011D0 (en) 1991-04-04 1991-05-22 Gerzon Michael A Illusory sound distance control method
FR2688371B1 (fr) 1992-03-03 1997-05-23 France Telecom Procede et systeme de spatialisation artificielle de signaux audio-numeriques.
FR2738099B1 (fr) 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6453047B1 (en) 1998-09-28 2002-09-17 Creative Technology Ltd Matrix encoding system with improved behavior frequency
US6665407B1 (en) 1998-09-28 2003-12-16 Creative Technology Ltd. Three channel panning system
US6188769B1 (en) 1998-11-13 2001-02-13 Creative Technology Ltd. Environmental reverberation processor
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
US7231054B1 (en) 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
US6798889B1 (en) 1999-11-12 2004-09-28 Creative Technology Ltd. Method and apparatus for multi-channel sound system calibration
US6978027B1 (en) 2000-04-11 2005-12-20 Creative Technology Ltd. Reverberation processor for interactive audio applications
US7149314B2 (en) 2000-12-04 2006-12-12 Creative Technology Ltd Reverberation processor based on absorbent all-pass filters
US7099482B1 (en) 2001-03-09 2006-08-29 Creative Technology Ltd Method and apparatus for the simulation of complex audio environments
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
US7848531B1 (en) 2002-01-09 2010-12-07 Creative Technology Ltd. Method and apparatus for audio loudness and dynamics matching
JP4059478B2 (ja) 2002-02-28 2008-03-12 パイオニア株式会社 音場制御方法及び音場制御システム
US7567845B1 (en) 2002-06-04 2009-07-28 Creative Technology Ltd Ambience generation for stereo signals
US7257231B1 (en) 2002-06-04 2007-08-14 Creative Technology Ltd. Stream segregation for stereo signals
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
US7412380B1 (en) 2003-12-17 2008-08-12 Creative Technology Ltd. Ambience extraction and modification for enhancement and upmix of audio signals
US7970144B1 (en) 2003-12-17 2011-06-28 Creative Technology Ltd Extracting and modifying a panned source for enhancement and upmix of audio signals
CA2967756C (en) 2004-04-01 2018-08-28 Google Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
WO2006003957A1 (ja) 2004-06-30 2006-01-12 Pioneer Corporation 残響調整装置、残響調整方法、残響調整プログラムおよびそれを記録した記録媒体、並びに、音場補正システム
US7928311B2 (en) 2004-12-01 2011-04-19 Creative Technology Ltd System and method for forming and rendering 3D MIDI messages
US8964997B2 (en) 2005-05-18 2015-02-24 Bose Corporation Adapted audio masking
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US9788757B2 (en) 2005-12-28 2017-10-17 Breath Research, Inc. Breathing biofeedback device
EP1806593B1 (en) 2006-01-09 2008-04-30 Honda Research Institute Europe GmbH Determination of the adequate measurement window for sound source localization in echoic environments
US8619998B2 (en) 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US9014377B2 (en) 2006-05-17 2015-04-21 Creative Technology Ltd Multichannel surround format conversion and generalized upmix
US8712061B2 (en) 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US8345899B2 (en) 2006-05-17 2013-01-01 Creative Technology Ltd Phase-amplitude matrixed surround decoder
US8379868B2 (en) 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US8374365B2 (en) 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US9697844B2 (en) 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
US9496850B2 (en) 2006-08-04 2016-11-15 Creative Technology Ltd Alias-free subband processing
US8488796B2 (en) 2006-08-08 2013-07-16 Creative Technology Ltd 3D audio renderer
US8107631B2 (en) 2007-10-04 2012-01-31 Creative Technology Ltd Correlation-based method for ambience extraction from two-channel audio signals
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US8000485B2 (en) 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
US9432790B2 (en) 2009-10-05 2016-08-30 Microsoft Technology Licensing, Llc Real-time sound propagation for dynamic sources
US8879750B2 (en) 2009-10-09 2014-11-04 Dts, Inc. Adaptive dynamic range enhancement of audio recordings
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US20110251704A1 (en) 2010-04-09 2011-10-13 Martin Walsh Adaptive environmental noise compensation for audio playback
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
CN103262409B (zh) 2010-09-10 2016-07-06 Dts（英属维尔京群岛）有限公司 用于改进的感觉的频谱不平衡的音频信号的动态补偿
US8767968B2 (en) * 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
EP2661912B1 (en) 2011-01-05 2018-08-22 Koninklijke Philips N.V. An audio system and method of operation therefor
KR102374897B1 (ko) 2011-03-16 2022-03-17 디티에스, 인코포레이티드 3차원 오디오 사운드트랙의 인코딩 및 재현
US9253574B2 (en) 2011-09-13 2016-02-02 Dts, Inc. Direct-diffuse decomposition
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
WO2013181272A2 (en) 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
US9332373B2 (en) 2012-05-31 2016-05-03 Dts, Inc. Audio depth dynamic range enhancement
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9386373B2 (en) 2012-07-03 2016-07-05 Dts, Inc. System and method for estimating a reverberation time
US9756437B2 (en) * 2012-07-03 2017-09-05 Joe Wellman System and method for transmitting environmental acoustical information in digital audio signals
US9779731B1 (en) 2012-08-20 2017-10-03 Amazon Technologies, Inc. Echo cancellation based on shared reference signals
CN104956689B (zh) 2012-11-30 2017-07-04 Dts（英属维尔京群岛）有限公司 用于个性化音频虚拟化的方法和装置
WO2014089542A1 (en) 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
RU2648604C2 (ru) 2013-02-26 2018-03-26 Конинклейке Филипс Н.В. Способ и аппаратура для генерации сигнала речи
US9197930B2 (en) 2013-03-15 2015-11-24 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover in an audience monitoring system
US9443354B2 (en) 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US20160088417A1 (en) * 2013-04-30 2016-03-24 Intellectual Discovery Co., Ltd. Head mounted display and method for providing audio content by using same
WO2014194306A1 (en) 2013-05-31 2014-12-04 Meyer Sound Laboratories, Incorporated Filter with independently adjustable band gain and break point slopes and method of constructing same
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10063207B2 (en) 2014-02-27 2018-08-28 Dts, Inc. Object-based audio loudness management
JP6349899B2 (ja) 2014-04-14 2018-07-04 ヤマハ株式会社 放収音装置
EP3441966A1 (en) 2014-07-23 2019-02-13 PCMS Holdings, Inc. System and method for determining audio context in augmented-reality applications
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US9858720B2 (en) * 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9769552B2 (en) 2014-08-19 2017-09-19 Apple Inc. Method and apparatus for estimating talker distance
EP3018918A1 (en) 2014-11-07 2016-05-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating output signals based on an audio source signal, sound reproduction system and loudspeaker signal
US9584915B2 (en) 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US9787846B2 (en) 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
EP3251116A4 (en) 2015-01-30 2018-07-25 DTS, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
US9558757B1 (en) 2015-02-20 2017-01-31 Amazon Technologies, Inc. Selective de-reverberation using blind estimation of reverberation level
GB2536020A (en) * 2015-03-04 2016-09-07 Sony Computer Entertainment Europe Ltd System and method of virtual reality feedback
KR102386309B1 (ko) * 2015-06-04 2022-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서의 입출력 제어 방법
US9776001B2 (en) 2015-06-11 2017-10-03 Med-El Elektromedizinische Geraete Gmbh Interaural coherence based cochlear stimulation using adapted envelope processing
KR102565118B1 (ko) 2015-08-21 2023-08-08 디티에스, 인코포레이티드 누설 소거용 다중 스피커 방법 및 장치
KR20180132032A (ko) 2015-10-28 2018-12-11 디티에스, 인코포레이티드 객체 기반 오디오 신호 균형화
CN108369494B (zh) 2015-10-28 2021-08-27 Dts（英属维尔京群岛）有限公司 音频信号的频谱校正
FR3044509B1 (fr) 2015-11-26 2017-12-15 Invoxia Procede et dispositif pour estimer la reverberation acoustique
US9648438B1 (en) * 2015-12-16 2017-05-09 Oculus Vr, Llc Head-related transfer function recording using positional tracking
WO2017134973A1 (ja) 2016-02-01 2017-08-10 ソニー株式会社 音響出力装置、音響出力方法、プログラム、音響システム
US10038967B2 (en) * 2016-02-02 2018-07-31 Dts, Inc. Augmented reality headphone environment rendering
IL283975B2 (en) * 2016-02-04 2024-02-01 Magic Leap Inc A technique for audio direction in an augmented reality system
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US20170325043A1 (en) 2016-05-06 2017-11-09 Jean-Marc Jot Immersive audio reproduction systems
EP3463084B1 (en) * 2016-05-27 2024-04-03 Institut National de la Santé et de la Recherche Médicale (INSERM) Method and apparatus for acquiring a spatial map of auditory perception of a subject
US9906885B2 (en) 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
US10390165B2 (en) 2016-08-01 2019-08-20 Magic Leap, Inc. Mixed reality system with spatialized audio
WO2018031621A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
DE102017200597B4 (de) 2017-01-16 2020-03-26 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörsystems und Hörsystem
WO2018182274A1 (ko) 2017-03-27 2018-10-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
US10609502B2 (en) 2017-12-21 2020-03-31 Verizon Patent And Licensing Inc. Methods and systems for simulating microphone capture within a capture zone of a real-world scene
KR102334070B1 (ko) 2018-01-18 2021-12-03 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111713091A (zh) 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
WO2019246159A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Spatial audio for interactive audio environments
US10674307B1 (en) 2019-03-27 2020-06-02 Facebook Technologies, Llc Determination of acoustic parameters for a headset using a mapping server
US11102603B2 (en) 2019-05-28 2021-08-24 Facebook Technologies, Llc Determination of material acoustic parameters to facilitate presentation of audio content
US10645520B1 (en) 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
US10880668B1 (en) 2019-09-13 2020-12-29 Facebook Technologies, Llc Scaling of virtual audio content using reverberent energy
IT201900018563A1 (it) 2019-10-11 2021-04-11 Powersoft S P A Dispositivo di condizionamento acustico per produrre un riverbero in un ambiente
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ， インコーポレイテッド 反響フィンガプリント推定

Also Published As

Publication number Publication date
IL273755A (en) 2020-05-31
EP3698201A4 (en) 2020-12-09
JP2020537849A (ja) 2020-12-24
US10863301B2 (en) 2020-12-08
IL297445A (en) 2022-12-01
IL273755B (en) 2022-11-01
US20210160647A1 (en) 2021-05-27
EP3698201A1 (en) 2020-08-26
CA3078420A1 (en) 2019-04-25
KR20200071099A (ko) 2020-06-18
CN111213082B (zh) 2022-07-22
CN111213082A (zh) 2020-05-29
IL273755B2 (en) 2023-03-01
IL297445B1 (en) 2023-11-01
US10616705B2 (en) 2020-04-07
IL297445B2 (en) 2024-03-01
KR102633727B1 (ko) 2024-02-05
US20190116448A1 (en) 2019-04-18
AU2018353008B2 (en) 2023-04-20
IL307592A (en) 2023-12-01
WO2019079523A1 (en) 2019-04-25
JP7449856B2 (ja) 2024-03-14
JP2023021243A (ja) 2023-02-10
US20200196087A1 (en) 2020-06-18
CN115175064A (zh) 2022-10-11
US11895483B2 (en) 2024-02-06
AU2018353008A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
KR102633727B1 (ko) 혼합 현실 공간 오디오
US11540072B2 (en) Reverberation fingerprint estimation
US11956620B2 (en) Dual listener positions for mixed reality
US11800313B2 (en) Immersive audio platform
US20240137725A1 (en) Mixed reality spatial audio
US11627430B2 (en) Environment acoustics persistence
WO2023183054A1 (en) Optimized mixed reality audio rendering
WO2023064870A1 (en) Voice processing for mixed reality

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination