KR102609668B1 - 가상, 증강, 및 혼합 현실 - Google Patents

가상, 증강, 및 혼합 현실 Download PDF

Info

Publication number
KR102609668B1
KR102609668B1 KR1020197000816A KR20197000816A KR102609668B1 KR 102609668 B1 KR102609668 B1 KR 102609668B1 KR 1020197000816 A KR1020197000816 A KR 1020197000816A KR 20197000816 A KR20197000816 A KR 20197000816A KR 102609668 B1 KR102609668 B1 KR 102609668B1
Authority
KR
South Korea
Prior art keywords
sound
environment
virtual sound
audio signal
virtual
Prior art date
Application number
KR1020197000816A
Other languages
English (en)
Other versions
KR20190028697A (ko
Inventor
에릭 비제르
래훈 김
라구베르 페리
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20190028697A publication Critical patent/KR20190028697A/ko
Application granted granted Critical
Publication of KR102609668B1 publication Critical patent/KR102609668B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

가상 사운드를 출력하는 방법은 환경에서의 오디오 신호를 하나 이상의 마이크로폰들에서 검출하는 단계를 포함한다. 방법은 또한 프로세서에서, 오디오 신호의 음원의 위치를 결정하는 단계 및 오디오 신호에 기초하여 환경의 하나 이상의 음향 특성을 추정하는 단계를 포함한다. 방법은 하나 이상의 음향 특성들에 기초하여 가상 사운드를 환경에 삽입하는 단계를 더 포함한다. 가상 사운드는 음원의 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 갖는다.

Description

가상, 증강, 및 혼합 현실
관련 출원에 대한 상호 참조
본 출원은 2016년 7월 15일에 출원된 미국 특허 가출원 일련번호 제 62/363,104호의 혜택을 주장하고, 2016년 8월 16일에 출원되고, 발명의 명칭이 "VIRTUAL, AUGMENTED, AND MIXED REALITY" 인 미국 특허 출원 일련번호 제 15/238,591호의 우선권을 주장하며, 이 양자는 그 전체가 참조로써 본원에 통합된다.
분야
본 개시물은 일반적으로 증강 현실과 관련된다.
가상 현실 응용 프로그램은 점점 인기를 얻고 있다. 예를 들어, 다른 디바이스들은 사용자들이 청각적으로 및 시각적으로 가상 환경을 경험할 수 있게 해주는 기능을 포함할 수 있다. 예시로, 사용자는 비디오 게임을 하기 위해 디바이스를 사용할 수 있다. 디바이스의 디스플레이 스크린은 비디오 게임과 연관된 가상 오브젝트들을 사용자에게 제시할 수 있고, 디바이스의 스피커들은 비디오 게임과 연관된 사운드들 (예를 들어, 가상 사운드들) 을 사용자에게 출력할 수 있다. 본원에서 사용되는 바와 같이, "가상 오브젝트"는 가상 현실 응용 프로그램 (예를 들어, 비디오 게임) 을 통해 사용자에게 시인되지만, 이와 달리 가상 현실 응용 프로그램 없이는 사용자에게 시인되지 않는 ("현실 세계"에서 사용자에게 시인되지 않는), 오브젝트에 해당한다. "가상 사운드"는 가상 현실 응용 프로그램을 통해 사용자에게 가청되지만, 이와 달리 가상 현실 응용 프로그램 없이는 사용자에게 가청되지 않는 ("현실 세계"에서 사용자에게 가청되지 않는), 사운드에 해당한다.
특정 시나리오에서, 어떤 사람은 현실 세계 경험을 만족스럽게 즐기지 못할 수도 있다. 비제한적인 예로서, 사람이 상대적으로 멀리 떨어져 있는 허밍 버드를 찾고 있는 경우, 그 사람은 허밍 버드에 의해 생성된 사운드 (예를 들어, 허밍 소리) 를 들을려고 시도할 수 있지만, 사람과 허밍 버드 간의 거리는 허밍 버드로부터의 허밍 소리를 사람이 듣지 못하게 할 수 있다.
일 구현예에 따르면, 가상 사운드를 출력하기 위한 장치는 환경에서의 오디오 신호를 검출하도록 구성된 하나 이상의 마이크로폰들을 포함한다. 장치는 또한 하나 이상의 마이크로폰들에 커플링된 프로세서를 포함한다. 프로세서는 오디오 신호의 음원의 위치를 결정하도록 구성된다. 프로세서는 또한 오디오 신호에 기초하여 환경의 하나 이상의 음향 특성들을 추정하도록 구성된다. 프로세서는 또한 하나 이상의 음향 특성들에 기초하여 환경에 가상 사운드를 삽입하도록 구성된다. 가상 사운드는 음원의 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 갖는다.
또 다른 구현예에 따르면, 가상 사운드를 출력하는 방법은 환경에서의 오디오 신호를 하나 이상의 마이크로폰들에서 검출하는 단계를 포함한다. 방법은 또한 프로세서에서, 오디오 신호의 음원의 위치를 결정하는 단계 및 오디오 신호에 기초하여 환경의 하나 이상의 음향 특성을 추정하는 단계를 포함한다. 방법은 하나 이상의 음향 특성들에 기초하여 가상 사운드를 환경에 삽입하는 단계를 더 포함한다. 가상 사운드는 음원의 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 갖는다.
다른 구현예에 따르면, 비일시적 컴퓨터 판독가능 매체는 가상 사운드를 출력하기 위한 명령들을 포함한다. 명령들은 프로세서에 의해 실행될 때, 프로세서로 하여금 오디오 신호의 음원의 위치를 결정하는 것 및 오디오 신호에 기초하여 환경의 하나 이상의 음향 특성을 추정하는 것을 포함하는 동작들을 수행하게 한다. 동작들은 하나 이상의 음향 특성들에 기초하여 환경에 가상 사운드를 삽입하는 것을 더 포함한다. 가상 사운드는 음원의 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 갖는다.
또 다른 구현예에 따르면, 가상 사운드 출력 장치는 환경에서의 오디오 신호를 검출하는 수단을 포함한다. 장치는 또한 오디오 신호의 음원의 위치를 결정하는 수단 및 오디오 신호에 기초하여 환경의 하나 이상의 음향 특성들을 추정하는 수단을 포함한다. 장치는 하나 이상의 음향 특성들에 기초하여 가상 사운드를 환경에 삽입하는 수단을 더 포함한다. 가상 사운드는 음원의 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 갖는다.
다른 구현예에 따르면, 사운드를 출력하는 장치는 메모리 및 메모리에 커플링된 프로세서를 포함한다. 프로세서는 환경의 하나 이상의 위치들에서 하나 이상의 음향 특성들을 결정하도록 구성된다. 프로세서는 또한 특정 오브젝트를 나타내는 사용자 선택을 수신하고 특정 위치의 사용자 표시를 수신하도록 구성된다. 프로세서는 또한 하나 이상의 음향 특성들에 기초하여 특정 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 결정하도록 구성된다. 프로세서는 또한 특정 오브젝트와 연관된 가상 사운드를 환경에 삽입하도록 구성된다. 가상 사운드는 하나 이상의 오디오 속성들을 갖는다.
다른 구현예들에 따르면, 사운드를 출력하는 방법은 환경의 하나 위치들에서 하나 이상의 음향 특성들을 결정하는 단계를 포함한다. 방법은 특정 오브젝트를 나타내는 사용자 선택을 수신하는 단계 및 특정 위치의 사용자 표시를 수신하는 단계를 더 포함한다. 방법은 또한 하나 이상의 음향 특성들에 기초하여 특정 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 결정하는 단계를 포함한다. 방법은 특정 오브젝트와 연관된 가상 사운드를 환경에 삽입하는 단계를 더 포함한다. 가상 사운드는 하나 이상의 오디오 속성들을 갖는다.
또 다른 구현예에 따르면, 비일시적 컴퓨터 판독가능 매체는 사운드를 출력하기 위한 명령들을 포함한다. 명령들은, 프로세서에 의해 실행될 때, 환경의 하나 이상의 위치들에서 하나 이상의 음향 특성들을 결정하는 것을 포함하는 동작들을 프로세서로 하여금 수행하게 한다. 동작들은 특정 오브젝트를 나타내는 사용자 선택을 수신하는 것 및 특정 위치의 사용자 표시를 수신하는 것을 더 포함한다. 동작들은 또한 하나 이상의 음향 특성들에 기초하여 특정 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 결정하는 것을 포함한다. 동작들은 특정 오브젝트와 연관된 가상 사운드를 환경에 삽입하는 것을 더 포함한다. 가상 사운드는 하나 이상의 오디오 속성들을 갖는다.
또 다른 구현예들에 따르면, 사운드를 출력하는 장치는 환경의 하나 위치들에서 하나 이상의 음향 특성들을 결정하는 수단을 포함한다. 장치는 특정 오브젝트를 나타내는 사용자 선택을 수신하는 수단 및 특정 위치의 사용자 표시를 수신하는 수단을 더 포함한다. 장치는 또한 하나 이상의 음향 특성들에 기초하여 특정 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 결정하는 수단을 포함한다. 장치는 특정 오브젝트와 연관된 가상 사운드를 환경에 삽입하는 수단을 더 포함한다. 가상 사운드는 하나 이상의 오디오 속성들을 갖는다.
도 1 은 가상 사운드와 가상 이미지들을 현실 세계 환경에 결합할 수 있는 시스템이다.
도 2 는 가상 사운드 및 가상 이미지들을 현실 세계 환경에 결합하도록 동작할 수 있는 디바이스의 위치와 관련하여 상이한 존들에서의 현실 세계 음원들 및 가상 음원들을 도시한다.
도 3 은 가상 사운드 및 가상 이미지들을 현실 세계 환경에 결합하도록 동작 가능한 헤드셋 관점에서의 증강 현실 장면을 도시한다.
도 4a 는 하나 이상의 검출된 사운드들에 기초하여 하나 이상의 가상 오브젝트들을 장면에 삽입하는 방법의 일례를 도시한다.
도 4b 는 하나 이상의 검출된 사운드들에 기초하여 하나 이상의 가상 오브젝트들을 장면에 삽입하는 방법의 다른 예를 도시한다.
도 5 는 하나 이상의 가상 사운드들을 환경에 삽입하는 예를 도시한다.
도 6 은 음향 환경의 표현을 증강하는 방법의 흐름도이다.
도 7 은 음향 환경의 표현을 증강하는 다른 방법의 흐름도이다.
도 8 은 인공 사운드를 생성하는 방법의 흐름도이다.
도 9 는 현실 세계 환경에서 가상 오브젝트를 생성하는 방법의 흐름도이다.
도 10 은 공간적으로 필터링된 사운드를 생성하는 방법의 흐름도이다.
도 11 은 사운드를 출력하는 방법의 흐름도이다.
도 12 는 가상 사운드를 생성하는 방법의 흐름도이다.
도 13 은 도 1-13과 관련하여 설명된 기법들을 수행하도록 동작 가능한 컴포넌트들을 포함하는 디바이스를 예시한다.
도 1 을 참조하면, 가상 사운드 및 가상 이미지들을 현실 세계 환경에 결합하도록 동작 가능한 시스템 (100) 이 도시되어 있다. 시스템 (100) 은 음향 환경 (150) 에 위치하는 디바이스 (102) 를 포함한다. 일 구현예에 따르면, 디바이스 (102) 는 가상 현실 장면, 혼합 현실 장면 또는 증강 현실 장면을 생성하도록 구성되는 헤드셋을 포함한다. 본원에서 사용된 바와 같이, "가상 현실 장면" 은 가상 컴포넌트들 (예를 들어, 하나 이상의 가상 사운드들 및/또는 하나 이상의 가상 오브젝트들) 을 포함하는 장면이다. 일반적으로, 가상 현실 장면에는 현실 세계의 컴포넌트들 (예를 들어, 현실 세계 사운드들 또는 현실 세계 오브젝트들) 이 없다. 본원에 사용된 바와 같이, "증강 현실 장면"은 하나 이상의 가상 컴포넌트들 및 하나 이상의 현실 세계 컴포넌트들을 포함하는 장면이다. 본원에서 사용되는 바와 같이, "혼합 현실 장면"은 하나 이상의 가상 컴포넌트들 및 하나 이상의 현실 세계 컴포넌트들을 포함하는 장면이다. 일반적으로, 혼합 현실 장면에서, 가상 컴포넌트들은 현실 세계 컴포넌트들의 속성들과 유사한 속성들 (예를 들어, 특성들) 을 가지므로 인간의 감각을 사용하여 가상 컴포넌트들과 현실 세계 컴포넌트들을 구별하는 것이 어려울 수 있다. 예를 들어, 혼합 현실 장면은 가상 컴포넌트들과 현실 세계 컴포넌트들의 비교적 "부드럽거나" 또는 매끄러운 블렌드를 포함한다.
디바이스 (102) 는 메모리 (104), 하나 이상의 마이크로폰들 (106), 하나 이상의 카메라들 (108), 하나 이상의 스피커들 (110), 디스플레이 스크린 (112), 프로세서 (114) 및 사운드 특성들의 데이터베이스 (116) 를 포함한다. 디바이스 (102) 의 컴포넌트들은 함께 커플링될 수 있다. 비제한적인 예로서, 하나 이상의 마이크로폰들 (106) 은 프로세서 (114) 에 커플링될 수 있고, 메모리 (104) 는 프로세서 (114) 에 커플링될 수 있으며, 하나 이상의 카메라들 (108) 은 프로세서 (114) 등에 커플링될 수 있다. 본원에 사용된 바와 같이, "커플링된"은 "통신 가능하게 커플링된", "전기적으로 커플링된" 또는 "물리적으로 커플링된" 및 이들의 조합을 포함할 수 있다. 2개의 디바이스들 (또는 컴포넌트들) 은 하나 이상의 다른 디바이스들, 컴포넌트들, 와이어들, 버스들, 네트워크들 (예를 들어, 유선 네트워크, 무선 네트워크, 또는 이들의 조합) 을 통해 직접 또는 간접적으로 커플링 (예를 들어, 통신적으로 커플링, 전기적으로 커플링 또는 물리적으로 커플링) 될 수 있다. 전기적으로 커플링되는 2 개의 디바이스들 (또는 컴포넌트들) 은 동일한 디바이스 또는 다른 디바이스들에 포함될 수 있으며, 예시의 비제한적인 예들로서 전자 디바이스들, 하나 이상의 커넥터들 또는 유도형 커플링을 통해 연결될 수 있다. 일부 구현예들에서, 전기 통신과 같이 통신적으로 커플링되는 2 개의 디바이스들 (또는 컴포넌트들) 은 하나 이상의 와이어들, 버스들, 네트워크들 등을 통해 직접 또는 간접적으로 전기 신호들 (디지털 신호들 또는 아날로그 신호들) 을 송수신할 수 있다.
디바이스 (102) 에 포함된 컴포넌트들은 단지 예시적인 목적을 위한 것이며 제한적인 것으로 해석되지 않는다. 일 구현예에 따르면, 디바이스 (102) 는 추가 (또는 더 적은) 컴포넌트들을 포함할 수 있다. 비제한적인 예로서, 디바이스 (102) 는 또한 볼륨 조절기, 하나 이상의 바이오피드백 (biofeedback) 센서들 또는 다른 센서들 (예를 들어, 가속도계), 하나 이상의 통신 컴포넌트들 (예를 들어, 무선 통신용 무선 주파수 (RF) 트랜시버) 등을 포함할 수 있다. 프로세서 (114) 는 위치 추정 회로 (122), 오디오 분석 회로 (124), 가상 사운드 생성 회로 (126), 가상 음원 생성 회로 (128), 비디오 재생 디바이스 (160) 및 오디오 재생 디바이스 (162) 를 포함한다. 프로세서 (114) 에 포함된 컴포넌트들은 단지 예시적인 목적을 위한 것이며 제한적인 것으로 해석되지 않는다. 일부 구현예들에 따르면, 프로세서 (114) 에서의 2 개 이상의 컴포넌트들은 단일 컴포넌트 또는 단일 프로세싱 유닛으로 결합될 수 있다.
음향 환경 (150) 은 "현실" (예를 들어, 현실 세계) 오브젝트들 및 실제 사운드들을 포함한다. 예를 들어, 음향 환경 (150) 은 음원 (130) 및 음원 (132) 을 포함한다. 각각의 음원 (130, 132) 은 사운드를 생성하는 오브젝트일 수 있다. 음원들의 비제한적인 예들은 동물, 인간, 자동차, 기계 등이다. 음원 (130) 은 각도 위치 (α1) 에 따라 디바이스 (102) 로부터 거리 (D1) 에 있을 수 있다. 음원 (132) 은 각도 위치 (α2) 에 따라 디바이스 (102) 로부터 거리 (D2) 에 있을 수 있다. 일부 구현예들에서 각도 위치가 각도 좌표 (예를 들어, 115도) 를 포함하지만, 다른 구현예들에서 각도 위치는 2개 각도 좌표들 간의 영역, 예컨대 제 1 각도 좌표 (191) (예를 들어, 9 도) 와 제 2 각도 좌표 (192) (예를 들어, 135 도) 간의 영역을 포함할 수 있다. 음원 (130) 은 오디오 신호 (140) 를 생성하도록 구성될 수 있고, 음원 (132) 은 오디오 신호 (142) 를 생성하도록 구성될 수 있다. 아래에 설명된 바와 같이, 각각의 오디오 신호 (140, 142) 는 하나 이상의 사운드 특성들을 가질 수 있다.
프로세서 (114) 의 위치 추정 회로 (122) 는 음원들 (130, 132) 의 시각적 파라미터들을 결정하도록 구성될 수 있다. 예시로, 하나 이상의 카메라들 (108) 은 음향 환경 (150) 의 시각적 표현 (170) 을 캡처할 수 있다. 하나 이상의 카메라들 (108) 은 오디오 캡처 디바이스에 근접 (예를 들어, 하나 이상의 마이크로폰들 (106) 에 근접) 할 수 있다. 초기에 (예를 들어, 후술하는 바와 같이, 혼합 현실 응용 프로그램의 추가 이전에), 음향 환경 (150) 의 시각적 표현 (170) 은 음향 환경 (150) 에 실제 오브젝트들을 묘사할 수 있다. 예를 들어, 음향 환경 (150) 의 시각적 표현 (170) 은 초기에 음원 (130) 및 음원 (132) 을 도시할 수 있다.
비디오 재생 디바이스 (160) 는 음향 환경 (150) 의 시각적 표현 (170) 을 캡처하는 하나 이상의 카메라들 (108) 에 응답하여 음향 환경 (150) 의 시각적 표현 (170) 을 처리 ("렌더링") 할 수 있다. 음향 환경 (150) 의 비디오 재생 디바이스 (160) 가 비디오 재생 디바이스 (160) 에 의해 처리된 이후, 위치 추정 회로 (122) 는 위치 추정 기법들을 사용하여 디바이스 (102) 로부터 음원 (130) 의 거리 (D1) 및 렌더링에 기초하여 음원 (130) 의 각도 위치 (α1) 를 결정할 수 있다. 위치 추정 회로 (122) 는 또한 위치 추정 기법들을 사용하여 디바이스 (102) 로부터 음원 (130) 의 거리 (D2) 및 렌더링에 기초하여 음원 (130) 의 각도 위치 (α2) 를 결정할 수 있다. 비디오 재생 디바이스 (160) 는 디스플레이 스크린 (112) 상에 음향 환경 (150) 의 시각적 표현 (170) 을 디스플레이할 수 있다. 디스플레이 스크린 (112) 상에 음향 환경 (150) 의 시각적 표현 (170) 을 디스플레이하는 것은 도 3과 관련하여 보다 상세히 기재된다.
프로세서 (114) 의 오디오 분석 회로 (124) 는 오디오 신호들 (140, 142) 의 사운드 특성들 (164, 166) 을 결정하도록 구성될 수 있다. 예시로, 하나 이상의 마이크로폰들 (106) 은 오디오 신호들 (140, 142) 을 검출하도록 구성될 수 있다. 오디오 분석 회로 (124) 는 오디오 신호 (140) 를 검출하는 하나 이상의 마이크로폰들 (106) 에 응답하여 오디오 신호 (140) 의 사운드 특성 (164) 을 결정할 수 있다. 예를 들어, 오디오 분석 회로 (124) 는 오디오 신호 (140) 의 적어도 하나의 잔향 특성을 결정할 수 있다. 일 구현예에 따르면, 적어도 하나의 잔향 특성은 오디오 신호 (140) 의 직접 대 잔향비 (direct-to-reverberation ratio, DRR) 를 포함할 수 있다. 오디오 분석 회로 (124) 는 사운드 특성들의 데이터베이스 (116) 에 (위치 추정 회로 (122) 에 의해 결정된 음원 (130) 의 대응하는 시각적 파라미터들과 함께) 오디오 신호 (140) 의 사운드 특성 (164) 을 저장할 수 있다. 사운드 특성들의 데이터베이스 (116) 는 사운드 특성들을 음원 위치 정보와 연관시킬 수 있다. 사운드 특성 (164) 이 잔향 특성으로 설명되어 있지만, 다른 구현예들에서, 사운드 특성 (164) 은 하나 이상의 다른 잔향 특성, 실내 충격 응답 (room impulse response, RIR), 헤드 관련 전달 함수 (head-related transfer function, HRTF), 하나 이상의 다른 특성들, 또는 이들의 조합을 포함할 수 있다.
유사한 방식으로, 오디오 분석 회로 (124) 는 오디오 신호 (142) 를 검출하는 하나 이상의 마이크로폰들 (106) 에 응답하여 오디오 신호 (142) 의 사운드 특성 (166) 을 결정할 수 있다. 예를 들어, 오디오 분석 회로 (124) 는 오디오 신호 (142) 의 적어도 하나의 잔향 특성을 결정할 수 있다. 일 구현예에 따르면, 적어도 하나의 잔향 특성은 오디오 신호 (142) 의 DRR 을 포함할 수 있다. 오디오 분석 회로 (124) 는 사운드 특성들의 데이터베이스 (116) 에 (위치 추정 회로 (122) 에 의해 결정된 음원 (132) 의 대응하는 시각적 파라미터들과 함께) 오디오 신호 (142) 의 사운드 특성 (166) 을 저장할 수 있다.
일 구현예에 따르면, 사운드 특성들 (164, 166) 은 음향 환경 (150) 의 특성들에 기초하여 영향을받을 수 있다. 프로세서 (114) 는 음향 환경 (150) 이 실내 환경, 실외 환경, 부분 밀폐 환경 등에 해당하는지를 결정할 수 있다. 사운드 특성들 (164, 166) 의 잔향 컴포넌트들은, 음원들 (130, 132) 이 엘리베이터에 있는 경우와 비교하여 음원들 (130, 132) 이 개방 필드에 있는 경우와 같이, 음향 환경 (150) 의 특성들에 의해 변경될 수 있다.
오디오 재생 디바이스 (162) 는 음향 환경 (150) 의 오디오 표현 (172) 을 생성할 수 있다. 초기에 (예를 들어, 후술하는 바와 같이 혼합 현실 응용 프로그램을 추가하기 전에), 음향 환경 (150) 의 시각적 표현 (172) 은 오디오 신호 (140) 와 연관된 사운드 및 오디오 신호 (142) 와 연관된 사운드를 포함할 수 있다. 음향 환경 (150) 의 오디오 표현 (172) 은 하나 이상의 스피커들 (110) 을 사용하여 출력될 수 있다. 예를 들어, 오디오 재생 디바이스 (162) 는 하나 이상의 스피커들 (110) (예를 들어, 헤드폰들) 을 사용하여 헤드셋 (예를 들어, 디바이스 (102)) 의 사용자에게 음향 환경 (150) 의 오디오 표현 (172) 을 제공할 수 있다.
오디오 표현 (172) 에서 오디오 신호 (140) 와 연관된 사운드는 각도 위치 (α1) 에 기초하여 도착 방향을 갖고 거리 (D1) 에 기초하여 볼륨 (예를 들어, 사운드 레벨) 을 갖도록 생성될 수 있다. 예를 들어, 거리 (D1) 가 비교적 큰 경우, 오디오 신호 (140) 와 연관된 사운드의 볼륨은 비교적 낮을 수 있다. 따라서, 오디오 재생 디바이스 (162) 는 음원 (130) 및 사운드 특성 (164) 의 시각적 파라미터들에 기초하여 오디오 신호 (140) 와 연관된 사운드를 생성할 수 있다. 다른 구현예들에서, 오디오 재생 디바이스 (162) 는 오디오 표현 (172) 에서 오디오 신호 (140) 와 연관된 사운드를 생성하기 위해 하나 이상의 마이크로폰들 (106) 에 의해 검출된 오디오 신호 (142) 를 사용할 수 있다. 예를 들어, 오디오 재생 디바이스는 하나 이상의 마이크로폰들 (106) 에 의해 검출된 오디오 신호 (140) 를 "재생"함으로써 오디오 신호 (140) 와 연관된 사운드를 생성할 수 있다. 오디오 표현 (172) 에서 오디오 신호 (142) 와 연관된 사운드는 각도 위치 (α2) 에 기초하여 도착 방향을 갖고 거리 (D2) 에 기초하여 볼륨 (예를 들어, 사운드 레벨) 을 갖도록 생성될 수 있다. 따라서, 오디오 재생 디바이스 (162) 는 음원 (132) 및 사운드 특성 (166) 의 시각적 파라미터들에 기초하여 오디오 신호 (142) 와 연관된 사운드를 생성할 수 있다. 다른 구현예들에서, 오디오 재생 디바이스 (162) 는 하나 이상의 마이크로폰들 (106) 에 의해 검출된 오디오 신호 (140) 를 "재생"함으로써 오디오 신호 (142) 와 연관된 사운드를 생성할 수 있다.
일 구현예에 따르면, 오디오 신호들 (140, 142) 중 하나 이상은 오디오 디바이스의 사용자-개시의 재생에 기초하여 생성될 수 있다. 비제한적인 예로서, 음원 (130) 은 스피커를 포함할 수 있고, 사용자 개시의 재생은 스피커로부터의 오디오 신호 (140) 의 생성을 포함할 수 있다. 예시로, 도 5 의 제 1 예 (500) 를 참조하면, 스피커 (502) 는 사용자의 손에 놓일 수 있다. 스피커 (502) 는 스피커 (502) 를 사용하여 환경의 상이한 위치들에서 오디오 신호들을 생성할 수 있다. 헤드셋은 스피커 (502) 에 의해 생성된 사운드에 기초하여 음향 특성들 (예를 들어, 실내 충격 응답 (RIR) 및 헤드 관련 전달 함수 (HRTF)) 을 결정할 수 있다. 예를 들어, 헤드셋은 스피커 (502) 에 의해 생성된 각각의 오디오 신호를 검출하도록 구성된 하나 이상의 마이크로폰들을 포함할 수 있다. 사용자는 그의 손을, 이에 따라서 스피커 (502) 를 환경의 상이한 위치로 움직여 환경 특성들을 결정할 수 있다. 헤드셋은 또한 RIR 및 HRTF에 기초하여 필터들을 업데이트하여 환경 내에서 가상 사운드들을 생성할 수도 있다.
헤드셋이 환경의 상이한 위치들에서 음향 특성들을 결정한 이후에, 사용자는 특정 오브젝트를 나타내는 사용자 선택을 헤드셋에 제공할 수 있다. 예시로, 제 2 예 (520) 를 참조하는 경우, 사용자는 피아노 (504) 의 사용자 선택을 헤드셋에 제공할 수 있다. 사용자는 또한 환경의 특정 위치의 사용자 표시를 제공할 수 있다. 예를 들어, 사용자는 사용자의 손가락에 착용식 센서를 착용할 수 있다. 착용식 센서는 특정 위치를 나타낼 수 있다. 헤드셋은 상이한 위치들에서의 음향 특성에 기초하여 특정 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 결정할 수 있다. 예를 들어, 헤드셋은 RIR 및 HRTF를 사용하여 착용식 센서가 나타내는 위치와 연관된 오디오 속성들을 결정할 수 있다. 헤드셋은 특정 오브젝트 (예를 들어, 피아노 (504)) 과 연관된 가상 사운드 (예를 들어, 피아노 사운드) 를 생성할 수 있다. 가상 사운드는 하나 이상의 오디오 속성들을 가질 수 있고, 그리고 헤드셋은 가상 사운드에 기초하여 사운드 신호를 출력할 수 있다.
추가로, 사용자는 다른 특정 오브젝트를 나타내는 사용자 선택을 헤드셋에 제공할 수 있다. 예시로, 제 2 예 (520) 를 참조하면, 사용자는 바이올린 (506) 의 사용자 선택을 헤드셋에 제공할 수 있다. 사용자는 또한 착용식 센서를 통해 제 2 특정 위치의 사용자 표시를 제공할 수 있다. 헤드셋은 상이한 위치들에서의 음향 특성들에 기초하여 제 2 특정 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 결정할 수 있다. 헤드셋은 바이올린 (506) 과 연관된 제 2 가상 사운드 (예를 들어, 바이올린 사운드) 를 생성할 수 있다. 가상 사운드는 하나 이상의 오디오 속성들을 가질 수 있고, 그리고 헤드셋은 가상 사운드에 기초하여 사운드 신호를 출력할 수 있다.
일 구현예에 따르면, 특정 시간량이 경과된 경우 (예를 들어, 필터 음향을 생성하기 위한 충분한 시간이 경과된 경우), 오브젝트 사운드는 대응하는 가상 오브젝트의 위치에 사용자의 손 없이도 그대로 유지될 수 있다 (예를 들어, 연속적으로 재생될 수 있다). 예를 들어, 헤드셋이 사용자의 손의 위치에서 특성들 (예를 들면, 잔향 특성들, RIR 및 HRTF) 을 결정한 경우, 가상 사운드는 사용자가 그의 손을 움직인 이후 그 위치에서 연속적으로 재생할 수 있다. 따라서 도 1을 다시 참조하면, 오디오 분석 회로 (124) 는 사용자의 손 위치와 연관된 오디오 재생에 기초하여 오디오 신호 (140) 의 사운드 특성 (164) 을 생성할 수 있다.
일 구현예에 따르면, 오디오 신호들 (140, 142) 중 하나 이상은 오디오 디바이스의 사용자-개시의 재생없이도 생성될 수 있다. 비한정적인 예로서, 음원 (132) 은 오디오 신호 (142) 를 생성하는 동물 (또는 사용자의 제어하에 있지 않은 다른 오브젝트) 을 포함할 수 있다.
프로세서 (114) 는 가상 컴포넌트들 (예를 들어, 가상 오브젝트들 및/또는 가상 사운드들) 을 생성하고, 디스플레이 스크린 (112) 에 디스플레이된 음향 환경 (150) 의 시각적 표현 (170) 에 하나 이상의 가상 컴포넌트들을 적용하여 혼합 또는 증강된 시각적 장면을 생성하고, 그리고 하나 이상의 스피커들 (110) 에서 출력된 음향 환경 (150) 의 오디오 표현 (172) 에 하나 이상의 가상 컴포넌트들을 적용하여 혼합 또는 증강된 오디오를 생성하도록 구성될 수 있다. 예를 들어, 가상 사운드 생성 회로 (126) 는 가상 사운드 (144) 를 생성하도록 구성될 수 있고, 가상 음원 생성 회로 (128) 는 가상 음원 (134) 를 생성하도록 구성될 수 있다.
예시로, 가상 음원 생성 회로 (128) 는 가상 음원 (134) 을 생성할 수 있고, 그리고 비디오 재생 디바이스 (160) 는 가상 음원 (134) 을 시각적 표현 (170) 에 삽입함으로써 음향 환경 (150) 의 시각적 표현 (170) 을 수정하도록 구성될 수 있다. 도 3 과 관련하여 상세히 후술되는 바와 같이, 수정된 시각적 표현 (170) 은 디스플레이 스크린 (112) 에 디스플레이될 수 있다. 수정된 시각적 표현 (170) 에 기초하여, 위치 추정 회로 (122) 는 가상 음원 (134) 의 시각 파라미터들을 결정하도록 구성될 수 있다. 예시로, 위치 추정 회로 (122) 는 위치 추정 기법들을 사용하여 디바이스 (102) 로부터 가상 음원 (134) 의 거리 (D3) 및 가상 음원 (134) 의 각도 위치 (α3) 에 대응하는 가상 파라미터들을 결정할 수 있다.
가상 사운드 생성 회로 (126) 는, 가상 사운드 (144) 가 가상 음원 (134) 으로부터 나와 디바이스 (102) 의 사용자에 의해 인지될 수 있는 방식으로, 오디오 신호들 (140, 142) 각각의 사운드 특성들 (164, 166) 중 하나 이상에 기초하여 가상 사운드 (144) 를 생성하도록 구성될 수 있다. 예시로, 가상 음원 (134) 은 새일 수 있고 가상 사운드 (144) 는 새 처프 사운드를 포함할 수 있다. 새 처프 사운드는 사운드 데이터베이스로부터 검색되고 가상 사운드 생성 회로 (126) 에 의해 수정되어, 가상 사운드 (144) 가 가상 음원 (134) 으로부터 발생된다는 사용자의 인지를 향상시킬 수 있다. 예를 들어, 가상 사운드 생성 회로 (126) 는 오디오 신호들 (140, 142) 의 잔향 특성들 (예를 들어, 사운드 특성들의 데이터베이스 (116) 에 저장된 사운드 특성들 (164, 166)) 에 기초하여 가상 사운드 (144) 의 하나 이상의 잔향 특성들을 결정할 수 있다. 예시로, 가상 사운드 생성 회로 (126) 는 가상 음원 (134) 의 위치 (예를 들면, 거리 (D3) 및 각도 위치 (α3)) 를 사운드 특성들의 데이터베이스에서 사운드 특성들 (164, 166) 과 연관된 시각 파라미터들과 비교할 수 있다. 거리 (D2) 가 거리 (D3) 와 실질적으로 유사하다고 가상 사운드 생성 회로 (126) 가 결정하는 경우, 가상 사운드 생성 회로 (126) 는 오디오 신호 (142) 의 잔향 특성들과 실질적으로 유사한 가상 사운드 (144) 에 대한 잔향 특성을 생성할 수 있다.
도 2 와 관련하여 보다 상세하게 설명된 바와 같이, 가상 사운드 생성 회로 (126) 는 음원들 (130, 132) 이 하나 이상의 음향 존들, 예컨대 음향 환경 (150) 의 제 1 존 또는 음향 환경 (150) 의 제 2 존에 위치하는지를 결정할 수 있다. 가상 음원 (134) 이 음원 (130) 과 동일한 존에 위치한다면, 가상 사운드 (144) 의 사운드 특성 (168) 은 오디오 신호 (140) 의 사운드 특성 (164) 과 실질적으로 유사할 수 있다. 가상 음원 (134) 이 음원 (132) 과 동일한 존에 위치한다면, 가상 사운드 (144) 의 사운드 특성 (168) 은 오디오 신호 (142) 의 사운드 특성 (166) 과 실질적으로 유사할 수 있다. 가상 음원 (134) 이 음원 (130) 과 상이한 존에 위치한다면, 가상 사운드 (144) 의 사운드 특성 (168) 은 오디오 신호 (140) 의 사운드 특성 (164) 과 상이할 수 있다. 가상 음원 (134) 이 음원 (132) 과 상이한 존에 위치한다면, 가상 사운드 (144) 의 사운드 특성 (168) 은 오디오 신호 (142) 의 사운드 특성 (166) 과 상이할 수 있다.
가상 사운드 생성 회로 (126) 는 또한 가상 사운드 (144) 와 연관된 가상 음원 (134) 의 위치에 기초하여 가상 사운드 (144) 의 도착 방향을 결정하도록 구성될 수 있다. 예를 들어, 가상 사운드 생성 회로 (126) 는 (위치 추정 회로 (122) 로부터) 가상 음원 (134) 의 각도 위치 (α3) 를 결정할 수 있다. 각도 위치 (α3) 에 기초하여, 가상 사운드 생성 회로 (126) 는, 가상 사운드 (144) 가 가상 음원 (134) 의 방향으로부터 나오는 것처럼 디바이스 (102) 의 사용자가 가상 사운드 (144) 를 듣도록 가상 사운드 (144) 를 패닝할 수 있다. 따라서, 가상 사운드 생성 회로 (126) 는 하나 이상의 잔향 특성들 (예를 들어, 사운드 특성 (168) 및 도달 방향에 기초하여 가상 사운드 (144) 를 생성할 수 있다.
오디오 재생 디바이스 (162) 는 가상 음원 (134) 을 오디오 표현 (172) 에 삽입함으로써 음향 환경 (150) 의 오디오 표현 (172) 을 수정하도록 구성될 수 있다. 음향 환경 (150) 의 수정된 오디오 표현 (172) 은 하나 이상의 스피커들 (110) 에서 출력될 수 있다. 예를 들어, 오디오 재생 디바이스 (162) 는 헤드셋의 하나 이상의 스피커들에서 (가상 사운드 (144) 에 기초하여) 사운드 신호를 출력할 수 있다.
상술한 바와 같이, 새 처프 사운드는 사운드 데이터베이스로부터 검색될 수 있다. 사운드 데이터베이스로부터 검색된 새 처프 사운드는 오디오 신호의 디지털 표현을 포함할 수 있다. 가상 사운드 생성 회로 (126) 는 공간적으로 필터링된 오디오 파일을 생성하기 위해 사운드 특성들 (164, 166) 에 기초하여 오디오 신호의 디지털 표현을 공간적으로 필터링하도록 구성될 수 있다. 가상 음원 생성 회로 (128) 는 공간적으로 필터링된 오디오 파일에 기초하여 공간적으로 필터링된 오디오 신호를 생성하고, 그리고 공간적으로 필터링된 오디오 신호를 하나 이상의 스피커들 (110) 로 전송하도록 구성될 수 있다. 하나 이상의 스피커들 (110) 은 공간적으로 필터링된 오디오 신호를 공간적으로 필터링된 사운드로서 투사하도록 구성될 수 있다. 공간적으로 필터링된 사운드는 가상 사운드 (144) 를 포함할 수 있다. 일 구현예에 따르면, 가상 사운드 (144) 는 컴퓨터 생성 사운드를 포함한다.
일 구현예에 따르면, 하나 이상의 카메라들 (108) 은 음향 환경 (150) 의 시각적 묘사와 같은 시각적 장면을 캡처하도록 구성될 수 있다. 가상 음원 생성 회로 (128) 가 가상 음원 (134) 의 이미지를 음향 환경 (150) 의 시각적 표현 (170) (예를 들어, 시각적 장면) 에 삽입할 때, 위치 추정 회로 (122) 는 시각적 장면에서의 가상 음원 (134) 의 위치를 결정할 수 있다. 위치는 하나 이상의 카메라들 (108) 로부터의 가상 음원 (134) 의 거리 (D3) 및 하나 이상의 카메라들 (108) 에 대한 가상 음원 (134) 의 각도 위치 (α3) 를 나타낸다. 일 구현예에 따르면, 위치 추정 회로 (122) 는 시각적 장면에 대응하는 심도 맵에 적어도 부분적으로 기초하여 거리 (D3) 를 결정할 수 있다. 도 2 와 관련하여 상술한 바와 같이, 가상 사운드 생성 회로 (126) 는 가상 음원 (134) 의 위치에 기초하여 가상 사운드 (144) 의 하나 이상의 사운드 특성들 (예를 들어, 사운드 특성 (168)) 을 결정할 수 있다. 가상 사운드 생성 회로 (126) 는 하나 이상의 사운드 특성들에 기초하여 가상 사운드 (144) 를 생성할 수 있고, 그리고 오디오 재생 디바이스 (162) 는 가상 사운드 (144) 를 포함하도록 음향 환경 (150) 의 음향 표현 (172) 을 수정함으로써 가상 사운드 (144) 에 기초하여 (하나 이상의 스피커들 (110) 에서) 사운드 신호를 출력할 수 있다.
도 1 의 시스템 (100) 은 가상 오브젝트들이 음향 환경 (150) 의 시각적 표현 (170) 에 삽입되게 하여 디스플레이 스크린 (112) 에 시각적 혼합 현실 장면을 생성하게 할 수 있다. 예를 들어, 음향 환경 (150) 에 존재하지 않는 오브젝트들은 사용자의 즐거움을 향상시키기 위해 음향 환경 (150) 의 시각적 표현 (170) 에 가상으로 삽입될 수 있다. 부가하여, 시스템 (100) 은 가상 사운드들이 음향 환경의 오디오 표현 (172) 에 삽입되게 하여 하나 이상의 스피커들 (110) 에서 오디오 혼합 현실을 생성하게 할 수 있다. 일 구현예에 따르면, 가상 사운드들은 가상 음원 (134) 과 같은 가상 오브젝트들에 부가될 수 있다. 일 구현예에 따르면, 가상 사운드들은 음원 (130) 및/또는 음원 (132) 과 같은 현실 세계 오브젝트들에 부가될 수 있다. 현실 세계 오브젝트들에 가상 사운드를 부가하는 것은 사용자들이 상대적으로 멀리있는 오브젝트들부터 사운드들을 "듣게" (예를 들어, 이와 달리 가상 현실 응용 프로그램없이는 사용자에게 가청되지 않을 수 있는 오브젝트들로부터의 사운드들을 듣게) 할 수 있다.
도 2 는 도 1 의 디바이스 (102) 의 위치와 관련하여 상이한 존들에서의 가상 음원들 및 현실 세계 음원들의 예를 도시한다. 도 1의 음향 환경 (150) 은 제 1 존 (202) 및 제 2 존 (204) 을 포함하는 복수의 존들을 포함하는 것으로 도시되어 있다. 다른 구현예들에 따르면, 음향 환경 (150) 은 3 개 이상의 존들을 포함할 수 있다. 존들 (202, 204) 은 디바이스 (102) 의 마이크로폰(들) (106) 에 또는 그 근처에 중심점들이 위치되어 있는 동심원들을 포함할 수 있다. 예를 들어, 마이크로폰(들) (106) 은 마이크로폰들의 원형 어레이를 포함할 수 있으며, 각각의 마이크로폰은 다른 방향으로 오디오를 캡처하도록 배치된다. 제 1 존 (202) 은 제 2 존 (204) 보다 디바이스 (102) 에 더 근접한다. 도 2 가 동심원의 형태의 2 개의 존들 (202, 204) 을 도시하고 있지만, 본원에 기재된 기법들은 상이한 기하학적 구조를 갖는 존들을 이용하여 적용할 수 있다. 비제한적인 예로서, 각각의 존들 (202, 204) 은 디바이스 (102) 에 중심점이 위치해 있는 직사각형 섹션을 포함할 수 있다.
디바이스 (102) 의 프로세서 (114) 는 각도 위치와의 거리에 기초하여, 특정한 음원이 제 1 존 (202) 에 위치하는지 또는 제 2 존 (204) 에 위치하는지를 결정하도록 구성될 수 있다. 예를 들어, 오디오 분석 회로 (124) 는, 제 1 음원 (130) 이 제 1 음원 (130) 과 디바이스 (102) (예를 들어, 마이크로폰(들) (106)) 사이의 거리 (D1) 에 기초하여 및 (예를 들어, 마이크로폰(들) (106) 에 대한) 제 1 음원 (130) 의 제 1 각도 위치에 기초하여 제 1 존 (202) 에 위치한다고 결정할 수 있다. 유사한 방식으로, 프로세서 (114) 는, 제 2 음원 (132) 이 제 2 음원 (132) 과 디바이스 (102) 사이의 거리 (D2) 에 기초하여 및 (예를 들어, 마이크로폰(들) (106) 에 대한) 제 2 음원 (132) 의 제 2 각도 위치에 기초하여 제 1 존 (204) 에 위치한다고 결정할 수 있다. 도 1 을 참조하여 기재된 바와 같이, 프로세서 (114) 는 제 1 오디오 신호 (140) 에 대응하는 제 1 사운드 특성 (164) 및 제 2 오디오 신호 (142) 에 대응하는 제 2 사운드 특성 (166) 을 결정할 수 있다.
프로세서 (114) 는, 가상 음원 (134) 과 디바이스 (102) 사이의 거리 (D3) 에 기초하여 및 가상 음원 (134) 의 제 3 각도 위치 (α3) 에 기초하여 제 2 존 (204) 에 위치하는 소스 (가상 음원 (134)) 로부터 가상 음원 (144) 이 발생된다고 결정할 수 있다. 가상 사운드 신호 (144) 를 생성하기 위해, 프로세서 (114) 는 가상 사운드들의 데이터베이스로부터 가상 소스 (예를 들어, 새 처프) 에 대응하는 사운드 신호를 검색할 수 있고, 그리고 검색된 사운드 신호에 제 2 사운드 특성 (166) 을 적용하여 제 2 존 (204) 으로부터의 가상 사운드 (144) 의 사운드 특성(들)이 제 2 음원 (132) 으로부터의 현실 세계 사운드 (오디오 신호 (142)) 의 사운드 특성(들)을 모방하도록 할 수 있다. 대안적으로, 가상 사운드 신호 (144) 가 제 2 존 (204) 에서보다 제 1 존 (202) 에서 있는 것으로 결정되는 경우, 프로세서 (114) 는 대신에 제 1 사운드 특성 (164) 을 검색된 사운드 신호에 적용하여 제 1 존 (204) 으로부터의 가상 사운드 (144) 의 사운드 특성(들)이 제 1 음원 (130) 으로부터의 현실 세계 사운드 (오디오 신호 (140)) 의 사운드 특성(들)을 모방하도록 할 수 있다.
동일한 존에서의 하나 이상의 다른 음원들의 측정된 (예를 들어, 감지된, 계산된, 검출된 등등의) 사운드 특성들에 기초하여 가상 사운드의 하나 이상의 사운드 특성들을 선택함으로써, 가상 사운드는 가상 사운드의 사운드 특성들을 결정하기 위해 다른 기법을 사용하는 것과 비교하여 계산상의 복잡성이 감소된 것과 함께 사용자에 의해 보다 현실적인 것으로 인지될 수 있다. 예를 들어, 가상 사운드의 사운드 특성들의 결정은 가상 사운드의 도착 방향 및 거리에 기초하여 및 또한 음향 환경의 하나 이상의 속성들 (예를 들어, 천장이나 벽의 유무 및 천장이나 벽으로부터의 거리, 반사 또는 흡수 구조 또는 물질의 유무 및 반사 또는 흡수 구조 또는 물질로부터의 거리 등) 에 기초하여 사운드 데이터의 저장된 테이블들을 액세스함으로써 다른 사운드 신호들과 독립적으로 수행될 수 있다. 현실 세계 사운드들의 측정된 사운드 특성들 및 유사한 공간 위치 (예를 들어, 동일한 존) 로부터 나오는 사운드들이 유사한 사운드 특성 (예를 들어, 동일한 잔향 특성) 을 갖는다는 근사치를 사용함으로써, 상술된 테이블 기반의 접근법과 비교하여 보다 현실적인 가상 사운드가 생성될 수 있다.
도 3 은 가상 사운드 및 가상 이미지들을 현실 세계 환경에 결합하도록 동작 가능한 헤드셋 관점에서의 증강 현실 장면을 도시한다. 디바이스 (102) 는 좌측 디스플레이 스크린 (302), 우측 디스플레이 스크린 (303), 마이크로폰들 (310, 311, 312, 및 313) (예를 들어, 마이크로폰들의 어레이) 및 스피커들 (320-323) (예를 들어, 스피커들의 어레이) 을 갖는 헤드셋으로서 사용자 관점에서 도시되어 있다. 디스플레이 스크린들 (302-303) 은 도 1의 디스플레이 스크린 (112) 에 집합적으로 대응할 수 있고, 마이크로폰들 (310-313) 은 도 1의 마이크로폰들 (106) 에 대응할 수 있고, 스피커들 (320-323) 은 도 1의 스피커들 (110) 에 대응할 수 있다. 디바이스 (102) 는 제 2 트리 (342) 보다 디바이스 (102) 에 더 근접한 제 1 트리 (340) 를 포함하는 환경에 있다. 환경은 또한 제 1 음원 (330) 및 제 2 음원 (332) 을 포함한다.
디바이스 (102) 는 가상 현실 경험, 혼합 현실 경험, 또는 혼합 현실 경험 중 하나 이상을 디바이스 (102) 의 착용자에게 제공하도록 구성될 수 있다. 예를 들어, 스테레오 비전을 가능하게 하기 위해 좌측 디스플레이 스크린 (302) 은 사용자의 좌측 눈을 위한 좌측 장면을 디스플레이할 수 있고, 우측 디스플레이 스크린 (303) 은 사용자의 우측 눈을 위한 우측 장면을 디스플레이할 수 있다. 일부 구현예에서, 디스플레이 스크린들 (302 및 303) 은 불투명하고, 하나 이상의 내장된 가상 오브젝트들 (예를 들어, 가상 소스 (354)) 을 갖는 (예를 들어, 제 1 음원 (330) 의 이미지 (350) 및 제 2 음원 (332) 의 이미지 (352) 를 포함하는) 시각적 장면의 표현들을 생성한다. 일부 구현예들에서, 디스플레이들 (302 및 303) 은 하나 이상의 내장된 가상 오브젝트들을 시각적 장면 위에 오버레이한다. 일부 구현예들에서, 디바이스 (102) 는 3 차원 (3D) 시청을 제공할 수 있거나 2 차원 (2D) 시청을 제공할 수 있는 2 개의 디스플레이들 (302-303) 보다 단일 디스플레이를 포함할 수 있다.
디바이스 (102) 는 가상 오브젝트들을 갖는 가상 환경을 증강하거나, 가상 사운드들을 갖는 음향 환경을 증강하거나, 또는 이들을 조합하도록 구성될 수 있다. 제 1 예로서, 디바이스 (102) 는 현실 세계 음원에서 발생하는 것으로 사용자에 의해 인지될 가상 사운드를 생성할 수 있다. 디바이스 (102) 는 제 2 트리 (342) 가 가상 사운드의 소스 (예를 들어, 게임 애플리케이션에서 노래하는 트리) 로 사용될 것이라고 결정할 수 있다. 예를 들어, 제 2 트리 (342) 는 사용자 포인팅을 식별하거나, 사용자 눈 움직임 또는 시선, 또는 사용자의 음성 인식을 추적 (예를 들어, 제 2 트리 (342) 를 식별) 하는 것을 통해 사용자에 기초하여 선택될 수 있다.
제 1 구현예에서, 디바이스 (102) 는 제 1 음원 (330) 으로부터의 제 1 사운드 (예를 들어, 개가 짖는 것) 및 제 2 음원 (332) 으로부터의 제 2 사운드 (예를 들어, 인간이 말하는 것) 를 검출할 수 있다. 디바이스 (102) 는 제 1 음원 (330) 에 대응하는 제 1 거리 (340) 및 도달 방향을 결정할 수 있고 제 2 음원 (332) 에 대응하는 제 2 거리 (342) 및 도달 방향을 결정할 수 있다. 디바이스 (102) 는 제 1 사운드의 제 1 사운드 특성 및 제 2 사운드의 제 2 사운드 특성을 결정할 수 있다. 디바이스 (102) 는 제 2 트리 (342) 까지의 거리가 제 2 거리 (342) 보다 상대적으로 제 1 거리 (340) 에 더 가깝다고 결정할 수 있다 (또는 도 2 에 기재된 바와 같이 제 2 트리 (342) 가 제 1 음원 (330) 과 동일한 존에 있고 제 2 음원 (332) 과는 다른 존에 있다고 결정할 수 있다). 디바이스 (102) 는 제 1 음원 (330) 으로부터의 제 1 사운드의 제 1 사운드 특성에 기초하여 가상 사운드 (예를 들어, 노래하는 트리의 음성) 의 사운드 특성을 선택할 수 있다.
제 1 예의 제 2 구현예에서, 디바이스 (102) 의 사용자는 제 2 트리 (342) 에 또는 그 근처에 제 2 음원 (예를 들어, 스피커) 를 배치할 수 있다. 디바이스 (102) 는 (예를 들어, 사용자가 선택된 오디오 신호의 사용자 개시의 재생을 통해) 음원으로부터 수신되는 오디오 신호에 기초하여 제 1 사운드 특성을 결정할 수 있다. 디바이스 (102) 는 제 1 사운드 특성을 가상 사운드 (예를 들어, 노래하는 트리의 음성) 의 사운드 특성으로 사용할 수 있다.
제 1 예의 제 3 구현예에서, 디바이스 (102) 는 음향 환경에서의 현실 세계 사운드들의 사운드 특성들을 사용하지 않고 가상 사운드의 사운드 특성의 테이블 기반의 결정을 구현할 수도 있다. 디바이스 (102) 는 제 2 트리 (342) 까지의 거리 및 방향을 추정하고, 하나 이상의 음향 조건들 (예를 들어 디바이스 (102) 가 밀폐 공간에 있는지 또는 개방 공간에 있는지) 을 추정하고, 그리고 하나 이상의 테이블 룩업 동작 및 계산들을 개시하여 가상 사운드의 사운드 특성을 생성할 수 있다.
제 2 예로서, 디바이스 (102) 는 현실 세계 사운드의 소스로서 사용자에게 디스플레이될 가상 음원을 생성할 수 있다. 예를 들어, 제 3 음원 (334) 은 부분적으로 또는 완전히 숨겨지거나, 가려지거나 또는 이와 달리 시각적으로 인지하기 어렵게 될 수 있다. 디바이스 (102) 는 제 3 음원 (334) 으로부터 오디오 신호를 검출할 수 있고, 검출된 사운드의 하나 이상의 특성들에 기초하여 제 3 음원 (334) 의 위치를 추정할 수 있다. 제 3 음원 (334) 의 위치를 추정한 이후, 디바이스 (102) 는 가상 음원 (354) 을 디스플레이 스크린들 (302-303) 에 추가하여 사용자가 음원을 시각적으로 구별할 수 있게 할 수 있다.
제 2 예의 제 1 구현예에서, 디바이스 (102) 는 검출된 오디오 신호의 하나 이상의 사운드 특성을, 도 1의 데이터베이스 (116) 에 저장된 특성들을 갖는 제 1 음원 (330) 및 제 2 음원 (332) 으로부터의 오디오 신호들과 같은, 음향 환경의 다른 오디오 신호들의 사운드 특성들과 비교함으로써 적어도 부분적으로 제 3 음원 (334) 의 위치를 추정할 수 있다. 디바이스 (102) 로부터 제 3 음원 (334) 까지의 거리는 비교에 기초하여 및 거리들 (340 및 342) 에 기초하여 추정될 수 있다 (예를 들어, 제 3 음원 (334) 까지의 거리는 검출된 사운드의 사운드 특성과의 유사성에 기초하여 음원까지의 거리, 또는 이 음원을 포함하는 존 영역까지의 거리를 사용하여 추정될 수 있다). 도착 방향은 디바이스 (102) 에 의해, 예컨대 디바이스 (102) 의 상이한 마이크로폰들 (310-313) 에서의 오디오 신호의 위상차들을 통해 추정될 수 있다.
제 2 예의 제 2 구현예에서, 디바이스 (102) 는 검출된 오디오 신호의 하나 이상의 사운드 특성을 재생된 오디오 신호들의 사운드 특성들과 비교함으로써 적어도 부분적으로 제 3 음원 (334) 의 위치를 추정할 수 있다. 예를 들어, 디바이스 (102) 는 (예를 들어, 사용자가 장면 내의 하나 이상의 위치들에서의 스피커로부터 선택된 오디오 신호의 사용자 개시의 재생을 통해) 하나 이상의 음원들로부터 수신되는 하나 이상의 오디오 신호들에 기초한 사운드 특성들을 결정하거나 또는 데이터베이스 (116) 에 저장할 수 있다.
제 3 예로서, 디바이스 (102) 는 가상 사운드의 소스로서 사용자에게 디스플레이될 가상 음원 및 가상 사운드를 생성할 수 있다. 예를 들어, 디바이스 (102) 는 제 3 음원 (334) 을 가상 음원으로서 추가하고 제 3 음원 (334) 으로부터의 가상 사운드를 추가함으로써 음향 및 시각적 환경을 증강할 수 있다. 디바이스 (102) 는 (예를 들어, 게임플레이 시나리오에 기초하는) 제 3 음원 (334) 의 위치를 선택할 수 있고, 제 3 음원 (334) 이 현실 세계 시각적 장면에 있는 것처럼 보이도록 디스플레이들 (302-303) 내의 적절한 위치에 가상 음원 (354) 의 시각적 표현을 디스플레이할 수 있다. 디바이스 (102) 는 (예를 들어, 하나 이상의 유사하게 위치된 현실 세계 음원들로부터의 오디오 신호들에 기초하여) 위에서 설명된 하나 이상의 구현예들을 이용하여 가상 음원 (334) 으로부터 가상 사운드의 하나 이상의 사운드 특성을 선택할 수 있다.
도 4a 를 참조하면, 하나 이상의 검출된 사운드들에 기초하여 가상 오브젝트들을 장면에 삽입하는 예가 도시되어 있다. 도 4a는 제 1 장면 (400) 및 제 2 장면 (420) 을 도시한다. 제 1 장면 (400) 은 헤드셋 (402) 의 디스플레이스 스크린 (404) 을 통해 보는 것으로, 혼합 현실 처리가 없는 환경의 시각적 묘사이다. 제 2 장면 (420) 은 헤드셋 (402) 의 디스플레이스 스크린 (404) 을 통해 보는 것으로, 혼합 현실 처리가 있는 환경의 시각적 묘사이다.
헤드셋 (402) 은 도 1의 디바이스 (102) 에 대응할 수 있다. 예를 들어, 헤드셋 (402) 은 디바이스 (102) 와 유사한 컴포넌트들을 포함할 수 있고 디바이스 (102) 와 실질적으로 유사한 방식으로 동작할 수 있다. 헤드셋 (402) 은 하나 이상의 디스플레이 스크린들 (404) 및 하나 이상의 마이크로폰들 (406) 을 포함한다. 하나 이상의 디스플레이 스크린들 (404) 은 도 1 의 디스플레이 스크린 (112), 도 3 의 디스플레이 스크린들 (302, 303), 또는 이들의 조합에 대응할 수 있다. 하나 이상의 마이크로폰들 (406) 은 도 1의 하나 이상의 마이크로폰들 (106) 에 대응할 수 있다.
하나 이상의 마이크로폰들 (406) 은 장면들 (400, 420) 에서 사운드들을 검출할 수 있다. 예를 들어, 하나 이상의 마이크로폰들 (406) 은 새 사운드 (410) (예를 들어, 처핑), 인간 음성 사운드 (412) (예를 들어, 말하는 것), 및 원숭이 사운드 (414) 를 검출할 수 있다. 새 사운드 (410) 의 음원의 위치는 도 1 과 관련하여 기재된 오디오 분석 기법들을 사용하여 결정될 수 있다. 예를 들어, 헤드셋 (402) 내의 프로세서 (미도시) 는 새 사운드 (410) 를 식별할 수 있고, 새 사운드 (410) 가 제 1 장면 (400) 의 상부 좌측 부분 측으로의 위치로부터 나온다고 결정할 수 있다. 인간 음성 사운드 (412) 의 음원의 위치는 도 1 과 관련하여 기재된 오디오 분석 기법들을 사용하여 결정될 수 있다. 예를 들어, 헤드셋 (402) 내의 프로세서는 인간 음성 사운드 (412) 를 식별하고 인간 음성 사운드 (412) 가 제 1 장면 (400) 의 중심을 향하는 위치로부터 나오고 있다고 결정할 수 있다. 원숭이 사운드의 음원의 위치는 도 1 과 관련하여 기재된 오디오 분석 기법들을 사용하여 결정될 수 있다. 예를 들어, 헤드셋 (402) 내의 프로세서는 원숭이 사운드 (414) 를 식별하고 원숭이 사운드 (414) 가 제 1 장면 (400) 의 상부 우측 부분을 향하는 위치로부터 나오고 있다고 결정할 수 있다.
사운드들 (410, 412, 414) 이 하나 이상의 마이크로폰들 (406) 에 의해 검출 가능하지만, 음원들은 헤드셋 (402) 의 카메라에 의해 시인되지 않을 수도 있다. 예를 들어, 새 사운드 (410) 를 만드는 새는 나무의 잎들에 의해 카메라로부터 숨겨질 수 있고, 인간 음성 사운드 (412) 를 만드는 인간은 안개에 의해 카메라로부터 숨겨질 수 있고, 그리고 원숭이 사운드 (414) 를 만드는 원숭이는 다른 나무의 잎들에 의해 카메라로부터 숨겨질 수 있다.
헤드셋 (402) 은 도 1 의 혼합 현실 처리 기법들을 제 1 장면 (400) 에 적용하여 제 2 장면 (420) 을 생성할 수 있다. 예를 들어, 프로세서는 도 1의 가상 음원 생성 회로 (128) 와 실질적으로 유사한 방식으로 작업할 수 있고, 그리고 새 사운드 (410) 가 생성되는 가상 새 (430) 에 삽입할 수 있다. 유사하게, 프로세서는 인간 음성 사운드 (412) 가 생성되는 가상 인간 (432) 을 삽입할 수 있고 원숭이 사운드 (414) 가 생성되는 가상 원숭이 (434) 를 삽입할 수 있다. 가상 새 (430), 가상 인간 (432), 및 가상 원숭이 (434) 는 도 1 과 관련하여 설명된 혼합 현실 처리 기법들을 사용하여 하나 이상의 디스플레이 스크린들 (404) 을 통해 제 2 장면 (420) 에 디스플레이될 수 있다.
따라서, 사용자 경험을 향상시키기 위해 가상 오브젝트들 (430, 432, 434) 이 혼합 현실 처리 기법들을 사용하여 장면에 삽입될 수도 있다. 예를 들어, 사용자가 사운드를 들을 수 있지만, 사운드들과 관련된 음원들을 볼 수 없는 경우, 헤드셋 (402) 은 사용자 경험을 향상시키기 위해 사운드들이 생성되는 곳과 인접한 위치들에 (하나 이상의 디스플레이 스크린들 (404) 을 통해 시인되는) 가상 소스들을 삽입할 수 있다.
도 4b 를 참조하면, 하나 이상의 검출된 사운드들에 기초하여 가상 오브젝트들을 장면에 삽입하는 다른 예가 도시되어 있다. 도 4b 는 디바이스 (452) (예를 들어, 보안 카메라) 에 의해 캡처되는 장면을 도시한다. 예를 들어, 디바이스 (452) 는 장면의 시각적 묘사를 캡처할 수 있다. 일 구현예에 따르면, 디바이스 (452) 는 도 1 의 디바이스 (102) 에 대응 (또는 도 1 의 디바이스 (102) 에 포함) 될 수 있다. 예를 들어, 디바이스 (452) 는 디바이스 (102) 와 유사한 컴포넌트들을 포함할 수 있고 디바이스 (102) 와 실질적으로 유사한 방식으로 동작할 수 있다.
디바이스 (452) 에 의해 캡처되는 장면은 유아용 침대 (crib) (448) 를 포함할 수 있다. 디바이스 (452) 는 오디오 신호를 검출하도록 구성된 하나 이상의 마이크로폰들 (도시되지 않음) 을 포함할 수 있다. 예를 들어, 하나 이상의 마이크로폰들은 아기 사운드 (450) 를 검출할 수 있다. 디바이스 (452) 내의 프로세서는 오디오 신호의 음원의 위치를 결정할 수 있다. 예를 들어, 디바이스 (452) 내의 프로세서는 오디오 신호의 음원의 위치를 결정할 수 있다. 예시로, 프로세서는 아기 사운드 (450) 의 사운드 특성을 결정할 수 있다. 사운드 특성은 직접 대 잔향비 (DRR) 와 같은 잔향 특성을 포함할 수 있다. 사운드 특성에 기초하여, 프로세서는 디바이스 (452) 로부터의 음원의 거리를 결정할 수 있다. 예를 들어, 프로세서는 음원이 제 1 존 (예를 들어, 근거리 필드 존) 에 위치하는지 또는 제 2 존 (예를 들어, 원거리 필드 존) 에 위치하는지를 결정할 수 있다. 프로세서는 또한 아기 사운드 (450) 의 도달 방향을 추정할 수 있다. 음원의 위치는 도달 방향 및 음원과 연관된 존에 기초할 수 있다. 예를 들어, 도착 방향은 하나 이상의 마이크로폰들부터의 음원의 방향을 나타낼 수 있고, 음원과 연관된 존은 음원이 하나 이상의 마이크로폰들로부터 얼마나 멀리 떨어져 있는지를 나타낼 수 있다.
디비아스 (452) 는 아기 사운드에 기초하여 환경의 하나 이상의 음향 특성들을 추정할 수 있다. 일 구현예에 따르면, 디바이스는 하나 이상의 음향 특성들에 기초하여 가상 사운드를 생성할 수 있다. 예를 들어, 디바이스 (452) 는 음원의 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 갖는 가상의 아기 사운드 (462) 를 생성할 수 있다. 프로세서는 가상의 아기 사운드 (462) 에 기초하여 원격 위치에서 사운드 신호를 출력할 수도 있다. 예를 들어, 디스플레이 스크린 (490) 은 디바이스 (452) (예를 들어, 보안 카메라) 와 상이한 위치에 위치할 수 있다. 예시로, 디바이스 (452) 는 집의 한 방에 위치될 수도 있고, 디스플레이 스크린 (490) 은 집의 다른 방에 위치될 수도 있다. 디바이스 (490) 는 디스플레이 스크린 (490) 을 포함하는 집의 방에 위치된 하나 이상의 스피커들에서 가상의 아기 사운드 (462) 를 출력할 수 있다.
일 구현예에 따르면, 디바이스 (452) 는 오디오 신호에 기초하여 음원을 특정 오브젝트로 분류하도록 구성될 수 있다. 예를 들어, 디바이스 (452) 는 아기 사운드 (450) 의 음원을 아기로 분류할 수 있다. 디바이스 (452) 는 특정 오브젝트의 가상 이미지를 생성할 수 있다. 예를 들어, 디바이스 (452) 는 가상 아기 (460) 를 생성할 수도 있다. 디바이스 (452) 는 또한 가상 이미지를 환경의 시각적 묘사에 삽입할 수 있다. 예시로, 디바이스 (452) 는 가상 아기 (460) 를 디스플레이 스크린 (490) 에서 시각적 묘사로 삽입할 수 있다. 가상 아기는 음원의 위치에 대응하는 시각적 묘사의 특정 위치에 위치될 수 있다. 예를 들어, 가상 아기 (460) 는 유아용 침대 (448) (예를 들어, 아기 사운드 (450) 가 생성되는 곳) 에 위치될 수 있다.
도 6 을 참조하면, 음향 환경의 표현을 증강하는 방법 (600) 을 예시한 흐름도가 도시되어 있다. 방법 (600) 은 도 1 의 디바이스 (102) 와 같이 마이크로폰 및 프로세서를 포함하는 디바이스에서 수행될 수 있다.
602 에서, 오디오 신호가 마이크로폰에서 검출된다. 예를 들어, 오디오 신호는 디바이스 (102) 의 마이크로폰(들) (106) 에서 검출된 도 1 의 오디오 신호 (140 또는 142) 에 대응할 수 있다.
604 에서, 오디오 신호의 사운드 특성은 프로세서에서 결정된다. 예를 들어, 도 1의 프로세서 (114) 는 오디오 신호 (140) 에 기초하여 제 1 사운드 특성 (164) 을 결정할 수 있다. 606 에서, 오디오 신호의 음향 특성에 기초하여 가상 사운드가 생성되고, 그리고 608 에서, 오디오 재생 디바이스에서의 재생을 위해 음향 환경의 표현에 가상 사운드가 삽입된다. 예를 들어, 도 1의 가상 사운드 생성 회로 (126) 는 가상 사운드를 나타내고 오디오 재생 디바이스 (162) 에서의 재생을 위해 음향 환경의 표현 (172) 에 추가되는 데이터를 생성할 수 있다. 음향 환경의 표현에 가상 사운드를 삽입하는 것은 가상 사운드를 증강 현실, 가상 현실 또는 혼합 현실 헤드셋의 하나 이상의 스피커들 (예를 들어, 이어폰) 에서 가상 사운드를 출력하는 것을 포함할 수 있다.
일부 구현예들에서, 사운드 특성은 오디오 신호의 적어도 하나의 잔향 특성을 포함할 수 있다. 적어도 하나의 잔향 특성은 오디오 신호의 직접 대 잔향비 (direct-to-reverberation ratio, DRR) 을 포함할 수 있다. 가상 사운드의 하나 이상의 잔향 특성들은 오디오 신호의 적어도 하나의 잔향 특성에 기초하여 결정될 수 있고, 가상 사운드의 도착 방향은 가상 사운드와 연관된 가상 음원의 위치에 기초하여 추정될 수 있다. 가상 사운드는 하나 이상의 잔향 특성들 및 도착 방향에 기초하여 생성될 수 있다.
대안적으로 또는 부가적으로, 방법 (600) 은 그 사운드 특성에 기초하여, 오디오 신호의 음원이 음향 환경의 제 1 존 또는 음향 환경의 제 2 존에 위치하는지 여부를 결정하는 단계를 포함할 수 있다. 제 1 존 (예를 들어, 도 2의 제 1 존 (202)) 은 제 2 존 (예를 들어, 도 2의 제 2 존 (204)) 보다 마이크로폰에 더 가까울 수 있다. 가상 사운드와 연관된 가상 음원이 제 1 존 또는 제 2 존에 위치하는지 여부에 대한 결정이 이루어질 수 있다. 가상 사운드의 하나 이상의 특성들은 음원의 위치 및 가상 음원의 위치에 기초할 수 있다.
예를 들면, 가상 사운드의 특성은, 음원이 제 1 존에 위치하고 가상 음원이 제 1 존에 위치하는 경우 오디오 신호의 사운드 특성과 실질적으로 유사할 수 있고, 그리고 가상 사운드의 특성은, 음원이 제 1 존에 위치하고 가상 음원이 제 2 존에 위치하는 경우 오디오 신호의 사운드 특성과 상이할 수 있다. 다른 예로서, 가상 사운드의 특성은, 음원이 제 2 존에 위치하고 가상 음원이 제 2 존에 위치하는 경우 오디오 신호의 사운드 특성과 실질적으로 유사할 수 있고, 그리고 가상 사운드의 특성은, 음원이 제 2 존에 위치하고 가상 음원이 제 1 존에 위치하는 경우 오디오 신호의 사운드 특성과 상이할 수 있다.
오디오 신호는 오디오 디바이스의 사용자-개시의 재생에 기초하여 생성될 수 있다. 예를 들어, 오디오 신호는 가상 사운드의 가상 음원의 위치 또는 그 근방의 음향 환경에 놓이는 스피커 또는 다른 사운드 생성기에 의해 생성될 수 있다. 오디오 신호는 마이크로폰 (들)에 의해 캡처될 수 있고 위치에 대응하고 향상된 사실감을 위해 가상 사운드에 적용될 수 있는 사운드 특성들 (예를 들어, 도착 방향, 잔향 특성들 등) 을 결정하도록 처리될 수 있다. 예를 들어, 마이크로폰(들)에서 캡처된 오디오 신호와 스피커에서 재생된 오디오 신호 간의 차이들이 식별되어 그 위치로부터 마이크로폰(들)로의 전달 특성을 결정하는데 사용될 수 있다.
대안적으로, 오디오 신호는 오디오 디바이스의 사용자-개시의 재생없이 생성될 수 있다. 예를 들어, 오디오 신호는 가상 사운드의 가상 음원의 위치 또는 그 근방의 음향 환경에서의 음향 생성 엘리먼트에 의해 생성될 수 있다. 하나 이상의 오디오 신호는 마이크로폰(들)에 의해 캡처된 사운드에서 검출될 수 있으며, 오디오 신호들의 하나 이상의 소스들의 위치가 추정될 수 있다. 가상 사운드의 소스의 위치에 근접하거나 또는 그 위치와 동일 위치인 소스로부터의 오디오 신호의 사운드 특성은 가상 사운드의 사운드 특성을 생성하기 위해 사용될 수 있다.
특정 구현예에서, 오디오 재생 디바이스는 도 3 을 참조하여 설명된 바와 같이 가상 현실 장면, 증강 현실 장면, 또는 혼합 현실 장면 중 적어도 하나를 생성하도록 구성되는 헤드셋에 통합된다. 음향 환경의 시각적 표현은 하나 이상의 카메라들을 사용하여 캡쳐되고 헤드셋에서 디스플레이될 수 있으며, 가상 사운드와 연관된 가상 사운드는 시각적 표현에 삽입될 수 있다. 다른 구현예들에서, 오디오 재생 디바이스는 시각적 디스플레이를 갖는 헤드셋에 구현되지 않고 대신 다른 디바이스 (예를 들어, 이동 전화 또는 음악 재생 디바이스) 에 통합될 수 있다.
도 7 을 참조하면, 음향 환경의 표현을 증강하는 방법 (700) 을 예시한 흐름도가 도시되어 있다. 방법 (700) 은 도 1 의 디바이스 (102) 와 같이 마이크로폰 및 프로세서를 포함하는 디바이스에서 수행될 수 있다. 도 6 과 비교하여, 도 7 의 방법의 구현들은 수신된 오디오 신호의 음향 특성에 기초하지 않는 가상 사운드의 특성을 결정할 수 있다.
702 에서, 하나 이상의 카메라들을 이용하여 시각적 장면이 캡처된다. 하나 이상의 카메라들은 오디오 캡처 디바이스에 근접한다. 오디오 캡처 디바이스는 가상 현실 장면, 증강 현실 장면 또는 혼합 현실 장면 중 적어도 하나를 생성하도록 구성되는 헤드셋에 통합될 수 있다.
704 에서, 시각적 장면에 가상 음원의 위치가 결정된다. 위치는 하나 이상의 카메라들로부터의 가상 음원의 거리 및 하나 이상의 카메라들에 대한 가상 음원의 각도 위치를 나타낸다.
706 에서, 가상 음원의 위치에 기초하여 가상 사운드의 하나 이상의 사운드 특성이 결정된다. 하나 이상의 사운드 특성은 가상 사운드의 적어도 하나의 잔향 특성을 포함할 수 있다. 일부 구현예에서, 가상 사운드의 하나 이상의 특성들은 음향 환경의 특성에 추가로 기초한다. 예를 들어, 음향 환경의 특성이 결정될 수 있다. 음향 환경의 특성은 음향 환경이 실내 환경인지 실외 환경인지를 나타낼 수 있다. 일부 구현예에서, 가상 음원의 위치는 사운드 특성을 위치 정보와 연관시키는 데이터베이스 내의 위치 정보와 비교될 수 있고, 이 비교에 기초하여 가상 사운드의 하나 이상의 사운드 특성이 결정될 수 있다.
708 에서, 하나 이상의 사운드 특성에 기초하여 가상 사운드가 생성되고, 그리고 710 에서, 오디오 재생 디바이스에서의 재생을 위해 음향 환경의 표현에 가상 사운드가 삽입된다.
방법 (700) 은 시각적 장면의 표현에 가상 음원을 삽입하고 시각적 장면의 표현을 디스플레이하는 단계를 포함할 수 있다. 가상 사운드를 삽입하는 단계는 헤드셋의 하나 이상의 스피커에서 가상 사운드에 대응하는 사운드 신호를 출력하는 단계를 포함할 수 있다.
도 8 은 가상 오디오 신호를 생성하는 방법 (800) 의 일례를 나타낸다. 방법 (800) 은 도 1의 디바이스 (102) 와 같이 오디오 재생 디바이스를 포함하는 디바이스에서 수행될 수 있다.
802 에서, 방법 (800) 은 인공 사운드 (예를 들어, 가상 사운드) 와 연관되는 오브젝트를 선택하는 단계를 포함한다. 예를 들어, 도 3 을 참조하여 기재된 바와 같이, 제 2 트리 (342) 가 선택될 수 있다. 오브젝트는, 예를 들어, 오브젝트에서의 사용자의 손가락에 의한 포인팅을 식별하거나, 사용자의 눈 움직임을 추적하거나, 또는 오브젝트를 응시하거나, 또는 사용자의 음성 인식 (예를 들어, 가상 사운드를 오브젝트에 추가하기 위한 커맨드를 식별하는 것) 을 통한 사용자 입력에 기초하여 선택될 수 있다.
804 에서, 오브젝트의 위치가 결정된다. 오브젝트의 위치는 심도 맵 또는 다른 시각적 처리 기법에 기초하여 결정될 수 있다. 오브젝트의 위치는 도 2 를 참조하여 기재된 바와 같이 특정 존에 대응한다.
806 에서, 특정 존과 연관된 하나 이상의 사운드 잔향 파라미터들 및 특정 존과 연관된 하나 이상의 도착 방향 (direction-of-arrival, DOA) 파라미터들이 결정된다. 예를 들어, 사운드 잔향 파라미터들 및 DOA 파라미터들은 특정 존으로부터의 실제 기록된 사운드에 기초하여 결정될 수 있다. 다른 예로서, 사운드 잔향 파라미터들 및 DOA 파라미터들은 특정 존으로부터의 실제 재생된 사운드에 기초하여 결정될 수 있다. 또 다른 예로서, 사운드 존 잔향 파라미터들은 오브젝트 시각적 심도 및 DOA 정보에 기초하여 및 미리 컴파일된 음향 룩업 테이블에 기초하여 결정될 수 있다.
808 에서, 하나 이상의 사운드 잔향 파라미터들 및 하나 이상의 DOA 파라미터들에 기초하여 오디오 필터가 생성될 수 있다. 810 에서, 인공 사운드를 생성하기 위해 오브젝트와 연관된 "클린" 사운드 신호에 오디오 필터가 적용될 수 있다. 예를 들어, 도 1의 가상 음원 생성 회로 (128) 에 의해 오디오 필터가 생성 및 적용될 수 있다.
812 에서, 인공 사운드가 헤드셋에서, 예컨대 도 1 의 스피커(들) 또는 도 3 의 스피커들 (320-323) 에서 출력될 수 있다. 예를 들어, 인공 사운드는 헤드셋 이어피스 (예를 들어, 도 3 의 스피커 (320-321)) 에서 재생될 수 있다.
도 9 는 실제 환경에서 가상 오브젝트를 생성하는 방법 (900) 의 일례이다. 방법 (900) 은 도 1의 디바이스 (102) 와 같이 비디오 재생 디바이스를 포함하는 디바이스에서 수행될 수 있다.
902 에서, 방법 (900) 은 음향 환경에서 사운드를 검출하는 단계를 포함한다. 예를 들어, 도 1 을 참조하는 경우, 하나 이상의 마이크로폰들 (106) 은 음향 환경 (150) 에서 오디오 신호를 검출할 수 있다.
904 에서, 사운드의 하나 이상의 사운드 잔향 파라미터들이 결정될 수 있고 사운드의 도착 방향 (DOA) 이 결정될 수 있다. 예를 들어, 도 1 을 참조하는 경우, 오디오 분석 회로 (124) 는 사운드의 하나 이상의 잔향 파라미터를 결정할 수 있다. 일 구현예에 따르면, 오디오 분석 회로 (124) 는 사운드의 DRR을 결정할 수 있다. 부가하여, 위치 추정 회로 (122) 는 사운드의 DOA를 결정할 수 있다. 예를 들어, 위치 추정 회로 (122) 는 사운드의 각도 위치를 결정할 수 있다.
906 에서, 하나 이상의 사운드 잔향 파라미터들 및 DOA 에 기초하여 사운드의 음원의 위치가 결정될 수 있다. 이 위치는 음원의 심도 및 음원의 방향을 나타낼 수 있다. 예를 들어, 도 1 을 참조하는 경우, 위치 추정 회로는 하나 이상의 사운드 잔향 파라미터들 및 DOA 에 기초하여 음원의 위치를 결정할 수 있다. 일 구현예에 따르면, DRR 및 각도 위치는 사운드의 심도 (depth) 및 방향을 결정하기 위해 프로세서에 의해 사용될 수 있다.
908 에서, 사운드와 연관시키기 위해 가상 오브젝트의 시각적 특성들이 결정될 수 있다. 시각적 오브젝트는 음향 환경의 사운드, 위치, 및 시각적 표현에 기초할 수 있다. 예를 들어, 도 1 을 참조하는 경우, 프로세서 (114) 는 가상 오브젝트가 "실제 시각적 장면"에 "블렌딩"되도록 가상 오브젝트에 대한 쉐이딩 스킴, 가상 오브젝트에 대한 컬러 스킴, 가상 오브젝트의 크기 스킴, 또는 이들의 조합을 결정할 수 있다. 스킴은 그 위치에 기초할 수 있다. 비한정적인 예로서, 음원의 위치가 상대적으로 멀리 있다고 프로세서 (114) 가 결정하면, 프로세서 (114) 는 상대적으로 작은 크기에 대응하는 시각적 특성을 선택할 수 있다.
910 에서, 가상 오브젝트는 시각적 특성들에 기초하여 생성될 수 있다. 예를 들어, 도 1 을 참조하는 경우, 가상 음원 생성 회로 (128) 는 908 에 기재된 시각적 특성들 (예를 들어, 상이한 스킴들) 에 기초하여 가상 오브젝트를 생성할 수 있다.
912 에서, 음향 환경의 시각적 표현에 가상 오브젝트가 삽입될 수 있다. 예를 들어, 비디오 재생 디바이스 (160) 는 음향 환경 (150) 의 시각적 표현 (170) 에 가상 오브젝트를 삽입할 수 있다.
도 9 의 방법 (900) 은 장면의 시각적 표현에 가상 오브젝트들이 삽입되게 하여 시각적 혼합 현실 장면을 생성하게 할 수 있다. 예를 들어, "현실 세계 (real-world)"에 존재하지 않는 가상 오브젝트가 사용자의 즐거움을 향상시키기 위해 시각적 표현에 가상으로 삽입될 수 있다.
도 10은 공간적으로 필터링된 사운드를 생성하는 방법 (1000) 의 일례이다. 방법 (1000) 은 도 1의 디바이스 (102) 와 같이 오디오 재생 디바이스를 포함하는 디바이스에서 수행될 수 있다.
1002 에서, 방법 (1000) 은 제 1 오디오 신호를 마이크로폰에서 검출하는 단계를 포함한다. 제 1 오디오 신호는 음향 환경에서 음원에 의해 생성될 수 있다. 예를 들어, 오디오 신호는 디바이스 (102) 의 마이크로폰(들) (106) 에서 검출된 도 1 의 오디오 신호 (140 또는 142) 에 대응할 수 있다. 1004 에서, 방법 (1000) 은 또한 제 1 오디오 신호의 특성을 결정하는 단계를 포함한다. 예를 들어, 도 1 을 참조하는 경우, 프로세서 (114) 는 오디오 신호 (140) 에 기초하여 사운드 특성 (164) 을 결정할 수 있다.
1006 에서, 방법 (1000) 은 또한 공간적으로 필터링된 오디오 파일을 생성하기 위해 특성에 기초하여 제 2 오디오 신호의 디지털 표현을 공간적으로 필터링하는 단계를 포함한다. 예를 들어, 도 1 을 참조하는 경우, 가상 사운드 생성 회로 (126) 는 공간적으로 필터링된 오디오 파일을 생성하기 위해 사운드 특성 (164) 에 기초하여 오디오 신호의 디지털 표현을 공간적으로 필터링할 수 있다. 1008 에서, 방법 (1000) 은 또한 공간적으로 필터링된 오디오 신호를 스피커로 전송하는 단계를 포함한다. 공간적으로 필터링된 오디오 신호가 공간적으로 필터링된 오디오 파일에 기초할 수 있다. 예를 들어, 도 1을 참조하는 경우, 가상 음원 생성 회로 (128) 는 공간적으로 필터링된 오디오 파일에 기초하여 공간적으로 필터링된 오디오 신호를 생성할 수 있고, 공간적으로 필터링된 오디오 신호를 하나 이상의 스피커들 (110) 로 전송할 수 있다.
1010 에서, 방법 (1000) 은 또한 스피커에서의 공간적으로 필터링된 오디오 신호를 공간적으로 필터링된 사운드로서 투사하는 단계를 포함한다. 예를 들어, 도 1 을 참조하는 경우, 하나 이상의 스피커들 (110) 은 공간적으로 필터링된 오디오 신호를 공간적으로 필터링된 사운드로서 투사할 수 있다. 공간적으로 필터링된 사운드는 가상 사운드 (144) 를 포함할 수 있다. 일 구현예에 따르면, 가상 사운드 (144) 는 컴퓨터 생성 사운드를 포함한다.
도 11은 사운드를 출력하는 방법 (1100) 의 일례를 도시한다. 방법 (1100) 은 도 1의 디바이스 (102) 와 같이 오디오 재생 디바이스를 포함하는 디바이스에서 수행될 수 있다.
1102 에서, 방법 (1100) 은 환경의 하나 이상의 위치들에서 하나 이상의 음향 특성들을 결정하는 단계를 포함한다. 예를 들어, 도 5 를 참조하는 경우, 스피커 (502) 는 사용자의 손에 마모되도록 구성되고 환경의 상이한 위치에서 오디오 신호를 생성할 수 있다. 예시로, 사용자는 그의 손을 움직일 수 있고, 스피커 (502) 는 사용자의 손이 위치하는 오디오 신호를 생성할 수 있다. 사용자의 헤드셋은 스피커에 의해 투사된 오디오 신호를 검출하도록 구성된 하나 이상의 마이크로폰들을 포함할 수 있다. 검출된 오디오 신호들에 기초하여, 헤드셋은 환경의 상이한 위치들에서 하나 이상의 음향 특성들을 결정할 수 있다.
1104 에서, 방법 (1100) 은 또한 특정 오브젝트를 나타내는 사용자 선택을 수신하는 단계를 포함한다. 예를 들어, 도 5 를 참조하는 경우, 헤드셋은 사용자가 피아노 (504) 를 선택했다는 것을 나타내는 사용자 선택을 수신할 수 있다. 1106 에서, 방법 (1100) 은 또한 특정 위치의 사용자 표시를 수신하는 단계를 포함한다. 착용식 센서는 특정 위치를 검출하고, 특정 위치의 사용자 표시를 생성하고, 특정 위치의 사용자 표시를 프로세서 (예를 들어, 헤드셋) 로 전송하도록 구성될 수 있다. 예를 들어, 도 5를 참조하는 경우, 헤드셋은 사용자가 특정 위치 (예를 들어, 사용자의 얼굴 대략 2 피트 전방) 을 포인팅하고 있는 사용자 표시를 (사용자의 손에서의 착용식 센서를 통해) 수신할 수 있다.
1108 에서, 방법 (1100) 은 또한 하나 이상의 음향 특성들에 기초하여 특정 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 결정하는 단계를 포함한다. 예를 들어, 도 5를 참조하는 경우, 헤드셋은 사용자의 얼굴 2 피트 전방에서 생성된 사운드의 오디오 속성들을 결정할 수 있다. 예시로, 스피커 (502) 가 사용자의 얼굴 대략 2 피트 전방에 있을 때, 헤드셋은 스피커 (502) 로부터 생성된 사운드의 오디오 속성들을 결정할 수 있다.
1110 에서, 방법 (1100) 은 또한 특정 오브젝트와 연관된 가상 사운드를 환경에 삽입하는 단계를 포함한다. 가상 사운드는 하나 이상의 오디오 속성들을 갖는다. 예를 들어, 도 5를 참조하는 경우, 헤드셋은 사용자의 얼굴 대략 2 피트 전방에 있을 때 스피커 (502) 에 의해 생성된 사운드의 오디오 속성들을 포함하는 가상 피아노 사운드를 생성할 수 있다. 다른 예로서, 헤드셋은 하나 이상의 음향 특성들을 메모리에서 하나 이상의 엔트리들과 비교할 수 있다. 각각의 엔트리는 상이한 사운드와 연관될 수 있다. 헤드셋은 가상 사운드를 환경에 삽입하기 전에 비교에 기초하여 특정 엔트리로부터 가상 사운드를 검색할 수 있다. 가상 사운드가 생성된 이후 (또는 메모리로부터 검색된 이후), 헤드셋은 가상 사운드 (예를 들어, 피아노 사운드) 를 환경에 삽입할 수 있다.
도 12 는 가상 사운드를 생성하는 방법 (1200) 의 일례를 도시한다. 방법 (1200) 은 도 1의 디바이스 (102) 와 같이 오디오 재생 디바이스를 포함하는 디바이스에서 수행될 수 있다.
1202 에서, 방법 (1200) 은 환경에서의 오디오 신호를 하나 이상의 마이크로폰들에서 검출하는 단계를 포함한다. 예를 들어, 도 1 을 참조하는 경우, 하나 이상의 마이크로폰들 (106) 은 오디오 신호 (140) 를 검출할 수 있다. 1204 에서, 방법 (1200) 은 또한 오디오 신호의 음원의 위치를 프로세서에서 결정하는 단계를 포함한다. 예를 들어, 도 1 을 참조하는 경우, 디바이스 (102) 는 오디오 신호 (140) 의 음원 (130) 의 위치를 결정할 수 있다. 예를 들어, 디바이스는 오디오 신호 (140) 의 사운드 특성을 결정할 수 있다. 사운드 특성에 기초하여, 디바이스 (102) 는 음원 (130) 이 음향 환경 (150) 의 제 1 존에 위치하는지 또는 음향 환경 (150) 의 제 2 존에 위치하는지를 결정할 수 있다. 제 1 존은 제 2 존보다 근접할 수 있다.
1206 에서, 방법 (1200) 은 또한 오디오 신호에 기초하여 환경의 하나 이상의 음향 특성들을 추정하는 단계를 포함한다. 예를 들어, 도 1 을 참조하는 경우, 오디오 분석 회로 (124) 는 검출된 오디오 신호 (140) 에 기초하여 음향 환경 (150) 의 하나 이상의 음향 특성들을 추정할 수 있다.
1208 에서, 방법 (1200) 은 또한 하나 이상의 음향 특성들에 기초하여 가상 사운드를 환경에 삽입하는 단계를 포함한다. 가상 사운드는 음원의 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 갖는다. 예를 들어, 도 1 을 참조하는 경우, 가상 음원 생성 회로 (128) 는 음향 환경의 음향 특성들에 기초하여 가상 사운드를 생성할 수 있다. 다른 예로서, 프로세서 (114) 는 하나 이상의 음향 특성들을 메모리 (104) 에서 하나 이상의 엔트리들과 비교할 수 있다. 각각의 엔트리는 상이한 가상 사운드와 연관될 수 있다. 프로세서 (114) 는 또한 가상 사운드를 환경에 삽입하기 전에 비교에 기초하여 특정 엔트리로부터 가상 사운드를 검색할 수 있다. 가상 사운드가 생성된 이후 (또는 메모리로부터 검색된 이후), 가상 사운드 생성 회로 (126) 는 가상 사운드를 음향 환경 (150) 에 삽입할 수 있다.
도 13 을 참조하면, 디바이스 (102) 의 블록 다이어그램이 도시되어 있다. 특정 구현예에서, 디바이스 (102) 는 프로세서 (114) (예를 들어, CPU) 를 포함한다. 프로세서 (114) 는 위치 추정 회로 (122), 오디오 분석 회로 (124), 가상 사운드 생성 회로 (126), 가상 음원 생성 회로 (128), 비디오 재생 디바이스 (160) 및 오디오 재생 디바이스 (162) 를 포함한다.
디바이스 (102) 는 프로세서 (114) 에 커플링된 메모리 (104) 를 포함한다. 부가하여, 사운드 특성들의 데이터베이스 (116) 는 프로세서 (114) 에 커플링될 수 있다 (예를 들어, 프로세서 (114) 에 의해 액세스될 수 있다). 디바이스 (102) 는 또한 트랜시버 (1341) 를 통해 안테나 (1342) 에 커플링된 무선 인터페이스 (1340) 를 포함한다. 디바이스 (102) 는 디스플레이 제어기 (1326) 에 커플링된 디스플레이 스크린 (112) 을 포함할 수도 있다. 하나 이상의 스피커들 (110), 하나 이상의 마이크로폰들 (106), 또는 이들 양자는 코더/디코더 (CODEC) (1334) 에 커플링될 수 있다. CODEC (1334) 은 디지털 투 아날로그 변환기 (DAC) (1302) 및 아날로그 투 디지털 변환기 (ADC) (1304) 를 포함할 수도 있다. 특정 구현예에서, CODEC (1334) 은 하나 이상의 마이크로폰들 (106) 로부터 아날로그 신호들을 수신할 수 있고 아날로그 투 디지털 변환기 (1304) 를 이용하여 아날로그 신호를 디지털 신호로 변환할 수 있다. CODEC (1334) 은 프로세서 (114) 로부터 디지털 신호들을 수신할 수 있고, 그리고 CODEC (1334) 은 디지털 투 아날로그 변환기 (1302) 를 이용하여 디지털 신호들을 아날로그 신호들로 변환하여 아날로그 신호들을 하나 이상의 스피커들 (110) 에 제공할 수도 있다.
메모리 (104) 는, 본원에 개시된 방법들 및 프로세스들, 예컨대 도 6-10의 방법들 (600-1000) 중 하나 이상을 수행하기 위해, 프로세서 (114), 디바이스 (102) 의 다른 프로세싱 유닛, 또는 이들의 조합물에 의해 실행 가능한 명령들 (1368) 을 포함할 수 있다. 본원에 개시된 장치/시스템의 하나 이상의 컴포넌트들은 전용 하드웨어 (예를 들어, 회로부) 를 통해, 하나 이상의 태스크들을 수행하기 위한 명령들 (예를 들어, 명령들 (1368)) 을 실행하는 프로세서에 의해, 또는 이들의 조합으로 구현될 수도 있다. 일례로서, 메모리 (104) 또는 프로세서 (114) 의 하나 이상의 컴포넌트들은 메모리 디바이스, 예컨대 랜덤 액세스 메모리 (RAM), 자기저항 랜덤 액세스 메모리 (MRAM), 스핀-토크 전달 MRAM (STT-MRAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래밍가능 판독 전용 메모리 (PROM), 소거가능한 프로그래밍가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈가능 디스크, 또는 컴팩트 디스크 판독 전용 메모리 (CD-ROM) 일 수도 있다. 메모리 디바이스는, 컴퓨터 (예를 들어, CODEC (1334) 에서의 프로세서, 프로세서 (114) 및/또는 디바이스 (102) 에서의 또 다른 프로세싱 유닛) 에 의해 실행될 때, 컴퓨터로 하여금 본원에 기재된 방법들 중 하나 이상의 적어도 일부를 수행하게 할 수도 있는 명령들 (예를 들어, 명령들 (1368)) 을 포함할 수도 있다. 일례로서, 메모리 (104) 또는 프로세서 (114) 의 하나 이상의 컴포넌트들은, 컴퓨터 (예를 들어, CODEC (1334) 에서의 프로세서, 프로세서 (114) 및/또는 또 다른 프로세싱 유닛) 에 의해 실행될 때, 컴퓨터로 하여금 본원에 개시된 방법들 중 하나 이상의 적어도 일부를 수행하게 할 수도 있는 명령들 (예를 들어, 명령들 (1368)) 을 포함하는 비일시적 컴퓨터 판독가능 매체일 수도 있다.
특정 구현예에서, 디바이스 (102) 는 시스템-인-패키지 또는 시스템-온-칩 디바이스 (1322), 예컨대 이동국 모뎀 (MSM)) 에 포함될 수도 있다. 특정 구현예에서, 프로세서 (114), 디스플레이 제어기 (1326), 메모리 (104), CODEC (1334), 및 무선 인터페이스 (1340) 는 시스템 인 패키지 (system- in-package) 또는 시스템 온 칩 (system-on-chip) 디바이스 (1322) 내에 포함된다. 특정 구현예에서, 터치스크린 및/또는 키패드와 같은 입력 디바이스 (1330), 및 전력원 (1344) 는 시스템-온-칩 디바이스 (1322) 에 커플링된다. 또한, 특정 구현예에서, 도 13에 예시된 바와 같이, 디스플레이 스크린 (112), 입력 디바이스 (1330), 하나 이상의 스피커들 (110), 하나 이상의 마이크로폰들 (106), 안테나 (1342), 하나 이상의 카메라들 (108), 및 전력원 (1344) 는 시스템-온-칩 디바이스 (1322) 의 외부에 있다. 그러나, 디스플레이 스크린 (1328), 하나 이상의 카메라들 (108), 입력 디바이스 (1330), 하나 이상의 스피커들 (110), 하나 이상의 마이크로폰들 (106), 안테나 (1342), 및 전력원 (1344) 각각은, 인터페이스 또는 제어기와 같은 시스템-온-칩 디바이스 (1322) 의 컴포넌트에 커플링될 수 있다. 예시적인 예에서, 디바이스 (102) 는 헤드셋, 이동 통신 디바이스, 스마트폰, 셀룰러 폰, 랩탑 컴퓨터, 컴퓨터, 태블릿 컴퓨터, 개인 정보 단말기, 디스플레이 디바이스, 텔레비전, 게이밍 콘솔, 뮤직 플레이어, 라디오, 디지털 비디오 플레이어, 광학 디스크 플레이어, 튜너, 카메라, 내비게이션 디바이스, 디코더 시스템, 인코더 시스템, 자동차 또는 비행체와 같은 유인 또는 무인 차량 내의 디바이스, 또는 이들의 임의의 조합에 대응한다.
기재된 구현예들과 함께, 가상 사운드를 생성하기 위한 제 1 장치는 환경 내에서 오디오 신호를 검출하는 수단을 포함한다. 예를 들어, 오디오 신호를 검출하는 수단은 도 1 및 도 13 의 하나 이상의 마이크로폰들 (106), 하나 이상의 다른 센서들, 또는 이들의 조합을 포함할 수 있다.
제 1 장치는 또한 환경 내에서 오디오 신호의 음원의 위치를 결정하는 수단을 포함할 수 있다. 예를 들어, 음원의 위치를 결정하는 수단은 도 1 및 도 13 의 위치 추정 회로 (122), 도 1 및 도 13 의 프로세서, 하나 이상의 다른 디바이스, 또는 이들의 조합을 포함할 수 있다.
제 1 장치는 또한 오디오 신호에 기초하여 환경의 하나 이상의 음향 특성들을 추정하는 수단을 포함할 수 있다. 예를 들어, 음향 특성들을 추정하는 수단은 도 1 및 도 13 의 오디오 분석 회로 (124), 도 1 및 도 13 의 프로세서, 하나 이상의 다른 디바이스, 또는 이들의 조합을 포함할 수 있다.
제 1 장치는 또한 하나 이상의 음향 특성들에 기초하여 가상 사운드를 환경에 삽입하는 수단을 포함할 수 있다. 가상 사운드는 음원의 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 가질 수 있다. 예를 들어, 가상 사운드를 환경에 삽입하는 수단은 도 1 및 도 13 의 가상 사운드 생성 회로 (126), 도 1 및 도 13 의 프로세서, 하나 이상의 다른 디바이스, 또는 이들의 조합을 포함할 수 있다.
기재된 구현예들과 함께, 사운드를 출력하기 위한 제 2 장치는 환경의 하나 위치들에서 하나 이상의 음향 특성들을 결정하는 수단을 포함한다. 예를 들어, 하나 이상의 음향 특성들을 결정하는 수단은 도 1 및 도 13 의 오디오 분석 회로 (124), 도 1 및 도 13 의 프로세서, 하나 이상의 다른 디바이스, 또는 이들의 조합을 포함할 수 있다.
제 2 장치는 또한 특정 오브젝트를 나타내는 사용자 선택을 수신하는 수단을 포함할 수 있다. 예를 들어, 사용자 선택을 수신하는 수단은 사용자 인터페이스 (예를 들어, 도 13 의 입력 디바이스 (1330)), 하나 이상의 다른 디바이스, 또는 이들의 조합을 포함할 수 있다.
제 2 장치는 또한 특정 위치의 사용자 표시를 수신하는 수단을 포함할 수 있다. 예를 들어, 사용자 표시를 수신하는 수단은 사용자 인터페이스 (예를 들어, 도 13 의 입력 디바이스 (1330)), 하나 이상의 다른 디바이스, 또는 이들의 조합을 포함할 수 있다.
제 2 장치는 또한 하나 이상의 음향 특성들에 기초하여 특정 위치로부터 생성된 사운드의 하나 이상의 오디오 속성들을 결정하는 단계를 포함할 수 있다. 예를 들어, 하나 이상의 오디오 속성들을 결정하는 수단은 도 1 및 도 13 의 오디오 분석 회로 (124), 도 1 및 도 13 의 프로세서, 하나 이상의 다른 디바이스, 또는 이들의 조합을 포함할 수 있다.
제 2 장치는 또한 특정 오브젝트와 연관된 가상 사운드를 환경에 삽입하는 수단을 포함할 수 있다. 그 가상 사운드는 하나 이상의 오디오 속성들을 가질 수 있다. 예를 들어, 가상 사운드를 환경에 삽입하는 수단은 도 1 및 도 13 의 가상 사운드 생성 회로 (126), 도 1 및 도 13 의 프로세서, 하나 이상의 다른 디바이스, 또는 이들의 조합을 포함할 수 있다.
제 2 장치는 또한 특정 위치를 검출하는 수단, 특정 위치의 사용자 표시를 생성하는 수단, 특정 위치의 사용자 표시를 사용자 표시를 수신하는 수단으로 전송하는 수단을 포함할 수 있다. 예를 들어, 검출하는 수단, 생성하는 수단, 및 전송하는 수단은 착용식 센서, 하나 이상의 다른 디바이스, 또는 이들의 조합을 포함할 수 있다.
기재된 구현예들과 함께, 음향 환경의 표시를 증강하기 위한 제 3 장치는 오디오 신호를 검출하는 수단을 포함한다. 예를 들어, 검출하는 수단은 도 1 및 도 13 의 하나 이상의 마이크로폰들 (106), 하나 이상의 다른 센서들, 또는 이들의 조합을 포함할 수 있다.
제 3 장치는 또한 오디오 신호의 사운드 특성을 결정하는 수단을 포함할 수 있다. 예를 들어, 사운드 특성을 결정하는 수단은 도 1 및 도 13 의 오디오 분석 회로 (124), 도 1 및 도 13 의 프로세서 (114), 하나 이상의 다른 디바이스, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서, 또는 이들의 조합을 포함할 수 있다.
제 3 장치는 또한 오디오 신호의 사운드 특성을 결정하는 수단을 포함할 수 있다. 예를 들어, 가상 사운드를 생성하는 수단은 도 1 및 도 13 의 가상 사운드 생성 회로 (126), 도 1 및 도 13 의 프로세서 (114), 하나 이상의 다른 디바이스, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서, 또는 이들의 조합을 포함할 수 있다.
제 3 장치는 또한 오디오 재생 디바이스에 의한 재생을 위해 가상 사운드에 기초하여 사운드 신호를 출력하는 수단을 포함할 수 있다. 예를 들어, 출력하는 수단은 도 1 및 도 13 의 하나 이상의 스피커들 (110), 하나 이상의 다른 센서들, 또는 이들의 조합을 포함할 수 있다.
기재된 구현예들과 함께, 가상 사운드를 생성하기 위한 제 4 장치는 시각적 장면을 캡처하는 수단을 포함한다. 캡처하는 수단은 오디오 캡처 디바이스에 근접할 수 있다. 예를 들어, 캡처하는 수단은 도 1 및 도 13 의 하나 이상의 카메라들 (108), 하나 이상의 다른 센서들, 또는 이들의 조합을 포함할 수 있다.
제 4 장치는 또한 시각적 장면에 가상 음원의 위치를 결정하는 수단을 포함할 수 있다. 위치는 캡처하는 수단으로부터의 가상 음원의 거리 및 캡처하는 수단에 대한 가상 음원의 각도 위치를 표시할 수 있다. 예를 들어, 가상 음원의 위치를 결정하는 수단은 도 1 및 도 13 의 위치 추정 회로 (122), 도 1 및 도 13 의 프로세서 (114), 하나 이상의 다른 디바이스, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서, 또는 이들의 조합을 포함할 수 있다.
제 4 장치는 또한 가상 음원의 위치에 기초하여 가상 사운드의 하나 이상의 사운드 특성들을 결정하는 수단을 포함할 수 있다. 예를 들어, 하나 이상의 음향 특성들을 결정하는 수단은 도 1 및 도 13 의 오디오 분석 회로 (124), 도 1 및 도 13 의 가상 사운드 생성 회로 (126), 도 1 및 도 13 의 사운드 특성들의 데이터베이스 (116), 도 1 및 도 13 의 프로세서 (114), 하나 이상의 다른 디바이스, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서, 또는 이들의 조합을 포함할 수 있다.
제 4 장치는 또한 하나 이상의 사운드 특성들에 기초하여 가상 사운드를 생성하는 수단을 포함할 수 있다. 예를 들어, 가상 사운드를 생성하는 수단은 도 1 및 도 13 의 가상 사운드 생성 회로 (126), 도 1 및 도 13 의 프로세서 (114), 하나 이상의 다른 디바이스, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서, 또는 이들의 조합을 포함할 수 있다.
제 4 장치는 또한 가상 사운드에 기초하여 사운드 신호를 출력하는 수단을 포함할 수 있다. 예를 들어, 출력하는 수단은 도 1 및 도 13 의 하나 이상의 스피커들 (110), 하나 이상의 다른 센서들, 또는 이들의 조합을 포함할 수 있다.
기재된 구현예들과 함께, 제 4 장치는 제 1 오디오 신호를 검출하는 수단을 포함한다. 제 1 오디오 신호는 음향 환경에서 음원에 의해 생성될 수 있다. 예를 들어, 검출하는 수단은 도 1 및 도 13 의 하나 이상의 마이크로폰들 (106), 하나 이상의 다른 센서들, 또는 이들의 조합을 포함할 수 있다.
제 5 장치는 또한 제 1 오디오 신호의 특성을 결정하는 수단을 포함할 수 있다. 예를 들어, 특성을 결정하는 수단은 도 1 및 도 13 의 오디오 분석 회로 (124), 도 1 및 도 13 의 프로세서 (114), 하나 이상의 다른 디바이스, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서, 또는 이들의 조합을 포함할 수 있다.
제 5 장치는 또한 공간적으로 필터링된 오디오 파일을 생성하기 위해 특성에 기초하여 제 2 오디오 신호의 디지털 표현을 공간적으로 필터링하는 수단을 포함할 수 있다. 예를 들어, 공간적으로 필터링하는 수단은 도 1 및 도 13 의 가상 사운드 생성 회로 (126), 도 1 및 도 13 의 프로세서 (114), 하나 이상의 다른 디바이스, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서, 또는 이들의 조합을 포함할 수 있다.
제 5 장치는 또한 공간적으로 필터링된 사운드를 투사하는 수단을 포함할 수 있다. 공간적으로 필터링된 사운드는 투사하기 수단으로 전송된 공간적으로 필터링된 오디오 신호에 기초할 수 있고, 그리고 공간적으로 필터링된 오디오 신호는 공간적으로 필터링된 오디오 파일에 기초할 수 있다. 예를 들어, 투사하는 수단은 도 1 및 도 13 의 하나 이상의 스피커들 (110), 하나 이상의 다른 사운드 출력 디바이스들, 또는 이들의 조합을 포함할 수 있다.
당업자들은, 본원에 개시된 양태들과 관련되어 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 하드웨어 프로세서와 같은 프로세싱 디바이스에 의해 실행되는 컴퓨터 소프트웨어, 또는 이들 양쪽의 조합들로서 구현될 수도 있다는 것을 추가로 인식할 것이다. 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들은 이들의 기능성의 관점에서 일반적으로 상술되었다. 이러한 기능성이 하드웨어로서 또는 실행가능한 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과되는 설계 제약들 및 특정 애플리케이션에 의존한다. 당업자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현 결정들이 본 개시물의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
본원에 개시된 양태들과 관련되어 설명된 방법 또는 알고리즘의 단계들은 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이들 둘의 조합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 메모리 디바이스, 예컨대 랜덤 액세스 메모리 (RAM), 자기저항 랜덤 액세스 메모리 (MRAM), 스핀-토크 전달 MRAM (STT-MRAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래밍가능 판독 전용 메모리 (PROM), 소거가능한 프로그래밍가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈가능 디스크, 또는 컴팩트 디스크 판독 전용 메모리 (CD-ROM) 에 상주할 수 있다. 예시적인 메모리 디바이스는 프로세서에 커플링되어, 프로세가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기입할 수 있다. 대안적으로, 메모리 디바이스는 프로세서와 일체형일 수도 있다. 프로세서와 저장 매체는 ASIC 에 상주할 수도 있다. ASIC 는 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 대안적으로, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에 개별 컴포넌트들로서 상주할 수도 있다.
개시된 양태들의 이전 설명은 당업자가 개시된 양태들을 제조하거나 이용하는 것을 가능하게 하도록 제공된다. 이들 양태들에 대한 다양한 수정들은 당업자들에게 쉽게 명백할 것이며, 본 명세서에 정의된 원리들은 본 개시물의 범위로부터 벗어남이 없이 다른 예들에 적용될 수도 있다. 따라서, 본 개시물은 본원에 나타낸 양태들로 제한되도록 의도된 것이 아니며, 다음의 청구항들에 의해 정의된 바와 같은 원리들 및 신규한 피처들과 일치하는 가능한 가장 넓은 범위를 따르도록 하기 위한 것이다.

Claims (58)

  1. 가상 사운드를 출력하기 위한 장치로서,
    환경에서의 오디오 신호를 검출하도록 구성된 하나 이상의 마이크로폰들; 및
    상기 하나 이상의 마이크로폰들에 커플링된 프로세서를 포함하고,
    상기 프로세서는:
    상기 오디오 신호의 잔향 특성 및 도착 방향 (direction of arrival) 을 결정하고;
    상기 오디오 신호의 결정된 상기 잔향 특성 및 도착 방향에 기초하여, 상기 오디오 신호의 음원이 상기 환경의 제 1 존에 위치하는지 또는 상기 환경의 제 2 존에 위치하는지를 결정하고;
    가상 음원의 위치를 결정하고; 그리고
    상기 환경에 가상 사운드를 삽입하도록 구성되고,
    상기 제 1 존은 상기 제 2 존보다 상기 하나 이상의 마이크로폰들에 더 가깝고,
    결정된 상기 위치는 검출된 상기 오디오 신호의 상기 음원의 위치와 상이하지만 검출된 상기 오디오 신호의 상기 음원과 상기 환경의 동일한 존에 있고,
    삽입된 상기 가상 사운드는 결정된 상기 위치에서의 가상 음원을 갖고,
    삽입된 상기 가상 사운드는 상기 가상 음원의 결정된 상기 위치에 기초한 도착 방향 및 검출된 상기 오디오 신호의 상기 잔향 특성에 기초한 잔향 특성을 갖는, 가상 사운드를 출력하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 환경의 시각적 표현에서 상기 음원의 위치를 나타내는 제 1 시각적 파라미터들을 결정하도록 구성되고; 그리고
    상기 프로세서는 또한:
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 가상 사운드를 생성하고; 그리고
    상기 제 1 시각적 파라미터들과 상기 가상 사운드의 시각적 파라미터들의 비교에 추가로 기초하여 상기 가상 사운드를 상기 환경에 삽입하도록 구성되는, 가상 사운드를 출력하기 위한 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 또한:
    상기 환경의 하나 이상의 음향 특성들을 메모리에서 하나 이상의 엔트리들과 비교하고; 그리고
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 비교에 기초하여 특정 엔트리로부터 상기 가상 사운드를 검색하도록 구성되고,
    각각의 엔트리는 상이한 가상 사운드와 연관되는, 가상 사운드를 출력하기 위한 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는 또한:
    상기 오디오 신호에 기초하여 상기 음원을 특정 오브젝트로 분류하고;
    상기 특정 오브젝트의 가상 이미지를 생성하고; 그리고
    상기 음원의 위치에서의 상기 가상 이미지를 상기 환경에 삽입하도록 구성되는, 가상 사운드를 출력하기 위한 장치.
  5. 제 1 항에 있어서,
    상기 프로세서에 커플링된 카메라를 더 포함하고, 상기 카메라는 상기 환경을 캡처하도록 구성되는, 가상 사운드를 출력하기 위한 장치.
  6. 제 5 항에 있어서,
    상기 카메라는 보안 카메라를 포함하는, 가상 사운드를 출력하기 위한 장치.
  7. 제 5 항에 있어서,
    상기 카메라, 상기 하나 이상의 마이크로폰들, 및 상기 프로세서는 헤드셋에 통합되는, 가상 사운드를 출력하기 위한 장치.
  8. 제 7 항에 있어서,
    상기 헤드셋은 상기 환경의 시각적 묘사를 디스플레이하도록 구성되는, 가상 사운드를 출력하기 위한 장치.
  9. 삭제
  10. 삭제
  11. 제 1 항에 있어서,
    상기 오디오 신호의 상기 잔향 특성은 상기 오디오 신호의 직접 대 잔향비 (direct-to-reverberation ratio, DRR) 를 포함하는, 가상 사운드를 출력하기 위한 장치.
  12. 가상 사운드를 출력하기 위한 방법으로서,
    환경에서의 오디오 신호를 하나 이상의 마이크로폰들에서 검출하는 단계;
    상기 오디오 신호의 잔향 특성 및 도착 방향 (direction of arrival) 을 결정하는 단계;
    상기 오디오 신호의 결정된 상기 잔향 특성 및 도착 방향에 기초하여, 상기 오디오 신호의 음원이 상기 환경의 제 1 존에 위치하는지 또는 상기 환경의 제 2 존에 위치하는지를 결정하는 단계;
    가상 음원의 위치를 결정하는 단계; 및
    상기 환경에 가상 사운드를 삽입하는 단계를 포함하고,
    상기 제 1 존은 상기 제 2 존보다 상기 하나 이상의 마이크로폰들에 더 가깝고,
    결정된 상기 위치는 검출된 상기 오디오 신호의 상기 음원의 위치와 상이하지만 검출된 상기 오디오 신호의 상기 음원과 상기 환경의 동일한 존에 있고,
    삽입된 상기 가상 사운드는 결정된 상기 위치에서의 가상 음원을 갖고,
    삽입된 상기 가상 사운드는 상기 가상 음원의 결정된 상기 위치에 기초한 도착 방향 및 검출된 상기 오디오 신호의 상기 잔향 특성에 기초한 잔향 특성을 갖는, 가상 사운드를 출력하기 위한 방법.
  13. 제 12 항에 있어서,
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 가상 사운드를 생성하는 단계를 더 포함하는, 가상 사운드를 출력하기 위한 방법.
  14. 제 12 항에 있어서,
    상기 환경의 하나 이상의 음향 특성들을 메모리에서 하나 이상의 엔트리들과 비교하는 단계로서, 각각의 엔트리는 상이한 가상 사운드와 연관되는, 상기 비교하는 단계; 및
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 비교에 기초하여 특정 엔트리로부터 상기 가상 사운드를 검색하는 단계를 더 포함하는, 가상 사운드를 출력하기 위한 방법.
  15. 제 12 항에 있어서,
    상기 오디오 신호에 기초하여 상기 음원을 특정 오브젝트로 분류하는 단계;
    상기 특정 오브젝트의 가상 이미지를 생성하는 단계; 및
    상기 음원의 위치에서의 상기 가상 이미지를 상기 환경에 삽입하는 단계를 더 포함하는, 가상 사운드를 출력하기 위한 방법.
  16. 제 12 항에 있어서,
    카메라를 통해 상기 환경을 캡처하는 단계를 더 포함하는, 가상 사운드를 출력하기 위한 방법.
  17. 제 16 항에 있어서,
    상기 카메라는 보안 카메라를 포함하는, 가상 사운드를 출력하기 위한 방법.
  18. 제 16 항에 있어서,
    상기 카메라 및 상기 하나 이상의 마이크로폰들은 헤드셋에 통합되는, 가상 사운드를 출력하기 위한 방법.
  19. 제 18 항에 있어서,
    상기 헤드셋에서 상기 환경의 시각적 묘사를 디스플레이하는 단계를 더 포함하는, 가상 사운드를 출력하기 위한 방법.
  20. 삭제
  21. 삭제
  22. 제 12 항에 있어서,
    상기 오디오 신호의 잔향 특성은 상기 오디오 신호의 직접 대 잔향비를 포함하는, 가상 사운드를 출력하기 위한 방법.
  23. 가상 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금 동작들을 수행하게 하며,
    상기 동작들은:
    하나 이상의 마이크로폰들에서 검출되는, 환경에서의 오디오 신호의 잔향 특성 및 도착 방향 (direction of arrival) 을 결정하는 것;
    상기 오디오 신호의 결정된 상기 잔향 특성 및 도착 방향에 기초하여, 상기 오디오 신호의 음원이 상기 환경의 제 1 존에 위치하는지 또는 상기 환경의 제 2 존에 위치하는지를 결정하는 것;
    가상 음원의 위치를 결정하는 것; 및
    상기 환경에 가상 사운드를 삽입하는 것을 포함하고,
    상기 제 1 존은 상기 제 2 존보다 상기 하나 이상의 마이크로폰들에 더 가깝고,
    결정된 상기 위치는 검출된 상기 오디오 신호의 상기 음원의 위치와 상이하지만 검출된 상기 오디오 신호의 상기 음원과 상기 환경의 동일한 존에 있고,
    삽입된 상기 가상 사운드는 결정된 상기 위치에서의 가상 음원을 갖고,
    삽입된 상기 가상 사운드는 상기 가상 음원의 결정된 상기 위치에 기초한 도착 방향 및 검출된 상기 오디오 신호의 상기 잔향 특성에 기초한 잔향 특성을 갖는, 가상 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  24. 제 23 항에 있어서,
    상기 동작들은 상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 가상 사운드를 생성하는 것을 더 포함하는, 가상 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  25. 제 23 항에 있어서,
    상기 동작들은:
    상기 환경의 하나 이상의 음향 특성들을 메모리에서 하나 이상의 엔트리들과 비교하는 것으로서, 각각의 엔트리는 상이한 가상 사운드와 연관되는, 상기 비교하는 것; 및
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 비교에 기초하여 특정 엔트리로부터 상기 가상 사운드를 검색하는 것을 더 포함하는, 가상 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  26. 제 23 항에 있어서,
    상기 동작들은:
    상기 오디오 신호에 기초하여 상기 음원을 특정 오브젝트로 분류하는 것;
    상기 특정 오브젝트의 가상 이미지를 생성하는 것; 및
    상기 음원의 위치에서의 상기 가상 이미지를 상기 환경에 삽입하는 것을 더 포함하는, 가상 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  27. 제 23 항에 있어서,
    상기 동작들은 카메라로 하여금 상기 환경을 캡처하게 하는 것을 더 포함하는, 가상 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  28. 제 27 항에 있어서,
    상기 카메라는 보안 카메라를 포함하는, 가상 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  29. 가상 사운드를 출력하기 위한 장치로서,
    환경에서의 오디오 신호를 검출하는 수단;
    상기 오디오 신호의 잔향 특성 및 도착 방향 (direction of arrival) 을 결정하는 수단;
    상기 오디오 신호의 결정된 상기 잔향 특성 및 도착 방향에 기초하여, 상기 오디오 신호의 음원이 상기 환경의 제 1 존에 위치하는지 또는 상기 환경의 제 2 존에 위치하는지를 결정하는 수단;
    가상 음원의 위치를 결정하는 수단; 및
    상기 환경에 가상 사운드를 삽입하는 수단을 포함하고,
    상기 제 1 존은 상기 제 2 존보다 상기 검출하는 수단에 더 가깝고,
    결정된 상기 위치는 검출된 상기 오디오 신호의 상기 음원의 위치와 상이하지만 검출된 상기 오디오 신호의 상기 음원과 상기 환경의 동일한 존에 있고,
    삽입된 상기 가상 사운드는 결정된 상기 위치에서의 가상 음원을 갖고,
    삽입된 상기 가상 사운드는 상기 가상 음원의 결정된 상기 위치에 기초한 도착 방향 및 검출된 상기 오디오 신호의 상기 잔향 특성에 기초한 잔향 특성을 갖는, 가상 사운드를 출력하기 위한 장치.
  30. 제 29 항에 있어서,
    상기 오디오 신호에 기초하여 상기 음원을 특정 오브젝트로 분류하는 수단;
    상기 특정 오브젝트의 가상 이미지를 생성하는 수단; 및
    상기 음원의 위치에서의 상기 가상 이미지를 상기 환경에 삽입하는 수단을 더 포함하는, 가상 사운드를 출력하기 위한 장치.
  31. 사운드를 출력하기 위한 장치로서,
    환경에서의 오디오 신호를 검출하도록 구성되는 하나 이상의 마이크로폰들;
    메모리; 및
    상기 메모리 및 상기 하나 이상의 마이크로폰들에 커플링된 프로세서를 포함하고,
    상기 프로세서는:
    상기 오디오 신호의 잔향 특성 및 도착 방향 (direction of arrival) 을 결정하고;
    상기 오디오 신호의 결정된 상기 잔향 특성 및 도착 방향에 기초하여, 상기 오디오 신호의 음원이 상기 환경의 제 1 존에 위치하는지 또는 상기 환경의 제 2 존에 위치하는지를 결정하고;
    특정 오브젝트를 나타내는 사용자 선택을 수신하고;
    특정 위치의 사용자 표시를 수신하고; 그리고
    상기 특정 오브젝트와 연관된 가상 사운드를 상기 환경에 삽입하도록 구성되고,
    상기 제 1 존은 상기 제 2 존보다 상기 하나 이상의 마이크로폰들에 더 가깝고,
    상기 특정 위치는 상기 오디오 신호의 상기 음원의 위치와 상이하지만 상기 오디오 신호의 상기 음원과 상기 환경의 동일한 존에 있고,
    삽입된 상기 가상 사운드는 상기 특정 위치에서의 가상 음원을 갖고,
    삽입된 상기 가상 사운드는 상기 가상 음원의 상기 특정 위치에 기초한 도착 방향 및 상기 오디오 신호의 상기 잔향 특성에 기초한 잔향 특성을 갖는, 사운드를 출력하기 위한 장치.
  32. 제 31 항에 있어서,
    상기 프로세서는 또한:
    사용자 손의 위치 센서로부터 상기 특정 위치를 수신하고; 그리고
    상기 사용자 손에서의 스피커에 기초하여 상기 환경의 하나 이상의 음향 특성들을 결정하도록 구성되는, 사운드를 출력하기 위한 장치.
  33. 제 31 항에 있어서,
    상기 프로세서는 또한:
    상기 환경의 하나 이상의 음향 특성들을 메모리에서 하나 이상의 엔트리들과 비교하고; 그리고
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 비교에 기초하여 특정 엔트리로부터 상기 가상 사운드를 검색하도록 구성되고,
    각각의 엔트리는 상이한 가상 사운드와 연관되는, 사운드를 출력하기 위한 장치.
  34. 제 31 항에 있어서,
    상기 프로세서에 커플링된 착용식 센서를 더 포함하고,
    상기 착용식 센서는:
    상기 특정 위치를 검출하고;
    상기 특정 위치의 상기 사용자 표시를 생성하고; 그리고
    상기 특정 위치의 상기 사용자 표시를 상기 프로세서로 전송하도록 구성되는, 사운드를 출력하기 위한 장치.
  35. 제 34 항에 있어서,
    상기 착용식 센서는 또한 사용자의 손에 착용되도록 구성되는, 사운드를 출력하기 위한 장치.
  36. 제 31 항에 있어서,
    상기 프로세서에 커플링된 하나 이상의 스피커들로서, 상기 환경의 상이한 위치들에서 오디오 신호들을 생성하도록 구성되는, 상기 하나 이상의 스피커들; 및
    상기 프로세서에 커플링된 하나 이상의 마이크로폰들로서, 각각의 오디오 신호를 검출하도록 구성되는, 상기 하나 이상의 마이크로폰들을 더 포함하고;
    상기 프로세서는 상기 하나 이상의 스피커들에 의해 생성된 검출된 오디오 신호들에 기초하여 상기 환경의 하나 이상의 위치들에서의 하나 이상의 음향 특성들을 결정하도록 구성되는, 사운드를 출력하기 위한 장치.
  37. 제 36 항에 있어서,
    상기 하나 이상의 스피커들은 또한 사용자의 손에 착용되도록 구성되는, 사운드를 출력하기 위한 장치.
  38. 사운드를 출력하기 위한 방법으로서,
    하나 이상의 마이크로폰들에 의해 검출되는, 환경에서의 오디오 신호의 잔향 특성 및 도착 방향 (direction of arrival) 을 결정하는 단계;
    상기 오디오 신호의 결정된 상기 잔향 특성 및 도착 방향에 기초하여, 상기 오디오 신호의 음원이 상기 환경의 제 1 존에 위치하는지 또는 상기 환경의 제 2 존에 위치하는지를 결정하는 단계;
    특정 오브젝트를 나타내는 사용자 선택을 수신하는 단계;
    특정 위치의 사용자 표시를 수신하는 단계; 및
    상기 특정 오브젝트와 연관된 가상 사운드를 상기 환경에 삽입하는 단계를 포함하고,
    상기 제 1 존은 상기 제 2 존보다 상기 하나 이상의 마이크로폰들에 더 가깝고,
    상기 특정 위치는 상기 오디오 신호의 상기 음원의 위치와 상이하지만 상기 오디오 신호의 상기 음원과 상기 환경의 동일한 존에 있고,
    삽입된 상기 가상 사운드는 상기 특정 위치에서의 가상 음원을 갖고,
    삽입된 상기 가상 사운드는 상기 가상 음원의 상기 특정 위치에 기초한 도착 방향 및 상기 오디오 신호의 상기 잔향 특성에 기초한 잔향 특성을 갖는, 사운드를 출력하기 위한 방법.
  39. 제 38 항에 있어서,
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 가상 사운드를 생성하는 단계를 더 포함하는, 사운드를 출력하기 위한 방법.
  40. 제 38 항에 있어서,
    상기 환경의 하나 이상의 음향 특성들을 메모리에서 하나 이상의 엔트리들과 비교하는 단계로서, 각각의 엔트리는 상이한 가상 사운드와 연관되는, 상기 비교하는 단계; 및
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 비교에 기초하여 특정 엔트리로부터 상기 가상 사운드를 검색하는 단계를 더 포함하는, 사운드를 출력하기 위한 방법.
  41. 제 38 항에 있어서,
    착용식 센서를 사용하여 상기 특정 위치를 검출하는 단계;
    상기 특정 위치의 상기 사용자 표시를 상기 착용식 센서에서 생성하는 단계; 및
    상기 특정 위치의 상기 사용자 표시를 상기 착용식 센서로부터 프로세서로 전송하는 단계를 더 포함하는, 사운드를 출력하기 위한 방법.
  42. 제 41 항에 있어서,
    상기 착용식 센서는 사용자의 손에 착용되도록 구성되는, 사운드를 출력하기 위한 방법.
  43. 제 38 항에 있어서,
    하나 이상의 스피커들을 사용하여 상기 환경의 상이한 위치들에서 오디오 신호들을 생성하는 단계; 및
    하나 이상의 마이크로폰들을 사용하여 각각의 오디오 신호를 검출하는 단계를 더 포함하고,
    상기 하나 이상의 스피커들에 의해 생성된 검출된 오디오 신호들에 기초하여 상기 환경의 하나 이상의 위치들에서의 하나 이상의 음향 특성들이 결정되는, 사운드를 출력하기 위한 방법.
  44. 제 43 항에 있어서,
    상기 하나 이상의 스피커들은 사용자의 손에 착용되도록 구성되는, 사운드를 출력하기 위한 방법.
  45. 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금 동작들을 수행하게 하며,
    상기 동작들은:
    하나 이상의 마이크로폰들에 의해 검출되는, 환경에서의 오디오 신호의 잔향 특성 및 도착 방향 (direction of arrival) 을 결정하는 것;
    상기 오디오 신호의 결정된 상기 잔향 특성 및 도착 방향에 기초하여, 상기 오디오 신호의 음원이 상기 환경의 제 1 존에 위치하는지 또는 상기 환경의 제 2 존에 위치하는지를 결정하는 것;
    특정 오브젝트를 나타내는 사용자 선택을 수신하는 것;
    특정 위치의 사용자 표시를 수신하는 것; 및
    상기 특정 오브젝트와 연관된 가상 사운드를 상기 환경에 삽입하는 것을 포함하고,
    상기 제 1 존은 상기 제 2 존보다 상기 하나 이상의 마이크로폰들에 더 가깝고,
    상기 특정 위치는 상기 오디오 신호의 상기 음원의 위치와 상이하지만 상기 오디오 신호의 상기 음원과 상기 환경의 동일한 존에 있고,
    삽입된 상기 가상 사운드는 상기 특정 위치에서의 가상 음원을 갖고,
    삽입된 상기 가상 사운드는 상기 가상 음원의 상기 특정 위치에 기초한 도착 방향 및 상기 오디오 신호의 상기 잔향 특성에 기초한 잔향 특성을 갖는, 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  46. 제 45 항에 있어서,
    상기 동작들은 상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 가상 사운드를 생성하는 것을 더 포함하는, 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  47. 제 45 항에 있어서,
    상기 동작들은:
    상기 환경의 하나 이상의 음향 특성들을 메모리에서 하나 이상의 엔트리들과 비교하는 것으로서, 각각의 엔트리는 상이한 가상 사운드와 연관되는, 상기 비교하는 것; 및
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 비교에 기초하여 특정 엔트리로부터 상기 가상 사운드를 검색하는 것을 더 포함하는, 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  48. 제 45 항에 있어서,
    상기 특정 위치의 상기 사용자 표시는 착용식 센서로부터 수신되는, 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  49. 제 48 항에 있어서,
    상기 착용식 센서는 사용자의 손에 착용되도록 구성되는, 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  50. 제 45 항에 있어서,
    상기 동작들은:
    하나 이상의 스피커들을 사용하여 상기 환경의 상이한 위치들에서 오디오 신호들의 생성을 개시하는 것; 및
    하나 이상의 마이크로폰들을 사용하여 각각의 오디오 신호를 검출하는 것을 더 포함하고,
    상기 하나 이상의 스피커들에 의해 생성된 검출된 오디오 신호들에 기초하여 상기 환경의 하나 이상의 위치들에서의 하나 이상의 음향 특성들이 결정되는, 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  51. 제 50 항에 있어서,
    상기 하나 이상의 스피커들은 또한 사용자의 손에 착용되도록 구성되는, 사운드를 출력하기 위한 명령들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체.
  52. 사운드를 출력하기 위한 장치로서,
    환경에서의 오디오 신호를 검출하는 수단;
    상기 오디오 신호의 잔향 특성 및 도착 방향 (direction of arrival) 을 결정하는 수단;
    상기 오디오 신호의 결정된 상기 잔향 특성 및 도착 방향에 기초하여, 상기 오디오 신호의 음원이 상기 환경의 제 1 존에 위치하는지 또는 상기 환경의 제 2 존에 위치하는지를 결정하는 수단;
    특정 오브젝트를 나타내는 사용자 선택을 수신하는 수단;
    특정 위치의 사용자 표시를 수신하는 수단; 및
    상기 특정 오브젝트와 연관된 가상 사운드를 상기 환경에 삽입하는 수단을 포함하고,
    상기 제 1 존은 상기 제 2 존보다 상기 검출하는 수단에 더 가깝고,
    상기 특정 위치는 상기 오디오 신호의 상기 음원의 위치와 상이하지만 상기 오디오 신호의 상기 음원과 상기 환경의 동일한 존에 있고,
    삽입된 상기 가상 사운드는 상기 특정 위치에서의 가상 음원을 갖고,
    삽입된 상기 가상 사운드는 상기 가상 음원의 상기 특정 위치에 기초한 도착 방향 및 상기 오디오 신호의 상기 잔향 특성에 기초한 잔향 특성을 갖는, 사운드를 출력하기 위한 장치.
  53. 제 52 항에 있어서,
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 가상 사운드를 생성하는 수단을 더 포함하는, 사운드를 출력하기 위한 장치.
  54. 제 52 항에 있어서,
    상기 환경의 하나 이상의 음향 특성들을 메모리에서 하나 이상의 엔트리들과 비교하는 수단으로서, 각각의 엔트리는 상이한 가상 사운드와 연관되는, 상기 비교하는 수단; 및
    상기 가상 사운드를 상기 환경에 삽입하기 이전에 상기 비교에 기초하여 특정 엔트리로부터 상기 가상 사운드를 검색하는 수단을 더 포함하는, 사운드를 출력하기 위한 장치.
  55. 제 52 항에 있어서,
    상기 특정 위치를 검출하는 수단, 상기 특정 위치의 사용자 표시를 생성하는 수단, 및 상기 사용자 표시를 수신하는 수단으로 상기 특정 위치의 사용자 표시를 전송하는 수단을 더 포함하는, 사운드를 출력하기 위한 장치.
  56. 제 55 항에 있어서,
    상기 특정 위치를 검출하는 수단은 사용자의 손에 착용되도록 구성되는, 사운드를 출력하기 위한 장치.
  57. 제 52 항에 있어서,
    상기 환경의 상이한 위치들에서 오디오 신호들을 생성하는 수단; 및
    각각의 오디오 신호를 검출하는 수단을 더 포함하고;
    상기 환경의 하나 이상의 위치들에서의 하나 이상의 음향 특성들이 오디오 신호들을 생성하는 수단에 의해 생성되는 검출된 오디오 신호들에 기초하여 결정되는, 사운드를 출력하기 위한 장치.
  58. 제 57 항에 있어서,
    상기 오디오 신호들을 생성하는 수단은 사용자의 손에 착용되도록 구성되는, 사운드를 출력하기 위한 장치.
KR1020197000816A 2016-07-15 2017-05-25 가상, 증강, 및 혼합 현실 KR102609668B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662363104P 2016-07-15 2016-07-15
US62/363,104 2016-07-15
US15/238,591 US9906885B2 (en) 2016-07-15 2016-08-16 Methods and systems for inserting virtual sounds into an environment
US15/238,591 2016-08-16
PCT/US2017/034522 WO2018013237A1 (en) 2016-07-15 2017-05-25 Virtual, augmented, and mixed reality

Publications (2)

Publication Number Publication Date
KR20190028697A KR20190028697A (ko) 2019-03-19
KR102609668B1 true KR102609668B1 (ko) 2023-12-04

Family

ID=60940808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000816A KR102609668B1 (ko) 2016-07-15 2017-05-25 가상, 증강, 및 혼합 현실

Country Status (9)

Country Link
US (1) US9906885B2 (ko)
EP (1) EP3485346A1 (ko)
JP (1) JP2019527956A (ko)
KR (1) KR102609668B1 (ko)
CN (1) CN109416585B (ko)
BR (1) BR112019000398A8 (ko)
SG (1) SG11201810874YA (ko)
TW (1) TW201804315A (ko)
WO (1) WO2018013237A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547947B2 (en) 2016-05-18 2020-01-28 Qualcomm Incorporated Device for generating audio output
US10445936B1 (en) * 2016-08-01 2019-10-15 Snap Inc. Audio responsive augmented reality
US10896544B2 (en) * 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
KR20180090022A (ko) * 2017-02-02 2018-08-10 한국전자통신연구원 다중 전방향 카메라 및 마이크 기반 가상현실 제공 방법 및 가상 현실 제공 방법을 수행하는 음향 신호 처리 장치 및 영상 신호 처리 장치
JP7092108B2 (ja) * 2017-02-27 2022-06-28 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019059716A1 (ko) * 2017-09-22 2019-03-28 엘지전자 주식회사 오디오 데이터를 송수신하는 방법 및 그 장치
EP3698201A4 (en) 2017-10-17 2020-12-09 Magic Leap, Inc. MIXED REALITY SPACE AUDIO
US10531222B2 (en) * 2017-10-18 2020-01-07 Dolby Laboratories Licensing Corporation Active acoustics control for near- and far-field sounds
US10410432B2 (en) * 2017-10-27 2019-09-10 International Business Machines Corporation Incorporating external sounds in a virtual reality environment
CN109992089A (zh) * 2017-12-29 2019-07-09 索尼公司 电子设备、无线通信系统、方法和计算机可读存储介质
US10500496B2 (en) 2018-01-12 2019-12-10 International Business Machines Corporation Physical obstacle avoidance in a virtual reality environment
US20190221035A1 (en) * 2018-01-12 2019-07-18 International Business Machines Corporation Physical obstacle avoidance in a virtual reality environment
IL301445B2 (en) * 2018-02-15 2024-03-01 Magic Leap Inc Dual listening positions for mixed reality
US11477510B2 (en) 2018-02-15 2022-10-18 Magic Leap, Inc. Mixed reality virtual reverberation
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
US10585641B2 (en) 2018-04-30 2020-03-10 Qualcomm Incorporated Tagging a sound in a virtual environment
CN112106020B (zh) * 2018-05-03 2024-05-10 苹果公司 用于合成现实布景的声音处理的方法和设备
EP3797529A1 (en) * 2018-05-23 2021-03-31 Koninklijke KPN N.V. Adapting acoustic rendering to image-based object
JPWO2019225192A1 (ja) * 2018-05-24 2021-07-01 ソニーグループ株式会社 情報処理装置及び情報処理方法
US11032664B2 (en) * 2018-05-29 2021-06-08 Staton Techiya, Llc Location based audio signal message processing
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
EP3808108A4 (en) * 2018-06-18 2022-04-13 Magic Leap, Inc. SPATIAL AUDIO FOR INTERACTIVE AUDIO ENVIRONMENTS
EP3584695B1 (en) * 2018-06-20 2022-08-10 Nokia Technologies Oy An apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
EP3595336A1 (en) * 2018-07-09 2020-01-15 Koninklijke Philips N.V. Audio apparatus and method of operation therefor
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
CN113039815B (zh) * 2018-11-09 2022-11-11 候本株式会社 声音生成方法及执行其的装置
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US10674307B1 (en) * 2019-03-27 2020-06-02 Facebook Technologies, Llc Determination of acoustic parameters for a headset using a mapping server
CN113906368A (zh) 2019-04-05 2022-01-07 惠普发展公司，有限责任合伙企业 基于生理观察修改音频
GB2582952B (en) * 2019-04-10 2022-06-15 Sony Interactive Entertainment Inc Audio contribution identification system and method
WO2020231884A1 (en) * 2019-05-15 2020-11-19 Ocelot Laboratories Llc Audio processing
US11295754B2 (en) * 2019-07-30 2022-04-05 Apple Inc. Audio bandwidth reduction
CN110716641B (zh) * 2019-08-28 2021-07-23 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
US11276215B1 (en) 2019-08-28 2022-03-15 Facebook Technologies, Llc Spatial audio and avatar control using captured audio signals
TWI727421B (zh) * 2019-09-16 2021-05-11 藏識科技有限公司 混合實境系統
WO2021081435A1 (en) * 2019-10-25 2021-04-29 Magic Leap, Inc. Reverberation fingerprint estimation
WO2021086624A1 (en) 2019-10-29 2021-05-06 Qsinx Management Llc Audio encoding with compressed ambience
WO2021113781A1 (en) * 2019-12-06 2021-06-10 Magic Leap, Inc. Environment acoustics persistence
TWI722738B (zh) 2019-12-25 2021-03-21 亞達科技股份有限公司 擴增實境裝置與定位方法
EP3859516A1 (en) * 2020-02-03 2021-08-04 Nokia Technologies Oy Virtual scene
CN115398936A (zh) * 2020-02-14 2022-11-25 奇跃公司 多应用音频渲染
KR102334091B1 (ko) * 2020-03-20 2021-12-02 주식회사 코클리어닷에이아이 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
KR20210123198A (ko) 2020-04-02 2021-10-13 주식회사 제이렙 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치
WO2021235126A1 (ja) * 2020-05-19 2021-11-25 ソニーグループ株式会社 情報処理装置および情報処理方法
US11246002B1 (en) 2020-05-22 2022-02-08 Facebook Technologies, Llc Determination of composite acoustic parameter value for presentation of audio content
CN111641898B (zh) * 2020-06-08 2021-12-03 京东方科技集团股份有限公司 发声装置、显示装置、发声控制方法及装置
US11356795B2 (en) 2020-06-17 2022-06-07 Bose Corporation Spatialized audio relative to a peripheral device
US11275629B2 (en) * 2020-06-25 2022-03-15 Microsoft Technology Licensing, Llc Mixed reality complementary systems
US11755275B2 (en) * 2020-06-29 2023-09-12 Meta Platforms Technologies, Llc Generating augmented reality experiences utilizing physical objects to represent analogous virtual objects
CN112071326A (zh) * 2020-09-07 2020-12-11 三星电子（中国）研发中心 音效处理方法和装置
US11982738B2 (en) 2020-09-16 2024-05-14 Bose Corporation Methods and systems for determining position and orientation of a device using acoustic beacons
US11615596B2 (en) * 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11700497B2 (en) 2020-10-30 2023-07-11 Bose Corporation Systems and methods for providing augmented audio
US11696084B2 (en) 2020-10-30 2023-07-04 Bose Corporation Systems and methods for providing augmented audio
US11856378B2 (en) * 2021-11-26 2023-12-26 Htc Corporation System with sound adjustment capability, method of adjusting sound and non-transitory computer readable storage medium
WO2024101683A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002073287A2 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Mixed reality system which reduces measurement errors of viewpoint position and direction of an observer
US20150092965A1 (en) * 2013-09-27 2015-04-02 Sony Computer Entertainment Inc. Method of improving externalization of virtual surround sound

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116990B (fi) * 1997-10-20 2006-04-28 Nokia Oyj Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
JP2003334219A (ja) * 2002-05-21 2003-11-25 Nippon Telegr & Teleph Corp <Ntt> 遠隔地散策装置
JP2005223714A (ja) * 2004-02-06 2005-08-18 Sony Corp 音響収音装置、音響収音方法、記録媒体
EP1749420A4 (en) * 2004-05-25 2008-10-15 Huonlabs Pty Ltd AUDIO APPARATUS AND METHOD
KR101431253B1 (ko) * 2007-06-26 2014-08-21 코닌클리케 필립스 엔.브이. 바이노럴 오브젝트―지향 오디오 디코더
US8170222B2 (en) 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
US8243970B2 (en) 2008-08-11 2012-08-14 Telefonaktiebolaget L M Ericsson (Publ) Virtual reality sound for advanced multi-media applications
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
KR101285391B1 (ko) * 2010-07-28 2013-07-10 주식회사 팬택 음향 객체 정보 융합 장치 및 방법
US20120207308A1 (en) 2011-02-15 2012-08-16 Po-Hsun Sung Interactive sound playback device
US20120239690A1 (en) * 2011-03-16 2012-09-20 Rovi Technologies Corporation Utilizing time-localized metadata
US9131305B2 (en) * 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
WO2014178479A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
JP6227295B2 (ja) * 2013-06-25 2017-11-08 日本放送協会 空間音響生成装置およびそのプログラム
US9942685B2 (en) 2013-06-28 2018-04-10 Microsoft Technology Licensing, Llc Navigation with three dimensional audio effects
EP2863654B1 (en) * 2013-10-17 2018-08-01 Oticon A/s A method for reproducing an acoustical sound field
EP2866217A1 (en) 2013-10-25 2015-04-29 GN Store Nord A/S An audio information system based on zones and contexts
CN104615243A (zh) * 2015-01-15 2015-05-13 深圳市掌网立体时代视讯技术有限公司 一种头戴式多通道交互系统及多通道交互方法
CN105353868B (zh) * 2015-09-24 2019-05-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN105466413A (zh) * 2015-11-10 2016-04-06 上海格虏博运动科技有限公司 一种基于智能移动平台并结合gps的增强现实实景导航技术
CN105657535B (zh) * 2015-12-29 2018-10-30 北京搜狗科技发展有限公司 一种音频识别方法和装置
CN105611481B (zh) * 2015-12-30 2018-04-17 北京时代拓灵科技有限公司 一种基于空间声的人机交互方法和系统
US9881619B2 (en) 2016-03-25 2018-01-30 Qualcomm Incorporated Audio processing for an acoustical environment
US10547947B2 (en) 2016-05-18 2020-01-28 Qualcomm Incorporated Device for generating audio output

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002073287A2 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Mixed reality system which reduces measurement errors of viewpoint position and direction of an observer
US20150092965A1 (en) * 2013-09-27 2015-04-02 Sony Computer Entertainment Inc. Method of improving externalization of virtual surround sound

Also Published As

Publication number Publication date
CN109416585B (zh) 2022-06-21
US20180020312A1 (en) 2018-01-18
BR112019000398A2 (pt) 2019-04-30
WO2018013237A1 (en) 2018-01-18
BR112019000398A8 (pt) 2023-01-31
US9906885B2 (en) 2018-02-27
KR20190028697A (ko) 2019-03-19
CN109416585A (zh) 2019-03-01
EP3485346A1 (en) 2019-05-22
TW201804315A (zh) 2018-02-01
SG11201810874YA (en) 2019-01-30
JP2019527956A (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
KR102609668B1 (ko) 가상, 증강, 및 혼합 현실
US11792598B2 (en) Spatial audio for interactive audio environments
US11617050B2 (en) Systems and methods for sound source virtualization
US11032662B2 (en) Adjusting audio characteristics for augmented reality
CN110121695B (zh) 虚拟现实领域中的装置及相关联的方法
JP6055657B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
CN107277736B (zh) 模拟系统、声音处理方法及信息存储介质
US10798518B2 (en) Apparatus and associated methods
CN105764581A (zh) 可变音频参数设置
CN111459444A (zh) 在扩展现实应用中将虚拟声源映射到物理扬声器
CN112106020A (zh) 用于合成现实布景的声音处理的方法和设备
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant