KR20240033277A - 통신을 위한 증강 오디오 - Google Patents

통신을 위한 증강 오디오 Download PDF

Info

Publication number
KR20240033277A
KR20240033277A KR1020247005932A KR20247005932A KR20240033277A KR 20240033277 A KR20240033277 A KR 20240033277A KR 1020247005932 A KR1020247005932 A KR 1020247005932A KR 20247005932 A KR20247005932 A KR 20247005932A KR 20240033277 A KR20240033277 A KR 20240033277A
Authority
KR
South Korea
Prior art keywords
audio
environment
data
environments
mutual
Prior art date
Application number
KR1020247005932A
Other languages
English (en)
Inventor
에스 엠 아크라무스 살레힌
래훈 김
샤오신 장
에릭 비제르
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20240033277A publication Critical patent/KR20240033277A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

디바이스는, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하도록 구성된 하나 이상의 프로세서들을 포함한다. 하나 이상의 프로세서들은 또한, 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하도록 구성된다.

Description

통신을 위한 증강 오디오
관련 출원들에 대한 상호 참조
본 출원은 2021년 8월 31일자로 출원된 공동 소유의 미국 정규 특허출원 제17/446,498호로부터의 우선권의 이익을 주장하고, 그 내용들은 그 전체가 본 명세서에 참고로 명백히 통합된다.
기술분야
본 개시내용은 대체적으로 통신을 위한 증강 오디오에 관한 것이다.
기술이 진보함에 따라, 점점 더 많은 컴퓨팅 환경들이 가상 현실, 증강 현실, 혼합 현실 등과 같은 확장 현실(extended reality, "XR")의 엘리먼트들을 포함한다. XR 환경들에서, 하나 이상의 가상의 또는 컴퓨터 생성되는 엘리먼트들이 사용자의 컴퓨팅 환경에 존재할 수 있다. 사용자의 컴퓨팅 환경은 또한, 사용자의 실제 현실로부터의 하나 이상의 엘리먼트들을 포함할 수 있다.
기술에서의 진보들은 더 소형이고 더 강력한 컴퓨팅 디바이스들을 발생시켰다. 예를 들어, 작고, 경량의, 그리고 사용자들에 의해 쉽게 운반되는 모바일 및 스마트 폰들과 같은 무선 전화기들, 태블릿들 및 랩톱 컴퓨터들을 포함하는 다양한 휴대용 개인 컴퓨팅 디바이스들이 현재 존재한다. 이들 디바이스들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 또한, 많은 이러한 디바이스들은 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 플레이어와 같은 부가적인 기능을 통합한다. 또한, 이러한 디바이스들은, 인터넷에 액세스하는데 사용될 수 있는 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함하는, 실행가능 명령들을 프로세싱할 수 있다. 이와 같이, 이러한 디바이스들은, 예를 들어 디바이스의 사용자가 XR 환경과 상호작용하는 것을 가능하게 하는 멀티미디어 시스템들을 포함하는 유의한 컴퓨팅 능력들을 포함할 수 있다.
XR 환경들의 사용자의 경험을 현실적이게 하고 사용자의 현실 세계 물리적 환경과 끊김없이 병합되게 하는 것은 어려울 수 있다. 예를 들어, 두 가지 환경들 사이의 음향 특성들의 차이들은 사용자에게 출력된 사운드가 부자연스러워 보이게 할 수 있다.
특정 양태에서, 디바이스는 명령들을 저장하는 메모리 및 메모리에 커플링된 하나 이상의 프로세서들을 포함한다. 하나 이상의 프로세서들은, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하기 위해 명령들을 실행하도록 구성된다. 하나 이상의 프로세서들은 또한, 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하도록 구성된다.
특정 양태에서, 방법은, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하는 단계를 포함한다. 방법은 또한, 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하는 단계를 포함한다.
특정 양태에서, 비일시적 컴퓨터 판독가능 저장 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하게 하는 명령들을 포함한다. 명령들은, 프로세서에 의해 실행될 때, 또한, 하나 이상의 프로세서들로 하여금, 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하게 한다.
특정 양태에서, 통신을 위한 장치는, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하기 위한 수단을 포함한다. 장치는 또한, 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하기 위한 수단을 포함한다.
본 발명의 다른 양태들, 이점들 및 특징들은 다음 섹션들, 즉 도면의 간단한 설명, 상세한 설명 및 청구항들을 포함하여, 본 명세서 전체를 검토한 후 분명해질 것이다.
도 1은 본 개시내용의 일부 예들에 따른, 통신을 위해 오디오를 증강시키도록 구성된 디바이스를 포함하는 시스템의 예의 블록도이다.
도 2는 본 개시내용의 일부 예들에 따른, 오디오 환경들의 맵핑을 생성하기 위해 RF 감지 기법들을 사용하여 복수의 오디오 환경들 내의 객체들을 검출하는 복수의 무선 디바이스들의 예의 블록도이다.
도 3은 본 개시내용의 일부 예들에 따른, RF 감지를 수행하여 통신을 증강시키는 데 사용하기 위한 실내 맵을 생성하도록 구성된 하나 이상의 무선 디바이스들을 포함할 수 있는 실내 환경을 예시하는 도면이다.
도 4a는 본 개시내용의 일부 예들에 따른, 제1 오디오 환경, 제2 오디오 환경, 및 가상의 상호 오디오 환경을 포함하는 제1 예시적인 오디오 환경 구성을 예시한다.
도 4b는 본 개시내용의 일부 예들에 따른, 제1 오디오 환경, 제2 오디오 환경, 및 가상의 상호 오디오 환경을 포함하는 제2 예시적인 오디오 환경 구성을 예시한다.
도 4c는 본 개시내용의 일부 예들에 따른, 제1 오디오 환경, 제2 오디오 환경, 및 가상의 상호 오디오 환경을 포함하는 제3 예시적인 오디오 환경 구성을 예시한다.
도 4d는 본 개시내용의 일부 예들에 따른, 제1 오디오 환경, 제2 오디오 환경, 및 가상의 상호 오디오 환경을 포함하는 제4 예시적인 오디오 환경 구성을 예시한다.
도 5는 본 개시내용의 일부 예들에 따른, 통신을 위한 오디오를 증강시키기 위한 방법의 예의 흐름도이다.
도 6은 본 개시내용의 일부 예들에 따른, 통신을 위한 오디오를 증강시키기 위한 방법의 다른 예의 흐름도이다.
도 7은 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 특정 예를 예시하는 블록도이다.
도 8은 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 차량을 예시한다.
도 9는 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 헤드셋을 예시한다.
도 10은 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 웨어러블 전자 디바이스를 예시한다.
도 11은 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 음성 제어형 스피커 시스템을 예시한다.
도 12는 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 카메라를 예시한다.
도 13은 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 모바일 디바이스를 예시한다.
도 14는 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 청력 보조 디바이스를 예시한다.
도 15는 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 공중 디바이스를 예시한다.
도 16은 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 헤드셋을 예시한다.
도 17은 본 개시내용의 일부 예들에 따른, 도 1의 디바이스의 양태들을 통합한 어플라이언스를 예시한다.
도 18은 본 개시내용의 일부 예들에 따른, 통신을 위한 오디오를 증강시키기 위한 방법의 다른 예의 흐름도이다.
XR 환경에서 하나 이상의 가상 사운드 소스들을 제공하기 위한 시스템들은 사용자의 현실 세계 환경 내의 사운드 소스들의 사용자의 경험에 비해 사용자에게 부자연스러운 방식으로 사운드를 생성할 수 있다. 예를 들어, 현재 시스템들은 상이한 상호작용 사용자들에 대한 상이한 음향 환경들도, 가상 사운드 소스들에 대한 XR 환경 내에서의 사용자의 이동도 고려하지 않는다.
개시된 시스템들 및 방법들은, 둘 이상의 사용자들에 대한 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정한다. 이어서, 개시된 시스템들 및 방법들은, 상호 오디오 환경의 기하구조에 기초하여, 각각의 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 둘 이상의 사용자들로부터의 오디오 데이터를 프로세싱할 수 있다. 예를 들어, 개시된 시스템들 및 방법들은 각각의 사용자의 네트워킹 환경의 다양한 컴포넌트들(예컨대, 사용자의 라우터, 컴퓨팅 디바이스 등)을 사용하여 각각의 사용자의 오디오 환경의 기하구조 및/또는 그/그녀의 오디오 환경 내에서의 각각의 사용자의 포지션 및 배향을 결정한다. 이어서, 개시된 시스템들 및 방법들은, 각각의 사용자의 오디오 환경의 기하구조에 기초하여, 모든 사용자들에 대한 가상의 상호 오디오 환경을 생성할 수 있고, 이어서, 가상의 상호 오디오 환경의 기하구조에 기초하여 각각의 사용자의 오디오 데이터를 프로세싱할 수 있다.
본 개시내용의 특정 양태들이 이하에서 도면들을 참조하여 설명된다. 설명에 있어서, 공통 특징부들은 공통 참조 부호들에 의해 지정된다. 본 명세서에서 사용된 바와 같이, 다양한 용어는 오직 특정 구현들을 설명할 목적으로 사용되고, 구현들을 한정하는 것으로 의도되지 않는다. 예를 들어, 단수 형태들 "a", "an" 및 "the"는, 콘텍스트가 분명히 달리 나타내지 않는 한, 복수 형태들을 물론 포함하도록 의도된다. 또한, 본 명세서에 설명된 일부 특징은 일부 구현들에서 단수이고 다른 구현들에서 복수이다. 예시하기 위해, 도 1은 하나 이상의 프로세서들(도 1의 프로세서(들)(102))을 포함하는 디바이스(100)를 묘사하는데, 이는 일부 구현들에서는 디바이스(100)가 단일 프로세서(102)를 포함하고 다른 구현들에서는 디바이스(100)가 다수의 프로세서들(102)을 포함함을 표시한다. 본 명세서에서의 참조의 용이함을 위해, 이러한 특징부들은 일반적으로 "하나 이상의" 특징부들로서 도입되고, 후속하여, 그 특징부들 중 다수의 특징부들과 관련된 양태들이 설명되지 않는 한, 단수 또는 선택적인 복수형(일반적으로 "(들)"로 끝나는 용어들에 의해 표시됨)으로 지칭된다.
용어들 "포함하다(comprise)", "포함하다(comprises)", 및 "포함하는(comprising)"은 본 명세서에서 "포함하다(include)", "포함하다(includes)", 또는 "포함하는(including)"과 상호교환가능하게 사용된다. 추가적으로, 용어 "여기서(wherein)"는 "여기서(where)"와 상호교환가능하게 사용된다. 본 명세서에서 사용된 바와 같이, "예시적인"은 예, 구현, 및/또는 양태를 나타내며, 제한하는 것으로서 또는 선호도 또는 선호된 구현을 나타내는 것으로서 해석되지 않아야 한다. 본 명세서에서 사용된 바와 같이, 구조, 컴포넌트, 동작 등과 같은 엘리먼트를 수정하는 데 사용되는 서수 용어(예컨대, "제1", "제2", "제3" 등)는 자체로 다른 엘리먼트에 관하여 엘리먼트의 임의의 우선순위 또는 순서를 표시하는 것이 아니라, 오히려 단지 엘리먼트를 (서수 용어의 사용이 없다면) 동일한 명칭을 갖는 다른 엘리먼트로부터 구별한다. 본 명세서에서 사용된 바와 같이, 용어 "세트"는 특정 엘리먼트의 하나 이상을 지칭하고, 용어 "복수"는 특정 엘리먼트의 배수(예컨대, 2 이상)를 지칭한다.
본 명세서에 사용된 바와 같이, "커플링된"은 "통신적으로 커플링된", "전기적으로 커플링된", 또는 "물리적으로 커플링된"을 포함할 수 있고, 또한 (또는 대안적으로) 이들의 임의의 조합을 포함할 수 있다. 2개의 디바이스들(또는 컴포넌트들)은 하나 이상의 다른 디바이스들, 컴포넌트들, 와이어들, 버스들, 네트워크들(예를 들어, 유선 네트워크, 무선 네트워크, 또는 이들의 조합) 등을 통하여 직접적으로 또는 간접적으로 커플링(예를 들어, 통신가능하게 커플링, 전기적으로 커플링, 또는 물리적으로 커플링)될 수 있다. 전기적으로 커플링된 2개의 디바이스들(또는 컴포넌트들)은 동일한 디바이스 또는 상이한 디바이스들에 포함될 수 있고, 예시적인, 비제한적인 예들로서 전자기기들, 하나 이상의 커넥터들 또는 유도 커플링을 통하여 연결될 수 있다. 일부 구현들에서, 예컨대 전기 통신에서, 통신가능하게 커플링되는 2개의 디바이스들(또는 컴포넌트들)은 직접적으로 또는 간접적으로, 예컨대 하나 이상의 와이어들, 버스들, 네트워크들 등을 통해, 전기 신호들(디지털 신호들 또는 아날로그 신호들)을 전송 및 수신할 수 있다. 본 명세서에서 사용된 바와 같이, "직접 커플링된"은 개재 컴포넌트들 없이 커플링되는(예컨대, 통신가능하게 커플링되거나, 전기적으로 커플링되거나, 또는 물리적으로 커플링됨) 2개의 디바이스들을 지칭할 수 있다.
본 개시내용에서, "결정하는 것", "계산하는 것", "추정하는 것", "시프트하는 것", "조정하는 것" 등과 같은 용어들은 하나 이상의 동작들이 어떻게 수행되는지 설명하기 위해 사용될 수 있다. 그러한 용어들은 한정하는 것으로서 해석되지 않아야 하고 다른 기법들이 유사한 동작들을 수행하는데 활용될 수 있음을 유의해야 한다. 부가적으로, 본 명세서에서 언급된 바와 같이, "생성하는 것", "계산하는 것", "추정하는 것", "사용하는 것", "선택하는 것", "액세스하는 것", 및 "결정하는 것"은 상호교환가능하게 사용될 수 있다. 예를 들어, 파라미터(또는 신호)를 "생성하는 것", "계산하는 것", "추정하는 것", 또는 "결정하는 것"은 파라미터(또는 신호)를 능동적으로 생성하는 것, 추정하는 것, 계산하는 것, 또는 결정하는 것을 지칭할 수 있거나, 또는 예컨대, 다른 컴포넌트 또는 디바이스에 의해 이미 생성된 파라미터(또는 신호)를 사용하는 것, 선택하는 것, 또는 액세스하는 것을 지칭할 수 있다.
도 1은 본 개시내용의 일부 예들에 따른, 통신을 위해 오디오를 증강시키도록 구성된 디바이스(100)를 포함하는 시스템의 예의 블록도이다. 디바이스(100)는 제2 오디오 환경(126)에서의 출력을 위해 제1 오디오 환경(124)으로부터의 오디오를 증강시키는 데 사용될 수 있으며, 여기서 제1 및 제2 오디오 환경들(124, 126)은 상이한 물리적 기하구조들을 갖는다. 디바이스(100)는, 제1 및 제2 오디오 환경들(124, 126)이 유사한 기하구조들을 갖는 것처럼 오디오가 제2 오디오 환경(126)의 사용자에게 들리도록 제1 오디오 환경(124)으로부터의 오디오를 증강시킬 수 있다.
일부 구현들에서, 디바이스(100)는 메모리(104)에 커플링된 하나 이상의 프로세서들(102)을 포함한다. 프로세서(들)(102)는, 하기에서 추가로 설명되는 바와 같이, 제1 오디오 환경(124)을 설명하는 제1 오디오 환경 설명(114)을 수신하도록, 제2 오디오 환경(126)을 설명하는 제2 오디오 환경 설명(116)을 수신하도록, 그리고 제1 및 제2 오디오 환경 설명들(114, 116)에 기초하여 상호 오디오 환경 기하구조(118)를 결정하도록 구성된다. 일부 구현들에서, 프로세서(들)(102)는, 하기에서 추가로 설명되는 바와 같이, 상호 오디오 환경 기하구조(118)에 기초하여, 제1 오디오 환경(124)으로부터의 제1 오디오 데이터(128) 및 제2 오디오 환경(126)으로부터의 제2 오디오 데이터(130)를 프로세싱하여 프로세싱된 제1 오디오 데이터(170) 및 프로세싱된 제2 오디오 데이터(168)를 생성하도록 추가로 구성된다.
일부 구현들에서, 프로세서(들)(102)는 프로세싱된 제1 오디오 데이터(170)를 제2 오디오 환경(126)으로 출력하고/하거나 프로세싱된 제2 오디오 데이터(168)를 제1 오디오 환경(124)으로 출력하도록 추가로 구성된다. 하기에서 추가로 설명되는 바와 같이, 프로세싱된 제1 오디오 데이터(170)는, 제1 오디오 환경(124) 및 제2 오디오 환경(126)의 현실 세계 음향 특성들(예컨대, 룸 치수들, 재료들 등)이 상이할 때에도, 제1 및 제2 오디오 환경들(124, 126)이 실질적으로 유사한 음향 특성들을 갖는 것처럼 제2 오디오 환경(126) 내의 사용자(134)가 제1 오디오 환경(124)으로부터의 통신을 청취하는 것을 가능하게 할 수 있다. 유사하게, 프로세싱된 제2 오디오 데이터(168)는, 제1 및 제2 오디오 환경들(124, 126)이 실질적으로 유사한 음향 특성들을 갖는 것처럼 제1 오디오 환경(124) 내의 사용자(132)가 제2 오디오 환경(126)으로부터의 통신을 청취하는 것을 가능하게 할 수 있다.
특정 양태에서, 디바이스(100)는 제1 오디오 환경(124) 또는 제2 오디오 환경(126) 내에 배치된다. 예를 들어, 디바이스(100)는 제1 오디오 환경(124) 내의 사용자(132)에 의해 사용되는 사용자 디바이스(152)(예컨대, 통신 디바이스 또는 컴퓨팅 디바이스)를 포함할 수 있거나, 그에 대응할 수 있거나, 또는 그에 포함될 수 있다. 다른 특정 양태에서, 디바이스(100)는 제1 오디오 환경(124) 및 제2 오디오 환경(126)으로부터 떨어져 있다. 예를 들어, 디바이스(100)는 제1 및 제2 오디오 환경들(124, 126)에 배치된 사용자 디바이스들(152, 154)과 상호작용하는 하나 이상의 서버 디바이스들을 포함할 수 있거나, 그에 대응할 수 있거나, 또는 그에 포함될 수 있다.
제1 오디오 환경(124)은, 예를 들어 제1 오디오 환경(124)의 물리적 치수들(본 명세서에서, 제1 오디오 환경(124)의 기하구조로도 지칭됨), 제1 오디오 환경(124)을 구성하는 물리적 재료들, 제1 오디오 환경(124)을 구성하는 소정 물리적 재료들 중 음향 재료들, 및/또는 제1 오디오 환경(124)의 다른 특성들에 기초한 특정 음향 특성들을 갖는다. 예를 들어, 제1 오디오 환경은 8 피트x8 피트 회의실일 수 있으며, 이때 벽은 흡음 계수가 0.02인 페인팅되지 않은 콘크리트로 제조되어 있다.
일부 구현들에서, 제1 오디오 환경(124)은 사용자 디바이스(152)를 포함할 수 있다. 사용자 디바이스(152)는 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿, 스마트폰 등과 같은 통신 디바이스 또는 컴퓨팅 디바이스를 포함할 수 있거나, 그에 대응할 수 있거나, 또는 그에 포함될 수 있다. 일부 구현들에서, 사용자 디바이스(152)는 제1 오디오 환경(124)의 사용자(132)에게 오디오 신호를 출력하기 위한, 스피커와 같은 하나 이상의 출력 컴포넌트들(160)을 포함할 수 있다. 사용자 디바이스(152)는 또한, 인입(incoming) 오디오 데이터를, 사용자(132)에게 출력하기 위한 오디오 신호로 컨버팅하도록 구성될 수 있다. 예를 들어, 하기에서 추가로 설명되는 바와 같이, 사용자 디바이스(152)는 디바이스(100)로부터의 프로세싱된 제2 오디오 데이터(168)를, 사용자(132)에게로의 출력을 위한 오디오 신호로 컨버팅할 수 있다.
동일한 또는 대안적인 구현들에서, 사용자 디바이스(152)는 또한, 제1 오디오 환경(124)의 사용자(132)로부터 오디오 신호를 수신하기 위한, 마이크로폰과 같은 하나 이상의 입력 컴포넌트들(162)을 포함할 수 있다. 사용자 디바이스(152)는 또한, 사용자(132)로부터의 오디오 신호를, 하나 이상의 다른 컴퓨팅 및/또는 통신 디바이스들로의 출력을 위한 오디오 신호를 설명하는 데이터로 컨버팅하도록 구성될 수 있다. 예를 들어, 하기에서 추가로 설명되는 바와 같이, 사용자 디바이스(152)는 사용자(132)로부터의 인입 음성 오디오 신호를, 디바이스(100)에 대한 통신을 위한 제1 오디오 데이터(128)로 컨버팅할 수 있다.
제1 오디오 환경(124)은 또한 하나 이상의 사운드 소스들을 포함할 수 있다. 사운드 소스(들)는 다른 오디오 환경에 대한 통신을 위한 오디오 신호를 생성할 수 있는 임의의 사운드 소스를 포함할 수 있다. 특정 양태에서, 사운드 소스(들)는 하기를 포함할 수 있거나 또는 그에 대응할 수 있다: 사용자(132)(예컨대, 전화 회의 동안 말하거나 또는 다른 방식으로 잡음을 내는 것에 의함), 제1 오디오 환경(124) 내의 다른 사람들 또는 동물들, 주변 사운드 소스들(예컨대, 바람에 바스락거리는 나뭇잎들, 교통 등), 및/또는 제1 오디오 환경 내의 다른 디바이스들. 예시하기 위해, 둘 이상의 사용자들이 제1 오디오 환경(124)에 존재할 수 있다. 다른 예시적인 예로서, 제1 오디오 환경(124)은 콘서트에서 공연하는 복수의 악기들 및/또는 가수들을 포함할 수 있다. 사용자 디바이스(152)는, 도 3 내지 도 6을 참조하여 하기에서 더 상세히 설명되는 바와 같이, 프로세싱을 위해 사운드 소스(들)를 설명하는 데이터를 디바이스(100)에 통신하도록 구성될 수 있다.
사용자(132)와 같은, 제1 오디오 환경(124) 내의 사운드 소스로부터의 오디오 신호는 제1 오디오 환경(124)의 기하구조에 따라 사용자(132)로부터 사용자 디바이스(152)까지 무수한 경로들을 이동할 수 있다. 예를 들어, 도 1에 예시된 바와 같이, 사용자(132)로부터의 오디오 신호는 사용자(132)로부터 사용자 디바이스(152)까지 제1 사운드 경로(156)를 이동할 수 있다. 예시적인 제1 사운드 경로(156)는 사용자 디바이스(152)에 도착하기 전에 사용자(132)로부터, 제1 오디오 환경(124)을 구성하는 복수의 물리적 벽들 주위에서 반사된다. 마찬가지로, 사용자 디바이스(152)로부터의 출력된 오디오 신호는 사용자(132)에 도착하기 전에, 예시적인 제1 사운드 경로(156)를 이동하여, 제1 오디오 환경(124)을 구성하는 복수의 물리적 벽들 주위에서 반사될 수 있다. 제1 오디오 환경(124)에서 사운드에 의해 취해진 경로에 따라, 사운드의 음향 특성들이 변할 수 있다. 예를 들어, 오디오 신호는 소정량의 잔향을 가질 수 있다. 오디오 신호와 연관된 잔향은 "초기" 잔향 및 "후기" 잔향을 포함할 수 있다. 특정 예에서, 초기 잔향은 사운드의 시작(origination)의 임계 시간(예컨대, 3 내지 4 밀리초) 내에 리스너에 의해 청취되는 오디오 반사들을 포함할 수 있다. 후기 잔향은, 초기 잔향에 대한 임계 시간을 벗어나 있지만 사운드의 시작의 더 긴 임계 시간(예컨대, 4 내지 20 밀리초) 내에서 리스너에 의해 청취되는 오디오 반사들을 포함할 수 있다.
비교적 일정한 속도의 사운드를 고려하면, 오디오 신호가 제1 오디오 환경(124)을 횡단하는 데 소요되는 시간의 길이는 제1 오디오 환경(124)의 물리적 치수들에 따라 변할 수 있다. 결과로서, 오디오 신호와 연관된 잔향의 양 및 유형이 변할 수 있다. 제1 오디오 환경(124) 내의 사용자(132)가 오디오 신호와 연관된 잔향을 청취하기 때문에, 오디오 신호의 사용자의 경험은 제1 오디오 환경(124)의 기하구조에 기초하여 변할 수 있다.
제2 오디오 환경(126)은, 예를 들어 제2 오디오 환경(126)의 물리적 치수들(본 명세서에서, 제2 오디오 환경(126)의 기하구조로도 지칭됨), 제2 오디오 환경(126)을 구성하는 물리적 재료들, 제2 오디오 환경(126)을 구성하는 소정 물리적 재료들 중 음향 재료들, 및/또는 제2 오디오 환경(126)의 다른 데이터 특성들에 기초한 특정 음향 특성들을 갖는다. 예를 들어, 제2 오디오 환경은 8 피트x12 피트 회의실일 수 있으며, 이때 벽은 흡음 계수가 0.1인 페인팅된 콘크리트로 제조되어 있다.
제2 오디오 환경(126)은 또한 일부 구현들에서 사용자 디바이스(154)를 포함할 수 있다. 사용자 디바이스(154)는 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿, 스마트폰 등과 같은 통신 디바이스 또는 컴퓨팅 디바이스를 포함할 수 있거나, 그에 대응할 수 있거나, 또는 그에 포함될 수 있다. 일부 구현들에서, 사용자 디바이스(154)는 제2 오디오 환경(126)의 사용자(134)에게 오디오 신호를 출력하기 위한, 스피커와 같은 하나 이상의 출력 컴포넌트들(166)을 포함할 수 있다. 사용자 디바이스(154)는 또한, 인입 오디오 데이터를, 사용자(134)에게 출력하기 위한 오디오 신호로 컨버팅하도록 구성될 수 있다. 예를 들어, 하기에서 추가로 설명되는 바와 같이, 사용자 디바이스(154)는 디바이스(100)로부터의 프로세싱된 제1 오디오 데이터(170)를, 사용자(134)에게로의 출력을 위한 오디오 신호로 컨버팅할 수 있다.
동일한 또는 대안적인 구현들에서, 사용자 디바이스(154)는 또한, 제2 오디오 환경(126)의 사용자(134)로부터 오디오 신호를 수신하기 위한, 마이크로폰과 같은 하나 이상의 입력 컴포넌트들(164)을 포함할 수 있다. 사용자 디바이스(154)는 또한, 사용자(134)로부터의 오디오 신호를, 하나 이상의 다른 컴퓨팅 및/또는 통신 디바이스들로의 출력을 위한 오디오 신호를 설명하는 데이터로 컨버팅하도록 구성될 수 있다. 예를 들어, 하기에서 추가로 설명되는 바와 같이, 사용자 디바이스(154)는 사용자(134)로부터의 인입 음성 오디오 신호를, 디바이스(100)에 대한 통신을 위한 제2 오디오 데이터(130)로 컨버팅할 수 있다.
제2 오디오 환경(126)은 또한 하나 이상의 사운드 소스들을 포함할 수 있다. 사운드 소스(들)는 다른 오디오 환경에 대한 통신을 위한 오디오 신호를 생성할 수 있는 임의의 사운드 소스를 포함할 수 있다. 특정 양태에서, 사운드 소스(들)는 하기를 포함할 수 있거나 또는 그에 대응할 수 있다: 사용자(134)(예컨대, 전화 회의 동안 말하거나 또는 다른 방식으로 잡음을 내는 것에 의함), 제2 오디오 환경(126) 내의 다른 사람들 또는 동물들, 주변 사운드 소스들(예컨대, 바람에 바스락거리는 나뭇잎들, 교통 등), 및/또는 제2 오디오 환경 내의 다른 디바이스들. 예시하기 위해, 둘 이상의 사용자들이 제2 오디오 환경(126)에 존재할 수 있다. 다른 예시적인 예로서, 제2 오디오 환경(126)은 콘서트에서 공연하는 복수의 악기들 및/또는 가수들을 포함할 수 있다. 사용자 디바이스(154)는, 도 3 내지 도 6을 참조하여 하기에서 더 상세히 설명되는 바와 같이, 프로세싱을 위해 사운드 소스(들)를 설명하는 데이터를 디바이스(100)에 통신하도록 구성될 수 있다.
사용자(134)와 같은, 제2 오디오 환경(126) 내의 사운드 소스로부터의 오디오 신호는 제2 오디오 환경(126)의 기하구조에 따라 사용자(134)로부터 사용자 디바이스(154)까지 무수한 경로들을 이동할 수 있다. 예를 들어, 도 1에 예시된 바와 같이, 사용자(134)로부터의 오디오 신호는 사용자(134)로부터 사용자 디바이스(154)까지 제2 사운드 경로(158)를 이동할 수 있다. 예시적인 제2 사운드 경로(158)는 사용자 디바이스(154)에 도착하기 전에 사용자(134)로부터, 제2 오디오 환경(126)을 구성하는 복수의 물리적 벽들 주위에서 반사된다. 마찬가지로, 사용자 디바이스(154)로부터의 출력된 오디오 신호는 사용자(134)에 도착하기 전에, 예시적인 제2 사운드 경로(158)를 이동하여, 제2 오디오 환경(126)을 구성하는 복수의 물리적 벽들 주위에서 반사될 수 있다.
비교적 일정한 속도의 사운드를 고려하면, 오디오 신호가 제2 오디오 환경(126)을 횡단하는 데 소요되는 시간의 길이는 제2 오디오 환경(126)의 물리적 치수들에 따라 변할 수 있다. 결과로서, 오디오 신호와 연관된 잔향의 양 및 유형이 변할 수 있다. 제2 오디오 환경(126) 내의 사용자(132)가 오디오 신호와 연관된 잔향을 청취하기 때문에, 오디오 신호의 사용자의 경험은 제2 오디오 환경(126)의 기하구조에 기초하여 변할 수 있다.
일부 구현들에서, 제1 및 제2 오디오 환경들(124, 126)의 사용자(들)(132, 134)는 또한 그의/그녀의 각자의 오디오 환경 내에서 물리적으로 이리저리 이동할 수 있다. 예를 들어, 사용자(132)는 오디오 환경의 물리적 치수들 내에서 이리저리 이동할 수 있다(예컨대, 서성거림, 룸의 전방으로 이동함 등). 추가적인 예로서, 사용자(132)는 오디오 환경 내에서 그의/그녀의 신체의 일부를 물리적으로 이동시킬 수 있다(예컨대, 그의/그녀의 머리를 돌림, 사운드 소스를 직면함, 사운드 소스를 외면함 등).
오디오 환경 내에서의 물리적 이동은 사용자(132)가 오디오 환경과 상호작용하는 자연스러운 부분일 수 있다. 그러나, 물리적 이동은 오디오 환경 내의 하나 이상의 사운드 소스들에 대해 사용자의 포지션 및/또는 배향을 변화시킬 수 있다. 오디오 환경 내에서의 하나 이상의 사운드 소스들에 대한 사용자의 포지션 및/또는 배향에 대한 변화는 사용자가 사운드 소스(들)를 경험하는 방식을 변화시킬 수 있다. 예를 들어, 사용자는, 사용자가 사운드 소스에 더 가깝게 이동할 때에는 사운드 소스가 더 커질 것이고 사용자가 사운드 소스로부터 더 멀리 이동할 때에는 사운드 소스가 더 조용해질 것이라고 예상할 수 있다. 오디오 환경 내에서 사용자의 이동을 추정하는 것은, 하기에서 추가로 설명되는 바와 같이, 다중 사용자 통신에서 더 자연스러운 증강 오디오를 제공하는 데 사용될 수 있다.
일부 구현들에서, 사용자 디바이스(152)는 제1 오디오 환경 설명(114)을 디바이스(100)에 통신할 수 있다. 제1 오디오 환경 설명(114)은 제1 오디오 환경(124) 내의 하나 이상의 사운드 소스들, 제1 오디오 환경(124)의 기하구조, 제1 오디오 환경(124) 내의 사용자(132)의 사용자 배향, 제1 오디오 환경(124) 내에서의 사용자(132)의 사용자 모션, 제1 오디오 환경(124) 내의 사운드 소스의 위치의 표시, 및/또는 가상 현실 객체, 증강 현실 객체, 혼합 현실 객체, 및/또는 확장 현실 객체의 제1 오디오 환경(124) 내에서의 위치를 설명하는 데이터를 포함할 수 있다. 동일한 또는 대안적인 구현들에서, 제1 오디오 환경 설명(114)은 제1 오디오 환경(124)의 잔향 특성들, 제1 오디오 환경(124) 내의 특정 특징부들의 위치들(예컨대, 디스플레이 스크린의 위치) 등을 설명하는 데이터를 포함할 수 있다. 다른 예들에서, 제1 오디오 환경 설명(114)은 도 1에 예시된 것보다 더 적은 정보를 포함한다. 예를 들어, 제1 오디오 환경(124)이 고정 워크스테이션들을 포함할 때, 제1 오디오 환경(124) 내에서의 사용자 모션을 설명하는 데이터는 생략될 수 있다.
일부 구현들에서, 사용자 디바이스(152)는 제2 오디오 환경 설명(116)을 디바이스(100)에 통신할 수 있다. 제2 오디오 환경 설명(116)은 제2 오디오 환경(126) 내의 하나 이상의 사운드 소스들, 제2 오디오 환경(126)의 기하구조, 제2 오디오 환경(126) 내의 사용자(132)의 사용자 배향, 제2 오디오 환경(126) 내에서의 사용자(132)의 사용자 모션, 제2 오디오 환경(126) 내의 사운드 소스의 위치의 표시, 및/또는 가상 현실 객체, 증강 현실 객체, 혼합 현실 객체, 및/또는 확장 현실 객체의 제2 오디오 환경(126) 내에서의 위치를 설명하는 데이터를 포함할 수 있다. 동일한 또는 대안적인 구현들에서, 제2 오디오 환경 설명(116)은 제2 오디오 환경(126)의 잔향 특성들, 제2 오디오 환경(126) 내의 특정 특징부들의 위치들(예컨대, 디스플레이 스크린의 위치) 등을 설명하는 데이터를 포함할 수 있다. 다른 예들에서, 제2 오디오 환경 설명(116)은 도 1에 예시된 것보다 더 적은 정보를 포함한다. 예를 들어, 제2 오디오 환경(126)이 고정 워크스테이션들을 포함할 때, 제2 오디오 환경(126) 내에서의 사용자 모션을 설명하는 데이터는 생략될 수 있다.
일부 구현들에서, 제1 및 제2 오디오 환경 설명들(114, 116)은 상이한 음향 특성들을 가질 수 있는 각자의 오디오 환경들을 설명한다. 예를 들어, 제1 및 제2 오디오 환경들(124, 126)은 상이한 물리적 치수들, 상이한 음향 특성들 등을 가질 수 있다. 따라서, 상기에서 언급된 바와 같이, 제1 및 제2 오디오 환경들(124, 126)의 사용자들(132, 134)은 그의/그녀의 각자의 오디오 환경 내의 오디오 신호들과 연관된 상이한 경험들 및/또는 예상들을 가질 수 있다.
일부 구현들에서, 프로세서(들)(102)는 특정 통신에서 모든 사용자들을 위한 가상의 상호 오디오 환경을 선택하도록 구성될 수 있다. 예를 들어, 상호 오디오 환경 선택기(110)는 제1 오디오 환경 설명(114) 및 제2 오디오 환경 설명(116)을 사용하여, 제1 오디오 환경(124) 및/또는 제2 오디오 환경(126)에 대응하지 않는 상호 오디오 환경 기하구조(118)를 갖는 가상의 상호 오디오 환경을 선택할 수 있다. 프로세서(들)(102)는 제1 및 제2 오디오 환경들(124, 126) 내의 사운드 소스(들)로부터의 오디오를 프로세싱하여, 상이한 물리적 제1 및/또는 제2 오디오 환경들(124, 126)로부터와는 달리 가상의 상호 오디오 환경 내에서 시작된 오디오처럼 사용자들(132, 134)이 오디오를 청취하도록 추가로 구성될 수 있다.
예시적인 예로서, 도 1은 가상의 상호 오디오 환경의 선택을 예시한다. 도 1은 제1 예시적인 XR 환경(136) 및 제2 예시적인 XR 환경(142)을 예시한다. 제1 XR 환경(136) 및 제2 XR 환경(142)은 이해를 돕기 위해 제공되고, 본 개시내용의 범주를 제한하도록 의도되지 않는다. 제1 오디오 환경 설명(114) 및 제2 오디오 환경 설명(116)에 기초하여 상호 오디오 환경 기하구조(118)를 결정하는 다른 예시적인 구성들이 도 4a 내지 도 4d를 참조하여 하기에서 더 상세히 설명된다. 도 1에서, 제1 예시적인 XR 환경(136)은 대체적으로, 제1 오디오 환경 설명(114)에 기초하여, 제1 오디오 환경(124)에 대응한다. 제2 예시적인 XR 환경(142)은 대체적으로, 제2 오디오 환경 설명(116)에 기초하여, 제2 오디오 환경(126)에 대응한다.
제1 예시적인 XR 환경(136)은 제1 오디오 환경(124)의 기하구조(138)를 예시하는 반면, 제2 예시적인 XR 환경(142)은 제2 오디오 환경(126)의 기하구조(144)를 예시한다. 사운드 경로들(146, 148)은 사운드 소스에 의해 생성된 사운드가 제1 오디오 환경(124) 및 제2 오디오 환경(126) 내에서 취할 수 있는 상이한 경로들을 각각 예시한다. 상기에서 언급된 바와 같이, 상이한 사운드 경로들은 잔향과 같은 상이한 음향 특성들을 갖는 오디오 신호들을 초래할 수 있다. 제1 오디오 환경(124)에서 시작된 오디오 신호와 연관된 잔향은, 예를 들어, 제2 오디오 환경(126)에서 사용자에게 자연스럽게 들릴 수 있고, 그 반대도 마찬가지이다.
제1 및 제2 오디오 환경 설명들(114, 116)에 기초하여, 프로세서(들)(102)는 제1 및 제2 오디오 환경들(124, 126) 둘 모두 내에서 사용하기 위한 상호 오디오 환경 기하구조(118)를 선택할 수 있다. 도 1은 제1 및 제2 예시적인 XR 환경들(136, 142) 내의 예시적인 상호 오디오 환경(140)을 예시한다. 하기에서 추가로 설명되는 바와 같이, 프로세서(들)(102)는 예시적인 상호 오디오 환경(140) 내에서 시작된 오디오 신호들처럼 들리도록 제1 및 제2 오디오 환경들(124, 126)로부터의 오디오 데이터를 변경할 수 있다. 제1 예시적인 XR 환경(136) 또는 제2 예시적인 XR 환경(142) 중 어느 하나의 환경 내의 사용자에게, 오디오 신호는 그것이 제3 사운드 경로(150)를 추종하는 것처럼 들릴 수 있는데, 이는 사용자에게 더 자연스럽게 들릴 수 있다.
제1 XR 환경(136) 및 제2 XR 환경(142)은 이해를 돕기 위해 제공되고, 본 개시내용의 범주를 제한하도록 의도되지 않는다. 제1 오디오 환경 설명(114) 및 제2 오디오 환경 설명(116)에 기초하여 상호 오디오 환경 기하구조(118)를 결정하는 다른 예시적인 구성들이 도 4를 참조하여 하기에서 더 상세히 설명된다.
일부 구현들에서, 프로세서(들)(102)는 제1 및/또는 제2 오디오 환경들(124, 126)로부터 제1 및/또는 제2 오디오 데이터(128, 130)를 (예컨대, 오디오 데이터(106)로서) 수신 및 저장할 수 있다. 프로세서(들)(102)는 수신된 오디오 데이터의 음향 특성들을 변경함으로써 상호 오디오 환경 기하구조(118)와 매칭하기 위해 오디오 데이터(106)를 프로세싱하도록 추가로 구성될 수 있다. 예를 들어, 프로세서(들)(102)는 원래의 오디오 신호와 연관된 잔향을 제거할 수 있다. 이어서, 프로세서(들)는 시뮬레이션된 잔향(108)을 생성 및 저장하기 위해 예시적인 상호 오디오 환경(140)의 기하구조와 연관된 잔향을 모델링할 수 있다.
도 6 및 도 18을 참조하여 하기에서 더 상세히 설명되는 바와 같이, 오디오 데이터의 원래의 오디오 환경에서 그와 연관된 잔향을 식별하는 것에 더하여, 프로세서(들)(102)는 가상의 상호 오디오 환경에서 오디오 데이터와 연관된 잔향을 시뮬레이션하도록 구성될 수 있다. 이것은, 예를 들어, 상호 오디오 환경에 대한 시뮬레이션된 임펄스 응답과의 오디오 데이터의 고속 푸리에 변환 콘볼루션을 통한 초기 반사들을 모델링하는 것을 포함할 수 있다. 모델링 후기 반사들은 하나 이상의 콤(comb) 및/또는 전 통과(all-pass) 무한 임펄스 응답 필터들을 오디오 데이터에 적용하는 것을 포함할 수 있다.
일부 구현들에서, 잔향 데이터는 방향성 정보뿐만 아니라 주파수 응답을 포함할 수 있다. 방향성 정보는 잔향 반사가 상호 오디오 환경 기하구조(118)의 다양한 양태들에 대해 시작되고 있는 방향을 표시할 수 있다. 예를 들어, 방향성 정보는 잔향 반사가 가상의 상호 오디오 환경의 하나 이상의 "벽들"로부터 사용자에게 입사하는지의 여부를 표시할 수 있다. 주파수 응답은, 존재하는 경우, 오디오 신호의 어느 주파수들이 소정 시점에서 반사되고 있는지를 표시할 수 있다. 도 6 및 도 18을 참조하여 하기에서 더 상세히 설명되는 바와 같이, 오디오 데이터를 프로세싱하는 것은 상호 오디오 환경 기하구조(118) 내에서 잔향을 시뮬레이션하는 것을 포함할 수 있다. 시뮬레이션된 잔향(108)과 연관된 데이터가 메모리(104)에 저장될 수 있다.
일부 구현들에서, 오디오 데이터(106)를 프로세싱하는 것은 사운드 소스와 연관된 방향성 정보를 오디오 데이터(106)에 추가하고/하거나 그를 제거하고/하거나 그를 수정하는 것을 포함할 수 있다. 특정 구성에서, 방향성 정보는 시뮬레이션된 잔향(108)과는 별개로 또는 그의 일부로서 저장될 수 있다. 동일한 또는 대안적인 구현들에서, 오디오 데이터(106)를 프로세싱하는 것은 오디오 데이터의 하나 이상의 오디오 컴포넌트들과 연관된 주파수 범위를 변화시키는 것을 포함할 수 있다. 예를 들어, 프로세서(들)(102)는 소정 시점에서 반사되는 오디오 신호의 하나 이상의 주파수들을 변화시키도록 구성될 수 있다. 특정 구성에서, 주파수 범위 수정(들)은 시뮬레이션된 잔향(108)과는 별개로 또는 그의 일부로서 저장될 수 있다.
일부 구현들에서, 오디오 데이터(106)를 프로세싱하는 것은 또한 또는 대안적으로, 오디오 데이터(106)의 하나 이상의 오디오 컴포넌트들을 추가, 제거, 수정, 및/또는 향상시키기 위해 하나 이상의 오디오 필터들(120)을 적용하는 것을 포함할 수 있다. 도 6 및 도 18을 참조하여 하기에서 더 상세히 설명되는 바와 같이, 오디오 프로세서(들)(112)는, 예를 들어, 하나 이상의 최소 제곱 평균 필터들을 적용하여 원래의 오디오 신호를 표현하는 데이터로부터 잔향을 제거할 수 있다. 프로세서(들)(102)는 또한, 예를 들어, 도 6 및 도 18을 참조하여 하기에서 더 상세히 설명되는 바와 같이, 상호 오디오 환경 내에서 후기 잔향을 시뮬레이션하기 위해 하나 이상의 콤 및/또는 전 통과 무한 임펄스 응답 필터들을 적용할 수 있다. 추가적인 예로서, 프로세서(들)(102)는 하나 이상의 필터들을 적용하여 하나 이상의 오디오 환경들과 연관된 백그라운드 잡음을 감소시키고/시키거나 억제하고, 하나 이상의 사운드 소스들의 사운드 품질을 향상시키고, 하나 이상의 사운드 소스들의 주파수를 변화시키고 등등을 할 수 있다. 추가 예로서, 프로세서(들)(102)는 상이한 오디오 환경을 시뮬레이션하기 위해 백그라운드 잡음을 오디오 신호에 추가하고/하거나 그를 향상시킬 수 있다.
이어서, 일부 구현들에서, 프로세서(들)(102)는 적절하게, 프로세싱된 오디오 데이터를 제1 및/또는 제2 오디오 환경들(124, 126)에 통신할 수 있다. 일부 구현들에서, 디바이스(100)는 프로세싱된 오디오 데이터가 시뮬레이션된 잔향(108)과 콘볼루션되도록 프로세싱된 오디오 데이터를 통신할 수 있다. 동일한 또는 대안적인 구현들에서, 디바이스(100)는 프로세싱된 오디오 데이터 및/또는 시뮬레이션된 잔향(108)을 별개로 통신할 수 있다.
일부 구현들에서, 디바이스(100)는 사용자에게로의 출력을 위해, 프로세싱된 제1 및 제2 오디오 데이터(168, 170)를 시작 오디오 환경으로 다시 통신하도록 추가로 구성될 수 있다. 예를 들어, 디바이스(100)는 프로세싱된 제1 오디오 데이터(170)를 제1 오디오 환경(124)으로 그리고 프로세싱된 제2 오디오 데이터(168)를 제2 오디오 환경(124)으로 통신하도록 구성될 수 있다. 사용자 디바이스(152)는 프로세싱된 제1 오디오 데이터(170)를 제1 오디오 환경(124)의 사용자(132)에게 출력하도록 추가로 구성될 수 있고, 사용자 디바이스(154)는 프로세싱된 제2 오디오 데이터(168)를 제2 오디오 환경(126)의 사용자(134)에게 출력하도록 추가로 구성될 수 있다. 그러한 구현들에서, 사용자들(132 및/또는 134)은, 예를 들어 헤드폰과 같은 출력 컴포넌트(160 및/또는 166)를 통해 프로세싱된 오디오 데이터를 청취할 수 있다. 이어서, 사용자는 그 자신의 음성뿐만 아니라, 예를 들어, 다른 환경으로부터 출력된 오디오를, 둘 다 동일한 오디오 환경에서 시작된 오디오 소스들처럼 청취할 수 있다.
일부 구현들에서, 제1 오디오 환경(124) 및/또는 제2 오디오 환경(126)과 같은 특정 오디오 환경들 중 하나 이상의 오디오 환경으로의 통신은 하나 이상의 인터페이스들(122)을 통해 발생할 수 있다. 인터페이스(들)(122)는, 예를 들어, 특정 오디오 환경과의 통신을 위한 무선 802.11 인터페이스 및/또는 유선 이더넷 인터페이스일 수 있다.
도 1이 소정 구현들을 예시하지만, 본 개시내용의 범주로부터 벗어남이 없이 다른 구현들이 가능하다. 예를 들어, 도 1은 예시적인 상호 오디오 환경(140)을 제1 예시적인 XR 환경(136)과는 상이한 기하구조 및 제2 예시적인 XR 환경(142)과는 상이한 배향을 갖는 것으로서 예시한다. 다른 구현들에서, 상호 오디오 환경(140)은 개별 오디오 환경들 중 하나 이상의 오디오 환경들과 동일한 기하구조 및/또는 배향을 가질 수 있다. 동일한 또는 대안적인 구현들에서, 상호 오디오 환경(140)은 개별 오디오 환경들 중 하나 이상의 오디오 환경들과는 상이한 음향 특성들(예컨대, 사운드 감쇠)을 갖는 한편 개별 오디오 환경들 중 하나 이상의 오디오 환경들과 실질적으로 동일한 치수들을 가질 수 있다. 다른 예시적인 상호 오디오 환경들이 도 4a 내지 도 4d를 참조하여 하기에서 더 상세히 설명된다. 동일한 또는 대안적인 구현들에서, 디바이스(100)는 2개 초과의 개별 오디오 환경들에 대한 상호 오디오 환경 기하구조(118)를 선택할 수 있다.
특정 양태에 따르면, 디바이스(100)는 개별 오디오 환경 내의 객체(들)를 검출하기 위해 라디오 주파수("RF") 감지 기법들을 사용하여 개별 오디오 환경의 자동화된 맵핑을 수신할 수 있다. 도 2는, 오디오 환경들(124, 126)의 무선 범위 측정을 생성하기 위해 RF 감지 기법들을 사용하여 복수의 오디오 환경들(124, 126) 내의 객체들(202, 226)을 검출하는 복수의 무선 디바이스들(200, 224)의 예의 블록도이다. 일부 구현들에서, 무선 디바이스들(200, 224)은 적어도 하나의 RF 인터페이스를 포함하는 모바일 폰(들), 무선 액세스 포인트(들), 및/또는 다른 디바이스(들)일 수 있다.
일부 구현들에서, 무선 디바이스들(200, 224)은 RF 신호를 송신하기 위한 하나 이상의 컴포넌트들을 포함할 수 있다. 추가적으로, 무선 디바이스들(200, 224)은 디지털 신호 또는 파형을 수신하고 이를 아날로그 파형으로 컨버팅하기 위한 하나 이상의 디지털-아날로그 컨버터("DAC")들(204, 228)을 포함할 수 있다. DAC들(204, 228)로부터 출력된 아날로그 신호들은 하나 이상의 RF 송신기들("RF TX")(206, 230)에 제공될 수 있다. RF 송신기들(206, 230) 각각은 Wi-Fi 송신기, 5G/뉴 라디오("NR") 송신기, Bluetooth™ 송신기, 또는 RF 신호를 송신할 수 있는 임의의 다른 송신기일 수 있다(Bluetooth는 미국 워싱턴, 커클랜드 소재의 Bluetooth SIG, Inc.의 등록 상표임).
RF 송신기들(206, 230)은 하나 이상의 송신 안테나들(212, 236)에 커플링될 수 있다. 일부 구현들에서, 송신 안테나들(212, 236) 각각은 모든 방향들로 RF 신호를 송신할 수 있는 전방향성 안테나일 수 있다. 예를 들어, 송신 안테나(212)는 360도 방사 패턴으로 Wi-Fi 신호들(예컨대, 2.4 ㎓, 5 ㎓, 6 ㎓ 등)을 방사할 수 있는 전방향성 Wi-Fi 안테나일 수 있다. 다른 예에서, 송신 안테나(236)는 특정 방향으로 RF 신호를 송신하는 지향성 안테나일 수 있다.
일부 예들에서, 무선 디바이스(200, 224)는 또한, RF 신호를 수신하기 위한 하나 이상의 컴포넌트들을 포함할 수 있다. 예를 들어, 무선 디바이스(200)는 하나 이상의 수신 안테나들(214)을 포함할 수 있고, 무선 디바이스(224)는 하나 이상의 수신 안테나들(238)을 포함할 수 있다. 일부 예들에서, 수신 안테나(214)는 다수의 방향들로부터 RF 신호들을 수신할 수 있는 전방향성 안테나일 수 있다. 다른 예들에서, 수신 안테나(238)는 특정 방향으로부터 신호들을 수신하도록 구성된 지향성 안테나일 수 있다. 추가 예들에서, 송신 안테나(212) 및 수신 안테나(214) 둘 모두는 안테나 어레이(예컨대, 선형 안테나 어레이, 2차원 안테나 어레이, 3차원 안테나 어레이, 또는 이들의 임의의 조합)로서 구성된 다수의 안테나들(예컨대, 엘리먼트들)을 포함할 수 있다.
무선 디바이스들(200, 224)은 또한, 수신 안테나들(214, 238)에 커플링된 하나 이상의 RF 수신기들("RF RX")(210, 234)을 각각 포함할 수 있다. RF 수신기들(210, 234)은 Wi-Fi 신호, Bluetooth™ 신호, 5G/NR 신호, 또는 임의의 다른 RF 신호와 같은 파형을 수신하기 위한 하나 이상의 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수 있다. 일부 구현들에서, RF 수신기들(210, 234)은 아날로그-디지털 컨버터("ADC")들(208, 232)에 각각 커플링될 수 있다. ADC들(208, 232)은 수신된 아날로그 파형을 프로세서에 제공될 수 있는 디지털 파형으로 컨버팅하도록 구성될 수 있다.
하나의 예에서, 무선 디바이스들(200, 224)은 송신 파형들(216, 240)이 송신 안테나들(212, 236)로부터 송신되게 함으로써 RF 감지 기법들을 구현할 수 있다. 송신 파형들(216)이 단일 라인들로서 예시되어 있지만, 일부 구현들에서, 송신 파형들(216, 240) 중 하나 이상의 송신 파형들은 전방향성 송신 안테나에 의해 모든 방향들로 송신될 수 있다. 예를 들어, 송신 파형(216)은 무선 디바이스(200) 내의 Wi-Fi 송신기에 의해 송신되는 Wi-Fi 파형일 수 있다. 추가적인 예로서, 송신 파형(216)은 소정 자기상관 특성들을 갖는 시퀀스를 갖도록 구현될 수 있다. 예를 들어, 송신 파형(216)은 단일 캐리어 Zadoff 시퀀스들을 포함할 수 있고/있거나 직교 주파수 분할 다중화(orthogonal frequency-division multiplexing, OFDM) 롱 트레이닝 필드(Long Training Field, LTF) 심볼들과 유사한 심볼들을 포함할 수 있다.
일부 기법들에서, 무선 디바이스들(200, 224)은 송신 및 수신 기능들을 동시에 수행함으로써 RF 감지 기법들을 추가로 구현할 수 있다. 예를 들어, 무선 디바이스(200)는 RF 송신기(206)가 송신 파형(216)을 송신하는 것을 가능하게 하는 것과 동시에 또는 거의 동시에 자신의 RF 수신기(210)가 파형(218)을 수신하는 것을 가능하게 할 수 있다. 파형(218)은 객체(202)로부터 반사되었던 송신 파형(216)의 반사된 부분이다.
일부 예들에서, 송신 파형(216)에 포함되는 시퀀스 또는 패턴의 송신은 소정 횟수 또는 소정 지속시간 동안 시퀀스가 송신되도록 연속적으로 반복될 수 있다. 예를 들어, 무선 디바이스(200)가 RF 송신기(206)를 인에이블시킨 후에 RF 수신기(210)를 인에이블시키는 경우, 송신 파형(216)의 송신 패턴을 반복하는 것은 임의의 반사된 신호들의 수신을 누락하는 것을 회피하기 위해 사용될 수 있다.
동시 송신 및 수신 기능을 구현함으로써, 무선 디바이스들(200, 224)은 송신 파형들(216, 240)에 대응하는 임의의 신호들을 수신할 수 있다. 예를 들어, 무선 디바이스들(200, 224)은 객체들(202, 226)로부터 반사된 파형들(218, 242)과 같은, 무선 디바이스들(200, 224)의 특정 검출 범위 내에서 반사체들(예컨대, 객체들 또는 벽들)로부터 반사된 신호들을 수신할 수 있다. 무선 디바이스들(200, 224)은 또한, 어떠한 객체들로부터도 반사됨이 없이, 송신 안테나들(212, 236)로부터 수신 안테나들(214, 238)에 직접 커플링되는 누설 신호들(예컨대, 각각 송신 누설 신호들(220, 244))을 수신할 수 있다. 일부 구현들에서, 파형들(218, 242) 중 하나 이상의 파형들은 송신 파형들(216, 240)에 포함되는 시퀀스의 다수의 카피들에 대응하는 다수의 시퀀스들을 포함할 수 있다. 특정 구현에서, 무선 디바이스들(200, 224)은 신호 대 잡음비를 개선하기 위해 RF 수신기들(210, 234)에 의해 수신되는 다수의 시퀀스들을 조합할 수 있다.
무선 디바이스들(200, 224)은 송신 파형들(216, 240)에 대응하는 수신된 신호들 각각과 연관된 RF 감지 데이터를 획득함으로써 RF 감지 기법들을 추가로 구현할 수 있다. 일부 예들에서, RF 감지 데이터는 송신 파형들(216, 240)에 대응하는 반사된 경로들(예컨대, 파형들(218, 242))에 관한 데이터와 함께, 송신 파형들(216, 240)의 직접 경로들(예컨대, 누설 신호들(220, 244))에 관한 데이터에 기초한 채널 상태 정보(channel state information, "CSI")를 포함할 수 있다.
일부 기법들에서, RF 감지 데이터(예컨대, CSI 데이터)는 송신 파형들(216, 240) 중 하나 이상의 송신 파형들이 RF 송신기들(206, 230) 중 하나 이상의 송신기들로부터 RF 수신기들(210, 234) 중 하나 이상의 수신기들로 어떻게 전파하는지를 결정하는 데 사용될 수 있는 정보를 포함할 수 있다. RF 감지 데이터는 다중 경로 전파, 산란, 페이딩, 및/또는 거리에 따른 전력 감쇠, 또는 이들의 임의의 조합으로 인한 송신된 RF 신호에 대한 효과들에 대응하는 데이터를 포함할 수 있다. 일부 예들에서, RF 감지 데이터는 특정 대역폭에 걸쳐 주파수 도메인에서 각각의 톤에 대응하는 허수 데이터 및 실수 데이터(예를 들어, I/Q 컴포넌트들)를 포함할 수 있다.
일부 예들에서, RF 감지 데이터는 파형들(218, 242)과 같은 반사된 파형들에 대응하는 거리들 및 도착 각도들을 계산하는데 사용될 수 있다. 추가 예들에서, RF 감지 데이터는 또한 모션을 검출하고, 위치를 결정하고, 위치 또는 모션 패턴들의 변화들을 검출하고, 채널 추정을 획득하거나, 또는 이들의 임의의 조합을 위해 사용될 수 있다. 일부 경우들에서, 반사된 신호들의 거리 및 도착 각도는 주변 환경 내의 반사체들(예컨대, 객체들(202, 226))의 크기 및 포지션을 식별하여 실내 맵을 생성하는 데 사용될 수 있다. 일부 구현들에서, RF 감지 데이터는 또한, 실내 맵으로부터 생략될 수 있는 지나가는(transient) 객체들(예컨대, 실내 환경을 통해 걷는 사람들 또는 애완동물들)을 식별하는 데 사용될 수 있다.
무선 디바이스들(200, 224) 중 하나 이상의 디바이스들은 또한, 신호 프로세싱, 머신 학습 알고리즘들을 활용하는 것에 의해, 임의의 다른 적절한 기법을 사용하여, 또는 이들의 임의의 조합에 의해, 반사된 파형들에 대응하는 거리들 및 도착 각도들(예컨대, 파형들(218, 242) 중 하나 이상의 파형들에 대응하는 거리 및 도착 각도)을 계산하도록 구성될 수 있다. 다른 예들에서, 무선 디바이스들(200, 224) 중 하나 이상의 디바이스들은 파형들(218, 242) 중 하나 이상의 파형들 또는 다른 반사된 파형들에 대응하는 거리 및 도착 각도를 획득하기 위한 계산들을 수행할 수 있는, 서버와 같은 다른 컴퓨팅 디바이스로 RF 감지 데이터를 전송할 수 있다.
특정 예에서, 파형들(218, 242)의 거리는 누설 신호(220, 244)의 수신으로부터 반사된 신호들의 수신까지의 시간의 차이를 측정함으로써 계산될 수 있다. 예를 들어, 무선 디바이스(200)는 무선 디바이스(200)가 송신 파형(216)을 송신하는 시간으로부터 그것이 누설 신호(220)를 수신하는 시간까지의 차이(예컨대, 전파 지연)에 기초하는 0의 기선 거리를 결정할 수 있다. 이어서, 무선 디바이스(200)는 무선 디바이스(200)가 송신 파형(216)을 송신하는 시간으로부터 그것이 파형(218)을 수신하는 시간까지의 차이에 기초하여 파형(218)과 연관된 거리를 결정할 수 있는데, 이는 이어서, 누설 신호(220)와 연관된 전파 지연에 따라 조정될 수 있다. 그렇게 함에 있어서, 무선 디바이스(200)는 파형(218)에 의해 이동된 거리를 결정할 수 있는데, 이는 반사를 야기했던 반사체(예컨대, 객체(202))의 거리를 결정하는 데 사용될 수 있다.
추가적인 예들에서, 파형(218)의 도착 각도는 수신 안테나(214)와 같은 수신 안테나 어레이의 개별 엘리먼트들 사이의 파형(218)의 도착 시간 차이를 측정함으로써 계산될 수 있다. 일부 예들에서, 도착 시간 차이는 수신 안테나 어레이의 각각의 엘리먼트에서 수신된 위상의 차이를 측정함으로써 계산될 수 있다.
추가 예들에서, 파형(218)의 거리 및 도착 각도는 무선 디바이스(200)와 객체(202) 사이의 거리뿐만 아니라 무선 디바이스(200)에 대한 객체(202)의 포지션을 결정하는 데 사용될 수 있다. 파형(218)의 거리 및 도착 각도는 또한, 반사를 야기하는 객체(202)의 크기 및 형상을 결정하는 데 사용될 수 있다. 예를 들어, 무선 디바이스(200)는 파형(218)에 대응하는 계산된 거리 및 도착 각도를 활용하여 송신 파형(216)이 객체(202)로부터 반사되었던 지점을 결정할 수 있다. 무선 디바이스(200)는 다양한 반사된 신호들에 대한 반사 지점들을 어그리게이팅하여 객체(202)의 크기 및 형상을 결정할 수 있다.
동일한 또는 대안적인 구현들에서, 무선 디바이스(224)는 무선 디바이스(200)를 참조하여 전술된 것과 유사한 기능을 구현하도록 구성될 수 있다. 예를 들어, 무선 디바이스(224)는 또한, 파형(242)에 의해 이동된 거리를 결정할 수 있는데, 이는 반사를 야기했던 반사체(예컨대, 객체(226))의 거리를 결정하는 데 사용될 수 있다. 파형(242)은 객체(226)로부터 반사되었던 송신 파형(240)의 반사된 부분이다. 무선 디바이스(224)는 또한, 수신 안테나(238)와 같은 수신 안테나 어레이의 개별 엘리먼트들 사이의 파형(242)의 도착 시간 차이를 측정함으로써 파형(242)의 도착 각도를 계산하도록 구성될 수 있다. 무선 디바이스(224)는 또한, 파형(242)의 거리 및 도착 각도를 사용하여 무선 디바이스(224)와 객체(226) 사이의 거리뿐만 아니라 무선 디바이스(224)에 대한 객체(226)의 포지션을 결정하도록 구성될 수 있다.
상기에서 언급된 바와 같이, 무선 디바이스들(200, 224)은 스마트폰들, 랩톱들, 태블릿들 등과 같은 모바일 디바이스들을 포함할 수 있다. 일부 구현들에서, 무선 디바이스들(200, 224) 중 하나 이상의 디바이스들은 RF 감지 데이터와 함께 디바이스 위치 데이터 및 디바이스 배향 데이터를 획득하도록 구성될 수 있다. 특정 구현에서, 디바이스 위치 데이터 및 디바이스 배향 데이터는 반사된 신호(예컨대, 파형들(218, 242))의 거리 및 도착 각도를 결정 또는 조정하는데 사용될 수 있다. 예를 들어, 사용자는 RF 감지 프로세스 동안 무선 디바이스(200)를 보유하고 있고 룸을 통해 걷고 있을 수 있다. 이러한 경우에, 무선 디바이스(200)는, 그것이 송신 파형(216)을 송신할 때 제1 위치 및 제1 배향을 가질 수 있고, 그것이 파형(218)을 수신할 때 제2 위치 및 제2 배향을 가질 수 있다. 무선 디바이스(200)는, 그것이 RF 감지 데이터를 프로세싱하여 거리 및 도착 각도를 계산할 때 위치의 변화 및 배향의 변화를 고려할 수 있다. 예를 들어, 위치 데이터, 배향 데이터, 및 RF 감지 데이터는 데이터의 각각의 엘리먼트와 연관된 타임스탬프에 기초하여 상관될 수 있다. 일부 기법들에서, 위치 데이터, 배향 데이터, 및 RF 감지 데이터의 조합은 객체(202)의 크기 및 위치를 결정하는 데 사용될 수 있다.
일부 구현들에서, 디바이스 포지션 데이터는 RTT(round trip time) 측정치들, 수동 포지셔닝, 도착 각도, RSSI(received signal strength indicator), CSI 데이터를 포함하는 기법들을 사용하여, 임의의 다른 적절한 기법을 사용하여, 또는 이들의 임의의 조합을 사용하여 무선 디바이스들(200, 224) 중 하나 이상의 디바이스들에 의해 수집될 수 있다. 추가 예들에서, 디바이스 배향 데이터는 자이로스코프, 가속도계, 나침반, 자력계, 임의의 다른 적절한 센서, 또는 이들의 임의의 조합과 같은 무선 디바이스들(200, 224) 상의 전자 센서들로부터 획득될 수 있다. 예를 들어, 무선 디바이스(200) 상의 자이로스코프는 무선 디바이스(200)의 배향(예컨대, 상대 배향)의 변화들을 검출 또는 측정하는 데 사용될 수 있고, 나침반은 무선 디바이스(200)의 절대 배향을 검출 또는 측정하는 데 사용될 수 있다. 일부 구현들에서, 무선 디바이스(200)의 포지션 및/또는 배향은 제1 오디오 환경(124)의 사용자(132)의 포지션 및/또는 배향에 대한 프록시로서 도 1의 디바이스(100)에 의해 사용될 수 있다. 유사하게, 무선 디바이스(224)의 포지션 및/또는 배향은 제2 오디오 환경(126)의 사용자(134)의 포지션 및/또는 배향에 대한 프록시로서 도 1의 디바이스(100)에 의해 사용될 수 있다.
도 2는 실질적으로 유사한 구성들을 갖는 2개의 무선 디바이스들(200, 224)을 예시하지만, 본 개시내용의 범주로부터 벗어남이 없이 2개 초과의 디바이스들이 사용될 수 있다. 또한, 2개 이상의 디바이스들 각각은 상이한 컴포넌트들 및/또는 특정 구현들을 사용하여 실내 맵핑 기능의 일부 또는 전부를 수행하도록 구성될 수 있다. 예를 들어, 본 개시내용의 범주로부터 벗어남이 없이, 무선 디바이스(200)는 전방향성 송신 안테나(212)를 사용할 수 있는 반면, 무선 디바이스(224)는 지향성 송신 안테나(236)를 사용할 수 있다. 추가적인 예로서, 무선 디바이스(224)는 (예컨대, 내부 자이로스코프를 통해) 이동 데이터를 추적하도록 구성될 수 있는 반면, 무선 디바이스(200)는 이동 데이터를 추적하지 않도록 구성될 수 있다.
일부 구현들에서, 무선 디바이스(200, 224)는 제1 및 제2 오디오 환경들(124, 126) 각각과 연관된 맵핑 데이터를 디바이스(100)에 통신하도록 구성될 수 있다. 예를 들어, 무선 디바이스(200)는 제1 오디오 환경(124) 내에서 무선 디바이스(200)와 객체(202) 사이의 거리를 통신하도록 구성될 수 있다. 일부 구현들에서, 맵핑 데이터는 제1 오디오 환경 설명(114)의 일부 또는 전부로서 디바이스(100)에 통신될 수 있다. 마찬가지로, 무선 디바이스(224)는 제2 오디오 환경(126) 내에서 무선 디바이스(224)와 객체(226) 사이의 거리를 통신하도록 구성될 수 있다. 일부 구현들에서, 맵핑 데이터는 제2 오디오 환경 설명(116)의 일부 또는 전부로서 디바이스(100)에 통신될 수 있다.
도 1을 참조하여 더 상세히 전술된 바와 같이, 디바이스(100)는, 맵핑 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하도록 구성될 수 있다. 디바이스(100)는 일부 구현들에서, 또한, 상호 오디오 환경의 기하구조에 기초하여, 제1 및 제2 오디오 환경들(124, 126)에 배치된 하나 이상의 오디오 디바이스들에서의 출력을 위해 오디오 데이터를 프로세싱하도록 구성될 수 있다. 일부 구현들에서, 디바이스(100)는 더 상세히 전술된 바와 같이, 프로세싱된 제2 오디오 데이터(168)를 제1 오디오 환경(124)으로 그리고 프로세싱된 제1 오디오 데이터(170)를 제2 오디오 환경(126)으로 통신하도록 구성될 수 있다.
제1 및 제2 오디오 환경들(124, 126) 내의 하나 이상의 객체들(202, 226)의 위치를 식별하는 것에 더하여, 제1 및 제2 오디오 환경 설명들(114, 116)은 각자의 오디오 환경들의 더 철저한 맵핑을 포함할 수 있다. 예를 들어, 신호 반사 객체의 위치를 식별하는 것에 더하여, 오디오 환경 설명은 오디오 환경을 구성하는 벽들의 맵핑을 포함할 수 있다. 도 3은 본 개시내용의 일부 예들에 따른, RF 감지를 수행하여 통신을 증강시키는 데 사용하기 위한 실내 맵을 생성하도록 구성된 하나 이상의 무선 디바이스들을 포함할 수 있는 실내 환경(300)을 예시하는 도면이다. 일부 예들에서, 실내 환경(300)은 실내 환경(300)의 실내 맵을 생성하기 위해 RF 감지를 수행하도록 구성될 수 있는 하나 이상의 무선 디바이스들(302)(예컨대, 모바일 디바이스) 및/또는 하나 이상의 고정 무선 디바이스들(예컨대, 액세스 포인트(access point, "AP")(304))을 포함할 수 있다.
대체적으로, 실내 환경(300)은 도 1의 제1 오디오 환경(124)에 대응한다. 도 3은 단일 실내 환경(300)을 도시하지만, 본 개시내용의 범주로부터 벗어남이 없이 더 많은 실내 환경들이 포함될 수 있다. 예를 들어, 디바이스(100)는 실내 환경(300)으로부터 제1 오디오 환경 설명(114)을 그리고 다른 실내 환경으로부터 제2 오디오 환경 설명(116)을 수신할 수 있다. 또한, 도 3은 단일 무선 디바이스(302) 및 단일 AP(304)를 예시하지만, 본 개시내용의 범주로부터 벗어남이 없이 실내 환경(300) 내에 더 많은, 더 적은, 그리고/또는 상이한 컴포넌트들이 존재할 수 있다. 예를 들어, 실내 환경(300)은 하나 이상의 AP들(304), 하나 이상의 무선 디바이스들(302), 제로 AP들(304)(및 하나 이상의 무선 디바이스들(302)), 및/또는 제로 무선 디바이스들(302)(및 하나 이상의 AP들(304))을 포함할 수 있다.
도 3은 단일 AP(304) 및 단일 무선 디바이스(302)를 사용하는 실내 환경(300)의 예시적인 맵핑을 도시한다. 특정 구현에서, AP(304)는 실내 환경(300) 내에서 정적 또는 고정 위치를 갖는 Wi-Fi 액세스 포인트일 수 있다. 실내 환경(300)이 액세스 포인트(예컨대, AP(304))를 갖는 것으로 예시되어 있지만, 임의의 유형의 고정 무선 디바이스(예컨대, 데스크톱 컴퓨터, 무선 프린터, 카메라, 스마트 텔레비전, 스마트 어플라이언스 등)가 본 명세서에 설명된 기법들을 수행하도록 구성될 수 있다. 하나의 예에서, AP(304)는, 도 2의 무선 디바이스(200)와 관련하여 본 명세서에 설명된 컴포넌트들과 같은, RF 신호들을 동시에 송신 및 수신하도록 구성될 수 있는 하드웨어 및 소프트웨어 컴포넌트들을 포함할 수 있다. 예를 들어, AP(304)는 RF 신호를 송신하도록 구성될 수 있는 하나 이상의 안테나들(예컨대, 송신 안테나(306)) 및 RF 신호를 수신하도록 구성될 수 있는 하나 이상의 안테나들(예컨대, 수신 안테나(308))을 포함할 수 있다. 무선 디바이스(200)와 관련하여 언급된 바와 같이, AP(304)는 임의의 방향으로부터 신호들을 송신 및 수신하도록 구성되는 전방향성 안테나들 및/또는 안테나 어레이들을 포함할 수 있다.
하나의 양태에서, AP(304)는 실내 환경(300)에 위치된 다양한 반사체들(예컨대, 장면 내에 위치된 정적 또는 동적 객체들; 벽들, 천장들, 또는 다른 장벽들과 같은 구조적 엘리먼트(들); 및/또는 다른 객체들)을 반사할 수 있는 RF 신호(310)를 송신할 수 있다. 예를 들어, RF 신호(310)는 벽(322)으로부터 반사될 수 있고, 반사된 신호(312)가 수신 안테나(308)를 통해 AP(304)에 의해 수신되게 할 수 있다. RF 신호(310)를 송신할 시에, AP(304)는 또한, 송신 안테나(306)로부터 수신 안테나(308)까지 직접 경로에 대응하여 누설 신호(314)를 수신할 수 있다.
일부 구현들에서, AP(304)는 반사된 신호(312)와 연관된 RF 감지 데이터를 획득할 수 있다. 예를 들어, RF 감지 데이터는 반사된 신호(312)에 대응하는 CSI 데이터를 포함할 수 있다. 특정 구현에서, AP(304)는 RF 감지 데이터를 사용하여, 반사된 신호(312)에 대응하는 거리 D 1 및 도착 각도 θ 1 을 계산할 수 있다. 예를 들어, AP(304)는 누설 신호(314)와 반사된 신호(312) 사이의 차이 또는 위상 시프트에 기초하여 반사된 신호(312)에 대한 비행 시간(time of flight)을 계산함으로써 거리 D 1 을 결정할 수 있다. 동일한 또는 대안적인 구현들에서, AP(304)는, 안테나 어레이를 활용하여 반사된 신호들을 수신하고 안테나 어레이의 엘리먼트들에서 수신된 위상의 차이를 측정함으로써 도착 각도 θ 1 을 결정할 수 있다.
일부 구현들에서, AP(304)는 하나 이상의 반사된 신호들(예컨대, 반사된 신호(312))에 대응하는 거리 D 1 및 도착 각도 θ 1 을 활용하여 벽(322)을 식별할 수 있다. 일부 구현들에서, AP(304)는 (예컨대, 제1 오디오 환경 설명(114)의 일부 또는 전부로서) 벽(322)을 표현하는 데이터를 포함하는 실내 환경(300)의 맵을 생성할 수 있다. 동일한 또는 대안적인 구현들에서, AP(304)는 실내 환경(300)의 맵을 수정하기 위한 데이터를 디바이스(100)에 통신할 수 있다. 또한, 동일한 또는 대안적인 구현들에서, AP(304)는 RF 감지 데이터를 수집할 수 있고, 반사된 신호들에 대한 비행 시간 및 도착 각도의 계산들을 프로세싱하기 위해 RF 감지 데이터를 다른 컴퓨팅 디바이스(예컨대, 서버)에 제공할 수 있다.
일부 구현들에서, 실내 환경(300)은 또한, 무선 디바이스(들)(302)를 포함할 수 있다. 스마트폰으로서 예시되어 있지만, 무선 디바이스(302)는 태블릿, 랩톱, 스마트워치 등과 같은 임의의 유형의 모바일 디바이스를 포함할 수 있거나, 그에 대응할 수 있거나, 또는 그에 포함될 수 있다. 특정 구현에서, 무선 디바이스(302)는 실내 환경(300)에 관한 실내 맵을 생성 또는 수정하기 위해 RF 감지를 수행하도록 구성될 수 있다.
특정 구현에서, 무선 디바이스(302)는 파형(316A)이 그의 RF 송신기들 중 하나 이상의 송신기를 통해 송신되게 할 수 있다. 도 3은 모바일 디바이스가 제1 시간("t1"로 표기됨) 및 제1 위치("(x1, y1)"로 표기됨)에서 파형(316A)을 송신하는 것을 예시한다. 특정 구현에서, 무선 디바이스(302)는 그것이 RF 감지 중인 동안 이동하여, 무선 디바이스(302)가 제2의 나중의 시간("t2"로 표기됨)에 제2 위치("(x2, y2)"로 표기됨)에 있도록 할 수 있다. 특정 예에서, 파형(316A)은 객체(320)로부터 반사될 수 있고, 무선 디바이스(302)는 시간 t2에서 결과적인 반사된 파형(318A)을 수신할 수 있다. 다른 특정 예에서, 파형(316A)의 파장은 파형(316A)이 객체(320)를 투과하고/하거나 횡단하여, 파형(316B)을 생성하도록 할 수 있는데, 이는 벽(324)으로부터 반사된다. 벽(324)으로부터의 반사(318B)는 마찬가지로, 객체(320)를 횡단할 수 있고, 반사된 파형(318C)이 제3의 나중의 시간 t3에서 무선 디바이스(302)에 의해 수신되는 결과를 초래할 수 있다.
일부 구현들에서, 무선 디바이스(302)는 반사된 파형들(318A, 318C)에 대응하는 RF 감지 데이터를 수집할 수 있다. 추가 양태들에서, 무선 디바이스(302)는 또한, 파형(316A)이 송신되었던 시간(예컨대, t1) 및/또는 반사된 파형들(318A, 318C)이 수신되었던 시간들(예컨대, t2, t3)에 대응하는 디바이스 위치 데이터 및 디바이스 배향 데이터를 캡처할 수 있다.
일부 구현들에서, 무선 디바이스(302)는 RF 감지 데이터를 활용하여 반사된 파형(318A, 318C) 각각에 대한 비행 시간 및 도착 각도를 계산할 수 있다. 추가 예들에서, 무선 디바이스(302)는 위치 데이터 및 배향 데이터를 활용하여 RF 감지 프로세스 동안 디바이스의 이동을 고려할 수 있다. 특정 구현에서, 무선 디바이스(302)는 반사된 파형들(318A, 318C) 중 하나 이상의 파형들에 대한 비행 시간 및 도착 각도를 활용하여 반사된 파형(들)이 무선 디바이스(302)에 의해 수신되는 시간에 무선 디바이스의 포지션(예컨대, x2, x3 등)을 추정할 수 있다. 무선 디바이스(302)는, 예를 들어, 제1 시간에서의 무선 디바이스의 포지션(예컨대, x2)의 추정치와 제2 시간에서의 무선 디바이스(302)의 포지션(예컨대, x3)의 추정치 사이의 차이에 기초하여 무선 디바이스(302)의 이동을 추정하도록 구성될 수 있다.
동일한 또는 대안적인 구현들에서, 반사된 파형들(318A, 318C)의 비행 시간은 각각, 객체(320) 및 벽(324)을 향한 디바이스의 이동에 기초하여 조정될 수 있다. 다른 예에서, 반사된 파형들(318A, 318C)의 도착 각도는, 무선 디바이스(302)가 반사된 파형들(318A, 318C)을 수신했던 시간에 대하여 무선 디바이스(302)가 파형(316A)을 송신했던 시간에서의 무선 디바이스(302)의 이동 및 배향에 기초하여 조정될 수 있다.
일부 구현들에서, 무선 디바이스(302)는 비행 시간, 거리, 도착 각도, 위치 데이터, 배향 데이터, 또는 이들의 일부 조합을 활용하여 객체(320) 및/또는 벽(324)의 크기 및/또는 포지션을 결정할 수 있다.
일부 구현들에서, 무선 디바이스(302)는 거리, 도착 각도, 위치, 및 배향 데이터를 사용하여 객체(320) 및 벽(324)에 대한 기준들을 포함하는 실내 환경(300)의 맵을 생성할 수 있다. 동일한 또는 대안적인 구현들에서, 무선 디바이스(302)는 RF 감지 데이터를 사용하여, 그것이 도 1의 디바이스(100)와 같은 컴퓨팅 디바이스로부터 수신하는 부분 맵을 수정할 수 있다. 다른 양태들에서, 무선 디바이스(302)는 실내 환경(300)의 맵의 프로세싱 및 생성을 위해 RF 감지 데이터를 서버로 전송할 수 있다.
예시적인 예로서, AP(304) 및 무선 디바이스(302)는 송신 및 수신 기능들이 상이한 디바이스들에 의해 수행되는 쌍상태(bistatic) 구성을 구현하도록 구성될 수 있다. 예를 들어, AP(304)(및/또는 정적 또는 정지된 실내 환경(300) 내의 다른 디바이스)는 신호들(328A, 328B)을 포함할 수 있는 전방향성 RF 신호를 송신할 수 있다. 예시된 바와 같이, 신호(328A)는 AP(304)로부터 무선 디바이스(302)로 직접(예컨대, 반사들 없이) 이동할 수 있다. 신호(328B)는 벽(326)으로부터 반사될 수 있고, 대응하는 반사된 신호(328C)가 무선 디바이스(302)에 의해 수신되게 할 수 있다.
다른 예로서, 무선 디바이스(302)는 직접 신호 경로(예컨대, 신호(328A)) 및 반사된 신호 경로(예컨대, 신호(328C))와 연관된 RF 감지 데이터를 활용하여 반사체들(예컨대, 벽(326))의 크기 및 형상을 식별할 수 있다. 예를 들어, 무선 디바이스(302)는 AP(304)와 연관된 위치 데이터를 획득, 취출, 및/또는 추정할 수 있다. 일부 구현들에서, 무선 디바이스(302)는 AP(304)와 연관된 위치 데이터 및 RF 감지 데이터(예컨대, CSI 데이터)를 사용하여 AP(304)에 의해 송신된 신호들(예컨대, 신호(328A)와 같은 직접 경로 신호들 및 신호(328C)와 같은 반사된 경로 신호들)과 연관된 비행 시간, 거리 및/또는 도착 각도를 결정할 수 있다. 일부 경우들에서, 무선 디바이스(302) 및 AP(304)는 RF 신호(328A) 및/또는 반사된 신호(328C)와 연관된 데이터(예컨대, 송신 시간, 시퀀스/패턴, 도착 시간, 비행 시간, 도착 각도 등)를 포함할 수 있는 통신을 추가로 전송 및/또는 수신할 수 있다.
일부 구현들에서, AP(304) 및/또는 무선 디바이스(302)는 송신 및 수신 기능들이 동일한 디바이스에 의해 수행되는 단상태(monostatic) 구성을 구현하도록 구성될 수 있다. 예를 들어, AP(304) 및/또는 무선 디바이스(및/또는 정적 또는 정지된 실내 환경(300) 내의 다른 디바이스)는 서로의 또는 Wi-Fi 네트워크와의 그들의 연관성에 상관없이 RF 감지 기법들을 수행할 수 있다. 예를 들어, 무선 디바이스(302)는 자신의 Wi-Fi 송신기 및 Wi-Fi 수신기를 활용하여 그것이 임의의 액세스 포인트 또는 Wi-Fi 네트워크와 연관되지 않을 때 본 명세서에서 논의되는 바와 같이 RF 감지를 수행할 수 있다. 추가 예들에서, AP(304)는 그것이 그것과 연관된 임의의 무선 디바이스들을 갖는지의 여부에 관계없이 RF 감지 기법들을 수행할 수 있다.
일부 구현들에서, 무선 디바이스(302) 및 AP(304)는, 실내 환경(300)에 대한 그들의 각자의 실내 맵들과 관련된 데이터를 교환하여 무선 디바이스(302) 및 AP(304) 둘 모두에 의해 검출된 모든 반사체들(예컨대, 정적 객체들, 동적 객체들, 구조적 엘리먼트들)에 대한 기준들을 포함하는 맵을 생성할 수 있다. 동일한 또는 대안적인 구현들에서, 무선 디바이스(302) 및 AP(304)로부터의 RF 감지 데이터는 데이터를 어그리게이팅하여 맵을 생성 또는 수정할 수 있는 하나 이상의 서버들로 전송될 수 있다.
예시적인 예로서, 서버 디바이스는 실내 환경(예컨대, 실내 환경(300)) 내에 위치된 복수의 무선 디바이스들로부터 RF 감지 데이터를 획득(예컨대, 크라우드소싱)할 수 있다. 서버 디바이스는 다수의 디바이스들로부터의 RF 감지 데이터를 사용하여 상이한 반사체들을 식별 및 분류할 수 있다. 예를 들어, 서버 디바이스는, RF 감지 데이터를 사용하여 객체의 이동을 추적함으로써 또는 객체에 대응하는 데이터가 일시적이었고/이었거나 다른 무선 디바이스들로부터의 RF 감지 데이터에 의해 확인되지 않았다고 결정함으로써, 반사체가 일시적 객체(예컨대, 환경을 통해 걷는 애완동물 또는 인간)라고 결정할 수 있다. 일부 구현들에서, 서버 디바이스는 실내 맵으로부터의 일시적 객체들에 대한 기준들을 생략 및/또는 제거할 수 있다. 다른 예에서, 컴퓨팅 디바이스는 복수의 무선 디바이스로부터의 RF 감지 데이터를 사용하여 반사체가 문, 창, 벽, 마루, 천장, 지붕, 기둥, 계단, 또는 이들의 임의의 조합과 같은 구조적 엘리먼트에 대응한다고 결정할 수 있다. 동일한 또는 대안적인 구현들에서, 컴퓨팅 디바이스는 구조적 엘리먼트의 유형을 표시하는 맵에 기준을 포함시킬 수 있다. 일부 경우들에서, 컴퓨팅 디바이스는 복수의 무선 디바이스들로부터의 RF 감지 데이터를 사용하여, 반사체가 하나의 가구, 어플라이언스, 고정물(예컨대, 블라인드들/차양들, 천장 선풍기들, 식물들, 깔개들, 램프들 등)과 같은 정적 객체에 대응한다고 결정할 수 있다. 일부 예들에서, 컴퓨팅 디바이스는 정적 객체의 유형을 표시하는 실내 맵에 기준을 포함시킬 수 있다.
일부 구현들에서, 무선 디바이스(302) 및/또는 AP(304)는 실내 환경(300)과 연관된 맵핑 데이터를 디바이스(100)에 통신하도록 구성될 수 있다. 예를 들어, 무선 디바이스(302) 및/또는 AP(304)는 실내 환경(300) 내에서 무선 디바이스(302)와 객체(320) 사이의 거리를 통신하도록 구성될 수 있다. 추가적인 예로서, 무선 디바이스(302) 및/또는 AP(304)는 AP(304)(및/또는 무선 디바이스(302))와 벽들(322, 324, 326) 중 하나 이상 사이의 벽들 사이의 거리를 통신하도록 구성될 수 있다. 일부 구현들에서, 맵핑 데이터는 제1 오디오 환경 설명(114)의 일부 또는 전부로서 디바이스(100)에 통신될 수 있다.
도 1을 참조하여 더 상세히 전술된 바와 같이, 디바이스(100)는, 맵핑 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하도록 구성될 수 있다. 디바이스(100)는 일부 구현들에서, 또한, 상호 오디오 환경의 기하구조에 기초하여, 실내 환경(300)에 배치된 하나 이상의 오디오 디바이스들에서의 출력을 위해 오디오 데이터를 프로세싱하도록 구성될 수 있다. 디바이스(100)는 또한, 도 1을 참조하여 더 상세히 전술된 바와 같이, 프로세싱된 제2 오디오 데이터(168)를 실내 환경(300)(예컨대, 제1 오디오 환경(124))에 통신하도록 구성될 수 있다.
도 2 및 도 3은 다양한 전자 디바이스들(예컨대, 도 2의 무선 디바이스(200, 224), 도 3의 무선 디바이스(302), 및/또는 도 3의 AP(304))이 가상의 상호 오디오 환경(예컨대, 도 1의 상호 오디오 환경 기하구조(118))을 선택하는 데 있어서 디바이스(100)에 의한 사용을 위해 오디오 환경을 맵핑할 수 있는 다양한 구현들을 예시한다. 도 1을 참조하여 더 상세히 전술된 바와 같이, 상호 오디오 환경 선택기(110)는 하나 이상의 오디오 환경들에 대한 상호 오디오 환경 기하구조를 선택할 수 있고, 디바이스(100)는, 상호 환경의 기하구조에 기초하여, 오디오 환경들(예컨대, 도 1의 제1 및 제2 오디오 환경들(124, 126)) 중 하나 이상의 오디오 환경들에서 출력하기 위해 오디오 데이터를 프로세싱할 수 있다. 도 4a 내지 도 4c는 가상의 상호 오디오 환경을 포함하는 복수의 예시적인 오디오 환경 구성들을 예시한다.
도 4a는 본 개시내용의 일부 예들에 따른, 제1 오디오 환경(402A), 제2 오디오 환경(404A), 및 가상의 상호 오디오 환경(406A)을 포함하는 제1 예시적인 오디오 환경 구성(400A)을 예시한다. 대체적으로, 제1 오디오 환경(402A)은 도 1의 제1 오디오 환경(124)에 대응하고, 제2 오디오 환경(404A)은 도 1의 제2 오디오 환경(126)에 대응한다.
도 4a는 크기가 제1 오디오 환경(402A)보다 더 작은 제2 오디오 환경(404A)을 예시한다. 따라서, 사운드가 제2 오디오 환경(404A)의 사용자에게 이동할 수 있는 예시적인 사운드 경로(410A)는, 사운드가 제1 오디오 환경(402A)의 사용자에게 이동할 수 있는 예시적인 사운드 경로(408A)보다 더 짧다. 따라서, 제1 및 제2 오디오 환경들(402A, 404A)의 사용자들은 상이한 사운드 경로들(408A, 410A)을 따라 이동하는 사운드의 상이한 음향 특성들로 인해 사운드를 상이하게 경험할 수 있다.
더 상세히 전술된 바와 같이, 도 1의 디바이스(100)는 제1 및/또는 제2 오디오 환경들(402A, 404A)에 대한 가상의 상호 오디오 환경(406A)을 결정할 수 있다. 도 4a의 예시적인 예에서, 제2 오디오 환경(404A)의 치수들은 제2 오디오 환경(404A)이 제1 오디오 환경(402A)의 치수들 내에서 공간적으로 피팅될 수 있도록 하는 것이다. 도 1 내지 도 3을 참조하여 더 상세히 전술된 바와 같이, 제1 오디오 환경(402A) 내의 전자 디바이스(예컨대, 도 1의 사용자 디바이스(152))는 제1 오디오 환경 설명(414A)을 도 1의 디바이스(100)에 통신할 수 있는 반면, 제2 오디오 환경(404A)은 제2 오디오 환경 설명(416A)을 도 1의 디바이스(100)에 통신할 수 있다.
일부 구현들에서, 디바이스(100)는 상호 오디오 환경(406A)이 개별 오디오 환경들 중 하나 이상의 오디오 환경들의 동일한 치수들을 가질 수 있다고 결정할 수 있다. 예를 들어, 도 4a는 제2 오디오 환경(404A)과 동일한 치수들을 갖는 것으로서 상호 오디오 환경(406A)을 예시한다. 따라서, 특정 구성에서, 디바이스(100)는 제1 오디오 환경(402A)에서의 출력을 위해 오디오만을 프로세싱하도록 구성될 수 있다. 예를 들어, 디바이스(100)는 프로세싱된 제2 오디오 데이터(418A)를 제1 오디오 환경(402A)에 통신할 수 있다. 도 1을 참조하여 더 상세히 전술된 바와 같이, 프로세싱된 제2 오디오 데이터(418A)는, 제1 오디오 환경(402A)의 사용자가 제1 오디오 환경(402A) 내에서보다는 상호 오디오 환경(406A) 내에 배치된 것처럼 제1 오디오 환경(402A)의 사용자가 프로세싱된 제2 오디오 데이터(418A)를 청취할 수 있게 하는 음향 특성들을 가질 수 있다. 따라서, 제1 오디오 환경(402A)의 사용자는 예시적인 사운드 경로(410A)와 실질적으로 유사한 (사운드 경로(408A)보다는) 예시적인 사운드 경로(412A)를 이동하는 사운드를 경험할 수 있다. 따라서, 제1 및 제2 오디오 환경들(402A, 404A) 둘 모두의 사용자들은 실질적으로 유사한 음향 특성들을 갖는 사운드를 경험하여, 예시적인 오디오 환경들 사이의 통신의 자연스러운 경험을 개선할 수 있다.
도 4b는 제1 오디오 환경(402B), 제2 오디오 환경(404B), 및 가상의 상호 오디오 환경(406B)을 포함하는 제2 예시적인 오디오 환경 구성(400B)을 예시한다. 대체적으로, 제1 오디오 환경(402B)은 도 1의 제1 오디오 환경(124)에 대응하고, 제2 오디오 환경(404B)은 도 1의 제2 오디오 환경(126)에 대응한다.
도 4a가 제2 오디오 환경(404A)을 크기가 제1 오디오 환경(402A)보다 더 작은 것으로서 예시하지만, 도 4b는 제1 및 제2 오디오 환경들(402B, 404B)을, 하나의 오디오 환경의 치수들이 다른 오디오 환경으로 용이하게 변환될 수 없는 유사하지 않은 기하구조들을 갖는 것으로서 예시한다. 또한, 사운드가 제1 오디오 환경(402B)의 사용자에게 이동할 수 있는 예시적인 사운드 경로(408B) 및 사운드가 제2 오디오 환경(404B)의 사용자에게 이동할 수 있는 예시적인 사운드 경로(410B)는 상이할 수 있다. 따라서, 제1 및 제2 오디오 환경들(402B, 404B)의 사용자들은 상이한 사운드 경로들(408B, 410B)을 따라 이동하는 사운드의 상이한 음향 특성들로 인해 사운드를 상이하게 경험할 수 있다.
더 상세히 전술된 바와 같이, 도 1의 디바이스(100)는 제1 및/또는 제2 오디오 환경들(402B, 404B)에 대한 가상의 상호 오디오 환경(406B)을 결정할 수 있다. 도 4b의 예시적인 예에서, 제1 오디오 환경(402B) 내의 전자 디바이스(예컨대, 도 1의 사용자 디바이스(152))는 제1 오디오 환경 설명(414B)을 도 1의 디바이스(100)에 통신할 수 있는 반면, 제2 오디오 환경(404B)은 제2 오디오 환경 설명(416B)을 도 1의 디바이스(100)에 통신할 수 있다. 일부 구현들에서, 디바이스(100)는 제1 또는 제2 오디오 환경들(402B, 404B)의 치수들과 매칭되지 않는 임의적인 치수들을 갖는 상호 오디오 환경 기하구조를 결정할 수 있다. 예를 들어, 도 4b는 상호 오디오 환경(406B)을, 제1 및 제2 오디오 환경들(402B, 404B) 둘 모두 내에 피팅될 수 있는 실질적으로 직사각형인 영역의 치수들을 갖는 것으로서 예시한다. 실질적으로 직사각형인 영역은, 예를 들어, 오디오 데이터를 프로세싱하는 데 필요한 프로세싱 리소스들의 양을 감소시키기 위해 선택될 수 있다.
따라서, 특정 구성에서, 디바이스(100)는 상호 오디오 환경(406B)의 기하구조에 따라 제1 및 제2 오디오 환경들(402B, 404B) 둘 모두에서의 출력을 위해 오디오를 프로세싱하도록 구성될 수 있다. 예를 들어, 디바이스(100)는 프로세싱된 제2 오디오 데이터(418B)를 제1 오디오 환경(402B) 및 프로세싱된 제1 오디오 데이터(420B)를 제2 오디오 환경(404B)에 통신할 수 있다. 도 1을 참조하여 더 상세히 전술된 바와 같이, 프로세싱된 제1 및 제2 오디오 데이터(418B, 420B)는, 사용자들이 사용자의 각자의 실제 오디오 환경보다는 상호 오디오 환경(406B) 내에 배치된 것처럼 제1 및 제2 오디오 환경들(402B, 404B)의 사용자들이 오디오를 청취할 수 있게 하는 음향 특성들을 가질 수 있다. 따라서, 제1 및 제2 오디오 환경들(402B, 404B)의 사용자들은 예시적인 사운드 경로(412B)를 이동하는 사운드를 경험할 수 있다. 따라서, 제1 및 제2 오디오 환경들(402B, 404B) 둘 모두의 사용자들은 실질적으로 유사한 음향 특성들을 갖는 사운드를 경험하여, 예시적인 오디오 환경들 사이의 통신의 자연스러운 경험을 개선할 수 있다.
도 4c는 본 개시내용의 일부 예들에 따른, 제1 오디오 환경(402C), 제2 오디오 환경(404C), 및 가상의 상호 오디오 환경(406C)을 포함하는 제3 예시적인 오디오 환경 구성(400C)을 예시한다. 대체적으로, 제1 오디오 환경(402C)은 도 1의 제1 오디오 환경(124)에 대응하고, 제2 오디오 환경(404C)은 도 1의 제2 오디오 환경(126)에 대응한다.
도 4a는 상호 오디오 환경(406A)의 치수들로서의 제2 오디오 환경(404A)의 실제 치수들의 사용을 예시하지만, 도 4c는 제1 및 제2 오디오 환경들(402C, 404C)의 사용자들의 상이한 포지션들을 고려하기 위한 임의적인 치수들을 갖는 상호 오디오 환경(406C)의 사용을 예시한다. 도 4c에서, 사운드가 제1 오디오 환경(402C)의 사용자에게 이동할 수 있는 예시적인 사운드 경로(408C) 및 사운드가 제2 오디오 환경(404C)의 사용자에게 이동할 수 있는 예시적인 사운드 경로(410C)는 상이할 수 있다. 따라서, 제1 및 제2 오디오 환경들(402C, 404C)의 사용자들은 상이한 사운드 경로들(408C, 410C)을 따라 이동하는 사운드의 상이한 음향 특성들로 인해 사운드를 상이하게 경험할 수 있다.
더 상세히 전술된 바와 같이, 도 1의 디바이스(100)는 제1 및/또는 제2 오디오 환경들(402C, 404C)에 대한 가상의 상호 오디오 환경(406C)을 결정할 수 있다. 도 4c의 예시적인 예에서, 제1 오디오 환경(402C) 내의 전자 디바이스(예컨대, 도 1의 사용자 디바이스(152))는 제1 오디오 환경 설명(414C)을 도 1의 디바이스(100)에 통신할 수 있는 반면, 제2 오디오 환경(404C)은 제2 오디오 환경 설명(416C)을 도 1의 디바이스(100)에 통신할 수 있다. 일부 구현들에서, 디바이스(100)는 제1 또는 제2 오디오 환경들(402C, 404C)의 현실 세계 치수들과 매칭되지도 그들 내에 피팅되지도 않는 임의적인 치수들을 갖는 상호 오디오 환경 기하구조를 결정할 수 있다. 예를 들어, 도 4c는 상호 오디오 환경(406C)을, 제1 및 제2 오디오 환경들(402C, 404C) 둘 모두의 물리적 치수들을 벗어난 실질적으로 직사각형인 영역의 치수들을 갖는 것으로서 예시한다. 실질적으로 직사각형인 영역은, 예를 들어, 오디오 데이터를 프로세싱하는 데 필요한 프로세싱 리소스들의 양을 감소시키기 위해 선택될 수 있다.
따라서, 특정 구성에서, 디바이스(100)는 상호 오디오 환경(406C)의 기하구조에 따라 제1 및 제2 오디오 환경들(402C, 404C) 둘 모두에서의 출력을 위해 오디오를 프로세싱하도록 구성될 수 있다. 예를 들어, 디바이스(100)는 프로세싱된 제2 오디오 데이터(418C)를 제1 오디오 환경(402C) 및 프로세싱된 제1 오디오 데이터(420C)를 제2 오디오 환경(404C)에 통신할 수 있다. 도 1을 참조하여 더 상세히 전술된 바와 같이, 프로세싱된 제1 및 제2 오디오 데이터(418C, 420C)는, 사용자들이 사용자의 각자의 실제 오디오 환경보다는 상호 오디오 환경(406C) 내에 배치된 것처럼 제1 및 제2 오디오 환경들(402C, 404C)의 사용자들이 오디오를 청취할 수 있게 하는 음향 특성들을 가질 수 있다. 따라서, 제1 및 제2 오디오 환경들(402C, 404C)의 사용자들은 예시적인 사운드 경로(412C)를 이동하는 사운드를 경험할 수 있다. 따라서, 제1 및 제2 오디오 환경들(402C, 404C) 둘 모두의 사용자들은 실질적으로 유사한 음향 특성들을 갖는 사운드를 경험하여, 예시적인 오디오 환경들 사이의 통신의 자연스러운 경험을 개선할 수 있다.
도 4d는 본 개시내용의 일부 예들에 따른, 제1 오디오 환경(402D), 제2 오디오 환경(404D), 및 가상의 상호 오디오 환경(406D)을 포함하는 제4 예시적인 오디오 환경 구성(400D)을 예시한다. 대체적으로, 제1 오디오 환경(402D)은 도 1의 제1 오디오 환경(124)에 대응하고, 제2 오디오 환경(404D)은 도 1의 제2 오디오 환경(126)에 대응한다.
도 4a는 상호 오디오 환경(406A)의 치수들로서의 제2 오디오 환경(404A)의 실제 치수들의 사용을 예시하지만, 도 4d는 각각 제1 및 제2 오디오 환경들(402D, 404D)에 대해 사용자들의 상이한 배향들을 고려하기 위한 임의적인 치수들을 갖는 상호 오디오 환경(406D)의 사용을 예시한다. 도 4d에서, 사운드가 제1 오디오 환경(402D)의 사용자에게 이동할 수 있는 예시적인 사운드 경로(408D) 및 사운드가 제2 오디오 환경(404D)의 사용자에게 이동할 수 있는 예시적인 사운드 경로(410D)는 상이할 수 있다. 따라서, 제1 및 제2 오디오 환경들(402D, 404D)의 사용자들은 상이한 사운드 경로들(408D, 410D)을 따라 이동하는 사운드의 상이한 음향 특성들로 인해 사운드를 상이하게 경험할 수 있다.
더 상세히 전술된 바와 같이, 도 1의 디바이스(100)는 제1 및/또는 제2 오디오 환경들(402D, 404D)에 대한 가상의 상호 오디오 환경(406D)을 결정할 수 있다. 도 4d의 예시적인 예에서, 제1 오디오 환경(402D) 내의 전자 디바이스(예컨대, 도 1의 사용자 디바이스(152))는 제1 오디오 환경 설명(414D)을 도 1의 디바이스(100)에 통신할 수 있는 반면, 제2 오디오 환경(404D)은 제2 오디오 환경 설명(416D)을 도 1의 디바이스(100)에 통신할 수 있다. 일부 구현들에서, 디바이스(100)는 제1 또는 제2 오디오 환경들(402D, 404D)의 현실 세계 치수들과 매칭되지도 그들 내에 피팅되지도 않는 임의적인 치수들을 갖는 상호 오디오 환경 기하구조를 결정할 수 있다. 예를 들어, 도 4d는 상호 오디오 환경(406D)을, 제1 및 제2 오디오 환경들(402D, 404D) 둘 모두의 물리적 치수들을 벗어난 실질적으로 직사각형인 영역의 치수들을 갖는 것으로서 예시한다. 실질적으로 직사각형인 영역은, 예를 들어, 오디오 데이터를 프로세싱하는 데 필요한 프로세싱 리소스들의 양을 감소시키기 위해 선택될 수 있다.
따라서, 특정 구성에서, 디바이스(100)는 상호 오디오 환경(406D)의 기하구조에 따라 제1 및 제2 오디오 환경들(402D, 404D) 둘 모두에서의 출력을 위해 오디오를 프로세싱하도록 구성될 수 있다. 예를 들어, 디바이스(100)는 프로세싱된 제2 오디오 데이터(418D)를 제1 오디오 환경(402D) 및 프로세싱된 제1 오디오 데이터(420D)를 제2 오디오 환경(404D)에 통신할 수 있다. 도 1을 참조하여 더 상세히 전술된 바와 같이, 프로세싱된 제1 및 제2 오디오 데이터(418D, 420D)는, 사용자들이 사용자의 각자의 실제 오디오 환경보다는 상호 오디오 환경(406D) 내에 배치된 것처럼 제1 및 제2 오디오 환경들(402D, 404D)의 사용자들이 오디오를 청취할 수 있게 하는 음향 특성들을 가질 수 있다. 따라서, 제1 및 제2 오디오 환경들(402D, 404D)의 사용자들은 예시적인 사운드 경로(412D)를 이동하는 사운드를 경험할 수 있다. 따라서, 제1 및 제2 오디오 환경들(402D, 404D) 둘 모두의 사용자들은 실질적으로 유사한 음향 특성들을 갖는 사운드를 경험하여, 예시적인 오디오 환경들 사이의 통신의 자연스러운 경험을 개선할 수 있다.
도 4a 내지 도 4d는 제1 오디오 환경, 제2 오디오 환경, 및 가상의 상호 오디오 환경을 각각 포함하는 다양한 예시적인 오디오 환경 구성들을 예시한다. 도 4a 내지 도 4d가 소정의 예시적인 구성을 예시하지만, 본 개시내용의 범주로부터 벗어남이 없이 다른 구성들이 가능하다. 예를 들어, 상호 오디오 환경은 2개 이상의 오디오 환경들의 교차를 표현하는 볼륨에 대응할 수 있다. 추가적인 예로서, 상호 오디오 환경은 2개 이상의 오디오 환경들 각각과는 별개인 가상 공간에 대응할 수 있다.
또한, 상호 오디오 환경의 기하구조를 결정하는 것은 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여 상호 좌표계를 결정하는 것을 포함할 수 있다. 일부 구현들에서, 도 1의 프로세서(들)(102)는 상호 좌표계 내의 제1 포지션을 제1 오디오 환경(124)의 제1 사운드 소스와 연관시킬 수 있고, 상호 좌표계 내의 제2 포지션을 제2 오디오 환경(126) 내의 제2 사운드 소스와 연관시킬 수 있다. 특정 구현에서, 도 1의 프로세서(들)(102)는 특정 오디오 환경에서의 사용자의 시선 방향을 상호 좌표계에 맵핑하도록 추가로 구성될 수 있다. 사용자(예컨대, 제1 오디오 환경(124)의 사용자(132))의 시선 방향은 사용자 디바이스(152)에 의해 또는 다른 적합한 소스로부터 결정될 수 있다. 이어서, 프로세서(들)(102)는, 시선 방향에 기초하여, 상호 오디오 환경의 시각적 렌더링을 생성할 수 있다. 상호 오디오 환경의 시각적 렌더링을 생성함으로써, 도 1의 디바이스(100)는 사용자(132)가 상호 오디오 환경을 "볼" 수 있게 할 뿐만 아니라 오디오 데이터를 프로세싱함으로써 사용자(132)의 경험을 추가로 향상시켜서, 사용자(132)에게 상호 오디오 환경 내에서 시작된 사운드처럼 보이게 할 수 있다.
제1 및 제2 오디오 환경들(124, 126)을 설명하는 데이터에 기초한 상호 좌표계를 사용하여, 프로세서(들)(102)는 제1 및 제2 오디오 환경들(124, 126) 둘 모두에서 통신을 증강시키는 것을 용이하게 할 수 있는 상호 오디오 환경의 기하구조를 결정할 수 있다.
도 1 내지 도 3을 참조하여 더 상세히 전술된 바와 같이, 도 1의 디바이스(100)는, 상호 오디오 환경의 기하구조에 기초하여, 오디오 환경들 중 하나 이상의 오디오 환경들에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하도록 구성될 수 있다. 이러한 방식으로 통신을 위해 오디오를 증강시킴으로써, 하나 이상의 오디오 환경들 내의 사용자들은 더 자연스러운 방식으로 오디오를 경험할 수 있다.
도 5는 본 개시내용의 다양한 예들에 따른, 통신을 위한 오디오를 증강시키기 위한 방법(500)의 예의 흐름도이다. 방법(500)은 명령들을 실행하는 하나 이상의 프로세서들에 의해, 예컨대 메모리(104)로부터의 명령들을 실행하는 도 1의 프로세서(들)(102)에 의해 개시, 수행, 또는 제어될 수 있다.
일부 구현들에서, 방법(500)은, 502에서, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하는 단계를 포함한다. 예를 들어, 도 1의 프로세서(들)(102)는 도 1 내지 도 4d를 참조하여 더 상세히 전술된 바와 같이, 제1 오디오 환경 설명(114) 및 제2 오디오 환경 설명(116)에 기초하여 상호 오디오 환경 기하구조(118)를 선택할 수 있다.
도 5의 예에서, 방법(500)은 또한, 504에서, 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하는 단계를 포함한다. 예를 들어, 도 1의 프로세서(들)는 상호 오디오 환경 기하구조(118)에 따라 제2 오디오 환경(126)으로부터의 제2 오디오 데이터(130)를 프로세싱하여, 제1 오디오 환경(124)에 배치된 사용자 디바이스(152)로의 출력을 위해 프로세싱된 제2 오디오 데이터(168)가 되게 할 수 있다. 특정 예에서, 도 1의 프로세서(들)는 예시적인 상호 오디오 환경(140)에 기초하여 제2 오디오 데이터(130)를 프로세싱할 수 있다.
도 5의 예에서, 방법(500)은 또한, 506에서, 2개 이상의 오디오 환경들 중 제2 오디오 환경 내에서의 사용자의 이동을 표시하는 모션 데이터를 획득하는 단계를 포함하고, 오디오 데이터는 모션 데이터에 기초하여 수정된다. 예를 들어, 도 1의 프로세서(들)(102)는 제1 오디오 환경(124) 내에서의 사용자(132)의 이동을 표시하는 모션 데이터를 획득할 수 있다. 프로세서(들)(102)는 제1 오디오 데이터(128)를 수정하여 제1 오디오 환경(124) 내에서의 사용자(132)의 이동을 고려하도록 추가로 구성될 수 있다. 특정 예에서, 도 1 및 도 3을 참조하여 더 상세히 전술된 바와 같이, 프로세서(들)(102)는 제1 오디오 데이터를 수정하여 제1 오디오 환경(124) 내에서 도 3의 무선 디바이스(302)를 소지한 사용자(132)의 이동을 고려할 수 있다.
도 5의 예에서, 방법(500)은 또한, 508에서, 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터에 기초하여 상호 오디오 환경을 수정하는 단계를 포함한다. 예를 들어, 도 1의 프로세서(들)(102)는 제1 오디오 환경(124)의 사용자(132)와 연관된 모션 데이터에 기초하여 예시적인 상호 오디오 환경(140)을 수정할 수 있다. 특정 예에서, 도 1의 프로세서(들)(102)는 도 4c 및 도 4d를 참조하여 더 상세히 전술된 바와 같이, 예시적인 상호 오디오 환경(140)을 수정하여 오디오 환경에 대한 포지션 및/또는 배향의 사용자의 변화를 고려할 수 있다.
방법(500)은 소정 수의 동작들을 포함하는 것으로 예시되어 있지만, 본 개시내용의 범주로부터 벗어남이 없이, 더 많은, 더 적은, 그리고/또는 상이한 동작들이 방법(500)에 포함될 수 있다. 예를 들어, 방법(500)은 도 1 내지 도 4d를 참조하여 더 상세히 전술된 바와 같이, 사용자의 이동을 표시하는 모션 데이터를 획득하는 단계를 배제할 수 있다. 추가적인 예로서, 방법(500)은 특정 통신에 참여하는 오디오 환경들의 수에 따라 달라질 수 있다.
일부 구현들에서, 방법(500)은 502 내지 508 중 하나 이상을 주기적으로 및/또는 연속적으로 반복할 수 있다. 예를 들어, 방법(500)은 경과 시간(예컨대, 5초) 후에 상호 오디오 환경의 기하구조를 결정하여 사용자의 포지션, 배향, 시선 각도의 변화들, 및/또는 사용자의 오디오 환경 내의 사운드 신호들의 음향 특성들의 사용자의 경험의 다른 변화들을 고려할 수 있다. 일부 구현들에서, 도 1의 프로세서(들)(102)는 사용자의 오디오 환경 내의 모션 데이터에 기초하여 상호 오디오 환경을 수정하도록 구성될 수 있다. 상호 오디오 환경을 수정하는 것은, 예를 들어, 상호 오디오 환경의 하나 이상의 사운드 소스들에 대해 상호 오디오 환경의 경계들을 시프트하는 것, 상호 오디오 환경의 기하구조의 형상을 변화시키는 것, 상호 오디오 환경의 크기를 변화시키는 것, 및/또는 이들의 일부 조합을 포함할 수 있다.
또한, 방법(500)을 예시하는 데 있어서 상기에서 제공된 예들은 방법(500)의 동작들을 수행하는 도 1의 프로세서(들)(102)를 포함하지만, 방법(500)의 동작들의 일부 또는 전부는 임의의 적합한 컴퓨팅 디바이스에 의해 수행될 수 있다. 예를 들어, 504를 참조하여 전술된 바와 같이, 방법(500)은 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하는 단계를 포함할 수 있다. 일부 구성들에서, 디바이스(100)는 출력을 위해 프로세싱된 오디오 데이터를 오디오 디바이스에 통신하기 전에 오디오 데이터를 프로세싱할 수 있다. 동일한 또는 대안적인 구성들에서, 오디오 디바이스는 디바이스(100)로부터 오디오 데이터를 수신한 후에 출력을 위해 오디오 데이터를 프로세싱할 수 있다. 추가적인 예로서, (예컨대, 502를 참조하여 전술된 바와 같은) 상호 오디오 환경 기하구조의 결정은 도 1의 프로세서(들)(102)와 통신하는 하나 이상의 서버들에 의해 수행될 수 있다.
도 6은 통신을 위한 오디오를 증강시키기 위한 방법(600)의 다른 예의 흐름도이다. 방법(600)은 명령들을 실행하는 하나 이상의 프로세서들에 의해, 예컨대 메모리(104)로부터의 명령들을 실행하는 도 1의 프로세서(들)(102)에 의해 개시, 수행, 또는 제어될 수 있다.
도 6의 예에서, 방법(600)은, 602에서, 오디오 환경 기하구조들을 분석하는 단계를 포함한다. 일부 구현들에서, 오디오 환경 기하구조들을 분석하는 것은 가상의 상호 오디오 환경을 결정하는 것을 포함할 수 있다. 예를 들어, 도 1 내지 도 5를 참조하여 더 상세히 전술된 바와 같이, 도 1의 프로세서(들)(102)는 제1 및 제2 오디오 환경들(124, 126)로부터의 제1 및 제2 오디오 환경 설명들(114, 116)을 각각 분석하여 제1 및 제2 오디오 환경들(124, 126) 각각과 연관된 기하구조를 결정할 수 있다. 프로세서(들)(102)는 제1 및 제2 오디오 환경들(124, 126) 중 하나 이상의 오디오 환경들에서의 통신을 위해 오디오를 증강시키는 데 사용될 수 있는 상호 오디오 환경 기하구조(118)를 선택하도록 추가로 구성될 수 있다.
도 6의 예에서, 방법(600)은 또한, 604에서, (예컨대, 하나 이상의 임계치들에 기초하여) 상호 오디오 환경 기하구조가 임의의 오디오 환경의 기하구조(예컨대, 제1 오디오 환경(124)의 기하구조 및/또는 제2 오디오 환경(126)의 기하구조)와 동일하거나 실질적으로 유사한지의 여부를 결정하는 단계를 포함한다. 도 6의 예에서, 상호 오디오 환경이 오디오 환경의 기하구조와 동일하거나 실질적으로 유사한 경우, 방법(600)은, 606에서, 상호 오디오 환경 기하구조와 동일하거나 실질적으로 유사한 오디오 환경 기하구조를 선택하도록 진행할 수 있다.
소정 구성들에서, 방법(600)은 도 6의 파선들에 의해 예시된 바와 같이, 추가 프로세싱을 선택적으로 포함할 수 있다. 예를 들어, 도 6의 예에서, 상호 오디오 환경 기하구조가 상호 오디오 환경 기하구조와 동일하거나 실질적으로 유사하지 않은 경우, 방법(600)은 또한, 608에서, 전술된 바와 같이, 상호 오디오 환경("MAE")과 연관된 하나 이상의 음향 특성들을 추정할 수 있다.
도 6의 예에서, 방법(600)은 또한, 608에서, 상호 오디오 환경("MAE")과 연관된 하나 이상의 음향 특성들을 추정하는 단계를 선택적으로 포함할 수 있다. 일부 구현들에서, 음향 특성들은 상호 오디오 환경 내에서 특정 사운드 소스와 연관된 잔향을 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 오디오 데이터(예컨대, 제1 오디오 데이터(128) 및/또는 제2 오디오 데이터(130))를 생성하는 하나 이상의 사운드 소스들을 분석할 수 있고, 오디오 데이터가 상호 오디오 환경 내에서 어떤 잔향 특성들을 가질지를 결정할 수 있다. 일부 구성들에서, 프로세서(들)(102)는 이미지 소스 모델을 사용하여 상호 오디오 환경 내의 오디오 데이터와 연관된 룸 임펄스 응답을 계산함으로써 잔향을 추정하도록 구성될 수 있다.
도 6의 예에서, 방법(600)은 또한, 610에서, 상호 오디오 환경의 기하구조와 동일하거나 실질적으로 유사한 기하구조를 갖지 않는 오디오 환경들과 연관된 소정 음향 특성들을 추정하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 제1 오디오 환경(124)의 기하구조가 상호 오디오 환경의 기하구조와 동일하거나 실질적으로 유사하지 않은 경우에 제1 오디오 환경(124)으로부터 제1 오디오 데이터(128)와 연관된 잔향을 추정할 수 있다. 프로세서(들)(102)는 이미지 소스 모델을 사용하여 상호 오디오 환경 내의 오디오 데이터와 연관된 룸 임펄스 응답을 계산함으로써 잔향을 추정하도록 구성될 수 있다.
도 6의 예에서, 방법(600)은 또한, 612에서, 상호 오디오 환경의 기하구조와 동일하거나 실질적으로 유사한 기하구조를 갖지 않는 오디오 환경들로부터의 오디오 데이터를 프로세싱하여 오디오 데이터의 하나 이상의 음향 특성들을 수정하는 단계(예컨대, 잔향 특성들을 제거함)를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 제1 오디오 데이터(128)를 프로세싱하여 제1 오디오 환경(124)의 기하구조가 상호 오디오 환경의 기하구조와 동일하거나 실질적으로 유사하지 않은 경우에 제1 오디오 환경(124) 내의 제1 오디오 데이터(128)와 연관된 임의의 잔향을 제거하도록 구성될 수 있다. 일부 구성들에서, 이것은 610을 참조하여 전술된 추정된 잔향을 사용하는 단계를 포함할 수 있다.
도 6의 예에서, 방법(600)은 또한, 614에서, 상호 오디오 환경과 연관된 잔향을, 상호 오디오 환경의 기하구조와 동일하거나 실질적으로 유사한 기하구조를 갖지 않는 오디오 환경과 연관된 오디오 데이터에 추가하는 단계를 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 하나 이상의 오디오 변경 신호들(예컨대, 상호 오디오 환경과 연관된 잔향)을, 오디오 환경으로부터 프로세싱된 오디오 데이터(예컨대, 제1 오디오 환경(124)이 상호 오디오 환경의 기하구조와 동일하거나 실질적으로 유사한 기하구조를 갖지 않는 경우의 프로세싱된 제1 오디오 데이터(170))와 콘볼루션하도록 구성될 수 있다. 추가적인 예로서, 도 1의 프로세서(들)(102)는 오디오 환경들 중 하나 이상과 연관된 잔향을 감소시키도록 구성될 수 있다.
도 6의 예에서, 방법(600)은 또한, 616에서, 프로세싱된 오디오 데이터를 하나 이상의 사용자들에게 출력하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 프로세싱된 제1 오디오 데이터(170)를 제1 오디오 환경(124) 및/또는 제2 오디오 환경(126)에 통신하도록 구성될 수 있다. 일부 구성들에서, 프로세서(들)(102)는 프로세싱된 제1 오디오 데이터(170)를 하나 이상의 출력 컴포넌트들(160) 및/또는 출력 컴포넌트(들)(166)(예컨대, 하나 이상의 스피커들)에 통신하도록 구성될 수 있다.
방법(600)은 소정 수의 동작들을 포함하는 것으로 예시되어 있지만, 본 개시내용의 범주로부터 벗어남이 없이, 더 많은, 더 적은, 그리고/또는 상이한 동작들이 방법(600)에 포함될 수 있다. 예를 들어, 방법(600)은 도 18을 참조하여 더 상세히 후술되는 바와 같이, 프로세싱된 오디오 데이터를 추가로 변경할지의 여부의 결정을 포함할 수 있다. 추가적인 예로서, 방법(600)은 특정 통신에 참여하는 오디오 환경들의 수에 따라 달라질 수 있다. 추가 예로서, 방법(600)은 프로세싱된 오디오 데이터의 서브세트를 모든 사용자들에게 통신할 수 있다.
또한, 방법(600)을 예시하는 데 있어서 상기에서 제공된 예들은 방법(600)의 동작들을 수행하는 도 1의 프로세서(들)(102)를 설명하지만, 방법(600)의 동작들의 일부 또는 전부는 임의의 적합한 컴퓨팅 디바이스에 의해 수행될 수 있다. 예를 들어, 방법(600)은 프로세싱된 오디오 데이터를 하나 이상의 사용자들에게 통신하기 전에 프로세싱된 오디오 데이터를 추가로 수정할지의 여부를 결정하는 단계를 포함할 수 있다. 일부 구성들에서, 디바이스(100)는 시뮬레이션된 잔향(108)을 프로세싱된 오디오 데이터와는 별개로 전송할 수 있고, 개별 오디오 환경 내의 컴퓨팅 디바이스는 (예컨대, 프로세싱된 오디오 데이터를 시뮬레이션된 잔향과 콘볼루션함으로써) 통신된 오디오 데이터를 추가로 프로세싱할 수 있다. 추가적인 예로서, (예컨대, 602 내지 606을 참조하여 전술된 바와 같은) 상호 오디오 환경 기하구조의 결정은 도 1의 프로세서(들)(102)와 통신하는 하나 이상의 서버들에 의해 수행될 수 있다.
도 7은 본 개시내용의 일부 예들에 따른, 도 1의 디바이스(100)의 특정 예를 예시하는 블록도이다. 다양한 구현들에서, 디바이스(100)는 도 7에 예시된 것들보다 더 많거나 더 적은 컴포넌트들을 가질 수 있다.
특정 구현에서, 디바이스(100)는 프로세서(704)(예컨대, 중앙 프로세싱 유닛(CPU))를 포함한다. 디바이스(100)는 하나 이상의 추가적인 프로세서(들)(706)(예를 들어, 하나 이상의 디지털 신호 프로세서(DSP)들)를 포함할 수 있다. 프로세서(704), 프로세서(들)(706), 또는 둘 모두는 도 1의 하나 이상의 프로세서들(102)에 대응할 수 있다. 예를 들어, 도 7에서, 프로세서(들)(706)는 상호 오디오 환경 선택기(110) 및 오디오 프로세서(들)(112)를 포함한다.
도 7에서, 디바이스(100)는 또한 메모리(104) 및 CODEC(724)을 포함한다. 메모리(104)는 도 1 내지 도 6을 참조하여 설명된 하나 이상의 동작들을 구현하기 위해 프로세서(704) 및/또는 프로세서(들)(706)에 의해 실행가능한 명령들(760)을 저장한다. 예에서, 메모리(104)는 하나 이상의 프로세서들(102)에 의해 실행가능한 명령들(760)을 저장하는 비일시적 컴퓨터 판독가능 매체에 대응하고, 명령들(760)은 상호 오디오 환경 선택기(110), 오디오 프로세서(들)(112), 또는 이들의 조합을 포함하거나 그에 대응한다(예컨대, 그에 귀속된 동작들을 수행하도록 프로세서에 의해 실행가능함). 메모리(104)는 또한, 오디오 데이터(106)(및/또는 도 1의 시뮬레이션된 잔향(108))를 저장할 수 있다.
도 7에서, 입력 컴포넌트(들)(162) 및/또는 출력 컴포넌트(들)(160)는 CODEC(724)에 커플링될 수 있다. 도 7에 예시된 예에서, CODEC(724)은 디지털-아날로그 컨버터(DAC)(726) 및 아날로그-디지털 컨버터(ADC)(728)를 포함한다. 특정 구현에서, CODEC(724)은 입력 컴포넌트(들)(162)(예컨대, 도 1의 제1 오디오 데이터(128))로부터 아날로그 신호들을 수신하고, ADC(728)를 사용하여 아날로그 신호들을 디지털 신호들로 컨버팅하고, 프로세서(들)(706)에 디지털 신호들을 제공한다. 특정 구현에서, 프로세서(들)(706)는 CODEC(724)에 디지털 신호들을 제공하고, CODEC(724)은 DAC(726)를 사용하여 디지털 신호들을 아날로그 신호들로 컨버팅하고, 출력 컴포넌트(들)(160)에 아날로그 신호들(예컨대, 도 1의 프로세싱된 제2 오디오 데이터(168))을 제공한다.
도 7에서, 디바이스(100)는 디스플레이 제어기(710)에 커플링된 디스플레이(720)를 포함한다. 일부 구현들에서, 디바이스(100)는 또한, 트랜시버(714)에 커플링된 모뎀(712)을 포함한다. 도 7에서, 트랜시버(714)는 원격 컴퓨팅 디바이스(718)(예컨대, 상호 오디오 환경 기하구조(118)의 적어도 일부분을 저장하는 서버 또는 네트워크 메모리)와 같은 다른 디바이스들과의 무선 통신을 가능하게 하기 위해 안테나(716)에 커플링된다. 예를 들어, 모뎀(712)은 무선 송신을 통해 원격 컴퓨팅 디바이스(718)로부터 오디오 데이터(106)(예컨대, 제2 오디오 데이터(130))의 일부분을 수신하도록 구성될 수 있다. 다른 예들에서, 트랜시버(714)는 또한 또는 대안적으로, 원격 컴퓨팅 디바이스(718)와 같은 다른 디바이스들과의 유선 통신을 가능하게 하기 위해 통신 포트(예컨대, 이더넷 포트)에 커플링된다.
특정 구현에서, 디바이스(100)는 시스템-인-패키지 또는 시스템-온-칩 디바이스(702)에 포함된다. 특정 구현에서, 메모리(104), 프로세서(704), 프로세서(들)(706), 디스플레이 제어기(710), CODEC(724), 모뎀(712), 및 트랜시버(714)는 시스템-인-패키지 또는 시스템-온-칩 디바이스(702)에 포함된다. 특정 구현에서, 전력 공급부(730)는 시스템-인-패키지 또는 시스템-온-칩 디바이스(702)에 커플링된다. 더욱이, 특정 구현에서, 도 7에 예시된 바와 같이, 디스플레이(720), 입력 디바이스(162), 출력 컴포넌트(들)(160), 안테나(716), 및 전력 공급부(730)는 시스템-인-패키지 또는 시스템-온-칩 디바이스(702) 외부에 있다. 특정 구현에서, 디스플레이(720), 입력 컴포넌트(들)(162), 출력 컴포넌트(들)(160), 안테나(716), 및 전력 공급부(730) 각각은 인터페이스 또는 제어기와 같은 시스템-인-패키지 또는 시스템-온-칩 디바이스(702)의 컴포넌트에 커플링될 수 있다.
디바이스(100)는 음성 활성화 디바이스, 오디오 디바이스, 무선 스피커 및 음성 활성화 디바이스, 휴대용 전자 디바이스, 자동차, 차량, 컴퓨팅 디바이스, 통신 디바이스, 사물 인터넷(IoT) 디바이스, 가상 현실(VR) 디바이스, 증강 현실(AR) 디바이스, 혼합 현실(MR) 디바이스, 스마트 스피커, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스, 스마트폰, 셀룰러 폰, 랩톱 컴퓨터, 컴퓨터, 태블릿, 개인용 디지털 보조기, 디스플레이 디바이스, 텔레비전, 게이밍 콘솔, 어플라이언스, 뮤직 플레이어, 라디오, 디지털 비디오 플레이어, 디지털 비디오 디스크(DVD) 플레이어, 튜너, 카메라, 내비게이션 디바이스, 또는 이들의 임의의 조합을 포함할 수 있거나 그에 대응할 수 있거나 또는 그에 포함될 수 있다. 특정 양태에서, 프로세서(704), 프로세서(들)(706), 또는 이들의 조합은 집적 회로에 포함된다.
도 8은 도 1의 디바이스(100)의 양태들을 통합한 차량(800)의 예이다. 하나의 구현에 따르면, 차량(800)은 자율 주행차이다. 다른 구현들에 따르면, 차량(800)은 자동차, 트럭, 모터사이클, 항공기, 수상 차량(water vehicle) 등이다. 도 8에서, 차량(800)은 디스플레이(720), 디바이스(100), 하나 이상의 입력 컴포넌트들(164), 하나 이상의 출력 컴포넌트들(166), 또는 이들의 일부 조합을 포함한다. 하나 이상의 입력 컴포넌트들(164) 및/또는 하나 이상의 출력 컴포넌트들(166)은 파선들로 예시되어 있는데, 그 이유는 그들이 차량(800)의 사용자에게 가시적일 수 있거나 또는 가시적이지 않을 수 있기 때문이다. 디바이스(100)는 차량(800)에 통합되거나 차량(800)에 커플링될 수 있다. 일부 구현들에서, 차량(800)의 내부는 대체적으로 제1 오디오 환경(124)에 대응한다.
특정 양태에서, 디바이스(100)는 디스플레이(720)에 커플링되고, 통신 중인 다른 사용자들의 수 및 아이덴티티를 사용자에게 표시하는 것과 같이, 차량(800)의 사용자와 다른 오디오 환경의 다른 사용자 사이의 통신에 응답하여 디스플레이(720)에 출력을 제공한다.
특정 구현에서, 입력 컴포넌트(들)(164)는 도 1을 참조하여 더 상세히 전술된 바와 같이, 하나 이상의 마이크로폰들을 포함할 수 있다. 동일한 또는 대안적인 특정 구현들에서, 출력 컴포넌트(들)(166)는 도 1을 참조하여 더 상세히 전술된 바와 같이, 하나 이상의 스피커들을 포함할 수 있다.
따라서, 도 1 내지 도 6과 관련하여 설명된 기법들은 차량(800)의 디바이스(100)가 차량(800)의 사용자와 차량(800)의 사용자와 통신하는 다른 사용자들 사이의 또는 그들 간의 통신을 위한 오디오를 증강시키는 것을 가능하게 한다.
도 9는 도 1의 디바이스의 양태들을 통합하는 헤드셋을 예시한다. 도 9는 가상 현실 헤드셋, 증강 현실 헤드셋, 혼합 현실 헤드셋, 확장 현실 헤드셋, 헤드 마운트형 디스플레이, 또는 이들의 조합과 같은 헤드셋(902)에 커플링되거나 그에 통합된 디바이스(100)의 예를 묘사한다. 시각적 인터페이스 디바이스는 헤드셋(902)이 착용되는 동안 사용자에게 증강 현실, 혼합 현실, 또는 가상 현실 이미지들 또는 장면들의 디스플레이를 가능하게 하기 위해 사용자의 눈 앞에 포지셔닝된다. 일부 구현들에서, 헤드셋(902)은 하나 이상의 입력 컴포넌트들(164), 하나 이상의 출력 컴포넌트들(166), 또는 이들의 일부 조합을 포함한다. 하나 이상의 입력 컴포넌트들(164) 및/또는 하나 이상의 출력 컴포넌트들(166)은 파선들로 예시되어 있는데, 그 이유는 그들이 헤드셋(902)의 사용자에게 가시적일 수 있거나 또는 가시적이지 않을 수 있기 때문이다. 디바이스(100)는 헤드셋(902)에 통합되거나 헤드셋(902)에 커플링될 수 있다. 일부 구현들에서, 헤드셋(902)의 사용자가 헤드셋(902)을 동작시키는 영역은 대체적으로 제1 오디오 환경(124)에 대응한다.
특정 구현에서, 입력 컴포넌트(들)(164)는 도 1을 참조하여 더 상세히 전술된 바와 같이, 하나 이상의 마이크로폰들을 포함할 수 있다. 동일한 또는 대안적인 특정 구현들에서, 출력 컴포넌트(들)(166)는 도 1을 참조하여 더 상세히 전술된 바와 같이, 하나 이상의 스피커들을 포함할 수 있다. 따라서, 도 1 내지 도 6과 관련하여 설명된 기법들은 헤드셋(902)의 디바이스(100)가 헤드셋(902)의 사용자와 헤드셋(902)의 사용자와 통신하는 다른 사용자들 사이의 또는 그들 간의 통신을 위한 오디오를 증강시키는 것을 가능하게 한다.
도 10은 도 1의 디바이스(100)의 양태들을 통합하는 웨어러블 전자 디바이스(1002)를 예시한다. 도 10은 웨어러블 전자 디바이스(1002)를, 하나 이상의 입력 컴포넌트들(164), 하나 이상의 출력 컴포넌트들(166), 또는 이들의 일부 조합을 포함하는 "스마트 워치"로서 예시한다. 하나 이상의 입력 컴포넌트들(164) 및/또는 하나 이상의 출력 컴포넌트들(166)은 파선들로 예시되어 있는데, 그 이유는 그들이 웨어러블 전자 디바이스(1002)의 사용자에게 가시적일 수 있거나 또는 가시적이지 않을 수 있기 때문이다. 디바이스(100)는 웨어러블 전자 디바이스(1002)에 통합되거나 웨어러블 전자 디바이스(1002)에 커플링될 수 있다. 일부 구현들에서, 웨어러블 전자 디바이스(1002)의 사용자가 웨어러블 전자 디바이스(1002)를 동작시키는 영역은 대체적으로 제1 오디오 환경(124)에 대응한다.
특정 구현에서, 입력 컴포넌트(들)(164)는 도 1을 참조하여 더 상세히 전술된 바와 같이, 하나 이상의 마이크로폰들을 포함할 수 있다. 동일한 또는 대안적인 특정 구현들에서, 출력 컴포넌트(들)(166)는 도 1을 참조하여 더 상세히 전술된 바와 같이, 하나 이상의 스피커들을 포함할 수 있다. 따라서, 도 1 내지 도 6과 관련하여 설명된 기법들은 웨어러블 전자 디바이스(1002)의 디바이스(100)가 웨어러블 전자 디바이스(1002)의 사용자와 웨어러블 전자 디바이스(1002)의 사용자와 통신하는 다른 사용자들 사이의 또는 그들 간의 통신을 위한 오디오를 증강시키는 것을 가능하게 한다.
도 11은 도 1의 디바이스의 양태들을 통합하는 음성 제어형 스피커 시스템(1100)의 예시적인 예이다. 음성 제어 스피커 시스템(1100)은 무선 네트워크 연결성을 가질 수 있고, 어시스턴트 동작을 실행하도록 구성된다. 도 11에서, 디바이스(100)는 음성 제어형 스피커 시스템(1100)에 포함된다. 음성 제어형 스피커 시스템(1100)은 또한 하나 이상의 입력 컴포넌트들(164), 하나 이상의 출력 컴포넌트들(166), 또는 이들의 일부 조합을 포함한다. 하나 이상의 입력 컴포넌트들(164) 및/또는 하나 이상의 출력 컴포넌트들(166)은 파선들로 예시되어 있는데, 그 이유는 그들이 음성 제어형 스피커 시스템(1100)의 사용자에게 가시적일 수 있거나 또는 가시적이지 않을 수 있기 때문이다. 디바이스(100)는 음성 제어형 스피커 시스템(1100)에 통합되거나 음성 제어형 스피커 시스템(1100)에 커플링될 수 있다. 일부 구현들에서, 음성 제어형 스피커 시스템(1100)의 사용자가 음성 제어형 스피커 시스템(1100)을 동작시키는 영역은 대체적으로 제1 오디오 환경(124)에 대응한다.
특정 구현에서, 입력 컴포넌트(들)(164)는 도 1을 참조하여 더 상세히 전술된 바와 같이, 하나 이상의 마이크로폰들을 포함할 수 있다. 동일한 또는 대안적인 특정 구현들에서, 출력 컴포넌트(들)(166)는 도 1을 참조하여 더 상세히 전술된 바와 같이, 하나 이상의 스피커들을 포함할 수 있다. 따라서, 도 1 내지 도 6과 관련하여 설명된 기법들은 음성 제어형 스피커 시스템(1100)의 디바이스(100)가 음성 제어형 스피커 시스템(1100)의 사용자와 음성 제어형 스피커 시스템(1100)의 사용자와 통신하는 다른 사용자들 사이의 또는 그들 간의 통신을 위한 오디오를 증강시키는 것을 가능하게 한다.
도 12는 도 1의 디바이스(100)의 양태들을 통합하는 카메라(1200)를 예시한다. 도 12에서, 디바이스(100)는 카메라(1200)에 통합되거나 그에 커플링된다. 카메라(1200)는 하나 이상의 입력 컴포넌트들(164), 하나 이상의 출력 컴포넌트들(166), 또는 이들의 일부 조합을 포함한다. 추가적으로, 카메라(1200)는 사용자들 사이의 또는 그들 간의 통신을 위해 오디오를 증강시키도록 구성된 디바이스(100)를 포함한다. 특정 구현에서, 카메라(1200)는 가상 전기통신 세션에서 오디오를 증강시키도록 구성된 비디오 카메라이다.
도 13은 도 1의 디바이스(100)의 양태들을 통합하는 모바일 디바이스(1300)를 예시한다. 도 13에서, 디바이스(100)는 모바일 디바이스(1300)에 통합되거나 그에 커플링된다. 모바일 디바이스(1300)는 하나 이상의 입력 컴포넌트들(164), 하나 이상의 출력 컴포넌트들(166), 또는 이들의 일부 조합을 포함한다. 추가적으로, 모바일 디바이스(1300)는 사용자들 사이의 또는 그들 간의 통신을 위해 오디오를 증강시키도록 구성된 디바이스(100)를 포함한다. 특정 구현에서, 모바일 디바이스(1300)는 가상 전기통신 세션을 동작시키도록 구성된 소프트웨어를 포함한다.
도 14는 도 1의 디바이스(100)의 양태들을 통합하는 청력 보조 디바이스(1400)를 예시한다. 도 14에서, 청력 보조 디바이스(1400)는 도 1의 디바이스(100)를 포함하거나 그에 커플링된다. 청력 보조 디바이스(1400)는 하나 이상의 입력 컴포넌트들(164), 하나 이상의 출력 컴포넌트들(166), 또는 이들의 일부 조합을 포함한다. 동작 동안, 청력 보조 디바이스(1400)는 청력 보조 디바이스(1400)의 사용자에 대한 오디오를 증강시키기 위해 입력 컴포넌트(들)(164)로부터 수신된 오디오를 프로세싱할 수 있다.
도 15는 도 1의 디바이스(100)의 양태들을 통합하는 공중 디바이스(1500)를 예시한다. 도 15에서, 공중 디바이스(1500)는 도 1의 디바이스(100)를 포함하거나 이에 커플링된다. 공중 디바이스(1500)는 유인, 무인 또는 원격 조종되는 공중 디바이스(예를 들어, 패키지 배달 드론)이다. 동작 동안, 공중 디바이스(1500)는 복수의 오디오 환경들의 사용자들 사이의 또는 그들 간의 통신을 위한 오디오를 증대시키기 위해 복수의 오디오 환경들로부터 수신된 오디오를 프로세싱하기 위해 모바일의 중앙집중형 컴퓨팅 플랫폼을 제공하도록 구성될 수 있다.
도 16은 도 1의 디바이스(100)의 양태들을 통합하는 헤드셋(1600)을 예시한다. 도 16에서, 헤드셋(1600)은 도 1의 디바이스(100)를 포함하거나 이에 커플링된다. 헤드셋(1600)은, 주로 사용자의 스피치를 캡처하도록 포지셔닝된 도 1의 입력 컴포넌트(들)(164) 중 하나 이상의 입력 컴포넌트들을 포함한다. 헤드셋(1600)은 또한, (예를 들어, 노이즈 소거 동작들을 위해) 주로 환경 사운드들을 캡처하도록 포지셔닝된 하나 이상의 추가적인 마이크로폰들 및 도 1의 출력 컴포넌트들(166) 중 하나 이상의 출력 컴포넌트들을 포함할 수 있다. 특정 양태에서, 헤드셋(1600)은 다른 오디오 환경들에서 헤드셋(1600)의 사용자와 다른 오디오 환경들 내의 다른 사용자들 사이의 또는 그들 간의 통신을 증강시키기 위해 헤드셋(1600)의 사용자로부터 오는 오디오를 프로세싱할 수 있다.
도 17은 도 1의 디바이스(100)의 양태들을 통합하는 어플라이언스(1700)를 예시한다. 도 17에서, 어플라이언스(1700)는 램프이지만; 다른 구현들에서, 어플라이언스(1700)는 냉장고, 커피 메이커, 오븐, 다른 가전 제품 등과 같은 다른 사물 인터넷 어플라이언스를 포함한다. 어플라이언스(1700)는 도 1의 디바이스(100)를 포함하거나 이에 커플링된다. 어플라이언스(1700)는 하나 이상의 입력 컴포넌트들(164), 하나 이상의 출력 컴포넌트들(166), 또는 이들의 일부 조합을 포함한다. 특정 양태에서, 어플라이언스(1700)는 어플라이언스(1700) 근처의 사용자와 통신 중인 다른 사용자들 사이의 또는 그들 간의 통신에서 오디오를 증강시키기 위해 하나 이상의 입력 컴포넌트들을 통해 수신된 오디오를 프로세싱할 수 있다.
도 18은 통신을 위한 오디오를 증강시키기 위한 방법(1800)의 다른 예의 흐름도이다. 방법(1800)은 명령들을 실행하는 하나 이상의 프로세서들에 의해, 예컨대 메모리(104)로부터의 명령들을 실행하는 도 1의 프로세서(들)(102)에 의해 개시, 수행, 또는 제어될 수 있다.
도 18의 예에서, 방법(1800)은, 1806에서, 오디오 환경 기하구조들을 분석하는 단계를 포함한다. 일부 구현들에서, 오디오 환경 기하구조들을 분석하는 것은 가상의 상호 오디오 환경을 결정하는 것을 포함할 수 있다. 예를 들어, 도 1 내지 도 6을 참조하여 더 상세히 전술된 바와 같이, 도 1의 프로세서(들)(102)는 제1 및 제2 오디오 환경들(124, 126)로부터의 제1 및 제2 오디오 환경 설명들(114, 1118)을 각각 분석하여 제1 및 제2 오디오 환경들(124, 126) 각각과 연관된 기하구조를 결정할 수 있다. 프로세서(들)(102)는 제1 및 제2 오디오 환경들(124, 126) 중 하나 이상의 오디오 환경들에서의 통신을 위해 오디오를 증강시키는 데 사용될 수 있는 상호 오디오 환경 기하구조(118)를 선택하도록 추가로 구성될 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1808에서, (예컨대, 하나 이상의 임계치들에 기초하여) 상호 오디오 환경 기하구조가 제1 오디오 환경("1AE")의 기하구조와 동일하거나 실질적으로 유사한지의 여부를 결정하는 단계를 포함한다. 예를 들어, 도 1의 프로세서(들)(102)는 상호 오디오 환경 기하구조(118)가 제1 오디오 환경(124)의 기하구조와 동일하거나 실질적으로 유사한지의 여부를 결정할 수 있다. 도 18의 예에서, 상호 오디오 환경이 제1 오디오 환경의 기하구조와 동일하거나 실질적으로 유사한 경우, 방법(1800)은, 1816에서, 제1 오디오 환경 기하구조를 상호 오디오 환경 기하구조로서 선택하도록 진행할 수 있다.
도 18의 예에서, 제1 오디오 환경 기하구조가 상호 오디오 환경 기하구조와 동일하거나 실질적으로 유사하지 않은 경우, 방법(1800)은 또한, 1810에서, 상호 오디오 환경 기하구조가 제2 오디오 환경("2AE")의 기하구조와 동일하거나 실질적으로 유사한지의 여부를 결정하는 단계를 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 (예컨대, 하나 이상의 임계치들에 기초하여) 상호 오디오 환경 기하구조(118)가 제2 오디오 환경(126)의 기하구조와 동일하거나 실질적으로 유사한지의 여부를 결정할 수 있다. 도 18의 예에서, 상호 오디오 환경이 제2 오디오 환경의 기하구조와 동일하거나 실질적으로 유사한 경우, 방법(1800)은, 1818에서, 제2 오디오 환경 기하구조를 상호 오디오 환경 기하구조로서 선택하도록 진행할 수 있다.
소정 구성들에서, 방법(1800)은 도 18의 파선들에 의해 예시된 바와 같이, 추가 프로세싱을 선택적으로 포함할 수 있다. 예를 들어, 도 18의 예에서, 방법(1800)은 또한, 1832에서, 상호 오디오 환경("MAE")과 연관된 하나 이상의 음향 특성들을 추정하는 단계를 선택적으로 포함할 수 있다. 일부 구현들에서, 음향 특성들은 상호 오디오 환경 내에서 특정 사운드 소스와 연관된 잔향을 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 오디오 데이터(예컨대, 제1 오디오 데이터(128) 및/또는 제2 오디오 데이터(130))를 생성하는 하나 이상의 사운드 소스들을 분석할 수 있고, 오디오 데이터가 상호 오디오 환경 내에서 어떤 잔향 특성들을 가질지를 결정할 수 있다. 일부 구성들에서, 프로세서(들)(102)는 이미지 소스 모델을 사용하여 상호 오디오 환경 내의 오디오 데이터와 연관된 룸 임펄스 응답을 계산함으로써 잔향을 추정하도록 구성될 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1824에서, 제1 오디오 환경 내의 하나 이상의 사운드 소스들과 연관된 소정 음향 특성들을 추정하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 제1 오디오 환경(124)으로부터 제1 오디오 데이터(128)와 연관된 잔향을 추정할 수 있다. 일부 구성들에서, 프로세서(들)(102)는 이미지 소스 모델을 사용하여 상호 오디오 환경 내의 오디오 데이터와 연관된 룸 임펄스 응답을 계산함으로써 잔향을 추정하도록 구성될 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1828에서, 제1 오디오 환경으로부터의 오디오 데이터를 프로세싱하여 오디오 데이터의 하나 이상의 음향 특성들을 수정하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 제1 오디오 데이터(128)를 프로세싱하여 제1 오디오 환경(124) 내의 제1 오디오 데이터(128)와 연관된 임의의 잔향을 제거하도록 구성될 수 있다. 일부 구성들에서, 이것은 1824를 참조하여 전술된 제1 오디오 환경(124)과 연관된 추정된 잔향을 포함할 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1834에서, 프로세싱된 오디오 데이터를 다른 오디오 환경에 통신하기 전에 인입 오디오 데이터를 추가로 변경할지의 여부를 결정하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 하나 이상의 오디오 변경 신호들을 프로세싱된 오디오 데이터와 콘볼루션할지의 여부를 결정하도록 구성될 수 있다. 일부 구성들에서, 프로세서(들)(102)는 1828을 참조하여 전술된 프로세싱된 제1 오디오 데이터를 (1832를 참조하여 전술된) 상호 오디오 환경과 연관된 잔향 신호와 콘볼루션할지의 여부를 결정하도록 구성될 수 있다. 도 1을 참조하여 더 상세히 전술된 바와 같이, 디바이스(100)는 프로세싱된 제1 오디오 데이터(170)를 통신하도록 구성될 수 있는데, 이는 일부 구현들에서, 상호 오디오 환경과 연관된 시뮬레이션된 잔향(108)을 포함할 수 있다. 동일한 또는 대안적인 구현들에서, 프로세싱된 제1 오디오 데이터(170)는 개별적으로 통신될 수 있는 시뮬레이션된 잔향(108)을 포함하지 않을 수 있다.
도 18의 예에서, 방법(1800)이 인입 오디오 데이터를 추가로 변경하도록 결정하는 경우, 방법(1800)은 또한, 1836에서, 프로세싱된 오디오 데이터를 다른 오디오 환경에 통신하기 전에 인입 오디오 데이터를 추가로 변경하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 하나 이상의 오디오 변경 신호들(예컨대, 상호 오디오 환경과 연관된 잔향)을 프로세싱된 오디오 데이터와 콘볼루션하도록 구성될 수 있다. 추가적인 예로서, 도 1의 프로세서(들)(102)는 오디오 환경들 중 하나 이상과 연관된 잔향을 감소시키도록 구성될 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1842에서, 어느 오디오 환경들 내의 어느 사용자들이 프로세싱된 오디오 데이터를 수신해야 하는지를 결정하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 프로세싱된 제1 오디오 데이터(170)를 제1 오디오 환경(124)의 사용자(132)가 수신해야 하는지 그리고/또는 제2 오디오 환경(126)의 사용자(134)가 수신해야 하는지를 결정할 수 있다. 일부 구현들에서, 프로세서(들)(102)는 (1834 및 1836을 참조하여 전술된 바와 같이) 프로세싱된 오디오 데이터를 새로운 음향 특성들을 포함하도록 추가로 변경되기 전에 또는 그 후에 어느 오디오 환경 내의 어느 사용자들이 프로세싱된 오디오 데이터를 수신해야 하는지를 결정하도록 구성될 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1826에서, 제2 오디오 환경 내의 하나 이상의 사운드 소스들과 연관된 소정 음향 특성들을 추정하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 제2 오디오 환경(126)으로부터 제2 오디오 데이터(130)와 연관된 잔향을 추정할 수 있다. 일부 구성들에서, 프로세서(들)(102)는 이미지 소스 모델을 사용하여 상호 오디오 환경 내의 오디오 데이터와 연관된 룸 임펄스 응답을 계산함으로써 잔향을 추정하도록 구성될 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1830에서, 제1 오디오 환경으로부터의 오디오 데이터를 프로세싱하여 오디오 데이터의 하나 이상의 음향 특성들을 수정하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 제2 오디오 데이터(130)를 프로세싱하여 제2 오디오 환경(126) 내의 제2 오디오 데이터(130)와 연관된 임의의 잔향을 제거하도록 구성될 수 있다. 일부 구성들에서, 이것은 1826을 참조하여 전술된 제2 오디오 환경(126)과 연관된 추정된 잔향을 포함할 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1838에서, 프로세싱된 오디오 데이터를 다른 오디오 환경에 통신하기 전에 인입 오디오 데이터를 추가로 변경할지의 여부를 결정하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 하나 이상의 오디오 변경 신호들을 프로세싱된 오디오 데이터와 콘볼루션할지의 여부를 결정하도록 구성될 수 있다. 일부 구성들에서, 프로세서(들)(102)는 1830을 참조하여 전술된 프로세싱된 제2 오디오 데이터를 (1832를 참조하여 전술된) 상호 오디오 환경과 연관된 잔향 신호와 콘볼루션할지의 여부를 결정하도록 구성될 수 있다. 도 1을 참조하여 더 상세히 전술된 바와 같이, 디바이스(100)는 프로세싱된 제2 오디오 데이터(1188)를 통신하도록 구성될 수 있는데, 이는 일부 구현들에서, 상호 오디오 환경과 연관된 시뮬레이션된 잔향(108)을 포함할 수 있다. 동일한 또는 대안적인 구현들에서, 프로세싱된 제2 오디오 데이터(1188)는 개별적으로 통신될 수 있는 시뮬레이션된 잔향(108)을 포함하지 않을 수 있다.
도 18의 예에서, 방법(1800)이 인입 오디오 데이터를 추가로 변경하도록 결정하는 경우, 방법(1800)은 또한, 1840에서, 프로세싱된 오디오 데이터를 다른 오디오 환경에 통신하기 전에 인입 오디오 데이터를 추가로 변경하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 하나 이상의 오디오 변경 신호들(예컨대, 상호 오디오 환경과 연관된 잔향)을 프로세싱된 오디오 데이터와 콘볼루션하도록 구성될 수 있다. 추가적인 예로서, 도 1의 프로세서(들)(102)는 오디오 환경들 중 하나 이상과 연관된 잔향을 감소시키도록 구성될 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1842에서, 어느 오디오 환경들 내의 어느 사용자들이 프로세싱된 오디오 데이터를 수신해야 하는지를 결정하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 제1 오디오 환경(124)의 사용자(132) 및/또는 제2 오디오 환경(126)의 사용자(134)가 프로세싱된 제1 오디오 데이터(170)를 수신해야 하는지의 여부를 결정할 수 있다. 일부 구현들에서, 프로세서(들)(102)는 (1838 및 1840을 참조하여 전술된 바와 같이) 프로세싱된 오디오 데이터를 새로운 음향 특성들을 포함하도록 추가로 변경되기 전에 또는 그 후에 어느 오디오 환경 내의 어느 사용자들이 프로세싱된 오디오 데이터를 수신해야 하는지를 결정하도록 구성될 수 있다.
도 18의 예에서, 방법(1800)은 또한, 1844에서, 프로세싱된 오디오 데이터를 하나 이상의 사용자들에게 출력하는 단계를 선택적으로 포함할 수 있다. 예를 들어, 도 1의 프로세서(들)(102)는 프로세싱된 제1 오디오 데이터(170)를 제1 오디오 환경(124) 및/또는 제2 오디오 환경(126)에 통신하도록 구성될 수 있다. 일부 구성들에서, 프로세서(들)(102)는 프로세싱된 제1 오디오 데이터(170)를 하나 이상의 출력 컴포넌트들(160) 및/또는 출력 컴포넌트(들)(166)(예컨대, 하나 이상의 스피커들)에 통신하도록 구성될 수 있다.
방법(1800)은 소정 수의 동작들을 포함하는 것으로 예시되어 있지만, 본 개시내용의 범주로부터 벗어남이 없이, 더 많은, 더 적은, 그리고/또는 상이한 동작들이 방법(1800)에 포함될 수 있다. 예를 들어, 방법(1800)은 1834 및 1838을 참조하여 전술된 바와 같이, 프로세싱된 오디오 데이터를 추가로 변경할지의 여부의 결정을 배제할 수 있다. 추가적인 예로서, 방법(1800)은 특정 통신에 참여하는 오디오 환경들의 수에 따라 달라질 수 있다. 추가 예로서, 방법(1800)은 프로세싱된 오디오 데이터의 전부를 모든 사용자들에게 통신할 수 있다.
또한, 방법(1800)을 예시하는 데 있어서 상기에서 제공된 예들은 방법(1800)의 동작들을 수행하는 도 1의 프로세서(들)(102)를 설명하지만, 방법(1800)의 동작들의 일부 또는 전부는 임의의 적합한 컴퓨팅 디바이스에 의해 수행될 수 있다. 예를 들어, 1834 및 1838을 참조하여 전술된 바와 같이, 방법(1800)은 프로세싱된 오디오 데이터를 하나 이상의 사용자들에게 통신하기 전에 프로세싱된 오디오 데이터를 추가로 수정할지의 여부를 결정하는 단계를 포함할 수 있다. 일부 구성들에서, 디바이스(100)는 시뮬레이션된 잔향(108)을 프로세싱된 오디오 데이터와는 별개로 전송할 수 있고, 개별 오디오 환경 내의 컴퓨팅 디바이스는 (예컨대, 프로세싱된 오디오 데이터를 시뮬레이션된 잔향과 콘볼루션함으로써) 통신된 오디오 데이터를 추가로 프로세싱할 수 있다. 추가적인 예로서, (예컨대, 1806을 참조하여 전술된 바와 같은) 상호 오디오 환경 기하구조의 결정은 도 1의 프로세서(들)(102)와 통신하는 하나 이상의 서버들에 의해 수행될 수 있다. 추가 예로서, (예컨대, 1842를 참조하여 전술된 바와 같이) 특정 오디오 환경 내에서 사용자에게 특정 프로세싱된 오디오 신호를 출력할지의 여부의 결정은 개별 오디오 환경 내의 출력 디바이스에 의해 수행될 수 있다.
일부 구현들에서, 도 5 및 도 6 및/또는 도 18을 참조하여 설명된 동작들은 도 1의 디바이스(100)에서(예컨대, 하나 이상의 프로세서들(102)에서) 수행된다. 디바이스(100)는 음성 활성화 디바이스, 오디오 디바이스, 무선 스피커 및 음성 활성화 디바이스, 휴대용 전자 디바이스, 자동차, 차량, 컴퓨팅 디바이스, 통신 디바이스, 사물 인터넷(IoT) 디바이스, 가상 현실(VR) 디바이스, 증강 현실(AR) 디바이스, 혼합 현실(MR) 디바이스, 청력 보조 디바이스, 스마트 스피커, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스, 스마트폰, 셀룰러 폰, 랩탑 컴퓨터, 컴퓨터, 태블릿, 개인용 디지털 보조기, 디스플레이 디바이스, 텔레비전, 게이밍 콘솔, 어플라이언스, 뮤직 플레이어, 라디오, 디지털 비디오 플레이어, 디지털 비디오 디스크(DVD) 플레이어, 튜너, 카메라, 내비게이션 디바이스, 또는 이들의 임의의 조합을 포함할 수 있거나 그에 대응할 수 있거나 또는 그에 포함될 수 있다. 특정 양태에서, 하나 이상의 프로세서들(102), 메모리(104), 또는 이들의 조합은 집적 회로에 포함된다. 디바이스(100)의 양태들을 포함하는 다양한 구현들이 도 7 내지 도 17을 참조하여 추가로 설명된다.
디바이스들(예컨대, 이전에 언급된 것들)은 블루투스 및 Wi-Fi 능력들 둘 모두, 또는 서로 통신하기 위한 다른 무선 수단을 가질 수 있다. 인터네트워킹된 디바이스들은 서로 통신하기 위한 무선 수단을 가질 수 있고, 또한, 롱 텀 에볼루션(LTE) 시스템, 코드 분할 다중 액세스(CDMA) 시스템, GSM(Global System for Mobile Communications) 시스템, 무선 로컬 영역 네트워크(WLAN) 시스템, 또는 일부 다른 무선 시스템과 같은 상이한 셀룰러 통신 시스템들에 기초하여 연결될 수 있다. CDMA 시스템은 WCDMA(Wideband CDMA), CDMA 1X, EVDO(Evolution-Data Optimized), TD-SCDMA(Time Division Synchronous CDMA) 또는 일부 다른 버전의 CDMA를 구현할 수 있다. 본 명세서에 사용되는 바와 같이, "무선"은 상기에서 열거된 기술들 중 하나 이상의 기술들, 와이어들을 통하는 것 이외의 정보의 전달을 가능하게 하는 하나 이상의 다른 기술들, 또는 이들의 조합을 지칭한다.
본 명세서에 사용되는 바와 같이, 모델을 "다운로드하는 것" 및 "업로드하는 것"은 유선 링크를 통한, 무선 링크를 통한, 또는 이들의 조합을 통한, 모델에 대응하는 데이터(예컨대, 압축된 데이터)의 전송을 포함한다. 예를 들어, 무선 로컬 영역 네트워크("WLAN")들은 유선 네트워크들 대신에 또는 그에 더하여 사용될 수 있다. Bluetooth®("블루투스") 및 무선 충실도 "Wi-Fi" 또는 Wi-Fi의 변형들(예컨대, Wi-Fi Direct)과 같은 무선 기술들은, 서로의 비교적 짧은(예컨대, 특정 무선 기술에 따라 100 내지 200 미터 이하) 거리들 내에 있는 모바일 전자 디바이스들(예컨대, 셀룰러 폰들, 시계들, 헤드폰들, 원격 제어부들 등) 사이의 고속 통신을 가능하게 한다. Wi-Fi는 종종, 액세스 포인트(예컨대, 라우터)를 갖는 디바이스와 Wi-Fi 인에이블되는 디바이스들 사이를 연결하여 정보를 교환하는 데 사용된다. 그러한 디바이스들의 예들은 스마트 텔레비전들, 랩톱들, 서모스탯들, 개인 어시스턴트 디바이스들, 홈 자동화 디바이스들, 무선 스피커들 및 다른 유사한 디바이스들이다. 유사하게, 블루투스는 또한, 디바이스들을 함께 커플링시키는 데 사용된다. 그러한 것의 예들은 모바일 폰들, 컴퓨터들, 디지털 카메라들, 무선 헤드셋들, 키보드들, 마우스들 또는 다른 입력 주변기기들, 및 유사한 디바이스들이다.
설명된 구현들과 함께, 장치는, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하기 위한 수단을 포함한다. 예를 들어, 상호 오디오 환경의 기하구조를 결정하기 위한 수단은 디바이스(100), 프로세서(들)(102), 상호 오디오 환경 선택기(110), 무선 디바이스(200), 무선 디바이스(224), 무선 디바이스(302), AP(304), 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합을 포함한다.
장치는 또한, 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하기 위한 수단을 포함한다. 예를 들어, 오디오 데이터를 프로세싱하기 위한 수단은 디바이스(100), 프로세서(들)(102), 오디오 프로세서(들)(112), 무선 디바이스(200), 무선 디바이스(224), 무선 디바이스(302), AP(304), 상호 오디오 환경의 기하구조에 기초하여 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합을 포함한다.
당업자들은 본 명세서에서 개시된 구현들과 관련하여 설명되는 여러가지 예시적인 로직 블록들, 구성들, 모듈들, 회로들 및 알고리즘 단계들이 전자적 하드웨어, 프로세서에 의해 실행되는 컴퓨터 소프트웨어, 또는 양쪽의 조합들로서 구현될 수 있음을 또한 알 수 있을 것이다. 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들은 그 기능에 관하여 일반적으로 전술되어 있다. 이러한 기능이 하드웨어로서 구현되는지 또는 프로세서 실행가능 명령들로서 구현되는지는 전체 시스템에 부과된 설계 제약들 및 특정 애플리케이션에 의존한다. 당업자들은 각각의 특정 애플리케이션에 대해 다양한 방식들로 설명된 기능을 구현할 수 있으며, 이러한 구현 판정들은 본 개시내용의 범위로부터 벗어남을 야기하는 것으로서 해석되어서는 안된다.
본 명세서에 개시된 구현들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접 구현될 수 있다. 소프트웨어 모듈은, 랜덤 액세스 메모리(RAM), 플래시 메모리, 판독-전용 메모리(ROM), 프로그래밍가능 판독-전용 메모리(PROM), 소거가능한 프로그래밍가능 판독-전용 메모리(EPROM), 전기적으로 소거가능한 프로그래밍가능 판독-전용 메모리(EEPROM), 레지스터들, 하드 디스크, 착탈형 디스크, 컴팩트 디스크 판독-전용 메모리(CD-ROM), 또는 당업계에 알려진 임의의 다른 형태의 비일시적인 저장 매체에 상주할 수 있다. 예시적인 저장 매체는, 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링된다. 대안적으로, 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 주문형 집적 회로(ASIC)에 상주할 수 있다. ASIC은 컴퓨팅 디바이스 또는 사용자 단말 내에 있을 수 있다. 대안으로, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에 별개의 컴포넌트들로서 상주할 수 있다.
본 개시내용의 특정 양태들은 상호관련된 조항들의 제1 세트에서 아래에서 설명된다:
조항 1은 명령들을 저장한 메모리; 및 메모리에 커플링된 하나 이상의 프로세서들을 포함하는 디바이스를 포함하고, 하나 이상의 프로세서들은, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하고; 그리고 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위한 오디오 데이터를 프로세싱하기 위해 명령들을 실행하도록 구성된다.
조항 2는 조항 1의 디바이스를 포함하고, 하나 이상의 프로세서들은 2개 이상의 오디오 환경들 중 제2 오디오 환경에 배치된 제2 오디오 디바이스로부터 오디오 데이터를 획득하기 위해 명령들을 실행하도록 추가로 구성된다.
조항 3은 조항 1 또는 조항 2의 디바이스를 포함하고, 오디오 데이터는 둘 이상의 사용자들 사이의 통화의 오디오를 표현하고, 제1 오디오 환경은 둘 이상의 사용자들 중 적어도 하나의 사용자가 위치되는 룸을 포함한다.
조항 4는 조항 1 내지 조항 3 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들 중 하나의 오디오 환경에 대응한다.
조항 5는 조항 1 내지 조항 4 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들의 교차를 표현하는 볼륨에 대응한다.
조항 6은 조항 1 내지 조항 4 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들 각각과는 별개인 가상 공간에 대응한다.
조항 7은 조항 1 내지 조항 4 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경은 상호 오디오 환경의 기하구조에 기초한 잔향 특성들을 갖는 가상 룸에 대응한다.
조항 8은 조항 1 내지 조항 7 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터를 필터링하여 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 잔향을 감소시키는 것을 포함한다.
조항 9는 조항 1 내지 조항 8 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터를 상호 오디오 환경과 연관된 시뮬레이션된 잔향과 조합하는 것을 포함한다.
조항 10은 조항 1 내지 조항 9 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 백그라운드 잡음을 억제하는 것을 포함한다.
조항 11은 조항 1 내지 조항 10 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은, 오디오 데이터에, 사운드 소스와 연관된 방향성 정보를 추가하는 것을 포함한다.
조항 12는 조항 1 내지 조항 10 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은, 오디오 데이터로부터, 사운드 소스와 연관된 방향성 정보를 제거하는 것을 포함한다.
조항 13은 조항 1 내지 조항 10 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 사운드 소스와 연관된 방향성 정보를 표시하는 오디오 데이터의 일부분을 수정하는 것을 포함한다.
조항 14는 조항 1 내지 조항 13 중 어느 한 조항의 디바이스를 포함하고, 하나 이상의 프로세서들은 2개 이상의 오디오 환경들 중 제2 오디오 환경 내에서의 사용자의 이동을 표시하는 모션 데이터를 획득하기 위해 명령들을 실행하도록 추가로 구성되고, 오디오 데이터는 모션 데이터에 기초하여 수정된다.
조항 15는 조항 14의 디바이스를 포함하고, 모션 데이터는 사용자의 시선 방향의 변화에 기초한다.
조항 16은 조항 1 내지 조항 15 중 어느 한 조항의 디바이스를 포함하고, 하나 이상의 프로세서들은 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터에 기초하여 상호 오디오 환경을 수정하기 위해 명령들을 실행하도록 추가로 구성된다.
조항 17은 조항 16의 디바이스를 포함하고, 상호 오디오 환경을 수정하는 것은 상호 오디오 환경의 하나 이상의 사운드 소스들에 대해 상호 오디오 환경의 경계들을 시프트하는 것을 포함한다.
조항 18은 조항 16의 디바이스를 포함하고, 상호 오디오 환경을 수정하는 것은 상호 오디오 환경의 기하구조의 형상을 변화시키는 것을 포함한다.
조항 19는 조항 16의 디바이스를 포함하고, 상호 오디오 환경을 수정하는 것은 상호 오디오 환경의 크기를 변화시키는 것을 포함한다.
조항 20은 조항 1 내지 조항 19 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터로부터 하나 이상의 오디오 컴포넌트들을 제거하는 것을 포함한다.
조항 21은 조항 1 내지 조항 19 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터에 하나 이상의 오디오 컴포넌트들을 추가하는 것을 포함한다.
조항 22는 조항 1 내지 조항 19 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터의 하나 이상의 오디오 컴포넌트들을 수정하는 것을 포함한다.
조항 23은 조항 1 내지 조항 19 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은, 오디오 데이터에서, 특정 사운드 소스와 연관된 하나 이상의 오디오 컴포넌트들을 향상시키는 것을 포함한다.
조항 24는 조항 1 내지 조항 23 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터의 하나 이상의 오디오 컴포넌트들과 연관된 주파수 범위를 변화시키는 것을 포함한다.
조항 25는 조항 1 내지 조항 24 중 어느 한 조항의 디바이스를 포함하고, 하나 이상의 프로세서들은 상호 오디오 환경 내에서의 사운드 소스에 대한 사용자의 배향을 결정하기 위해 명령들을 실행하도록 추가로 구성되고, 오디오 데이터는 배향에 기초하여 프로세싱된다.
조항 26은 조항 25의 디바이스를 포함하고, 하나 이상의 프로세서들은 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하기 위해 그리고 모션 데이터에 기초하여 상호 오디오 환경을 수정하여 배향을 유지하기 위해 명령들을 실행하도록 추가로 구성된다.
조항 27은 조항 25의 디바이스를 포함하고, 하나 이상의 프로세서들은 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하기 위해 그리고 모션 데이터에 기초하여 배향을 수정하기 위해 명령들을 실행하도록 추가로 구성된다.
조항 28은 조항 1 내지 조항 27 중 어느 한 조항의 디바이스를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는 2개 이상의 오디오 환경들 각각에 대한 기하구조 데이터를 포함한다.
조항 29는 조항 28의 디바이스를 포함하고, 2개 이상의 오디오 환경들 중 특정 오디오 환경과 연관된 기하구조 데이터는 특정 오디오 환경의 무선 범위 측정에 기초하여 결정된다.
조항 30은 조항 1 내지 조항 29 중 어느 한 조항의 디바이스를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는 2개 이상의 오디오 환경들 각각에 대한 잔향 특성들을 포함한다.
조항 31은 조항 1 내지 조항 30 중 어느 한 조항의 디바이스를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는, 2개 이상의 오디오 환경들 중 특정 오디오 환경에 대해, 사운드 소스의 특정 오디오 환경 내의 위치의 표시를 포함한다.
조항 32는 조항 1 내지 조항 31 중 어느 한 조항의 디바이스를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는, 2개 이상의 오디오 환경들 중 특정 오디오 환경에 대해, 사용자의 특정 오디오 환경 내의 위치의 표시를 포함한다.
조항 33은 조항 1 내지 조항 32 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터는 가상 현실 객체, 증강 현실 객체, 혼합 현실 객체, 또는 확장 현실 객체의 상호 오디오 환경 내에서의 위치에 추가로 기초하여 프로세싱된다.
조항 34는 조항 1 내지 조항 33 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경의 기하구조를 결정하는 것은 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여 상호 좌표계를 결정하는 것을 포함하고, 명령들은, 하나 이상의 프로세서들로 하여금, 상호 좌표계 내의 제1 포지션을 제1 오디오 환경의 제1 사운드 소스와 연관시키게 하고 상호 좌표계 내의 제2 포지션을 2개 이상의 오디오 환경들 중 제2 오디오 환경의 제2 사운드 소스와 연관시키게 하도록 추가로 구성된다.
조항 35는 조항 1 내지 조항 34 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경의 기하구조를 결정하는 것은 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여 상호 좌표계를 결정하는 것을 포함하고, 명령들은 2개 이상의 오디오 환경들 중 특정 오디오 환경에서 사용자의 시선 방향을 상호 좌표계에 맵핑하도록, 그리고 시선 방향에 기초하여, 상호 오디오 환경의 시각적 렌더링을 생성하도록 추가로 구성된다.
조항 36은, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하는 단계; 및 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위한 오디오 데이터를 프로세싱하는 단계를 포함하는 방법을 포함한다.
조항 37은 조항 36의 방법을 포함하고, 2개 이상의 오디오 환경들 중 제2 오디오 환경에 배치된 제2 오디오 디바이스로부터 오디오 데이터를 획득하는 단계를 추가로 포함한다.
조항 38은 조항 36 또는 조항 37의 방법을 포함하고, 오디오 데이터는 둘 이상의 사용자들 사이의 통화의 오디오를 표현하고, 제1 오디오 환경은 둘 이상의 사용자들 중 적어도 하나의 사용자가 위치되는 룸을 포함한다.
조항 39는 조항 36 내지 조항 38 중 어느 한 조항의 방법을 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들 중 하나의 오디오 환경에 대응한다.
조항 40은 조항 36 내지 조항 39 중 어느 한 조항의 방법을 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들의 교차를 표현하는 볼륨에 대응한다.
조항 41은 조항 36 내지 조항 39 중 어느 한 조항의 방법을 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들 각각과는 별개인 가상 공간에 대응한다.
조항 42는 조항 36 내지 조항 39 중 어느 한 조항의 방법을 포함하고, 상호 오디오 환경은 상호 오디오 환경의 기하구조에 기초한 잔향 특성들을 갖는 가상 룸에 대응한다.
조항 43은 조항 36 내지 조항 42 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는 오디오 데이터를 필터링하여 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 잔향을 감소시키는 단계를 포함한다.
조항 44는 조항 36 내지 조항 43 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는 오디오 데이터를 상호 오디오 환경과 연관된 시뮬레이션된 잔향과 조합하는 단계를 포함한다.
조항 45는 조항 36 내지 조항 44 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 백그라운드 잡음을 억제하는 단계를 포함한다.
조항 46은 조항 36 내지 조항 45 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는, 오디오 데이터에, 사운드 소스와 연관된 방향성 정보를 추가하는 단계를 포함한다.
조항 47은 조항 36 내지 조항 45 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는, 오디오 데이터로부터, 사운드 소스와 연관된 방향성 정보를 제거하는 단계를 포함한다.
조항 48은 조항 36 내지 조항 45 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는 사운드 소스와 연관된 방향성 정보를 표시하는 오디오 데이터의 일부분을 수정하는 단계를 포함한다.
조항 49는 조항 36 내지 조항 48 중 어느 한 조항의 방법을 포함하고, 2개 이상의 오디오 환경들 중 제2 오디오 환경 내에서의 사용자의 이동을 표시하는 모션 데이터를 획득하는 단계를 추가로 포함하고, 오디오 데이터는 모션 데이터에 기초하여 수정된다.
조항 50은 조항 49의 방법을 포함하고, 모션 데이터는 사용자의 시선 방향의 변화에 기초한다.
조항 51은 조항 36 내지 조항 50 중 어느 한 조항의 방법을 포함하고, 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터에 기초하여 상호 오디오 환경을 수정하는 단계를 추가로 포함한다.
조항 52는 조항 51의 방법을 포함하고, 상호 오디오 환경을 수정하는 단계는 상호 오디오 환경의 하나 이상의 사운드 소스들에 대해 상호 오디오 환경의 경계들을 시프트하는 단계를 포함한다.
조항 53은 조항 51의 방법을 포함하고, 상호 오디오 환경을 수정하는 단계는 상호 오디오 환경의 기하구조의 형상을 변화시키는 단계를 포함한다.
조항 54는 조항 51의 방법을 포함하고, 상호 오디오 환경을 수정하는 단계는 상호 오디오 환경의 크기를 변화시키는 단계를 포함한다.
조항 55는 조항 36 내지 조항 54 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는 오디오 데이터로부터 하나 이상의 오디오 컴포넌트들을 제거하는 단계를 포함한다.
조항 56은 조항 36 내지 조항 54 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는 오디오 데이터에 하나 이상의 오디오 컴포넌트들을 추가하는 단계를 포함한다.
조항 57은 조항 36 내지 조항 54 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는 오디오 데이터의 하나 이상의 오디오 컴포넌트들을 수정하는 단계를 포함한다.
조항 58은 조항 36 내지 조항 54 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는, 오디오 데이터에서, 특정 사운드 소스와 연관된 하나 이상의 오디오 컴포넌트들을 향상시키는 단계를 포함한다.
조항 59는 조항 36 내지 조항 58 중 어느 한 조항의 방법을 포함하고, 오디오 데이터를 프로세싱하는 단계는 오디오 데이터의 하나 이상의 오디오 컴포넌트들과 연관된 주파수 범위를 변화시키는 단계를 포함한다.
조항 60은 조항 36 내지 조항 59 중 어느 한 조항의 방법을 포함하고, 상호 오디오 환경 내에서의 사운드 소스에 대한 사용자의 배향을 결정하는 단계를 추가로 포함하고, 오디오 데이터는 배향에 기초하여 프로세싱된다.
조항 61은 조항 61의 방법을 포함하고, 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하는 단계 및 모션 데이터에 기초하여 상호 오디오 환경을 수정하여 배향을 유지하는 단계를 추가로 포함한다.
조항 62는 조항 61의 방법을 포함하고, 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하는 단계 및 모션 데이터에 기초하여 배향을 수정하는 단계를 추가로 포함한다.
조항 63은 조항 36 내지 조항 62 중 어느 한 조항의 방법을 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는 2개 이상의 오디오 환경들 각각에 대한 기하구조 데이터를 포함한다.
조항 64는 조항 63의 방법을 포함하고, 2개 이상의 오디오 환경들 중 특정 오디오 환경과 연관된 기하구조 데이터는 특정 오디오 환경의 무선 범위 측정에 기초하여 결정된다.
조항 65는 조항 36 내지 조항 64 중 어느 한 조항의 방법을 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는 2개 이상의 오디오 환경들 각각에 대한 잔향 특성들을 포함한다.
조항 66은 조항 36 내지 조항 65 중 어느 한 조항의 방법을 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는, 2개 이상의 오디오 환경들 중 특정 오디오 환경에 대해, 사운드 소스의 특정 오디오 환경 내의 위치의 표시를 포함한다.
조항 67은 조항 36 내지 조항 66 중 어느 한 조항의 방법을 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는, 2개 이상의 오디오 환경들 중 특정 오디오 환경에 대해, 사용자의 특정 오디오 환경 내의 위치의 표시를 포함한다.
조항 68은 조항 36 내지 조항 67 중 어느 한 조항의 방법을 포함하고, 오디오 데이터는 가상 현실 객체, 증강 현실 객체, 혼합 현실 객체, 또는 확장 현실 객체의 상호 오디오 환경 내에서의 위치에 추가로 기초하여 프로세싱된다.
조항 69는 조항 36 내지 조항 68 중 어느 한 조항의 방법을 포함하고, 상호 오디오 환경의 기하구조를 결정하는 단계는 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여 상호 좌표계를 결정하는 단계를 포함하고, 방법은 상호 좌표계 내의 제1 포지션을 제1 오디오 환경의 제1 사운드 소스와 연관시키는 단계 및 상호 좌표계 내의 제2 포지션을 2개 이상의 오디오 환경들 중 제2 오디오 환경의 제2 사운드 소스와 연관시키는 단계를 추가로 포함한다.
조항 70은 조항 36 내지 조항 69 중 어느 한 조항의 방법을 포함하고, 상호 오디오 환경의 기하구조를 결정하는 단계는 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여 상호 좌표계를 결정하는 단계를 포함하고, 방법은 2개 이상의 오디오 환경들 중 특정 오디오 환경에서 사용자의 시선 방향을 상호 좌표계에 맵핑하는 단계, 및 시선 방향에 기초하여, 상호 오디오 환경의 시각적 렌더링을 생성하는 단계를 추가로 포함한다.
조항 71은 명령들을 저장하는 비일시적 컴퓨터 판독가능 매체를 포함하고, 명령들은, 프로세서에 의해 실행될 때, 프로세서로 하여금, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하게 하고; 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위한 오디오 데이터를 프로세싱하게 한다.
조항 72는 조항 71의 비일시적 컴퓨터 판독가능 매체를 포함하고, 명령들은, 프로세서에 의해 실행될 때, 추가로, 프로세서로 하여금, 2개 이상의 오디오 환경들 중 제2 오디오 환경에 배치된 제2 오디오 디바이스로부터 오디오 데이터를 획득하게 한다.
조항 73은 조항 71 또는 조항 72의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터는 둘 이상의 사용자들 사이의 통화의 오디오를 표현하고, 제1 오디오 환경은 둘 이상의 사용자들 중 적어도 하나의 사용자가 위치되는 룸을 포함한다.
조항 74는 조항 71 내지 조항 73 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들 중 하나의 오디오 환경에 대응한다.
조항 75는 조항 71 내지 조항 74 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들의 교차를 표현하는 볼륨에 대응한다.
조항 76은 조항 71 내지 조항 74 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들 각각과는 벌개인 가상 공간에 대응한다.
조항 77은 조항 71 내지 조항 74 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상호 오디오 환경은 상호 오디오 환경의 기하구조에 기초한 잔향 특성들을 갖는 가상 룸에 대응한다.
조항 78은 조항 71 내지 조항 77 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터를 필터링하여 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 잔향을 감소시키는 것을 포함한다.
조항 79는 조항 71 내지 조항 78 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터를 상호 오디오 환경과 연관된 시뮬레이션된 잔향과 조합하는 것을 포함한다.
조항 80은 조항 71 내지 조항 79 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 백그라운드 잡음을 억제하는 것을 포함한다.
조항 81은 조항 71 내지 조항 80 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은, 오디오 데이터에, 사운드 소스와 연관된 방향성 정보를 추가하는 것을 포함한다.
조항 82는 조항 71 내지 조항 80 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은, 오디오 데이터로부터, 사운드 소스와 연관된 방향성 정보를 제거하는 것을 포함한다.
조항 83은 조항 71 내지 조항 80 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은 사운드 소스와 연관된 방향성 정보를 표시하는 오디오 데이터의 일부분을 수정하는 것을 포함한다.
조항 84는 조항 71 내지 조항 83 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 명령들은, 프로세서에 의해 실행될 때, 추가로, 프로세서로 하여금, 2개 이상의 오디오 환경들 중 제2 오디오 환경 내에서의 사용자의 이동을 표시하는 모션 데이터를 획득하게 하고, 오디오 데이터는 모션 데이터에 기초하여 수정된다.
조항 85는 조항 84의 비일시적 컴퓨터 판독가능 매체를 포함하고, 모션 데이터는 사용자의 시선 방향의 변화에 기초한다.
조항 86은 조항 71 내지 조항 85 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 명령들은, 프로세서에 의해 실행될 때, 추가로, 프로세서로 하여금, 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터에 기초하여 상호 오디오 환경을 수정하게 한다.
조항 87은 조항 86의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상호 오디오 환경을 수정하는 것은 상호 오디오 환경의 하나 이상의 사운드 소스들에 대해 상호 오디오 환경의 경계들을 시프트하는 것을 포함한다.
조항 88은 조항 86의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상호 오디오 환경을 수정하는 것은 상호 오디오 환경의 기하구조의 형상을 변화시키는 것을 포함한다.
조항 89는 조항 86의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상호 오디오 환경을 수정하는 것은 상호 오디오 환경의 크기를 변화시키는 것을 포함한다.
조항 90은 조항 71 내지 조항 89 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터로부터 하나 이상의 오디오 컴포넌트들을 제거하는 것을 포함한다.
조항 91은 조항 71 내지 조항 89 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터에 하나 이상의 오디오 컴포넌트들을 추가하는 것을 포함한다.
조항 92는 조항 71 내지 조항 89 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터의 하나 이상의 오디오 컴포넌트들을 수정하는 것을 포함한다.
조항 93은 조항 71 내지 조항 89 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은, 오디오 데이터에서, 특정 사운드 소스와 연관된 하나 이상의 오디오 컴포넌트들을 향상시키는 것을 포함한다.
조항 94는 조항 71 내지 조항 93 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터의 하나 이상의 오디오 컴포넌트들과 연관된 주파수 범위를 변화시키는 것을 포함한다.
조항 95는 조항 71 내지 조항 94 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 명령들은, 프로세서에 의해 실행될 때, 추가로, 프로세서로 하여금, 상호 오디오 환경 내에서의 사운드 소스에 대한 사용자의 배향을 결정하게 하고, 오디오 데이터는 배향에 기초하여 프로세싱된다.
조항 96은 조항 95의 비일시적 컴퓨터 판독가능 매체를 포함하고, 명령들은, 프로세서에 의해 실행될 때, 추가로, 프로세서로 하여금, 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하게 하고, 모션 데이터에 기초하여 상호 오디오 환경을 수정하여 배향을 유지하게 한다.
조항 97은 조항 95의 비일시적 컴퓨터 판독가능 매체를 포함하고, 명령들은, 프로세서에 의해 실행될 때, 추가로, 프로세서로 하여금, 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하게 하고, 모션 데이터에 기초하여 배향을 수정하게 한다.
조항 98은 조항 71 내지 조항 97 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는 2개 이상의 오디오 환경들 각각에 대한 기하구조 데이터를 포함한다.
조항 99는 조항 98의 비일시적 컴퓨터 판독가능 매체를 포함하고, 2개 이상의 오디오 환경들 중 특정 오디오 환경과 연관된 기하구조 데이터는 특정 오디오 환경의 무선 범위 측정에 기초하여 결정된다.
조항 100은 조항 71 내지 조항 99 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는 2개 이상의 오디오 환경들 각각에 대한 잔향 특성 데이터를 포함한다.
조항 101은 조항 71 내지 조항 100 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는, 2개 이상의 오디오 환경들 중 특정 오디오 환경에 대해, 사운드 소스의 특정 오디오 환경 내의 위치의 표시를 포함한다.
조항 102는 조항 71 내지 조항 101 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는, 2개 이상의 오디오 환경들 중 특정 오디오 환경에 대해, 사용자의 특정 오디오 환경 내의 위치의 표시를 포함한다.
조항 103은 조항 71 내지 조항 102 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 오디오 데이터는 가상 현실 객체, 증강 현실 객체, 혼합 현실 객체, 또는 확장 현실 객체의 상호 오디오 환경 내에서의 위치에 추가로 기초하여 프로세싱된다.
조항 104는 조항 71 내지 조항 103 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상호 오디오 환경의 기하구조를 결정하는 것은 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여 상호 좌표계를 결정하는 것을 포함하고, 비일시적 컴퓨터 판독가능 매체는 상호 좌표계 내의 제1 포지션을 제1 오디오 환경의 제1 사운드 소스와 연관시키는 것 및 상호 좌표계 내의 제2 포지션을 2개 이상의 오디오 환경들 중 제2 오디오 환경의 제2 사운드 소스와 연관시키는 것을 추가로 포함한다.
조항 105는 조항 71 내지 조항 104 중 어느 한 조항의 비일시적 컴퓨터 판독가능 매체를 포함하고, 상호 오디오 환경의 기하구조를 결정하는 것은 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여 상호 좌표계를 결정하는 것을 포함하고, 비일시적 컴퓨터 판독가능 매체는 2개 이상의 오디오 환경들 중 특정 오디오 환경에서 사용자의 시선 방향을 상호 좌표계에 맵핑하는 것, 및 시선 방향에 기초하여, 상호 오디오 환경의 시각적 렌더링을 생성하는 것을 추가로 포함한다.
조항 105는, 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하기 위한 수단; 및 상호 오디오 환경의 기하구조에 기초하여, 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위한 오디오 데이터를 프로세싱하기 위한 수단을 포함하는 디바이스를 포함한다.
조항 106은 조항 105의 디바이스를 포함하고, 이는 2개 이상의 오디오 환경들 중 제2 오디오 환경에 배치된 제2 오디오 디바이스로부터 오디오 데이터를 획득하기 위한 수단을 추가로 포함한다.
조항 107은 조항 105 또는 조항 106의 디바이스를 포함하고, 오디오 데이터는 둘 이상의 사용자들 사이의 통화의 오디오를 표현하고, 제1 오디오 환경은 둘 이상의 사용자들 중 적어도 하나의 사용자가 위치되는 룸을 포함한다.
조항 108은 조항 105 내지 조항 107 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들 중 하나의 오디오 환경에 대응한다.
조항 109는 조항 105 내지 조항 108 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들의 교차를 표현하는 볼륨에 대응한다.
조항 110은 조항 105 내지 조항 108 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경은 2개 이상의 오디오 환경들 각각과는 별개인 가상 공간에 대응한다.
조항 111은 조항 105 내지 조항 108 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경은 상호 오디오 환경의 기하구조에 기초한 잔향 특성들을 갖는 가상 룸에 대응한다.
조항 112는 조항 105 내지 조항 111 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터를 필터링하여 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 잔향을 감소시키는 것을 포함한다.
조항 113은 조항 105 내지 조항 112 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터를 상호 오디오 환경과 연관된 시뮬레이션된 잔향과 조합하는 것을 포함한다.
조항 114는 조항 105 내지 조항 113 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 백그라운드 잡음을 억제하는 것을 포함한다.
조항 115는 조항 105 내지 조항 114 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은, 오디오 데이터에, 사운드 소스와 연관된 방향성 정보를 추가하는 것을 포함한다.
조항 116은 조항 105 내지 조항 114 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은, 오디오 데이터로부터, 사운드 소스와 연관된 방향성 정보를 제거하는 것을 포함한다.
조항 117은 조항 105 내지 조항 114 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 사운드 소스와 연관된 방향성 정보를 표시하는 오디오 데이터의 일부분을 수정하는 것을 포함한다.
조항 118은 조항 105 내지 조항 117 중 어느 한 조항의 디바이스를 포함하고, 이는 2개 이상의 오디오 환경들 중 제2 오디오 환경 내에서의 사용자의 이동을 표시하는 모션 데이터를 획득하기 위한 수단을 추가로 포함하고, 오디오 데이터는 모션 데이터에 기초하여 수정된다.
조항 119는 조항 118의 디바이스를 포함하고, 모션 데이터는 사용자의 시선 방향의 변화에 기초한다.
조항 120은 조항 105 내지 조항 119 중 어느 한 조항의 디바이스를 포함하고, 이는 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터에 기초하여 상호 오디오 환경을 수정하는 수단을 추가로 포함한다.
조항 121은 조항 120의 디바이스를 포함하고, 상호 오디오 환경을 수정하는 것은 상호 오디오 환경의 하나 이상의 사운드 소스들에 대해 상호 오디오 환경의 경계들을 시프트하는 것을 포함한다.
조항 122는 조항 120의 디바이스를 포함하고, 상호 오디오 환경을 수정하는 것은 상호 오디오 환경의 기하구조의 형상을 변화시키는 것을 포함한다.
조항 123은 조항 120의 디바이스를 포함하고, 상호 오디오 환경을 수정하는 것은 상호 오디오 환경의 크기를 변화시키는 것을 포함한다.
조항 124는 조항 105 내지 조항 123 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터로부터 하나 이상의 오디오 컴포넌트들을 제거하는 것을 포함한다.
조항 125는 조항 105 내지 조항 123 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터에 하나 이상의 오디오 컴포넌트들을 추가하는 것을 포함한다.
조항 126은 조항 105 내지 조항 123 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터의 하나 이상의 오디오 컴포넌트들을 수정하는 것을 포함한다.
조항 127은 조항 105 내지 조항 123 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은, 오디오 데이터에서, 특정 사운드 소스와 연관된 하나 이상의 오디오 컴포넌트들을 향상시키는 것을 포함한다.
조항 128은 조항 105 내지 조항 127 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터를 프로세싱하는 것은 오디오 데이터의 하나 이상의 오디오 컴포넌트들과 연관된 주파수 범위를 변화시키는 것을 포함한다.
조항 129는 조항 105 내지 조항 128 중 어느 한 조항의 디바이스를 포함하고, 이는 상호 오디오 환경 내에서의 사운드 소스에 대한 사용자의 배향을 결정하기 위한 수단을 추가로 포함하고, 오디오 데이터는 배향에 기초하여 프로세싱된다.
조항 130은 조항 129의 디바이스를 포함하고, 이는 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하기 위한 수단 및 모션 데이터에 기초하여 상호 오디오 환경을 수정하여 배향을 유지하기 위한 수단을 추가로 포함한다.
조항 131은 조항 130의 디바이스를 포함하고, 이는 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하기 위한 수단 및 모션 데이터에 기초하여 배향을 수정하기 위한 수단을 추가로 포함한다.
조항 132는 조항 105 내지 조항 131 중 어느 한 조항의 디바이스를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는 2개 이상의 오디오 환경들 각각에 대한 기하구조 데이터를 포함한다.
조항 133은 조항 132의 디바이스를 포함하고, 2개 이상의 오디오 환경들 중 특정 오디오 환경과 연관된 기하구조 데이터는 특정 오디오 환경의 무선 범위 측정에 기초하여 결정된다.
조항 134는 조항 105 내지 조항 133 중 어느 한 조항의 디바이스를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는 2개 이상의 오디오 환경들 각각에 대한 잔향 특성들을 포함한다.
조항 135는 조항 105 내지 조항 134 중 어느 한 조항의 디바이스를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는, 2개 이상의 오디오 환경들 중 특정 오디오 환경에 대해, 사운드 소스의 특정 오디오 환경 내의 위치의 표시를 포함한다.
조항 136은 조항 105 내지 조항 135 중 어느 한 조항의 디바이스를 포함하고, 2개 이상의 오디오 환경들을 설명하는 데이터는, 2개 이상의 오디오 환경들 중 특정 오디오 환경에 대해, 사용자의 특정 오디오 환경 내의 위치의 표시를 포함한다.
조항 137은 조항 105 내지 조항 136 중 어느 한 조항의 디바이스를 포함하고, 오디오 데이터는 가상 현실 객체, 증강 현실 객체, 혼합 현실 객체, 또는 확장 현실 객체의 상호 오디오 환경 내에서의 위치에 추가로 기초하여 프로세싱된다.
조항 138은 조항 105 내지 조항 137 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경의 기하구조를 결정하는 것은 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여 상호 좌표계를 결정하는 것을 포함하고, 디바이스는 상호 좌표계 내의 제1 포지션을 제1 오디오 환경의 제1 사운드 소스와 연관시키고 상호 좌표계 내의 제2 포지션을 2개 이상의 오디오 환경들 중 제2 오디오 환경의 제2 사운드 소스와 연관시키기 위한 수단을 추가로 포함한다.
조항 139는 조항 105 내지 조항 139 중 어느 한 조항의 디바이스를 포함하고, 상호 오디오 환경의 기하구조를 결정하는 것은 2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여 상호 좌표계를 결정하는 것을 포함하고, 디바이스는 2개 이상의 오디오 환경들 중 특정 오디오 환경에서 사용자의 시선 방향을 상호 좌표계에 맵핑하고 시선 방향에 기초하여, 상호 오디오 환경의 시각적 렌더링을 생성하기 위한 수단을 추가로 포함한다.
조항 140은 조항 1 내지 조항 35 중 어느 한 조항의 디바이스를 포함하고, 이는 하나 이상의 프로세서들에 커플링되고 프로세싱된 오디오 데이터를 오디오 디바이스로 전송하도록 구성된 모뎀을 추가로 포함한다.

Claims (30)

  1. 디바이스로서,
    명령들을 저장한 메모리; 및
    상기 메모리에 커플링된 하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은,
    2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하고; 그리고
    상기 상호 오디오 환경의 상기 기하구조에 기초하여, 상기 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하기 위해 상기 명령들을 실행하도록 구성되는, 디바이스.
  2. 제1항에 있어서, 상기 하나 이상의 프로세서들은 상기 2개 이상의 오디오 환경들 중 제2 오디오 환경에 배치된 제2 오디오 디바이스로부터 상기 오디오 데이터를 획득하기 위해 상기 명령들을 실행하도록 추가로 구성되는, 디바이스.
  3. 제1항에 있어서, 상기 오디오 데이터는 둘 이상의 사용자들 사이의 통화의 오디오를 표현하고, 상기 제1 오디오 환경은 상기 둘 이상의 사용자들 중 적어도 하나의 사용자가 위치되는 룸을 포함하는, 디바이스.
  4. 제1항에 있어서, 상기 상호 오디오 환경은 상기 2개 이상의 오디오 환경들 중 하나의 오디오 환경, 상기 2개 이상의 오디오 환경들의 교차를 표현하는 볼륨, 상기 2개 이상의 오디오 환경들 각각과는 별개인 가상 공간, 또는 상기 상호 오디오 환경의 상기 기하구조에 기초한 잔향(reverberation) 특성들을 갖는 가상 룸 중 하나에 대응하는, 디바이스.
  5. 제1항에 있어서, 상기 오디오 데이터를 프로세싱하는 것은 상기 오디오 데이터를 필터링하여 상기 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 잔향을 감소시키는 것을 포함하는, 디바이스.
  6. 제1항에 있어서, 상기 오디오 데이터를 프로세싱하는 것은 상기 오디오 데이터를 상기 상호 오디오 환경과 연관된 시뮬레이션된 잔향과 조합하는 것; 상기 2개 이상의 오디오 환경들 중 제2 오디오 환경과 연관된 백그라운드 잡음을 억제하는 것; 상기 오디오 데이터에, 사운드 소스와 연관된 방향성 정보를 추가하는 것; 상기 오디오 데이터로부터, 사운드 소스와 연관된 방향성 정보를 제거하는 것; 또는 사운드 소스와 연관된 방향성 정보를 표시하는 상기 오디오 데이터의 일부분을 수정하는 것을 포함하는, 디바이스.
  7. 제1항에 있어서, 상기 하나 이상의 프로세서들은 상기 2개 이상의 오디오 환경들 중 제2 오디오 환경 내에서의 사용자의 이동을 표시하는 모션 데이터를 획득하기 위해 상기 명령들을 실행하도록 추가로 구성되고, 상기 오디오 데이터는 상기 모션 데이터에 기초하여 수정되는, 디바이스.
  8. 제7항에 있어서, 상기 모션 데이터는 상기 사용자의 시선 방향의 변화에 기초하는, 디바이스.
  9. 제7항에 있어서, 모션 데이터를 획득하기 위한 상기 명령들은 쌍상태(bistatic) 라디오 주파수(radio frequency, "RF") 감지 동작을 통해 모션 데이터를 획득하기 위한 명령들을 포함하는, 디바이스.
  10. 제7항에 있어서, 모션 데이터를 획득하기 위한 상기 명령들은 단상태(monostatic) 라디오 주파수("RF") 감지 동작을 통해 모션 데이터를 획득하기 위한 명령들을 포함하는, 디바이스.
  11. 제1항에 있어서, 상기 하나 이상의 프로세서들은 상기 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터에 기초하여 상기 상호 오디오 환경을 수정하기 위해 상기 명령들을 실행하도록 추가로 구성되는, 디바이스.
  12. 제11항에 있어서, 상기 상호 오디오 환경을 수정하는 것은 상기 상호 오디오 환경의 하나 이상의 사운드 소스들에 대해 상기 상호 오디오 환경의 경계들을 시프트하는 것, 상기 상호 오디오 환경의 상기 기하구조의 형상을 변화시키는 것, 또는 상기 상호 오디오 환경의 크기를 변화시키는 것을 포함하는, 디바이스.
  13. 제1항에 있어서, 상기 오디오 데이터를 프로세싱하는 것은 상기 오디오 데이터로부터 하나 이상의 오디오 컴포넌트들을 제거하는 것, 하나 이상의 오디오 컴포넌트들을 상기 오디오 데이터에 추가하는 것, 또는 상기 오디오 데이터의 하나 이상의 오디오 컴포넌트들을 수정하는 것을 포함하는, 디바이스.
  14. 제1항에 있어서, 상기 오디오 데이터를 프로세싱하는 것은, 상기 오디오 데이터에서, 특정 사운드 소스와 연관된 하나 이상의 오디오 컴포넌트들을 향상시키는 것을 포함하는, 디바이스.
  15. 제1항에 있어서, 상기 오디오 데이터를 프로세싱하는 것은 상기 오디오 데이터의 하나 이상의 오디오 컴포넌트들과 연관된 주파수 범위를 변화시키는 것을 포함하는, 디바이스.
  16. 제1항에 있어서, 상기 하나 이상의 프로세서들은 상기 상호 오디오 환경 내에서의 사운드 소스에 대한 사용자의 배향을 결정하기 위해 상기 명령들을 실행하도록 추가로 구성되고, 상기 오디오 데이터는 상기 배향에 기초하여 프로세싱되는, 디바이스.
  17. 제16항에 있어서, 상기 하나 이상의 프로세서들은 상기 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하기 위해 그리고 상기 모션 데이터에 기초하여 상기 상호 오디오 환경을 수정하여 상기 배향을 유지하기 위해 상기 명령들을 실행하도록 추가로 구성되는, 디바이스.
  18. 제16항에 있어서, 상기 하나 이상의 프로세서들은 상기 2개 이상의 오디오 환경들 중 적어도 하나의 오디오 환경과 연관된 모션 데이터를 획득하기 위해 그리고 상기 모션 데이터에 기초하여 상기 배향을 수정하기 위해 상기 명령들을 실행하도록 추가로 구성되는, 디바이스.
  19. 제1항에 있어서, 상기 2개 이상의 오디오 환경들을 설명하는 상기 데이터는 상기 2개 이상의 오디오 환경들 각각에 대한 기하구조 데이터를 포함하는, 디바이스.
  20. 제19항에 있어서, 상기 2개 이상의 오디오 환경들 중 특정 오디오 환경과 연관된 상기 기하구조 데이터는 상기 특정 오디오 환경의 무선 범위 측정에 기초하여 결정되는, 디바이스.
  21. 제1항에 있어서, 상기 2개 이상의 오디오 환경들을 설명하는 상기 데이터는 상기 2개 이상의 오디오 환경들 각각에 대한 잔향 특성 데이터를 포함하는, 디바이스.
  22. 제1항에 있어서, 상기 2개 이상의 오디오 환경들을 설명하는 상기 데이터는, 상기 2개 이상의 오디오 환경들 중 특정 오디오 환경에 대해, 사운드 소스의 상기 특정 오디오 환경 내의 위치의 표시를 포함하는, 디바이스.
  23. 제1항에 있어서, 상기 하나 이상의 프로세서들에 커플링되고, 프로세싱된 상기 오디오 데이터를 상기 오디오 디바이스로 전송하도록 구성된 모뎀을 추가로 포함하는 디바이스.
  24. 제1항에 있어서, 오디오 데이터는 가상 현실 객체, 증강 현실 객체, 혼합 현실 객체, 또는 확장 현실 객체의 상기 상호 오디오 환경 내에서의 위치에 추가로 기초하여 프로세싱되는, 디바이스.
  25. 제1항에 있어서, 상기 상호 오디오 환경의 상기 기하구조를 결정하는 것은 상기 2개 이상의 오디오 환경들을 설명하는 상기 데이터에 기초하여 상호 좌표계를 결정하는 것을 포함하고, 상기 명령들은, 상기 하나 이상의 프로세서들로 하여금, 상기 상호 좌표계 내의 제1 포지션을 상기 제1 오디오 환경의 제1 사운드 소스와 연관시키게 하고 상기 상호 좌표계 내의 제2 포지션을 상기 2개 이상의 오디오 환경들 중 제2 오디오 환경의 제2 사운드 소스와 연관시키게 하도록 추가로 구성되는, 디바이스.
  26. 제1항에 있어서, 상기 상호 오디오 환경의 상기 기하구조를 결정하는 것은 상기 2개 이상의 오디오 환경들을 설명하는 상기 데이터에 기초하여 상호 좌표계를 결정하는 것을 포함하고, 상기 명령들은 상기 2개 이상의 오디오 환경들 중 특정 오디오 환경에서 사용자의 시선 방향을 상기 상호 좌표계에 맵핑하도록, 그리고 상기 시선 방향에 기초하여, 상기 상호 오디오 환경의 시각적 렌더링을 생성하도록 추가로 구성되는, 디바이스.
  27. 방법으로서,
    2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하는 단계; 및
    상기 상호 오디오 환경의 상기 기하구조에 기초하여, 상기 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하는 단계를 포함하는, 방법.
  28. 제27항에 있어서, 상기 2개 이상의 오디오 환경들 중 제2 오디오 환경 내에서의 사용자의 이동을 표시하는 모션 데이터를 획득하는 단계를 추가로 포함하고, 상기 오디오 데이터는 상기 모션 데이터에 기초하여 수정되는, 방법.
  29. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하게 하고;
    상기 상호 오디오 환경의 상기 기하구조에 기초하여, 상기 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  30. 디바이스로서,
    2개 이상의 오디오 환경들을 설명하는 데이터에 기초하여, 상호 오디오 환경의 기하구조를 결정하기 위한 수단; 및
    상기 상호 오디오 환경의 상기 기하구조에 기초하여, 상기 2개 이상의 오디오 환경들 중 제1 오디오 환경에 배치된 오디오 디바이스에서의 출력을 위해 오디오 데이터를 프로세싱하기 위한 수단을 포함하는, 디바이스.
KR1020247005932A 2021-08-31 2022-08-31 통신을 위한 증강 오디오 KR20240033277A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/446,498 2021-08-31
US17/446,498 US11805380B2 (en) 2021-08-31 2021-08-31 Augmented audio for communications
PCT/US2022/075724 WO2023034843A1 (en) 2021-08-31 2022-08-31 Augmented audio for communications

Publications (1)

Publication Number Publication Date
KR20240033277A true KR20240033277A (ko) 2024-03-12

Family

ID=83457493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020247005932A KR20240033277A (ko) 2021-08-31 2022-08-31 통신을 위한 증강 오디오

Country Status (5)

Country Link
US (1) US11805380B2 (ko)
KR (1) KR20240033277A (ko)
CN (1) CN117897970A (ko)
TW (1) TW202318185A (ko)
WO (1) WO2023034843A1 (ko)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2349055B (en) * 1999-04-16 2004-03-24 Mitel Corp Virtual meeting rooms with spatial audio
US20140100839A1 (en) * 2012-09-13 2014-04-10 David Joseph Arendash Method for controlling properties of simulated environments
US10827292B2 (en) * 2013-03-15 2020-11-03 Jawb Acquisition Llc Spatial audio aggregation for multiple sources of spatial audio
US20160080874A1 (en) * 2014-09-16 2016-03-17 Scott Fullam Gaze-based audio direction
US9922463B2 (en) * 2015-08-07 2018-03-20 Microsoft Technology Licensing, Llc Virtually visualizing energy
EP3313101B1 (en) * 2016-10-21 2020-07-22 Nokia Technologies Oy Distributed spatial audio mixing
US10251011B2 (en) 2017-04-24 2019-04-02 Intel Corporation Augmented reality virtual reality ray tracing sensory enhancement system, apparatus and method
US11170139B1 (en) * 2017-05-31 2021-11-09 Apple Inc. Real-time acoustical ray tracing
AU2018353008B2 (en) 2017-10-17 2023-04-20 Magic Leap, Inc. Mixed reality spatial audio
US11240623B2 (en) * 2018-08-08 2022-02-01 Qualcomm Incorporated Rendering audio data from independently controlled audio zones
EP3918813A4 (en) * 2019-01-29 2022-10-26 Nureva Inc. METHOD, APPARATUS AND COMPUTER-READABLE MEDIUM FOR CREATING AUDIO FOCUS AREAS DISSOCIATED FROM THE MICROPHONE SYSTEM FOR OPTIMIZING AUDIO EDITING AT PRECISE SPATIAL LOCATIONS IN A 3D SPACE
CN116828383A (zh) 2019-05-15 2023-09-29 苹果公司 音频处理
EP3966662B1 (en) 2019-07-26 2024-01-10 Google LLC Reducing a state based on imu and radar
US10932081B1 (en) * 2019-08-22 2021-02-23 Microsoft Technology Licensing, Llc Bidirectional propagation of sound
JP2023520019A (ja) * 2020-04-03 2023-05-15 ドルビー・インターナショナル・アーベー グリッド経路発見に基づく回折モデリング

Also Published As

Publication number Publication date
WO2023034843A1 (en) 2023-03-09
CN117897970A (zh) 2024-04-16
US11805380B2 (en) 2023-10-31
US20230060774A1 (en) 2023-03-02
TW202318185A (zh) 2023-05-01

Similar Documents

Publication Publication Date Title
US20180376273A1 (en) System and method for determining audio context in augmented-reality applications
US10075791B2 (en) Networked speaker system with LED-based wireless communication and room mapping
US20220225053A1 (en) Audio Distance Estimation for Spatial Audio Processing
CN108370471A (zh) 分布式音频捕获和混合
CN110677802B (zh) 用于处理音频的方法和装置
US11047965B2 (en) Portable communication device with user-initiated polling of positional information of nodes in a group
EP3262853A1 (en) Computer program and method of determining a personalized head-related transfer function and interaural time difference function
US20160309258A1 (en) Speaker location determining system
US11641561B2 (en) Sharing locations where binaural sound externally localizes
Ayllón et al. Indoor blind localization of smartphones by means of sensor data fusion
CN110072177B (zh) 空间划分信息获取方法、装置及存储介质
EP3550860A1 (en) Rendering of spatial audio content
WO2021255095A1 (en) A sound output unit and a method of operating it
CN114255781A (zh) 一种多通道音频信号获取方法、装置及系统
KR20240033277A (ko) 통신을 위한 증강 오디오
CN114220454A (zh) 一种音频降噪方法、介质和电子设备
JP2017143459A (ja) 伝搬遅延特性の測定方法および装置
Smeding et al. Smartphone Audio Acquisition and Synchronization Using an Acoustic Beacon
US20190289394A1 (en) Method for adjusting listener location and head orientation within a physical or virtual space
EP4078991A1 (en) Wireless microphone with local storage
WO2023086303A1 (en) Rendering based on loudspeaker orientation
Hill et al. Live event performer tracking for digital console automation using industry-standard wireless microphone systems

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination