KR102673934B1 - 데이터 교환을 통한 공간 오디오 모노럴화 - Google Patents

데이터 교환을 통한 공간 오디오 모노럴화 Download PDF

Info

Publication number
KR102673934B1
KR102673934B1 KR1020237039892A KR20237039892A KR102673934B1 KR 102673934 B1 KR102673934 B1 KR 102673934B1 KR 1020237039892 A KR1020237039892 A KR 1020237039892A KR 20237039892 A KR20237039892 A KR 20237039892A KR 102673934 B1 KR102673934 B1 KR 102673934B1
Authority
KR
South Korea
Prior art keywords
data
audio output
audio
output device
exchange
Prior art date
Application number
KR1020237039892A
Other languages
English (en)
Other versions
KR20230164211A (ko
Inventor
안드레 스체비우
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20230164211A publication Critical patent/KR20230164211A/ko
Application granted granted Critical
Publication of KR102673934B1 publication Critical patent/KR102673934B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03—Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Stereophonic System (AREA)

Abstract

디바이스는 명령들을 저장하도록 구성된 메모리 및 제 1 오디오 출력 디바이스에서 공간 오디오 데이터를 획득하기 위해 명령들을 실행하도록 구성된 하나 이상의 프로세서들을 포함한다. 하나 이상의 프로세서들은 추가로, 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하도록 구성된다. 하나 이상의 프로세서들은 또한, 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하도록 구성된다.

Description

데이터 교환을 통한 공간 오디오 모노럴화
I. 관련 출원에 대한 상호 참조
본 출원은 2021 년 5 월 27 일 출원된 공동 소유된 미국 정규 특허출원 제 17/332,798 호로부터의 우선권의 이익을 주장하며, 이 출원의 내용들은 그 전부가 본 명세서에 참조로 통합된다.
II. 분야
본 개시는 일반적으로 공간 오디오 데이터에 기초하여 모노럴 오디오 출력의 생성을 용이하게 하기 위해 데이터 교환을 사용하는 것에 관한 것이다.
기술의 발전은 더 작고 더 강력한 컴퓨팅 디바이스들을 유발하였다. 예를 들어, 모바일 및 스마트 폰들과 같은 무선 전화기들, 태블릿들 및 랩톱 컴퓨터들을 포함하는 다양한 휴대용 개인용 컴퓨팅 디바이스들이 현재 존재하고, 이들은 작고, 경량이며, 사용자들에 의해 용이하게 휴대된다. 이러한 디바이스들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 또한, 많은 이러한 디바이스들은 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 플레이어와 같은 부가적인 기능성을 통합한다. 또한, 이러한 디바이스들은 인터넷에 액세스하는데 사용될 수 있는, 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션들을 포함하는 실행가능한 명령들을 프로세싱할 수 있다. 이와 같이, 이들 디바이스들은 상당한 컴퓨팅 능력들을 포함할 수 있다.
이러한 디바이스들의 급증은 미디어 소비에서 변화를 촉진시켰다. 예를 들어, 핸드헬드 또는 휴대용 전자 게임 시스템이 전자 게임을 플레이하기 위해 한 사람에 의해 사용되는 개인용 전자 게이밍이 증가했다. 다른 예로서, 핸드헬드 또는 휴대용 미디어 플레이어가 미디어 (예를 들어, 오디오, 비디오, 증강 현실 미디어, 가상 현실 미디어 등) 를 한 사람에게 출력하는 개인용 미디어 소비가 증가했다. 이러한 개인화된 또는 개별화된 미디어 소비는 종종 출력을 생성하기 위한 상대적으로 작은 휴대용 (예를 들어, 배터리-전력공급형) 디바이스들을 수반한다. 이러한 휴대용 디바이스들에 이용가능한 프로세싱 리소스들은 휴대용 디바이스의 사이즈, 중량 제약들, 전력 제약들로 인해, 또는 다른 이유들로 제한될 수도 있다. 그 결과, 이러한 리소스 제약된 디바이스들을 사용하여 고 품질의 사용자 경험을 제공하는 것이 과제일 수 있다.
본 개시의 특정한 양태에 따르면, 디바이스는 명령들을 저장하도록 구성된 메모리 및 제 1 오디오 출력 디바이스에서 공간 오디오 데이터를 획득하기 위해 명령들을 실행하도록 구성된 하나 이상의 프로세서들을 포함한다. 하나 이상의 프로세서들은 추가로, 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하도록 구성된다. 하나 이상의 프로세서들은 또한, 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하도록 구성된다.
본 개시의 특정한 양태에 따르면, 방법은 제 1 오디오 출력 디바이스에서, 공간 오디오 데이터를 획득하는 단계를 포함한다. 방법은 또한, 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하는 단계를 포함한다. 방법은 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하는 단계를 더 포함한다.
본 개시의 다른 구현에 따라, 비일시적 컴퓨터 판독가능 매체는, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 제 1 오디오 출력 디바이스에서 공간 오디어 데이터를 획득하게 하는 명령들을 저장한다. 명령들은 실행될 때, 또한 하나 이상의 프로세서들로 하여금, 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하게 한다. 명령들은 실행될 때, 추가로 하나 이상의 프로세서들로 하여금 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하게 한다.
본 개시의 다른 구현에 따르면, 장치는 제 1 오디오 출력 디바이스에서 공간 오디오 데이터를 획득하는 수단을 포함한다. 장치는 또한 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하는 수단을 포함한다. 장치는 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하기 위한 수단을 더 포함한다.
본 개시의 다른 양태들, 이점들 및 특징들은 다음 섹션들을 포함하여 출원 전체를 검토한 후 분명해질 것이다: 도면들의 간략한 설명, 상세한 설명 및 청구범위.
도 1 은 본 개시의 일부 예들에 따른, 공간 오디오 데이터로부터 모노럴 오디오 출력의 생성을 가능하게 하기 위해 데이터를 교환하도록 구성된 다중 오디오 출력 디바이스들을 포함하는 시스템의 특정한 예시적인 양태의 블록 다이어그램이다.
도 2 는 본 개시의 일부 예들에 따른, 도 1 의 시스템의 특정한 예시적인 예의 블록 다이어그램이다.
도 3 은 본 개시의 일부 예들에 따른, 도 1 의 시스템의 다른 특정한 예시적인 예의 블록 다이어그램이다.
도 4 는 본 개시의 일부 예들에 따른, 도 1 의 시스템의 다른 특정한 예시적인 예의 블록 다이어그램이다.
도 5 는 본 개시의 일부 예들에 따른, 공간 오디오 데이터로부터 모노럴 오디오 출력의 생성을 가능하게 하기 위해 데이터 교환을 수행하도록 동작가능한 헤드폰들과 같은, 헤드셋의 다이어그램이다.
도 6 은 본 개시의 일부 예들에 따른, 공간 오디오 데이터로부터 모노럴 오디오 출력의 생성을 가능하게 하기 위해 데이터 교환을 수행하도록 동작가능한, 이어 버드들의 다이어그램이다.
도 7 은 본 개시의 일부 예들에 따른, 공간 오디오 데이터로부터 모노럴 오디오 출력의 생성을 가능하게 하기 위해 데이터 교환을 수행하도록 동작가능한, 가상 현실 또는 증강 현실 헤드셋과 같은, 헤드셋의 다이어그램이다.
도 8 은 본 개시의 일부 예들에 따른, 도 1 의 오디오 출력 디바이스들의 하나 이상에 의해 수행된 공간 오디오 데이터로부터의 모노럴 오디오 출력을 생성하는 방법의 특정한 예시적인 구현의 다이어그램이다.
도 9 는 본 개시의 일부 예들에 따른, 도 1 의 오디오 출력 디바이스들의 하나 이상에 의해 수행된 공간 오디오 데이터로부터의 모노럴 오디오 출력을 생성하는 방법의 다른 특정한 예시적인 구현의 다이어그램이다.
오디오 정보는 3차원 (3D) 음장을 표현하기 위해 오디오 출력의 렌더링을 가능하게 하는 방식으로 캡처 또는 생성될 수 있다. 예를 들어, 앰비소닉스 (예를 들어, 1차 앰비소닉스 (FOA) 또는 고차 앰비소닉스 (HOA)) 는 나중에 플레이백(playback)을 위해 3D 음장을 표현하는데 사용될 수 있다. 플레이백 동안, 3D 음장은 청취자가 3D 음장의 하나 이상의 오디오 소스들과 청취자 사이의 포지션 및/또는 거리를 구별하는 것을 가능하게 하는 방식으로 재구성될 수 있다.
본 개시의 특정한 양태에 따르면, 3D 음장은 개인용 오디오 디바이스들, 예컨대 헤드셋, 헤드폰들, 이어 버드들, 또는 사용자의 각각의 귀에 대한 별개의 오디오 출력 (예를 들어, 2개의 모노럴 오디오 출력 스트림들) 을 생성하도록 구성되는 다른 오디오 플레이백 디바이스를 사용하여 렌더링될 수 있다. 개인용 오디오 디바이스를 사용하여 3D 오디오를 렌더링하는 것의 하나의 과제는 이러한 렌더링의 계산 복잡성이다. 예시를 위해, 개인용 오디오 디바이스는 종종 사용자에 의해 착용되도록 구성되어, 사용자의 헤드의 모션이 사용자의 귀들 및 3D 음장에서의 오디오 소스(들)의 상대적 포지션들을 변경시켜 헤드-추적된 몰입형 오디오를 생성한다. 이러한 개인용 오디오 디바이스들은 종종 배터리 전력공급형이며 제한된 온-보드 컴퓨팅 리소스들을 갖는다. 이러한 리소스 제약들을 갖는 헤드-추적된 몰입형 오디오를 생성하는 것이 과제이다. 개인용 오디오 디바이스들의 소정의 전력- 및 프로세싱- 제약들을 회피하기 위한 하나의 방식은 랩톱 컴퓨터 또는 모바일 컴퓨팅 디바이스와 같은 호스트 디바이스에서 많은 프로세싱을 수행하는 것이다. 그러나, 호스트 디바이스 상에서 수행되는 프로세싱이 많을수록, 헤드 모션과 사운드 출력 사이의 레이턴시가 더 커져서, 덜 만족스러운 사용자 경험으로 이어진다.
부가적으로, 많은 개인용 오디오 디바이스들은 각각의 귀에 대해 하나의 이어버드를 포함하는 한 쌍의 이어버드들과 같은 한 쌍의 별개의 오디오 출력 디바이스들을 포함한다. 이러한 구성들에서, 하나의 오디오 출력 디바이스가 다른 오디오 출력 디바이스보다 먼저 전력이 소진되지 않도록 각각의 오디오 출력 디바이스에 부과되는 전력 요구들을 밸런싱하는 것이 유용하다. 3D 음장을 시뮬레이션하는 것은 사용자의 양쪽 귀에 사운드를 제공하는 것을 요구하기 때문에, (예를 들어, 배터리 전력의 소진으로 인한) 오디오 출력 디바이스들 중 하나의 고장은 3D 오디오 출력의 생성을 조기에 중단할 것이다.
본 명세서에 개시된 양태들은 개인용 오디오 디바이스에 온보드 수행되는 컨볼루션 동작들의 수를 감소시키도록 단순화된 3D 음장 통신 스킴을 사용하는 것, 개인용 오디오 디바이스에 온보드 수행되는 스테레오 디코딩 동작들의 수를 감소시키도록 오디오 출력 디바이스들 사이에서 데이터를 교환하는 것, 및 모노럴 오디오 출력을 생성하는 것에 의해 헤드-추적된 몰입형 오디오의 생성을 위한 계산 복잡성의 감소를 용이하게 한다. 본 명세서에 개시된 양태들은 또한 오디오 출력 디바이스들에 의해 제공될 수 있는 3D 음장 재생의 지속기간을 연장하기 위해 한 쌍의 오디오 출력 디바이스들 사이의 리소스 요구들의 밸런싱을 용이하게 한다.
본 개시의 특정한 양태들은 도면들을 참조하여 하기에서 설명된다. 설명에서, 공통 특징들은 공통 참조 번호들로 지정된다. 본 명세서에서 사용된 바와 같이, 다양한 용어가 단지 특정한 구현들을 설명하는 목적으로 사용되며 구현들을 한정하는 것으로 의도되지 않는다. 예를 들어, 단수 형태들 "a", "an" 및 "the" 는, 문맥이달리 분명히 나타내지 않는 한, 복수 형태들을 물론 포함하도록 의도된다. 또한, 본 명세서에 설명된 일부 특징들은 일부 구현들에서 단수이고 다른 구현들에서는 복수이다. 예시를 위해, 도 1 은 하나 이상의 프로세서들 (도 1 의 "프로세서(들)"(112)) 을 포함하는 제 1 오디오 출력 디바이스 (110) 를 도시하며, 이는 일부 구현들에서, 제 1 오디오 출력 디바이스 (110) 가 단일 프로세서 (112) 를 포함하고, 다른 구현들에서, 제 1 오디오 출력 디바이스 (110) 가 다중 프로세서들 (112) 을 포함함을 나타낸다.
본 명세서에서 사용된 바와 같이, 용어들 "포함한다(comprise)", "포함한다(comprises)", 및 "포함하는(comprising)" 은 "포함한다(include)", "포함한다(includes)", 또는 "포함하는(including)" 과 상호교환가능하게 사용될 수도 있다. 부가적으로, 용어 "여기서 (wherein)" 는 "여기에서 (where)" 와 상호교환가능하게 사용될 수도 있다. 본 명세서에서 사용된 바와 같이, "예시적인" 은 예, 구현, 및/또는 양태를 나타내며, 제한하는 것으로서 또는 선호도 또는 선호된 구현을 나타내는 것으로서 해석되지 않아야 한다. 본 명세서에 사용된 바와 같이, 구조, 컴포넌트, 동작 등과 같은 엘리먼트를 수정하는데 사용되는 서수 용어 (예를 들어, "제 1", "제 2", "제 3" 등) 는 그것만으로 그 엘리먼트의 다른 엘리먼트에 대한 어떤 우선순위 또는 순서도 표시하지 않고, 오히려 그 엘리먼트를 (서수 용어의 사용이 없다면) 동일 명칭을 갖는 다른 엘리먼트와 구별할 뿐이다. 본 명세서에서 사용된 바와 같이, 용어 "세트 (set)" 는 특정 엘리먼트의 하나 이상을 지칭하고, 용어 "복수" 는 특정 엘리먼트의 배수 (예를 들어, 2개 이상) 를 지칭한다.
본 명세서에서 사용된 바와 같이, "커플링된" 은 "통신가능하게 커플링된", "전기적으로 커플링된", 또는 "물리적으로 커플링된" 을 포함할 수도 있고, 또한 (또는 대안으로) 이들의 임의의 조합을 포함할 수도 있다. 2개의 디바이스들 (또는 컴포넌트들) 은 하나 이상의 다른 디바이스, 컴포넌트, 와이어, 버스, 네트워크 (예를 들어, 유선 네트워크, 무선 네트워크, 또는 이들의 조합) 등을 통해 직접적으로 또는 간접적으로 커플링 (예를 들어, 통신가능하게 커플링, 전기적으로 커플링, 또는 물리적으로 커플링) 될 수도 있다. 전기적으로 커플링된 2개의 디바이스들 (또는 컴포넌트들) 은 동일한 디바이스 또는 상이한 디바이스들에 포함될 수도 있고, 예시적인, 비-제한적인 예들로서 전자기기들, 하나 이상의 커넥터 또는 유도 커플링을 통해 연결될 수도 있다. 일부 구현들에서, 전기 통신에서와 같이, 통신가능하게 커플링되는 2개의 디바이스들 (또는 컴포넌트들) 은 하나 이상의 와이어, 버스, 네트워크 등을 통해, 직접 또는 간접적으로 신호들 (예를 들어, 디지털 신호들 또는 아날로그 신호들) 을 전송 및 수신할 수도 있다. 본 명세서에서 사용된 바와 같이, "직접 커플링된" 은 컴포넌트들을 개재하지 않으면서 커플링 (예를 들어, 통신가능하게 커플링, 전기적으로 커플링, 또는 물리적으로 커플링) 되는 2개의 디바이스들을 포함할 수도 있다.
본 개시에서, "결정하는 것", "계산하는 것", "추정하는 것", "시프트하는 것", "조정하는 것" 등과 같은 용어들은 하나 이상의 동작이 어떻게 수행되지를 설명하기 위해 사용될 수도 있다. 이러한 용어들은 한정하는 것으로서 해석되지 않아야 하고 다른 기법들이 유사한 동작들을 수행하는데 활용될 수도 있음에 유의해야 한다. 부가적으로, 본 명세서에서 언급된 바와 같이, "생성하는 것", "계산하는 것", "추정하는 것", "사용하는 것", "선택하는 것", "액세스하는 것", 및 "결정하는 것" 은 상호교환가능하게 사용될 수도 있다. 예를 들어, 파라미터 (또는 신호) 를 "생성하는 것", "계산하는 것", "추정하는 것" 또는 "결정하는 것" 은 파라미터 (또는 신호) 를 능동으로 생성하는 것, 추정하는 것, 계산하는 것, 또는 결정하는 것을 지칭할 수도 있거나 또는 다른 컴포넌트 또는 디바이스에 의해서와 같이, 이미 생성된 파라미터 (또는 신호) 를 사용하는 것, 선택하는 것, 또는 액세스하는 것을 지칭할 수도 있다.
도 1 을 참조하면, 공간 오디오 데이터 (106) 에 기초하여 모노럴 오디오 출력을 생성하기 위해 데이터 교환을 수행하도록 구성되는, 제 1 오디오 출력 디바이스 (110) 및 제 2 오디오 출력 디바이스 (140) 와 같은, 2 이상의 오디오 출력 디바이스들을 포함하는 시스템 (100) 의 특정한 예시적인 양태가 도시된다. 도 1 에 도시된 특정한 구현에서, 공간 오디오 데이터 (106) 는 호스트 디바이스 (102) 로부터 수신되거나 오디오 출력 디바이스들 (110, 140) 중 하나의 메모리 (114) 로부터 액세스된다.
공간 오디오 데이터 (106) 는 공간 오디오 데이터 (106) 를 나타내는 오디오 출력이 청취자와 하나 이상의 소스들 사이의 거리 및 방향을 시뮬레이션할 수 있도록 하나 이상의 소스들 (실제 또는 가상 소스들을 포함할 수도 있음) 로부터의 사운드를 3차원 (3D) 으로 나타낸다. 공간 오디오 데이터 (106) 는 (하기에서 추가로 설명되는 바와 같이) 1차 앰비소닉스 (FOA), 고차 앰비소닉스 (HOA), 또는 등가 공간 도메인 (ESD) 표현과 같은 다양한 인코딩 스킴들을 사용하여 인코딩될 수 있다. 일 예로서, 공간 오디오 데이터 (106) 를 표현하는 FOA 계수들 또는 ESD 데이터는 2개의 스테레오 채널들과 같은 총 4개의 채널들을 사용하여 인코딩될 수 있다.
오디오 출력 디바이스들 (110, 140) 각각은 공간 오디오 데이터 (106) 에 기초하여 모노럴 오디오 출력을 생성하도록 구성된다. 특정한 예에서, 제 1 오디오 출력 디바이스 (110) 는 사용자의 제 1 귀에 대한 제 1 모노럴 오디오 출력 (152) 을 생성하도록 구성되고, 제 2 오디오 출력 디바이스 (140) 는 사용자의 제 2 귀에 대한 제 2 모노럴 오디오 출력 (154) 을 생성하도록 구성된다. 이 예에서, 제 1 모노럴 오디오 출력 (152) 및 제 2 모노럴 오디오 출력 (154) 은 함께 사용자가 모노럴 오디오 출력을 공간적 오디오로서 인지하도록 사용자의 귀에 대한 음원(들)의 공간적 관계를 시뮬레이션한다.
도 1 의 다이어그램 (160) 은 제 1 모노럴 오디오 출력 (152) 및/또는 제 2 모노럴 오디오 출력 (154) 중 하나 이상에 대응하거나 이를 포함하는 모노럴 오디오 출력 (188) 으로의 공간 오디오 데이터 (106) 의 변환을 도시한다. 일부 구현들에서, 오디오 출력 디바이스들 (110, 140) 각각은 다이어그램 (160) 에 도시된 동작들 중 하나 이상을 수행한다. 다른 구현들에서, 오디오 출력 디바이스들 (110, 140) 중 하나는, 하기에서 추가로 설명되는 바와 같이, 다이어그램 (160) 에 도시된 동작들 중 하나 이상을 수행하고, 동작들 중 하나 이상의 결과들을 교환 데이터로서 오디오 출력 디바이스들 (110, 140) 중 다른 하나와 공유한다.
다이어그램 (160) 에서, 공간 오디오 데이터 (106) 는 수신될 때 ESD 표현 (164) 에 있다. ESD 표현 (164) 에서, 공간 오디오 데이터 (106) 는 사용자 (166) 주위에 배치된 가상 라우드스피커들 (168, 170, 172, 174) 을 나타내는 4 개의 채널들을 포함한다. 예를 들어, 공간 오디오 데이터의 ESD 표현 (164) 은 3D 음장의 제 1 복수의 가상 라우드 스피커들 또는 다른 음원들에 대응하는 제 1 오디오 데이터 및 3D 음장의 제 2 복수의 가상 라우드스피커들 또는 다른 음원들에 대응하는 제 2 오디오 데이터로서 인코딩될 수도 있고, 제 1 복수의 음원들은 제 2 복수의 음원들과 별개이다. 예시를 위해, 다이어그램 (160) 에서, 라우드스피커들 (168 및 170) 에 대응하는 사운드는 (예를 들어, 제 1 스테레오 채널로서) 제 1 오디오 데이터에서 인코딩될 수도 있고, 라우드스피커들 (172 및 174) 에 대응하는 사운드는 (예를 들어, 제 2 스테레오 채널로서) 제 2 오디오 데이터에서 인코딩될 수도 있다. 가상 라우드스피커들 (168, 170, 172, 174) 각각에 할당된 사운드의 진폭, 주파수, 및/또는 위상을 제어함으로써, ESD 표현 (164) 은 사용자 (166) 로부터의 다양한 거리들에서 그리고 사용자 (166) 에 대한 다양한 방향들에서 하나 이상의 가상 음원들로부터의 사운드를 시뮬레이션할 수 있다.
다이어그램 (160) 에 도시된 예에서, ESD 표현 (164) 은 블록 (176) 에서 공간 오디오 데이터 (106) 의 앰비소닉스 표현 (예를 들어, 앰비소닉스 계수들) 으로 변환된다. 예를 들어, 블록 (176) 은 ESD 표현 (164) 의 오디오 입력 신호들의 세트를 수신하고, 이들을 앰비소닉스 도메인 (예컨대, FOA 또는 HOA 도메인) 에서 오디오 출력 신호들의 세트로 변환할 수도 있다. 일부 구현들에서, 앰비소닉스 데이터는 앰비소닉스 채널 번호 (ACN) 또는 반-정규화된 3D (SN3D) 데이터 포맷이다. ESD 표현 (164) 의 오디오 입력 신호들은 미리결정된 가상 라우드스피커 위치들의 세트에서 렌더링된 공간 오디오 데이터 (106)(예를 들어, 몰입형 오디오 콘텐츠) 에 대응한다. ESD 표현 (164) 의 ESD 도메인에서, 가상 라우드스피커들은 구(sphere) 상의 영역 또는 구 내의 볼륨 당 앰비소닉스 렌더링 에너지를 보존하기 위해 구 (예컨대, 플리지(Fliege) 포인트들) 주위의 상이한 포지션들에 위치될 수도 있다. 특정한 구현에서, 블록 (176) 의 동작들은 ESD 표현 (164) 을 설명하기 위해 변환 행렬들로 https://github.com/kronihias/ambix 로부터 입수가능한 AmbiX Decoder" 와 같은, 앰비소닉스 디코더 모듈을 사용하여 수행될 수도 있다.
이러한 예에서, 공간 오디오 데이터 (106) 의 앰비소닉스 표현은 하나 이상의 모션 센서들 (예를 들어, 제 1 오디오 출력 디바이스 (110) 의 모션 센서(들) (116)) 로부터의 모션 데이터 (178) 에 기초하여 회전 동작들 (180) 을 수행하는데 사용된다. 특정한 구현에서, 음장 회전은 https://ambisonics.iem.at/xchange/fileformat/docs/spherical-harmonics-rotation 에 의해 설명된 기법들을 사용하여 수행된다. 예시를 위해, 음장 회전 동작들 (180) 은 https://github.com/kronihias/ambix 로부터 입수가능한 "AmbiX Soundfield Rotator" 플러그인과 같은 음장 회전기 모듈을 사용하여 수행될 수도 있다. 회전 동작들 (180) 은 모션 데이터 (178)에 의해 표시된 이동으로 인한 사용자 (166) 및 가상 라우드스피커들 (168, 170, 172, 174) 의 상대적 포지션에서의 변화들을 고려한다.
위의 예를 계속하면, 공간 오디오 데이터 (106) 의 회전된 앰비소닉스 표현은 블록 (182) 에서, 회전된 ESD 표현 (184) 으로서 ESD 도메인으로 다시 변환된다. 특정한 구현들에서, ESD 표현 (184) 의 ESD 도메인은 ESD 표현 (164) 의 ESD 도메인과 상이하다. 예시를 위해, ESD 표현 (184) 의 ESD 도메인의 가상 라우드스피커들을 포함하는 것은 ESD 표현 (164) 의 ESD 도메인의 가상 라우드스피커들과 구 주위의 상이한 포지션들에 위치될 수도 있다.
특정한 양태에서, 블록 (182) 은 앰비소닉스 표현의 (N +1)2 신호들을 수신하고, 여기서 N 은 앰비소닉들의 차수를 나타내는 정수이다 (예를 들어, 1차 앰비소닉스에 대해 N = 1, 2차 앰보소닉스에 대해 N = 2 등). 이러한 특정한 양태에서, 블록 (182) 은 ESD 표현의 (N +1)2 신호들을 출력하며, 여기서 각각의 신호는 ESD 도메인에서 가상 라우드스피커에 대응한다. 가상 라우드스피커의 배열이 적절하게 선택될 때 (예를 들어, 구 상의 포인트들의 t-설계 그리드에 기초하여), 다음의 속성이 유지된다: H*E = I, 여기서 I 는 (N +1)2 x (N +1)2 아이덴티티 행렬이고, H 는 앰비소닉스 도메인으로 압력 신호들을 나타내는 행렬이며, E 는 ESD 도멘인의 가상 라우드스피커들로 앰비소닉스 신호들을 변환하기 위한 ESD 변환 행렬이다. 이러한 특정한 양태에서, 앰비소닉스 도메인과 ESD 도메인 사이의 변환은 무손실이다.
다이어그램 (160) 에 도시된 예에서, 하나 이상의 헤드-관련 전달 (HRT) 함수(들)(130) 은 모노럴 오디오 출력 (188) 을 생성하기 위해 회전된 ESD 표현 (184) 에 적용된다. HRT 함수(들)(130) 의 적용은 사운드 레벨들, 주파수들, 위상들, 다른 오디오 정보, 또는 이들 중 하나 이상의 조합을 결정하여, 사용자 (166) 로부터의 다양한 거리들에서 그리고 사용자 (166) 에 대한 다양한 방향들에서 하나 이상의 가상 음원들의 인지를 시뮬레이션하기 위해 하나의 오디오 출력 디바이스 (예를 들어, 사용자 (166) 의 하나의 귀에 오디오 출력을 제공하는 오디오 출력 디바이스) 에 제공된 모노럴 오디오 출력 (188) 을 생성한다.
도 1 의 다이어그램 (160) 은 공간 오디오 데이터 (106) 가 ESD 표현 (164) 에서 수신되고, 회전을 위해 앰비소닉스 표현으로 변환된 후, 회전된 ESD 표현 (184) 으로 변환되는 것을 예시하지만, 다른 예들에서, 공간 오디오 데이터 (106) 는 앰비소닉스 표현에서 수신되고, 블록 (176) 의 변환 동작이 생략된다. 또 다른 예들에서, 회전 동작들 (180) 은 ESD 표현 (164) 을 사용하여 수행되고, 블록들 (176 및 182) 의 변환 동작들은 생략된다.
특정한 양태에서, 오디오 출력 디바이스들 (110, 140) 각각은 전체 3D 음장을 시뮬레이션하기 위한 동작 동안 한 쌍의 모노럴 오디오 출력들 (예를 들어, 제 1 모노럴 오디오 출력 (152) 및 제2 모노럴 오디오 출력 (154)) 이 생성되도록 다이어그램 (160) 에 도시된 동작들의 적어도 서브세트를 수행하도록 구성된다. 특정한 예에서, 개인용 오디오 디바이스는 헤드폰들 (그 일 예가 도 5 에 도시됨), 이어 버드들 (그 일 예가 도 6 에 도시됨), 또는 멀티미디어 헤드셋 (그 일 예가 도 7 에 도시됨) 과 같은, 사용자의 귀들 각각에 대한 별도의 사운드 출력을 생성하는 오디오 출력 디바이스들 (110, 140) 을 포함한다.
도 1 에서, 제 1 오디오 출력 디바이스 (110) 는 하나 이상의 프로세서들 (112), 메모리 (114), 수신기 (126) 및 트랜시버 (124) 를 포함한다. 프로세서(들)(112) 는 다이어그램 (160) 에 의해 도시된 동작들 중 하나 이상을 수행하기 위해 메모리 (114) 로부터의 명령들 (132) 을 실행하도록 구성된다. 도 1 에 도시된 예에서, 수신기 (126) 및 트랜시버 (124) 는 제 1 오디오 출력 디바이스 (110) 의 별도의 컴포넌트들이지만; 다른 구현들에서, 트랜시버 (124) 는 수신기 (126) 를 포함하거나 또는 수신기 (126) 및 트랜시버 (124) 는 라디오 칩셋에서 조합된다. 도 1 에서, 제 1 오디오 출력 디바이스 (110) 는 또한, 하나 이상의 프로세서들 및 수신기 (126), 트랜시버 (124), 또는 양자 모두에 커플링된 모뎀 (122) 을 포함한다. 제 1 오디오 출력 디바이스 (110) 는 또한 모뎀 (122), 하나 이상의 프로세서들 (112), 또는 양자 모두에 커플링되고 하나 이상의 오디오 트랜스듀서들 (118) 에 커플링된 오디오 코덱 (120) 을 포함한다. 도 1 에서, 제 1 오디오 출력 디바이스 (110) 는 프로세서(들)(112) 에 커플링된 하나 이상의 모션 센서들 (116) 을 포함한다.
도 1 에 도시된 예에서, 제 2 오디오 출력 디바이스 (140) 는 트랜시버 (148), 모뎀 (146), 오디오 코덱 (144), 및 하나 이상의 오디오 트랜스듀서들 (142) 을 포함한다. 다른 예들에서, 제 2 오디오 출력 디바이스 (140) 는 또한 하나 이상의 프로세서들, 메모리, 하나 이상의 모션 센서들, 다른 컴포넌트들, 또는 이들의 조합을 포함한다. 예시를 위해, 일부 구현들에서, 제 2 오디오 출력 디바이스 (140) 는 제 1 오디오 출력 디바이스 (110) 와 동일한 특징들 및 컴포넌트들을 포함한다.
특정한 구현에서, 수신기 (126) 는 호스트 디바이스 (102) 로부터 무선 송신들 (104) 을 수신하도록 구성되고, 트랜시버 (124) 는 제 2 오디오 출력 디바이스 (140) 와의 데이터 교환을 지원하도록 구성된다. 예를 들어, 제 1 오디오 출력 디바이스 (110) 의 트랜시버 (124) 및 제 2 오디오 출력 디바이스 (140) 의 트랜시버 (148) 는 데이터 교환을 지원하기 위해 무선 피어-투-피어 애드 혹 링크 (134) 를 확립하도록 구성될 수도 있다. 무선 피어-투-피어 애드 혹 링크 (134) 는 BLUETOOTH® 프로토콜 사양 (BLUETOOTH 는 Kirkland, Washington, USA 의 BLUETOOTH SIG, INC. 의 등록 상표임) 을 따르는 연결, IEEE® 프로토콜 사양 (IEEE 는 Piscataway New Jersey, USA 의 Institute of Electrical and Electronics Engineers, Inc.의 등록 상표임) 을 따르는 연결, 독점 프로토콜을 따르는 연결, 또는 다른 무선 피어-투-피어 애드 혹 연결을 포함할 수도 있다. 제 1 및 제 2 오디오 출력 디바이스들 (110 및 140) 사이의 무선 피어-투-피어 애드 혹 링크 (134) 는 호스트 디바이스 (102) 로부터의 무선 송신들 (104) 과 동일한 프로토콜들을 사용할 수도 있거나 하나 이상의 상이한 프로토콜들을 사용할 수도 있다. 예시를 위해, 호스트 디바이스 (102) 는 BLUETOOTH 연결을 통해 공간 오디오 데이터 (106) 를 전송할 수도 있고, 제 1 및 제 2 오디오 출력 디바이스들 (110 및 140) 은 독점 연결을 통해 데이터를 교환할 수도 있다.
동작 동안, 제 1 오디오 출력 디바이스 (110) 는 호스트 디바이스 (102) 로부터의 무선 송신들 (104) 을 통해 또는 메모리 (114) 로부터 공간 오디오 데이터 (106) 를 판독함으로써 공간 오디오 데이터 (106) 를 획득한다. 특정한 양태에서, 제 1 오디오 출력 디바이스 (110) 및 제 2 오디오 출력 디바이스 (140) 는 각각 호스트 디바이스 (102) 로부터 공간 오디오 데이터 (106) 의 일부 또는 전부를 수신하고, 오디오 출력 디바이스들 (110, 140) 은 그들 개개의 모노럴 오디오 출력 (152, 154) 을 생성하기 위해 데이터를 교환한다.
일부 구현들에서, 공간 오디오 데이터 (106) 는 공간 오디오 데이터 (106) 의 ESD 표현 (164) 에 대응하는, 2개의 스테레오 채널들로서 인코딩된, 오디오 데이터의 4개의 채널들을 포함한다. 일부 이러한 구현들에서, 4개의 채널들 중 2개의 채널들은 (예를 들어, 제 1 스테레오 채널로서) 인코딩되고 제 1 오디오 출력 디바이스 (110) 로 송신되고, 4개의 채널들 중 다른 2개의 채널들은 (예를 들어, 제 2 스테레오 채널로서) 인코딩되고 제 2 오디오 출력 디바이스 (140) 로 송신된다. 도 2 는 하기에서 더 설명되는 바와 같이, 이러한 구현의 예를 도시한다. 다른 구현들에서, 공간 오디오 데이터 (106) 는 2 개의 스테레오 채널들 또는 앰비소닉스 계수들로서 인코딩되고, 오디오 출력 디바이스들 (110, 140) 중 하나로만, 예컨대 제 1 오디오 출력 디바이스 (110) 로만 송신된다. 도 3 은 이러한 구현의 예를 도시한다. 또 다른 구현들에서, 공간 오디오 데이터 (106) 는 2개의 스테레오 채널들 또는 앰비소닉스 계수들로서 인코딩되고 오디오 출력 디바이스들 (110, 140) 양자 모두로 송신된다. 도 4 는 이러한 구현의 예를 도시한다.
공간 오디오 데이터 (106) 의 제 1 부분이 제 1 오디오 출력 디바이스들 (110) 로 송신되고 공간 오디오 데이터 (106) 의 제 2 부분이 제 2 오디오 출력 디바이스들 (140) 로 송신되는 구현 (예컨대, 도 2 의 예) 에서, 제 1 오디오 출력 디바이스 (110) 는 공간 오디오 데이터 (106) 의 제 1 부분을 디코딩하고 제 1 교환 데이터 (136) 를 제 2 오디오 출력 디바이스 (140) 에 전송한다. 이 구현에서, 제 1 교환 데이터 (136) 는 공간 오디오 데이터 (106) 의 디코딩된 제 1 부분을 나타내는 데이터, 예컨대 공간 오디오 데이터의 제 1 부분에 대응하는 앰비소닉스 계수들, 오디오 파형 데이터 (예를 들어, 펄스-코드 변조 (PCM) 데이터), 및/또는 공간 오디오 데이터 (106) 의 디코딩된 제 1 부분을 나타내는 다른 데이터를 포함할 수도 있다. 마찬가지로, 이 구현에서, 제 2 오디오 출력 디바이스 (140) 는 공간 오디오 데이터 (106) 의 제 2 부분을 디코딩하고 제 2 교환 데이터 (150) 를 제 1 오디오 출력 디바이스 (110) 에 전송한다. 데이터 교환은 또한 오디오 출력 디바이스들 (110, 140) 에 의한 플레이백의 동기화를 용이하게 하기 위해 (오디오 출력 디바이스들 (110, 140) 중 하나 또는 양자 모두에 의해 생성된) 동기화 데이터 (138) 를 포함할 수도 있다. 이 구현에서, 데이터 교환 후에, 오디오 출력 디바이스들 (110, 140) 각각은 공간 오디오 데이터 (106) 의 제 1 부분 및 제 2 부분 양자 모두를 갖는다. 일부 예시적인 구현들에서, 오디오 출력 디바이스들 각각은 모노럴 오디오 출력을 위해 공간 오디오 데이터 (106) 의 제 1 및 제 2 부분들을 어셈블링할 수도 있다.
공간 오디오 데이터 (106) 가 제 1 오디오 출력 디바이스 (110) 에만 송신되는 구현 (예컨대 도 3 의 예) 에서, 제 1 오디오 출력 디바이스 (110) 는 공간 오디오 데이터 (106) 를 디코딩하고 제 1 교환 데이터 (136) 를 제 2 오디오 출력 디바이스 (140) 에 전송한다. 이 구현에서, 제 1 교환 데이터 (136) 는 디코딩된 공간 오디오 데이터 (106) 를 나타내는 데이터, 예컨대 공간 오디오 데이터에 대응하는 앰비소닉스 계수들, 오디오 파형 데이터 (예를 들어, 펄스-코드 변조 (PCM) 데이터), 및/또는 디코딩된 공간 오디오 데이터 (106) 를 나타내는 다른 데이터를 포함할 수도 있다. 제 1 오디오 출력 디바이스 (110) 는 다이어그램 (160) 을 참조하여 설명된 동작들을 수행하기 전에, 또는 다이어그램 (160) 을 참조하여 설명된 동작들 중 임의의 것 에, 디코딩된 공간 오디오 데이터 (106) 를 제 2 오디오 출력 디바이스 (140) 에 전송할 수도 있다. 예시를 위해, 제 1 교환 데이터 (136) 는 공간 오디오 데이터 (106) 의 ESD 표현 (164), 블록 (176) 에 의해 출력된 앰비소닉스 계수들, 모션 데이터 (178) 에 기초하여 회전 동작들 (180) 에 의해 생성된 회전된 앰비소닉스 계수들, 또는 회전된 ESD 표현 (184) 을 포함할 수도 있다.
데이터 교환은 또한 오디오 출력 디바이스들 (110, 140) 에 의한 플레이백의 동기화를 용이하게 하기 위해 동기화 데이터 (138) 를 포함할 수도 있다. 이 구현에서, 데이터 교환 후에, 오디오 출력 디바이스들 (110, 140) 각각은 공간 오디오 데이터 (106) 의 전체 콘텐츠를 갖는다.
공간 오디오 데이터 (106) 가 제 1 오디오 출력 디바이스 (110) 및 제 2 오디오 출력 디바이스들 (140) 양자 모두로 송신되는 구현 (예컨대, 도 4 의 예) 에서, 오디오 출력 디바이스들 (110, 140) 각각은 공간 오디오 데이터 (106) 를 디코딩하고 오디오 출력 디바이스들 (110, 140) 중 하나 또는 양자 모드는 교환 데이터 (136, 150) 를 다른 오디오 출력 디바이스들 (110, 140) 에 전송한다. 이 구현에서, 교환 데이터 (136, 150) 는 오디오 출력 디바이스들 (110, 140) 에 의한 플레이백의 동기화를 용이하게 하기 위해 동기화 데이터 (138) 를 포함하거나 이에 대응한다. 이 구현에서, 오디오 출력 디바이스들 (110, 140) 각각은 데이터 교환 전에 공간 오디오 데이터 (106) 의 전체 콘텐츠를 가지며, 데이터 교환은 플레이백을 동기화하는데 사용된다.
일부 구현들에서, 오디오 출력 디바이스들 (110, 140) 각각은 모션 센서(들)(116) 과 같은 하나 이상의 모션 센서들을 포함한다. 이러한 구현들에서, 오디오 출력 디바이스들 (110, 140) 각각은 개개의 모션 센서들로부터의 모션 데이터 (178) 에 기초하여 회전 동작들 (180) 을 수행한다. 다른 구현들에서, 오디오 출력 디바이스들 (110, 140) 중 하나만이 모션 센서(들)를 포함하고, 교환 데이터는 모션 데이터 (178) 를 포함하거나, 하나의 오디오 출력 디바이스로부터 다른 오디오 출력 디바이스로 (예를 들어, 제 1 오디오 출력 디바이스 (110) 로부터 제 2 오디오 출력 디바이스 (140) 로) 전송된 교환 데이터는 공간 오디오 데이터 (106) 의 회전된 ESD 표현 (184), 회전된 앰비소닉스 계수들, 또는 회전된 3D 음장을 표현하는 다른 데이터를 포함한다.
다양한 구현들에서, 오디오 출력 디바이스들 (110, 140) 은 도 1 에 도시된 것보다 더 많거나 또는 더 적은 컴포넌트들을 가질 수도 있다. 특정한 구현에서, 프로세서(들)(112) 는 하나 이상의 중앙 프로세싱 유닛 (CPU), 하나 이상의 디지털 신호 프로세서 (DSP), 하나 이상의 다른 단일-코어 또는 멀티-코어 프로세싱 디바이스들, 또는 이들의 조합 (예를 들어, CPU 및 DSP) 을 포함한다. 프로세서(들)(112) 는 음성 코더 ("보코더") 인코더, 보코더 디코더, 또는 이들의 조합을 포함하는 스피치 및 뮤직 코더-디코더 (CODEC) 를 포함할 수도 있다.
특정한 구현에서, 제 1 오디오 출력 디바이스 (110) 의 부분들, 제 2 오디오 출력 디바이스 (140) 의 부분들, 또는 양자 모두는 시스템-인-패키지 또는 시스템-온-칩 디바이스에 포함될 수도 있다. 특정한 구현에서, 메모리 (114), 프로세서(들) (112), 오디오 코덱 (120), 모뎀 (122), 트랜시버 (124), 수신기 (126), 모션 센서(들) (116), 또는 이들의 서브세트 또는 조합은 시스템-인-패키지 또는 시스템-온-칩 디바이스에 포함된다.
특정한 양태에서, 시스템 (100) 은 제 1 및 제 2 오디오 출력 디바이스들 (110, 140) 에 온보드 수행되는 컨볼루션 동작들의 수를 감소시키기 위해 단순화된 3D 음장 통신 스킴 (예를 들어, ESD 표현 (164)) 을 사용하는 것, 제 1 및 제 2 모노럴 오디오 출력 (152, 154) 을 생성하는데 수행된 스테레오 디코딩 동작들의 수를 감소시키기 위해 제 1 및 제 2 오디오 출력 디바이스들 (110, 140) 사이에서 데이터를 교환하는 것, 모노럴 오디오 출력 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 을 생성하는 것, 또는 이들의 조합에 의해 헤드-추적된 몰입형 오디오 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 의 생성을 용이하게 한다. 특정한 양태에서, 시스템 (100) 은 오디오 출력 디바이스들에 의해 제공될 수 있는 3D 음장 재생의 지속기간을 연장하기 위해 한 쌍의 오디오 출력 디바이스들 (예를 들어, 제 1 및 제 2 오디오 출력 디바이스들 (110, 140)) 사이에서 리소스 요구들을 밸런싱하는 것을 용이하게 한다.
도 2, 도 3 및 도 4 는 본 개시의 일부 양태들에 따른, 도 1 의 시스템 (100) 의 특정한 예시적인 예들의 블록 다이어그램들이다. 도 2, 도 3 및 도 4 각각은 도 1 의 호스트 디바이스 (102), 제 1 오디오 출력 디바이스 (110), 및 제 2 오디오 출력 디바이스 (140) 의 부가적인 양태들을 도시한다. 도 2 는 공간 오디오 데이터 (106) 의 제 1 부분이 호스트 디바이스 (102) 에 의해 제 1 오디오 출력 디바이스들 (110) 로 송신되고 공간 오디오 데이터 (106) 의 제2 부분이 제 2 오디오 출력 디바이스들 (140) 로 송신되는 예를 도시한다. 도 3 은 공간 오디오 데이터 (106) 가 호스트 디바이스 (102) 에 의해 제 1 오디오 출력 디바이스 (110) 로만 송신되는 예를 도시한다. 도 4 는 공간 오디오 데이터 (106) 가 호스트 디바이스 (102) 에 의해 제 1 오디오 출력 디바이스 (110) 및 제 2 오디오 출력 디바이스 (140) 양자 모두로 송신되는 예를 도시한다. 도 2 내지 도 4 는 호스트 디바이스 (102) 및/또는 오디오 출력 디바이스들 (110, 140) 중 하나 이상의 상이한 하드웨어 구성들을 도시하지만, 일부 구현들에서, 도 2 내지 도 4 는 동일한 하드웨어의 상이한 동작 모드들을 나타낸다. 예를 들어, 오디오 출력 디바이스들 (110, 140) 각각은 도 4 에 도시된 바와 같이 2개의 스테레오 디코더들을 포함할 수도 있지만; 호스트 디바이스 (102) 또는 오디오 출력 디바이스들 (110, 140) 이 도 2 에 대응하는 특정한 동작 모드에서 동작하고 있을 때, 각각의 오디오 출력 디바이스 (110, 140) 는 그의 스테레오 디코더들 중 하나만을 사용한다.
도 2 내지 도 4 각각에 도시된 예에서, 호스트 디바이스 (102) 는 공간 오디오 데이터 (106) 를 포함하거나 나타내는 미디어를 수신 및 디코딩하기 위한 수신기 (204) 및 모뎀 (206) 을 포함한다. 하나의 특정한 예에서, 미디어는 공간 오디오 데이터 (106) 에 대응하는 오디오 출력을 생성하는 게임을 포함한다. 다른 특정 예에서, 미디어는 공간 오디오 데이터 (106) 에 대응하는 오디오 출력을 생성하는 가상 현실 및/또는 증강 현실 미디어를 포함한다. 또 다른 예들에서, 미디어는 오디오, 비디오 (예를 들어, 2D 또는 3D 비디오), 혼합 현실 미디어, 다른 미디어 콘텐츠, 또는 이들 중 하나 이상의 조합을 포함하고 및/또는 이에 대응한다. 호스트 디바이스 (102) 는 또한 후속 프로세싱을 위해 다운로드된 미디어를 저장하기 위한 메모리 (202) 를 포함한다.
도 2 내지 도 4 에서, 호스트 디바이스 (102) 는 3D 오디오 컨버터 (208) 를 포함한다. 3D 오디오 컨버터 (208) 는 미디어에 기초하여 3D 음장을 표현하는 데이터를 생성하도록 구성된다. 예를 들어, 3D 음장은 도 1 을 참조하여 설명된 바와 같이, ESD 표현을 사용하여 표현될 수도 있다. ESD 표현을 사용하는 것은 가상 라우드스피커 당 하나씩, 4개의 채널들로 3D 음장을 인코딩하는 것을 가능하게 하며, 이는 편리하게 2개의 스테레오 오디오 채널들을 사용하여 전체 3D 음장의 통신을 가능하게 한다.
도 2 내지 도 4 에서, 호스트 디바이스 (102) 는 제 1 스테레오 인코더 (210) 및 제 2 스테레오 인코더 (212) 를 포함하는 한 쌍의 스테레오 인코더들을 포함한다. 특정한 양태에서, 제 1 스테레오 인코더 (210) 는 공간 오디오 데이터 (106) 의 제 1 부분 (215) 을 인코딩하도록 구성되고, 제 2 스테레오 인코더 (212) 는 공간 오디오 데이터 (106) 의 제 2 부분 (217) 을 인코딩하도록 구성된다. 3D 오디오 컨버터 (208) 가 도 1 의 ESD 표현 (164) 을 사용하여 3D 음장을 표현하는 데이터를 생성하는 예에서, 제 1 부분 (215) 은 제 1 쌍의 가상 라우드스피커들 (예를 들어, 가상 라우드스피커들 (168 및 170)) 에 대한 스테레오 오디오 (예를 들어, 차동 오디오) 를 나타내고, 제 2 부분 (217) 은 제 2 쌍의 가상 라우드스피커들 (예를 들어, 가상 라우드스피커들 (172 및 174)) 에 대한 스테레오 오디오를 나타낸다.
도 2 내지 도 4 에서, 호스트 디바이스 (102) 는, 스테레오 인코더들 (210, 212) 에 커플링되고 공간 오디오 데이터 (106) 의 제 1 및 제 2 부분들 (215, 217) 을 인코딩 및 송신하도록 구성된 하나 이상의 송신기들 (216) 및 하나 이상의 모뎀들 (214) 을 포함한다. 도 2 에 도시된 예에서, 제 1 부분 (215) 은 제 1 오디오 출력 디바이스 (110) 로 송신되고, 제 2 부분 (217) 은 제 2 오디오 출력 디바이스 (140) 로 송신된다. 도 3 에 도시된 예에서, 제 1 및 제 2 부분들 (215, 217) 은 제 1 오디오 출력 디바이스 (110) 에 함께 조합, 인터리빙 또는 그렇지 않으면 송신된다. 도 4 에 도시된 예에서, 제 1 및 제 2 부분들 (215, 217) 은 제 1 오디오 출력 디바이스 (110) 및 제 2 오디오 출력 디바이스 (140) 양자 모두에 함께 조합, 인터리빙, 또는 그렇지 않으면 송신된다.
도 2 에 도시된 예를 참조하면, 제 1 오디오 출력 디바이스 (110) 는 도 1 을 참조하여 설명된 수신기 (126), 모뎀 (122), 오디오 코덱 (120), 메모리 (114), 트랜시버 (124), 모션 센서(들)(116) 및 프로세서(들)(112) 를 포함한다. 부가적으로, 도 2 에서, 제 2 오디오 출력 디바이스 (140) 는 제 1 오디오 출력 디바이스 (110) 와 유사한 컴포넌트들을 포함한다. 예를 들어, 도 2 에서, 제 2 오디오 출력 디바이스 (140) 는 도 1 을 참조하여 설명된 모뎀 (122), 오디오 코덱 (144), 트랜시버 (148), 하나 이상의 모션 센서들 (246), 및 하나 이상의 프로세서들 (244) 을 포함하고, 또한 수신기 (238), 메모리 (242), 하나 이상의 모션 센서들 (246), 및 하나 이상의 프로세서들 (244) 을 포함한다. 도 2 의 예에서, 수신기 (238), 메모리 (242), 모션 센서(들)(246) 및 프로세서(들)(244) 는 제 1 오디오 출력 디바이스 (140) 의 수신기 (126), 메모리 (114), 모션 센서(들)(116) 및 프로세서(들)(112) 과 각각 실질적으로 유사하고, 도 1 을 참조하여 설명된 동일하거나 실질적으로 유사한 방식으로 동작한다.
도 2 에서, 오디오 코덱 (120) 은 공간 오디오 데이터 (106) 의 제 1 부분 (215) 을 디코딩하도록 구성된 스테레오 디코더 (220) 를 포함한다. 오디오 코덱 (120) 은 교환 데이터 (250) 로, 제 2 공간 오디오 출력 디바이스 (140) 로의 송신을 위해 트랜시버 (124) 에 공간 오디오 데이터 (106) 의 디코딩된 제 1 부분 (215) 을 제공하도록 구성된다. 오디오 코덱 (120) 은 또한 공간 오디오 데이터 (106) 의 디코딩된 제 1 부분 (215) 을 메모리 (114) 의 버퍼 (222) 에 저장하도록 구성된다.
도 2 에서, 오디오 코덱 (144) 은 또한 공간 오디오 데이터 (106) 의 제 2 부분 (217) 을 디코딩하도록 구성된 스테레오 디코더 (240) 를 포함한다. 오디오 코덱 (120) 은 교환 데이터 (250) 로, 제 1 공간 오디오 출력 디바이스 (110) 로의 송신을 위해 트랜시버 (148) 에 공간 오디오 데이터 (106) 의 디코딩된 제 2 부분 (217) 을 제공하도록 구성된다. 오디오 코덱 (120) 은 또한 공간 오디오 데이터 (106) 의 디코딩된 제 2 부분 (217) 을 메모리 (242) 의 버퍼 (254) 에 저장하도록 구성된다.
버퍼 (222) 및 버퍼 (252) 에 저장된 공간 오디오 데이터 (106) 의 디코딩된 제 1 부분 (215) 은 3D 음장의 2개의 가상 오디오 소스들을 나타내는 데이터 프레임들 (예를 들어, 오디오 데이터의 시간-윈도잉된 세그먼트들) 을 포함하고, 버퍼 (224) 및 버퍼 (254) 에 저장된 공간 오디오 데이터 (106) 의 디코딩된 제 2 부분 (217) 은 3D 음장의 2개의 다른 가상 오디오 소스들을 나타내는 데이터 프레임들을 포함한다. 데이터 프레임들 각각은 프레임 시퀀스 식별자, 플레이아웃 타임 스탬프, 또는 다른 동기화 데이터와 같은 동기화 데이터를 포함하거나 이와 연관될 수도 있다. 특정한 양태에서, 동기화 데이터는 교환 데이터 (250) 를 통해 오디오 출력 디바이스들 (110, 140) 사이에서 통신된다.
도 2 의 예에서, 프로세서(들)(112) 는 도 1 의 다이어그램 (160) 을 참조하여 설명된 동작들 중 하나 이상과 같은 다양한 동작들을 수행하기 위해 명령들 (예를 들어, 도 1 의 명령들 (132)) 을 실행하도록 구성된다. 예를 들어, 도 2 에서, 프로세서(들)(112) 는 얼라이너 (226), 3D 사운드 컨버터 (228), 음장 회전기 (230), 3D 사운드 컨버터 (232), 및 모노럴라이저 (234) 를 포함한다. 유사하게, 프로세서(들)(244)는 도 1 의 다이어그램 (160) 을 참조하여 설명된 동작들 중 하나 이상과 같은 다양한 동작들을 수행하기 위한 명령들을 실행하도록 구성된다. 예를 들어, 도 2 에서, 프로세서(들)(244) 는 얼라이너 (256), 3D 사운드 컨버터 (258), 음장 회전기 (260), 3D 사운드 컨버터 (262), 및 모노럴라이저 (264) 를 포함한다.
얼라이너 (226) 는 버퍼 (222) 로부터 디코딩된 제 1 부분 (215) 의 데이터 프레임을 취출하고, 디코딩된 제 1 부분 (215) 의 데이터 프레임을 버퍼 (224) 로부터 디코딩된 제 2 부분 (217) 의 대응하는 (예를 들어, 시간 정렬된) 데이터 프레임과 조합 또는 정렬하도록 구성된다. 일 예로서, 얼라이너 (226) 는 도 1 의 동기화 데이터 (138) 에 기초하여 데이터 프레임들을 정렬할 수도 있다. 마찬가지로, 얼라이너 (256) 는 버퍼 (252) 로부터 디코딩된 제 1 부분 (215) 의 데이터 프레임을 취출하고, 디코딩된 제 1 부분 (215) 의 데이터 프레임을 버퍼 (254) 로부터 디코딩된 제 2 부분 (217) 의 대응하는 (예를 들어, 시간 정렬된) 데이터 프레임과 조합 또는 정렬하도록 구성된다. 각각의 경우에, 디코딩된 제 1 부분 (215) 의 데이터 프레임 및 디코딩된 제 2 부분 (217) 의 대응하는 데이터 프레임은 함께 3D 음장을 표현하는 공간 오디오 데이터의 하나의 데이터 프레임 (예를 들어, 도 1 의 ESD 표현 (164) 의 하나의 데이터 프레임 또는 시간-윈도잉된 세그먼트) 을 구성한다.
3D 사운드 컨버터 (228) 는 음장 회전 동작들을 수행하기 위해 3D 음장을 표현하는 공간 오디오 데이터를 계산적으로 효율적인 포맷으로 변환하도록 구성된다. 예를 들어, 3D 사운드 컨버터 (228) 는 도 1 의 블록 (176) 을 참조하여 설명된 바와 같이 ESD 에서 앰비소닉스 변환을 수행할 수도 있다. 이 예에서, 3D 사운드 컨버터 (228) 는 공간 오디오 데이터의 ESD 표현의 데이터 프레임을 대응하는 앰비소닉스 계수들로 변환한다. 3D 사운드 컨버터 (258) 는, 예컨대 공간 오디오 데이터의 ESD 표현의 데이터 프레임에 기초하여 앰비소닉스 계수들을 생성함으로써, 공간 오디오 데이터의 유사한 변환을 수행하도록 구성된다.
음장 회전기 (230) 는 모션 센서(들)(116) 로부터의 모션 데이터 (예를 들어, 모션 데이터 (178)) 에 기초하여 3D 음장을 수정하도록 구성된다. 예를 들어, 음장 회전기 (230) 는 모션 데이터에 기초하여 변환 행렬을 결정하고, 변환 행렬을 앰비소닉스 계수들에 적용하여 회전된 3D 음장을 생성함으로써 회전 동작 (180) 을 수행할 수도 있다. 유사하게, 음장 회전기 (260) 는 회전된 3D 음장을 생성하기 위해 모션 센서(들)(246) 로부터의 모션 데이터 (예를 들어, 모션 데이터 (178)) 에 기초하여 3D 음장을 수정하도록 구성된다.
3D 사운드 컨버터 (232) 는 모노럴화(monauralization) 동작들을 수행하기 위해 회전된 3D 음장을 계산적으로 효율적인 포맷으로 변환하도록 구성된다. 예를 들어, 3D 사운드 컨버터 (232) 는 도 1 의 블록 (182) 을 참조하여 설명된 바와 같이 앰비소닉스에서 ESD 변환을 수행할 수도 있다. 이 예에서, 3D 사운드 컨버터 (228) 는 회전된 앰비소닉스 계수들에 대응하는 데이터 프레임을 ESD 표현으로 변환한다. 3D 사운드 컨버터 (262) 는, 예컨대 회전된 앰비소닉스 계수들에 기초하여 ESD 표현을 생성함으로써, 공간 오디오 데이터의 유사한 변환을 수행하도록 구성된다.
모노럴라이저 (234) 는 사용자의 단일 귀가 3D 음장에서 사운드를 어떻게 수신하게 되는지를 시뮬레이션하는 그 귀에 대한 오디오 데이터 (예를 들어, 모노럴 오디오 데이터) 를 생성하기 위해 회전된 3D 음장에 헤드-관련 전달 (HRT) 함수 (236) 를 적용함으로써 제 1 모노럴 오디오 데이터 (152) 를 생성하도록 구성된다. 모노럴라이저 (264) 는 사용자의 다른 귀가 3D 음장에서 사운드를 어떻게 수신하게 되는지를 시뮬레이션하는 그 다른 귀에 대한 오디오 데이터를 생성하기 위해 회전된 3D 음장에 HRT 함수 (266) 를 적용함으로써 제 2 모노럴 오디오 데이터 (154) 를 생성하도록 구성된다.
특정한 양태에서, 도 2 의 시스템 (100) 은 제 1 및 제 2 오디오 출력 디바이스들 (110, 140) 에 온보드 수행되는 컨볼루션 동작들의 수를 감소시키기 위해 단순화된 3D 음장 통신 스킴 (예를 들어, ESD 표현 (164)) 을 사용하는 것, 제 1 및 제 2 모노럴 오디오 출력 (152, 154) 을 생성하는데 수행된 스테레오 디코딩 동작들의 수를 감소시키기 위해 제 1 및 제 2 오디오 출력 디바이스들 (110, 140) 사이에서 데이터를 교환하는 것, 모노럴 오디오 출력 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 을 생성하는 것, 또는 이들의 조합에 의해 헤드-추적된 몰입형 오디오 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 의 생성을 용이하게 한다. 특정한 양태에서, 시스템 (100) 은 오디오 출력 디바이스들에 의해 제공될 수 있는 3D 음장 재생의 지속기간을 연장하기 위해 한 쌍의 오디오 출력 디바이스들 (예를 들어, 제 1 및 제 2 오디오 출력 디바이스들 (110, 140)) 사이에서 리소스 요구들을 밸런싱하는 것을 용이하게 한다.
도 3 에 도시된 예를 참조하면, 제 1 오디오 출력 디바이스 (110) 는 도 1 및 도 2 를 참조하여 설명된 수신기 (126), 모뎀 (122), 오디오 코덱 (120), 메모리 (114), 트랜시버 (124), 모션 센서(들)(116) 및 프로세서(들)(112) 를 포함한다. 부가적으로, 도 3 에서, 제 2 오디오 출력 디바이스 (140) 는 도 1 및 도 2 를 참조하여 설명된 트랜시버 (148), 메모리 (242), 모션 센서(들)(246), 및 프로세서(들)(244) 를 포함한다.
도 3 에서, 오디오 코덱 (120) 은 공간 오디오 데이터 (106) 의 제 1 부분 (215) 을 디코딩하도록 구성된 스테레오 디코더 (220) 및 공간 오디오 데이터 (106) 의 제 2 부분 (217) 을 디코딩하도록 구성된 스테레오 디코더 (320) 를 포함한다. 오디오 코덱 (120) 은 교환 데이터 (350) 로, 제 2 오디오 출력 디바이스 (140) 로의 송신을 위해 트랜시버 (124) 에 디코딩된 공간 오디오 데이터 (106)(예를 들어, 제 1 부분 (215) 및 제 2 부분 (217) 양자 모두) 를 제공하도록 구성된다. 오디오 코덱 (120) 은 또한 디코딩된 공간 오디오 데이터 (106) 를 메모리 (114) 의 버퍼 (322) 에 저장하도록 구성된다. 도 3 에서, 제 2 오디오 출력 디바이스의 트랜시버 (148) 는 교환 데이터 (350) 를 통해 수신된 디코딩된 공간 오디오 데이터를 메모리 (242) 의 버퍼 (352) 에 저장하도록 구성된다.
버퍼들 (322 및 352) 에 저장된 디코딩된 공간 오디오 데이터 (106) 는 3D 음장의 4개의 가상 오디오 소스들을 나타내거나 앰비소닉스 계수들을 나타내는 데이터 프레임들 (예를 들어, 오디오 데이터의 시간-윈도잉된 세그먼트들) 을 포함한다. 데이터 프레임들 각각은 프레임 시퀀스 식별자, 플레이아웃 타임 스탬프, 또는 다른 동기화 데이터와 같은 동기화 데이터를 포함하거나 이와 연관될 수도 있다. 특정한 양태에서, 동기화 데이터는 교환 데이터 (350) 를 통해 오디오 출력 디바이스들 (110, 140) 사이에서 통신된다.
도 3 의 예에서, 프로세서(들)(112) 및 프로세서(들)(244) 는 도 1 의 다이어그램 (160) 을 참조하여 설명된 동작들 중 하나 이상과 같은 다양한 동작들을 수행하기 위해 명령들 (예를 들어, 도 1 의 명령들 (132)) 을 실행하도록 구성된다. 예를 들어, 도 3 에서, 프로세서(들)(112) 는 도 2 를 참조하여 설명된 얼라이너 (226), 3D 사운드 컨버터 (228), 음장 회전기 (230), 3D 사운드 컨버터 (232), 및 모노럴라이저 (234) 를 포함한다. 유사하게, 프로세서(들)(244) 는 도 2 를 참조하여 설명된 얼라이너 (256), 3D 사운드 컨버터 (258), 음장 회전기 (260), 3D 사운드 컨버터 (262), 및 모노럴라이저 (264) 를 포함한다.
특정한 양태에서, 도 3 의 시스템 (100) 은 제 1 및 제 2 오디오 출력 디바이스들 (110, 140) 에 온보드 수행되는 컨볼루션 동작들의 수를 감소시키기 위해 단순화된 3D 음장 통신 스킴 (예를 들어, ESD 표현 (164)) 을 사용하는 것, 제 1 및 제 2 모노럴 오디오 출력 (152, 154) 을 생성하는데 수행된 스테레오 디코딩 동작들의 수를 감소시키기 위해 제 1 및 제 2 오디오 출력 디바이스들 (110, 140) 사이에서 데이터를 교환하는 것, 모노럴 오디오 출력 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 을 생성하는 것, 또는 이들의 조합에 의해 헤드-추적된 몰입형 오디오 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 의 생성을 용이하게 한다.
도 4 에 도시된 예를 참조하면, 제 1 오디오 출력 디바이스 (110) 는 도 1 및 도 2 를 참조하여 설명된 수신기 (126), 모뎀 (122), 오디오 코덱 (120), 메모리 (114), 트랜시버 (124), 모션 센서(들)(116) 및 프로세서(들)(112) 를 포함한다. 부가적으로, 도 4 에서, 제 2 오디오 출력 디바이스 (140) 는 도 1 및 도 2 를 참조하여 설명된 수신기 (238), 모뎀 (146), 오디오 코덱 (144), 메모리 (242), 트랜시버 (148), 모션 센서(들)(246) 및 프로세서(들)(244) 를 포함한다.
도 4 에서, 오디오 코덱 (120) 은 공간 오디오 데이터 (106) 의 제 1 부분 (215) 을 디코딩하도록 구성된 스테레오 디코더 (220) 및 공간 오디오 데이터 (106) 의 제 2 부분 (217) 을 디코딩하도록 구성된 스테레오 디코더 (320) 를 포함한다. 오디오 코덱 (120) 은 디코딩된 공간 오디오 데이터 (106) 를 메모리 (114) 의 버퍼 (322) 에 저장하도록 구성된다. 부가적으로, 오디오 코덱 (144) 은 공간 오디오 데이터 (106) 의 제 1 부분 (215) 을 디코딩하도록 구성된 스테레오 디코더 (440) 및 공간 오디오 데이터 (106) 의 제 2 부분 (217) 을 디코딩하도록 구성된 스테레오 디코더 (240) 를 포함한다. 오디오 코덱 (144) 은 디코딩된 공간 오디오 데이터 (106) 를 메모리 (242) 의 버퍼 (352) 에 저장하도록 구성된다.
도 4 에서, 트랜시버들 (124 및 148) 은 제 1 모노럴 오디오 출력 데이터 (152) 및 제 2 모노럴 오디오 출력 데이터 (154) 의 동기화를 용이하게 하기 위해 동기화 데이터를 포함하는 교환 데이터 (450) 를 교환한다. 예를 들어, 얼라이너들 (226, 256) 중 하나 또는 양자 모두는 데이터 프레임이 개개의 버퍼 (322, 352) 로부터 판독될 때 동기화 데이터의 송신을 개시할 수도 있다. 다른 예로서, 프로세서(들)(112), 프로세서(들)(244), 또는 오디오 출력 디바이스들 (110, 140) 중 어느 하나의 다른 컴포넌트는 교환 데이터 (450) 를 통해 전달되는 동기화 신호 (예를 들어, 클록 신호) 를 생성할 수도 있다.
도 4 의 예에서, 프로세서(들)(112) 및 프로세서(들)(244) 는 도 1 의 다이어그램 (160) 을 참조하여 설명된 동작들 중 하나 이상과 같은 다양한 동작들을 수행하기 위해 명령들 (예를 들어, 도 1 의 명령들 (132)) 을 실행하도록 구성된다. 예를 들어, 도 4 에서, 프로세서(들)(112) 는 도 2 를 참조하여 설명된 얼라이너 (226), 3D 사운드 컨버터 (228), 음장 회전기 (230), 3D 사운드 컨버터 (232), 및 모노럴라이저 (234) 를 포함한다. 유사하게, 프로세서(들)(244) 는 도 2 를 참조하여 설명된 얼라이너 (256), 3D 사운드 컨버터 (258), 음장 회전기 (260), 3D 사운드 컨버터 (262), 및 모노럴라이저 (264) 를 포함한다.
특정한 양태에서, 시스템 (100) 은 제 1 및 제 2 오디오 출력 디바이스들 (110, 140) 에 온보드 수행되는 컨볼루션 동작들의 수를 감소시키기 위해 단순화된 3D 음장 통신 스킴 (예를 들어, ESD 표현 (164)) 을 사용하는 것, 제 1 및 제 2 모노럴 오디오 출력 (152, 154) 을 생성하는데 수행된 스테레오 디코딩 동작들의 수를 감소시키기 위해 제 1 및 제 2 오디오 출력 디바이스들 (110, 140) 사이에서 데이터를 교환하는 것, 모노럴 오디오 출력 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 을 생성하는 것, 또는 이들의 조합에 의해 헤드-추적된 몰입형 오디오 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 의 생성을 용이하게 한다. 특정한 양태에서, 시스템 (100) 은 오디오 출력 디바이스들에 의해 제공될 수 있는 3D 음장 재생의 지속기간을 연장하기 위해 한 쌍의 오디오 출력 디바이스들 (예를 들어, 제 1 및 제 2 오디오 출력 디바이스들 (110, 140)) 사이에서 리소스 요구들을 밸런싱하는 것을 용이하게 한다.
도 5 는 본 개시의 일부 예들에 따른, 공간 오디오 데이터로부터 모노럴 오디오 출력의 생성을 가능하게 하기 위해 데이터 교환을 수행하도록 동작가능한 헤드폰들과 같은, 헤드셋 (500)(예를 들어, 개인용 오디오 디바이스의 특정한 예) 의 다이어그램이다. 도 5 에서, 헤드셋 (500) 의 제 1 이어컵은 제 1 오디오 출력 디바이스 (110) 를 포함하고, 헤드셋 (500) 의 제 2 이어컵은 제 2 오디오 출력 디바이스 (140) 를 포함한다. 헤드셋 (500) 은 하나 이상의 마이크로폰들 (502) 을 포함할 수도 있다. 특정한 예에서, 오디오 출력 디바이스들 (110, 140) 은 도 1 내지 도 4 중 임의의 것을 참조하여 설명된 바와 같이 동작한다. 예를 들어, 도 5 의 제 1 오디오 출력 디바이스 (110), 제 2 오디오 출력 디바이스 (140), 또는 양자 모두는 공간 오디오 데이터를 획득하고; 다른 오디오 출력 디바이스와 공간 오디오 데이터에 기초한 교환 데이터의 데이터 교환을 수행하고; 그리고 공간 오디오 데이터에 기초하여 모노럴 오디오 출력을 생성하도록 구성된다.
도 6 은 본 개시의 일부 예들에 따른, 공간 오디오 데이터로부터 모노럴 오디오 출력의 생성을 가능하게 하기 위해 데이터 교환을 수행하도록 동작가능한 이어 버드들 (600)(예를 들어, 개인용 오디오 디바이스의 특정한 예) 의 다이어그램이다. 도 6 에서, 제 1 이어 버드 (602) 는 제 1 오디오 출력 디바이스 (110) 를 포함하거나 이에 대응하고, 제 2 이어 버드 (604) 는 제 2 오디오 출력 디바이스 (140) 를 포함하거나 이에 대응한다. 이어 버드들 (600) 중 하나 또는 양자 모두는 또한 하나 이상의 마이크로폰들을 포함할 수도 있다. 특정한 예에서, 오디오 출력 디바이스들 (110, 140) 은 도 1 내지 도 4 중 임의의 것을 참조하여 설명된 바와 같이 동작한다. 예를 들어, 도 6 의 제 1 오디오 출력 디바이스 (110), 제 2 오디오 출력 디바이스 (140), 또는 양자 모두는 공간 오디오 데이터를 획득하고; 다른 오디오 출력 디바이스와 공간 오디오 데이터에 기초한 교환 데이터의 데이터 교환을 수행하고; 그리고 공간 오디오 데이터에 기초하여 모노럴 오디오 출력을 생성하도록 구성된다.
도 7 은 본 개시의 일부 예들에 따른, 공간 오디오 데이터로부터 모노럴 오디오 출력의 생성을 가능하게 하기 위해 데이터 교환을 수행하도록 동작가능한, 가상 현실 헤드셋, 증강 현실 헤드셋, 또는 혼합 현실 헤드셋과 같은 헤드셋 (700)(예를 들어, 개인용 오디오 디바이스의 특정한 예) 의 다이어그램이다. 도 7 에서, 제 1 오디오 출력 디바이스 (110) 는 사용자의 제 1 귀에 근접한 위치에서 헤드셋 (700) 에 포함되거나 커플링되고, 제 2 오디오 출력 디바이스 (140) 는 사용자의 제 2 귀에 근접한 위치에서 헤드셋 (700) 에 포함되거나 커플링된다. 헤드셋 (700) 은 또한 하나 이상의 마이크로폰들 (710) 및 하나 이상의 디스플레이 디바이스들 (712) 을 포함할 수도 있다. 특정한 예에서, 오디오 출력 디바이스들 (110, 140) 은 도 1 내지 도 4 중 임의의 것을 참조하여 설명된 바와 같이 동작한다. 예를 들어, 도 7 의 제 1 오디오 출력 디바이스 (110), 제 2 오디오 출력 디바이스 (140), 또는 양자 모두는 공간 오디오 데이터를 획득하고; 다른 오디오 출력 디바이스와 공간 오디오 데이터에 기초한 교환 데이터의 데이터 교환을 수행하고; 그리고 공간 오디오 데이터에 기초하여 모노럴 오디오 출력을 생성하도록 구성된다.
도 8 은 본 개시의 일부 예들에 따른, 도 1 내지 도 7 의 오디오 출력 디바이스들의 하나 이상에 의해 수행된 공간 오디오 데이터로부터의 모노럴 오디오 출력을 생성하는 방법 (800) 의 특정한 구현의 다이어그램이다. 특정한 양태에서, 방법 (800) 의 하나 이상의 동작들은 도 1 내지 도 4 의 제 1 오디오 출력 디바이스 (110), 프로세서(들)(112), 수신기 (126), 트랜시버 (124), 오디오 트랜스듀서(들) (118), 제 2 오디오 출력 디바이스 (140), 트랜시버 (148), 오디오 트랜스듀서(들)(142), 또는 이들의 하나 이상의 컴포넌트들의 조합 중 적어도 하나에 의해 수행된다. 다른 특정한 양태에서, 방법 (800) 의 하나 이상의 동작들은 도 2 내지 도 4 의 수신기 (238), 또는 프로세서(들)(244), 또는 이들의 하나 이상의 컴포넌트들의 조합 중 적어도 하나에 의해 수행된다.
방법 (800) 은, 블록 (802) 에서, 제 1 오디오 출력 디바이스에서, 공간 오디오 데이터를 획득하는 것을 포함한다. 예를 들어, 도 1 내지 도 7 의 제 1 오디오 출력 디바이스 (110) 는 호스트 디바이스 (102) 로부터 또는 메모리 (114) 로부터 무선 송신들 (104) 을 통해 공간 오디오 데이터 (106) 를 획득할 수도 있다.
방법 (800) 은, 블록 (804) 에서, 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하는 것을 포함한다. 예를 들어, 도 1 내지 도 7 의 제 1 및 제 2 오디오 출력 디바이스들 (110, 140) 은 오디오 출력 디바이스들 (110, 140) 사이의 무선 피어-투-피어 애드 혹 링크와 같은, 무선 송신들을 통해 데이터를 교환할 수도 있다.
방법 (800) 은, 블록 (806) 에서, 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하는 것을 포함한다. 예를 들어, 도 1 내지 도 7 의 제 1 오디오 출력 디바이스 (110) 는, 공간 오디오 데이터에 기초하여 사용자의 제 1 귀에 대한 제 1 모노럴 오디오 출력 (152) 을 생성할 수도 있다.
도 8 의 방법 (800) 은 필드 프로그램가능 게이트 어레이 (FPGA) 디바이스, 주문형 집적 회로 (ASIC), 프로세싱 유닛, 예컨대 중앙 프로세싱 유닛 (CPU), DSP, 제어기, 다른 하드웨어 디바이스, 펌웨어 디바이스, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 일 예로서, 도 8 의 방법 (800) 은 도 1 를 참조하여 설명된 바와 같은, 명령들을 실행하는 프로세서에 의해 수행될 수도 있다.
도 8 의 방법 (800) 은 일반적으로 제 1 오디오 출력 디바이스 (110) 의 관점에서 설명되지만, 제 2 오디오 출력 디바이스 (140) 는 제 1 오디오 출력 디바이스 (110) 에 부가하여 또는 그 대신에 방법 (800) 의 동작들을 수행할 수도 있다.
특정한 양태에서, 방법 (800) 은 헤드-추적된 몰입형 오디오 (예를 들어, 도 1 내지 도 4 의 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 와 같은 공간 오디오 데이터에 기초하여 모노럴 오디오 출력의 생성을 가능하게 한다. 특정한 양태에서, 방법 (800) 은 오디오 출력 디바이스 (예를 들어, 제 1 및 제 2 오디오 출력 디바이스들 (110, 140)) 에 온보드 수행되는 컨볼루션 동작들의 수를 감소시키도록 단순화된 3D 음장 통신 스킴 (예를 들어, ESD 표현 (164)) 을 사용하는 것, 오디오 출력 디바이스들 각각에서 모노럴 오디오 출력 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 을 생성하도록 수행된 스테레오 디코딩 동작들의 수를 감소시키도록 오디오 출력 디바이스들 (예를 들어, 제 1 및 제 2 오디오 출력 디바이스들 (110, 140)) 사이에서 데이터를 교환하는 것, 모노럴 오디오 출력 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 을 생성하는 것, 또는 이들의 조합을 가능하게 한다. 특정한 양태에서, 방법 (800) 은 오디오 출력 디바이스들에 의해 제공될 수 있는 3D 음장 재생의 지속기간을 연장하기 위해 한 쌍의 오디오 출력 디바이스들 (예를 들어, 제 1 및 제 2 오디오 출력 디바이스들 (110, 140)) 사이에서 리소스 요구들을 밸런싱하는 방식으로 수행된다.
도 9 는 본 개시의 일부 예들에 따른, 도 1 내지 도 7 의 오디오 출력 디바이스들의 하나 이상에 의해 수행된 공간 오디오 데이터로부터의 모노럴 오디오 출력을 생성하는 방법 (900)의 다른 특정한 구현의 다이어그램이다. 특정한 양태에서, 방법 (900) 의 하나 이상의 동작들은 도 1 내지 도 4 의 제 1 오디오 출력 디바이스 (110), 프로세서(들)(112), 수신기 (126), 트랜시버 (124), 오디오 트랜스듀서(들) (118), 제 2 오디오 출력 디바이스 (140), 트랜시버 (148), 오디오 트랜스듀서(들)(142), 또는 이들의 하나 이상의 컴포넌트들의 조합 중 적어도 하나에 의해 수행된다. 다른 특정한 양태에서, 방법 (800) 의 하나 이상의 동작들은 도 2 내지 도 4 의 수신기 (238), 또는 프로세서(들)(244), 또는 이들의 조합 중 적어도 하나에 의해 수행된다.
방법 (900) 은, 블록 (902) 에서, 제 1 오디오 출력 디바이스에서, 공간 오디오 데이터를 획득하는 것을 포함한다. 특정한 양태에서, 방법 (900) 에서 공간 오디오 데이터를 획득하는 것은, 블록 (904) 에서, 무선 피어-투-피어 애드 혹 링크를 통해 호스트 디바이스로부터 공간 오디오 데이터를 수신하는 것을 포함한다. 예를 들어, 도 1 내지 도 7 의 제 1 오디오 출력 디바이스 (110) 는 호스트 디바이스 (102) 로부터 무선 송신들 (104) 을 통해 공간 오디오 데이터 (106) 를 획득할 수도 있다.
방법 (900) 은, 블록 (906) 에서, 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하는 것을 포함한다. 도 9 에 도시된 특정한 예에서, 교환 데이터의 데이터 교환을 수행하는 것은, 블록 (908) 에서, 제 1 교환 데이터를 제 2 오디오 출력 디바이스에 전송하는 것, 및 블록 (910) 에서, 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하는 것을 포함한다. 다양한 구현들에서, 교환 데이터는, 예시적인 예들로서, 오디오 파형 데이터, 앰비소닉스 계수들, 디코딩된 스테레오 데이터, 및/또는 ESD 표현을 포함한다.
방법 (900) 은, 블록 (912) 에서, 공간 오디오 데이터에 기초하여 앰비소닉스 계수들을 결정하는 것을 포함한다. 예를 들어, 3D 사운드 컨버터 (228) 는 공간 오디오 데이터의 ESD 표현에 기초하여 앰비소닉스 계수들을 결정하기 위해 동작들 (예를 들어, 블록 (176) 에서의 ESD 에서 앰비소닉스 동작들) 을 수행할 수도 있다. 일부 구현들에서, 공간 오디오 데이터를 표현하는 3D 음장 표현은 교환 데이터에 부분적으로 기초하여 생성된다.
방법 (900) 은, 블록 (914) 에서, 회전된 3D 음장을 표현하는 수정된 앰비소닉스 계수들을 생성하기 위해 하나 이상의 모션 센서들로부터의 모션 데이터에 기초하여 앰비소닉스 계수들을 수정하는 것을 포함한다. 예를 들어, 음장 회전기 (230) 는 회전된 3D 음장을 결정하기 위해 동작들 (예를 들어, 모션 데이터 (178) 에 기초한 회전 동작들 (180)) 을 수행할 수도 있다.
방법 (900) 은, 블록 (916) 에서, 제 1 오디오 출력 디바이스에 대응하는 제 1 모노럴 오디오 데이터를 생성하기 위해 헤드-관련 전달 함수를 수정된 앰비소닉스 계수들에 적용하는 것을 포함한다. 예를 들어, 모노럴라이저 (234) 는 모노럴 오디오 데이터 (152) 를 생성하기 위해 앰비소닉스 계수들에 HRT 함수 (236) 를 적용할 수도 있다.
방법 (900) 은, 블록 (918) 에서, 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하는 것을 포함한다. 예를 들어, 오디오 트랜스듀서(들)(118) 은 제 1 모노럴 오디오 출력 (152) 을 생성할 수도 있다.
도 9 의 방법 (900) 은 일반적으로 제 1 오디오 출력 디바이스 (110) 의 관점에서 설명되지만, 제 2 오디오 출력 디바이스 (140) 는 제 1 오디오 출력 디바이스 (110) 에 부가하여 또는 그 대신에 방법 (900) 의 동작들을 수행할 수도 있다.
특정한 양태에서, 방법 (900) 은 헤드-추적된 몰입형 오디오 (예를 들어, 도 1 내지 도 4 의 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 와 같은 공간 오디오 데이터에 기초하여 모노럴 오디오 출력의 생성을 가능하게 한다. 특정한 양태에서, 방법 (800) 은 오디오 출력 디바이스 (예를 들어, 제 1 및 제 2 오디오 출력 디바이스들 (110, 140)) 에 온보드 수행되는 컨볼루션 동작들의 수를 감소시키도록 단순화된 3D 음장 통신 스킴 (예를 들어, ESD 표현 (164)) 을 사용하는 것, 오디오 출력 디바이스들 각각에서 모노럴 오디오 출력 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 을 생성하도록 수행된 스테레오 디코딩 동작들의 수를 감소시키도록 오디오 출력 디바이스들 (예를 들어, 제 1 및 제 2 오디오 출력 디바이스들 (110, 140)) 사이에서 데이터를 교환하는 것, 모노럴 오디오 출력 (예를 들어, 제 1 및 제 2 모노럴 오디오 출력 (152, 154)) 을 생성하는 것, 또는 이들의 조합을 가능하게 한다. 특정한 양태에서, 방법 (900) 은 오디오 출력 디바이스들에 의해 제공될 수 있는 3D 음장 재생의 지속기간을 연장하기 위해 한 쌍의 오디오 출력 디바이스들 (예를 들어, 제 1 및 제 2 오디오 출력 디바이스들 (110, 140)) 사이에서 리소스 요구들을 밸런싱하는 방식으로 수행된다.
설명된 구현들과 함께, 장치는 제 1 오디오 출력 디바이스에서 공간 오디오 데이터를 획득하기 위한 수단을 포함한다. 예를 들어, 공간 오디오 데이터를 획득하기 위한 수단은 제 1 오디오 출력 디바이스 (110), 프로세서(들)(112), 수신기 (126), 공간 오디오 데이터를 획득하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
장치는 또한 공간 오디오 데이터에 기초하여 교환 데이터의 데이터 교환을 수행하기 위한 수단을 포함한다. 예를 들어, 데이터 교환을 수행하기 위한 수단은 제 1 오디오 출력 디바이스 (110), 프로세서(들)(112), 트랜시버 (124), 데이터 교환을 수행하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
장치는 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하기 위한 수단을 더 포함한다. 예를 들어, 제 1 모노럴 오디오 출력을 생성하기 위한 수단은 제 1 오디오 출력 디바이스 (110), 프로세서(들)(112), 오디오 트랜스듀서 (118), 모노널 오디오 출력을 생성하도록 구성된 하나 이상의 다른 회로들 또는 컴포넌트들, 또는 이들의 임의의 조합에 대응할 수 있다.
일부 구현들에서, 비일시적 컴퓨터 판독가능 매체 (예를 들어, 메모리 (114) 와 같은 컴퓨터 판독가능 저장 디바이스) 는, 하나 이상의 프로세서들 (예를 들어, 프로세서들 (112)) 에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 제 1 오디오 출력 디바이스 (예를 들어, 제 1 오디오 출력 디바이스 (110)) 에서 공간 오디오 데이터 (예를 들어, 공간 오디오 데이터 (106)) 를 획득하게 하는, 명령들 (예를 들어, 명령들 (132)) 을 포함한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 또한 하나 이상의 프로세서들로 하여금, 공간 오디오 데이터에 기초하여 교환 데이터 (예를 들어, 제 1 교환 데이터 (136), 제 2 교환 데이터 (150), 동기화 데이터 (138), 또는 이들의 조합) 의 데이터 교환을 수행하게 한다. 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 또한 하나 이상의 프로세서들로 하여금, 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력 (예를 들어, 제 1 모노럴 오디오 출력 (152)) 을 생성하게 한다.
본 개시의 특정한 양태들은 상호관련된 조항들의 제 1 세트로 하기에서 설명된다:
조항 1 에 따르면, 디바이스는 명령들을 저장하도록 구성된 메모리, 및 하나 이상의 프로세서들을 포함하고, 하나 이상의 프로세서들은, 제 1 오디오 출력 디바이스에서 공간 오디오 데이터를 획득하고; 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하며; 그리고 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하기 위한 명령들을 실행하도록 구성된다.
조항 2 는 조항 1 의 디바이스를 포함하고, 하나 이상의 프로세서들에 커플링되고 무선 피어-투-피어 애드 혹 링크를 통해 호스트 디바이스로부터 공간 오디오 데이터를 수신하도록 구성된 수신기를 더 포함한다.
조항 3 은 조항 1 또는 조항 2 의 디바이스를 포함하고, 하나 이상의 프로세서들에 커플링된 트랜시버를 더 포함하며, 트랜시버는 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이의 무선 링크를 통해 제 2 오디오 출력 디바이스에 제 1 교환 데이터를 전송하도록 구성된다.
조항 4 는 조항 3 의 디바이스를 포함하고, 트랜시버는 추가로 무선 링크를 통해 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하도록 구성된다.
조항 5 는 조항들 1 내지 4 중 임의의 것의 디바이스를 포함하고, 하나 이상의 프로세서들에 커플링된 트랜시버를 더 포함하며, 트랜시버는 제 1 교환 데이터를 제 2 오디오 출력 디바이스에 전송하고, 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하도록 구성되며, 제 1 모노럴 오디오 출력을 생성하는 것은 공간 오디오 데이터 및 상기 제 2 교환 데이터에 기초하여 3D 음장 표현을 결정하는 것을 포함한다.
조항 6 은 조항들 1 내지 5 중 임의의 것의 디바이스를 포함하고, 하나 이상의 프로세서들에 커플링되고 무선 송신을 통해 공간 오디오 데이터를 획득하도록 구성된 모뎀; 및 모뎀에 커플링되고 하나 이상의 프로세서들에 커플링된 오디오 코덱을 더 포함하고, 오디오 코덱은 공간 오디오 데이터에 기초하여 오디오 파형 데이터를 생성하도록 구성된다.
조항 7 은 조항 6 의 디바이스를 포함하고, 교환 데이터는 오디오 파형 데이터를 포함한다.
조항 8 은 조항 6 의 디바이스를 포함하고, 오디오 파형 데이터는 펄스-코드 변조 (PCM) 데이터를 포함한다.
조항 9 는 조항들 1 내지 8 중 임의의 것의 디바이스를 포함하고, 교환 데이터는 제 2 오디오 출력 디바이스에서의 제 2 모노럴 오디오 출력과 제 1 모노럴 오디오 출력의 동기화를 용이하게 하기 위한 동기화 데이터를 포함한다.
조항 10 은 조항들 1 내지 9 중 임의의 것의 디바이스를 포함하고, 교환 데이터는 앰비소닉스 계수들을 포함한다.
조항 11 은 조항들 1 내지 10 중 임의의 것의 디바이스를 포함하고, 제 1 오디오 출력 디바이스는 헤드셋의 제 1 이어버드, 제 1 스피커, 또는 제 1 이어컵에 대응하고, 제 2 오디오 출력 디바이스는 헤드셋의 제 2 이어버드, 제 2 스피커, 또는 제 2 이어컵에 대응한다.
조항 12 는 조항들 1 내지 11 중 임의의 것의 디바이스를 포함하고, 공간 오디오 데이터는 3D 음장을 표현하는 앰비소닉스 계수들을 포함한다.
조항 13 은 조항들 1 내지 12 중 임의의 것의 디바이스를 포함하고, 공간 오디오 데이터는 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터 및 3D 음장의 제 2 복수의 음원들에 대응하는 제 2 오디오 데이터를 포함하고, 제 1 복수의 음원들은 제 2 복수의 음원들과 별개이다.
조항 14 는 조항들 1 내지 13 중 임의의 것의 디바이스를 포함하고, 공간 오디오 데이터는 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터를 포함하고, 데이터 교환을 수행하는 것은 제 2 오디오 출력 디바이스로부터 제 2 오디오 데이터를 수신하는 것을 포함하고, 제 2 오디오 데이터는 3D 음장의 제 2 복수의 음원들에 대응하고, 제 1 복수의 음원들은 제 2 복수의 음원들과 별개이다.
조항 15 는 조항들 1 내지 14 중 임의의 것으 디바이스를 포함하고, 하나 이상의 프로세서들에 커플링된 하나 이상의 모션 센서들을 더 포함하고, 하나 이상의 프로세서들은 추가로, 공간 오디오 데이터에 기초하여 앰비소닉스 계수들을 결정하고; 회전된 3D 음장을 표현하는 수정된 앰비소닉스 계수들을 생성하기 위해 하나 이상의 모션 센서들로부터의 모션 데이터에 기초하여 앰비소닉스 계수들을 수정하며; 그리고 제 1 모노럴 오디오 출력에 대응하는 제 1 오디오 데이터를 생성하기 위해 수정된 앰비소닉스 계수들에 헤드-관련 전달 함수를 적용하도록 구성된다.
조항 16 은 조항 15 의 디바이스를 포함하고, 교환 데이터는 회전된 3D 음장을 표현하는 데이터를 포함한다.
조항 17 은 조항 15 의 디바이스를 포함하고, 앰비소닉스 계수들은 추가로 상기 제 2 오디오 출력 디바이스로부터 수신된 제 2 교환 데이터에 기초하여 결정된다.
조항 18 은 조항들 1 내지 17 중 임의의 것의 디바이스를 포함하고, 하나 이상의 프로세서들에 커플링된 메모리를 더 포함하며, 공간 오디오 데이터는 메모리로부터 획득된다.
조항 19 에 따르면, 방법은, 제 1 오디오 출력 디바이스에서, 공간 오디오 데이터를 획득하는 단계; 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하는 단계; 및 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하는 단계를 포함한다.
조항 20 은 조항 19 의 방법을 포함하고, 무선 피어-투-피어 애드 혹 링크를 통해 호스트 디바이스로부터 공간 오디오 데이터를 수신하는 단계를 더 포함한다.
조항 21 은 조항 19 또는 조항 20 의 방법을 포함하고, 데이터 교환을 수행하는 단계는, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이의 무선 링크를 통해 제 1 교환 데이터를 제 2 오디오 출력 디바이스에 전송하는 단계를 포함한다.
조항 22 는 조항 21 의 방법을 포함하고, 데이터 교환을 수행하는 단계는 무선 링크를 통해 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하는 단계를 포함한다.
조항 23 은 조항들 19 내지 22 중 임의의 것의 방법을 포함하고, 데이터 교환을 수행하는 단계는, 제 1 교환 데이터를 제 2 오디오 출력 디바이스에 전송하는 단계 및 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하는 단계를 포함하고, 제 1 모노럴 오디오 출력을 생성하는 단계는 공간 오디오 데이터 및 제 2 교환 데이터에 기초하여 3D 음장 표현을 결정하는 단계를 포함한다.
조항 24 는 조항들 19 내지 23 중 임의의 것의 방법을 포함하고, 공간 오디오 데이터에 기초하여 오디오 파형 데이터를 생성하는 단계를 더 포함한다.
조항 25 는 조항 24 의 방법을 포함하고, 교환 데이터는 오디오 파형 데이터를 포함한다.
조항 26 은 조항 24 의 방법을 포함하고, 오디오 파형 데이터는 펄스-코드 변조 (PCM) 데이터를 포함한다.
조항 27 은 조항들 19 내지 26 중 임의의 것의 방법을 포함하고, 교환 데이터는 제 2 오디오 출력 디바이스에서의 제 2 모노럴 오디오 출력과 제 1 모노럴 오디오 출력의 동기화를 용이하게 하기 위한 동기화 데이터를 포함한다.
조항 28 은 조항들 19 내지 27 중 임의의 것의 방법을 포함하고, 교환 데이터는 앰비소닉스 계수들을 포함한다.
조항 29 은 조항들 19 내지 28 중 임의의 것의 방법을 포함하고, 제 1 오디오 출력 디바이스는 헤드셋의 제 1 이어버드, 제 1 스피커, 또는 제 1 이어컵에 대응하고, 제 2 오디오 출력 디바이스는 헤드셋의 제 2 이어버드, 제 2 스피커, 또는 제 2 이어컵에 대응한다.
조항 30 은 조항들 19 내지 29 중 임의의 것의 방법을 포함하고, 공간 오디오 데이터는 3D 음장을 표현하는 앰비소닉스 계수들을 포함한다.
조항 31 은 조항들 19 내지 30 중 임의의 것의 방법을 포함하고, 공간 오디오 데이터는 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터 및 3D 음장의 제 2 복수의 음원들에 대응하는 제 2 오디오 데이터를 포함하고, 제 1 복수의 음원들은 제 2 복수의 음원들과 별개이다.
조항 32 는 조항들 19 내지 31 중 임의의 것의 방법을 포함하고, 공간 오디오 데이터는 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터를 포함하고, 데이터 교환을 수행하는 것은 제 2 오디오 출력 디바이스로부터 제 2 오디오 데이터를 수신하는 것을 포함하고, 제 2 오디오 데이터는 3D 음장의 제 2 복수의 음원들에 대응하고, 제 1 복수의 음원들은 제 2 복수의 음원들과 별개이다.
조항 33 은 조항들 19 내지 32 중 임의의 것의 방법을 포함하고, 공간 오디오 데이터에 기초하여 앰비소닉스 계수들을 결정하는 단계;
회전된 3D 음장을 표현하는 수정된 앰비소닉스 계수들을 생성하기 위해 하나 이상의 모션 센서들로부터의 모션 데이터에 기초하여 앰비소닉스 계수들을 수정하는 단계; 및 제 1 오디오 출력 디바이스에 대응하는 제 1 모노럴 오디오 데이터를 생성하기 위해 수정된 앰비소닉스 계수들에 헤드-관련 전달 함수를 적용하는 단계를 더 포함한다.
조항 34 는 조항 33 의 방법을 포함하고, 교환 데이터는 회전된 3D 음장을 표현하는 데이터를 포함한다.
조항 35 는 조항 33 의 방법을 포함하고, 앰비소닉스 계수들은 추가로 상기 제 2 오디오 출력 디바이스로부터 수신된 제 2 교환 데이터에 기초하여 결정된다.
조항 36 은 조항들 19 내지 35 중 임의의 것의 방법을 포함하고, 공간 오디오 데이터는 메모리로부터 획득된다.
조항 37 에 따르면, 장치는, 제 1 오디오 출력 디바이스에서, 공간 오디오 데이터를 획득하는 수단; 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하는 수단; 및 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하는 수단을 포함한다.
조항 38 은 조항 37 의 장치를 포함하고, 데이터 교환을 수행하는 수단은 무선 피어-투-피어 애드 혹 링크를 통해 호스트 디바이스로부터 공간 오디오 데이터를 수신하는 수단을 포함한다.
조항 39 는 조항 37 또는 조항 38 의 장치를 포함하고, 데이터 교환을 수행하는 수단은, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이의 무선 링크를 통해 제 1 교환 데이터를 제 2 오디오 출력 디바이스에 전송하는 수단을 포함한다.
조항 40 은 조항 39 의 장치를 포함하고, 데이터 교환을 수행하는 수단은 무선 링크를 통해 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하는 수단을 더 포함한다.
조항 41 은 조항들 37 내지 40 중 임의의 것의 장치를 포함하고, 데이터 교환을 수행하는 수단은, 제 1 교환 데이터를 제 2 오디오 출력 디바이스에 전송하는 수단 및 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하는 수단을 포함하고, 제 1 모노럴 오디오 출력을 생성하는 것은 공간 오디오 데이터 및 제 2 교환 데이터에 기초하여 3D 음장 표현을 결정하는 것을 포함한다.
조항 42 는 조항들 37 내지 41 중 임의의 것의 장치를 포함하고, 공간 오디오 데이터에 기초하여 오디오 파형 데이터를 생성하는 수단을 더 포함한다.
조항 43 은 조항들 37 내지 42 중 임의의 것의 장치를 포함하고, 교환 데이터는 제 2 오디오 출력 디바이스에서의 제 2 모노럴 오디오 출력과 제 1 모노럴 오디오 출력의 동기화를 용이하게 하기 위한 동기화 데이터를 포함한다.
조항 44 는 조항들 37 내지 43 중 임의의 것의 장치를 포함하고, 공간 오디오 데이터를 획득하는 수단은, 데이터 교환을 수행하는 수단, 및 제 1 모노럴 오디오 출력을 생성하는 수단은, 헤드셋의 제 1 이어버드, 제 1 스피커, 또는 제 1 이어컵과 통합되고, 제 2 오디오 출력 디바이스는 헤드셋의 제 2 이어버드, 제 2 스피커, 또는 제 2 이어컵에 대응한다.
조항 45 는 조항들 37 내지 44 중 임의의 것의 장치를 포함하고, 공간 오디오 데이터는 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터 및 3D 음장의 제 2 복수의 음원들에 대응하는 제 2 오디오 데이터를 포함하고, 제 1 복수의 음원들은 제 2 복수의 음원들과 별개이다.
조항 46 은 조항들 37 내지 45 중 임의의 것의 장치를 포함하고, 공간 오디오 데이터는 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터를 포함하고, 데이터 교환을 수행하는 수단은 제 2 오디오 출력 디바이스로부터 제 2 오디오 데이터를 수신하는 수단을 포함하고, 제 2 오디오 데이터는 3D 음장의 제 2 복수의 음원들에 대응하고, 제 1 복수의 음원들은 제 2 복수의 음원들과 별개이다.
조항 47 은 조항들 37 내지 46 중 임의의 것의 장치를 포함하고, 공간 오디오 데이터를 저장하는 수단을 더 포함한다.
조항 48 에 따르면, 비일시적 컴퓨터 판독가능 저장 디바이스는 명령들을 저장하고, 명령들은 하나 이상의 프로세서들로 하여금, 제 1 오디오 출력 디바이스에서 공간 오디오 데이터를 획득하게 하고; 공간 오디오 데이터에 기초하여 교환 데이터의, 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하게 하며; 그리고 공간 오디오 데이터에 기초하여 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하게 하도록 프로세서들에 의해 실행가능하다.
조항 49 는 조항 48 의 비일시적 컴퓨터 판독가능 저장 디바이스를 포함하고, 명령들은 추가로, 하나 이상의 프로세서들로 하여금, 제 1 교환 데이터를 제 2 오디오 출력 디바이스에 전송하게 하고, 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하게 하며, 제 1 모노럴 오디오 출력을 생성하는 것은 공간 오디오 데이터 및 제 2 교환 데이터에 기초하여 3D 음장 표현을 결정하는 것을 포함한다.
조항 50 은 조항 48 또는 조항 49 의 비일시적 컴퓨터 판독가능 저장 디바이스를 포함하고, 명령들은 추가로, 하나 이상의 프로세서들로 하여금 공간 오디오 데이터에 기초하여 오디오 파형 데이터를 생성하게 한다.
조항 51 은 조항들 48 내지 50 중 임의의 것의 컴퓨터 판독가능 저장 디바이스를 포함하고, 교환 데이터는 제 2 오디오 출력 디바이스에서의 제 2 모노럴 오디오 출력과 제 1 모노럴 오디오 출력의 동기화를 용이하게 하기 위한 동기화 데이터를 포함한다.
조항 52 는 조항들 48 내지 51 중 임의의 것의 컴퓨터 판독가능 저장 디바이스를 포함하고, 공간 오디오 데이터는 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터 및 3D 음장의 제 2 복수의 음원들에 대응하는 제 2 오디오 데이터를 포함하고, 제 1 복수의 음원들은 제 2 복수의 음원들과 별개이다.
조항 53 은 조항들 48 내지 52 중 임의의 것의 컴퓨터 판독가능 저장 디바이스를 포함하고, 명령들은 추가로, 하나 이상의 프로세서들로 하여금, 공간 오디오 데이터에 기초하여 앰비소닉스 계수들을 결정하게 하고; 회전된 3D 음장을 표현하는 수정된 앰비소닉스 계수들을 생성하기 위해 하나 이상의 모션 센서들로부터의 모션 데이터에 기초하여 앰비소닉스 계수들을 수정하게 하며; 그리고 제 1 오디오 출력 디바이스에 대응하는 제 1 모노럴 오디오 데이터를 생성하기 위해 수정된 앰비소닉스 계수들에 헤드-관련 전달 함수를 적용하게 한다.
당업자는 추가로, 본 명세서에서 개시된 구현들과 관련하여 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 프로세서에 의해 실행되는 컴퓨터 소프트웨어, 또는 이들 양자의 조합으로서 구현될 수도 있음을 알 것이다. 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들은 일반적으로 이들의 기능성의 관점에서 위에서 설명되었다. 그러한 기능성이 하드웨어로 구현되는지 또는 프로세서 실행가능 명령들로 구현되는지는 전체 시스템에 부과된 특정한 애플리케이션 및 설계 제약들에 의존한다. 당업자는 설명된 기능성을 각각의 특정한 애플리케이션에 대해 다양한 방식들로 구현할 수도 있지만, 이러한 구현 결정들은 본 개시의 범위로부터 벗어남을 야기하는 것으로 해석되지 않아야 한다.
본 명세서에 개시된 구현들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 2개의 조합에서 직접 구현될 수도 있다. 소프트웨어 모듈이 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그램가능 판독 전용 메모리 (PROM), 소거가능 프로그램가능 판독 전용 메모리 (EPROM), 전기적 소거가능 프로그램가능 판독 전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 착탈식 디스크, 컴팩트 디스크 판독 전용 메모리 (CD-ROM) 또는 종래에 알려진 임의의 형태의 비일시적 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수도 있도록 프로세서에 커플링된다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 은 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 대안으로, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에서 이산 컴포넌트들로서 상주할 수도 있다.
개시된 양태들의 이전 설명은 당업자가 개시된 양태들을 제조 또는 사용하는 것을 가능하게 하도록 제공된다. 이들 양태들에 대한 다양한 수정들은 당업자에게 용이하게 자명할 것이며, 본 명세서에서 정의된 원리들은 본 개시의 범위로부터 벗어나지 않으면서 다른 양태들에 적용될 수도 있다. 따라서, 본 개시는 본 명세서에 나타낸 양태들에 제한되도록 의도되는 것이 아니라, 다음의 청구항들에 의해 정의되는 원리들 및 신규한 특징들에 부합하는 가능한 최광의 범위를 부여하려는 것이다.

Claims (30)

  1. 디바이스로서,
    헤드-관련 전달 함수를 저장하도록 구성된 메모리; 및
    하나 이상의 프로세서들을 포함하고, 상기 하나 이상의 프로세서들은,
    제 1 오디오 출력 디바이스에서, 3차원 (3D) 음장을 표현하는 공간 오디오 데이터를 획득하고;
    상기 공간 오디오 데이터에 기초하여 교환 데이터의, 상기 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하며; 그리고
    상기 공간 오디오 데이터에 기초하여 상기 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하기 위해 상기 헤드-관련 전달 함수를 적용하도록 구성되는, 디바이스.
  2. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들에 커플링되고 무선 피어-투-피어 애드 혹 링크를 통해 호스트 디바이스로부터 상기 공간 오디오 데이터를 수신하도록 구성된 수신기를 더 포함하는, 디바이스.
  3. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들에 커플링된 트랜시버를 더 포함하고, 상기 트랜시버는 상기 제 1 오디오 출력 디바이스와 상기 제 2 오디오 출력 디바이스 사이의 무선 링크를 통해 상기 제 2 오디오 출력 디바이스에 제 1 교환 데이터를 전송하도록 구성되는, 디바이스.
  4. 제 3 항에 있어서,
    상기 트랜시버는 추가로 상기 무선 링크를 통해 상기 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하도록 구성되는, 디바이스.
  5. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들에 커플링된 트랜시버를 더 포함하고, 상기 트랜시버는 제 1 교환 데이터를 상기 제 2 오디오 출력 디바이스에 전송하고, 상기 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하도록 구성되며, 상기 제 1 모노럴 오디오 출력을 생성하는 것은 상기 공간 오디오 데이터 및 상기 제 2 교환 데이터에 기초하여 3D 음장 표현을 결정하는 것을 포함하는, 디바이스.
  6. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들에 커플링되고 무선 송신을 통해 상기 공간 오디오 데이터를 획득하도록 구성된 모뎀; 및
    상기 모뎀에 커플링되고 상기 하나 이상의 프로세서들에 커플링된 오디오 코덱을 더 포함하고, 상기 오디오 코덱은 상기 공간 오디오 데이터에 기초하여 오디오 파형 데이터를 생성하도록 구성되는, 디바이스.
  7. 제 6 항에 있어서,
    상기 교환 데이터는 상기 오디오 파형 데이터를 포함하는, 디바이스.
  8. 제 6 항에 있어서,
    상기 오디오 파형 데이터는 펄스-코드 변조 (PCM) 데이터를 포함하는, 디바이스.
  9. 제 1 항에 있어서,
    상기 교환 데이터는 상기 제 2 오디오 출력 디바이스에서의 제 2 모노럴 오디오 출력과 상기 제 1 모노럴 오디오 출력의 동기화를 용이하게 하기 위한 동기화 데이터를 포함하는, 디바이스.
  10. 제 1 항에 있어서,
    상기 교환 데이터는 앰비소닉스 계수들을 포함하는, 디바이스.
  11. 제 1 항에 있어서,
    상기 제 1 오디오 출력 디바이스는 헤드셋의 제 1 이어버드, 제 1 스피커, 또는 제 1 이어컵에 대응하고, 상기 제 2 오디오 출력 디바이스는 상기 헤드셋의 제 2 이어버드, 제 2 스피커, 또는 제 2 이어컵에 대응하는, 디바이스.
  12. 제 1 항에 있어서,
    상기 공간 오디오 데이터는 앰비소닉스 계수들을 포함하는, 디바이스.
  13. 제 1 항에 있어서,
    상기 공간 오디오 데이터는 상기 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터 및 상기 3D 음장의 제 2 복수의 음원들에 대응하는 제 2 오디오 데이터를 포함하고, 상기 제 1 복수의 음원들은 상기 제 2 복수의 음원들과 별개인, 디바이스.
  14. 제 1 항에 있어서,
    상기 공간 오디오 데이터는 상기 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터를 포함하고, 상기 데이터 교환을 수행하는 것은 상기 제 2 오디오 출력 디바이스로부터 제 2 오디오 데이터를 수신하는 것을 포함하고, 상기 제 2 오디오 데이터는 상기 3D 음장의 제 2 복수의 음원들에 대응하고, 상기 제 1 복수의 음원들은 상기 제 2 복수의 음원들과 별개인, 디바이스.
  15. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들에 커플링된 하나 이상의 모션 센서들을 더 포함하고, 상기 하나 이상의 프로세서들은 추가로,
    상기 공간 오디오 데이터에 기초하여 앰비소닉스 계수들을 결정하고;
    회전된 3D 음장을 표현하는 수정된 앰비소닉스 계수들을 생성하기 위해 상기 하나 이상의 모션 센서들로부터의 모션 데이터에 기초하여 상기 앰비소닉스 계수들을 수정하며; 그리고
    상기 제 1 모노럴 오디오 출력에 대응하는 제 1 오디오 데이터를 생성하기 위해 상기 수정된 앰비소닉스 계수들에 상기 헤드-관련 전달 함수를 적용하도록 구성되는, 디바이스.
  16. 제 15 항에 있어서,
    상기 앰비소닉스 계수들은 추가로 상기 제 2 오디오 출력 디바이스로부터 수신된 제 2 교환 데이터에 기초하여 결정되는, 디바이스.
  17. 제 1 항에 있어서,
    상기 공간 오디오 데이터는 상기 메모리로부터 획득되는, 디바이스.
  18. 방법으로서,
    제 1 오디오 출력 디바이스에서, 3차원 (3D) 음장을 표현하는 공간 오디오 데이터를 획득하는 단계;
    상기 공간 오디오 데이터에 기초하여 교환 데이터의, 상기 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하는 단계; 및
    상기 공간 오디오 데이터에 기초하여 상기 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하기 위해 헤드-관련 전달 함수를 적용하는 단계를 포함하는, 방법.
  19. 제 18 항에 있어서,
    무선 피어-투-피어 애드 혹 링크를 통해 호스트 디바이스로부터 상기 공간 오디오 데이터를 수신하는 단계를 더 포함하는, 방법.
  20. 제 18 항에 있어서,
    데이터 교환을 수행하는 단계는, 제 1 교환 데이터를 상기 제 2 오디오 출력 디바이스에 전송하는 단계 및 상기 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하는 단계를 포함하고, 상기 제 1 모노럴 오디오 출력을 생성하는 단계는 상기 공간 오디오 데이터 및 상기 제 2 교환 데이터에 기초하여 3D 음장 표현을 결정하는 단계를 포함하는, 방법.
  21. 제 18 항에 있어서,
    상기 교환 데이터는 상기 제 2 오디오 출력 디바이스에서의 제 2 모노럴 오디오 출력과 상기 제 1 모노럴 오디오 출력의 동기화를 용이하게 하기 위한 동기화 데이터를 포함하는, 방법.
  22. 제 18 항에 있어서,
    상기 교환 데이터는 앰비소닉스 계수들을 포함하는, 방법.
  23. 제 18 항에 있어서,
    상기 공간 오디오 데이터는 상기 3D 음장의 제 1 복수의 음원들에 대응하는 제 1 오디오 데이터를 포함하고, 상기 데이터 교환을 수행하는 단계는 상기 제 2 오디오 출력 디바이스로부터 제 2 오디오 데이터를 수신하는 단계를 포함하고, 상기 제 2 오디오 데이터는 상기 3D 음장의 제 2 복수의 음원들에 대응하고, 상기 제 1 복수의 음원들은 상기 제 2 복수의 음원들과 별개인, 방법.
  24. 제 18 항에 있어서,
    상기 공간 오디오 데이터에 기초하여 앰비소닉스 계수들을 결정하는 단계; 및
    회전된 3D 음장을 표현하는 수정된 앰비소닉스 계수들을 생성하기 위해 하나 이상의 모션 센서들로부터의 모션 데이터에 기초하여 상기 앰비소닉스 계수들을 수정하는 단계를 더 포함하고,
    상기 헤드-관련 전달 함수는 상기 제 1 모노럴 오디오 출력을 생성하기 위해 상기 수정된 앰비소닉스 계수들에 적용되는, 방법.
  25. 장치로서,
    제 1 오디오 출력 디바이스에서, 3차원 (3D) 음장을 표현하는 공간 오디오 데이터를 획득하는 수단;
    상기 공간 오디오 데이터에 기초하여 교환 데이터의, 상기 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하는 수단; 및
    상기 공간 오디오 데이터에 기초하여 상기 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하기 위해 헤드-관련 전달 함수를 적용하는 수단을 포함하는, 장치.
  26. 제 25 항에 있어서,
    상기 데이터 교환을 수행하는 수단은 무선 피어-투-피어 애드 혹 링크를 통해 호스트 디바이스로부터 상기 공간 오디오 데이터를 수신하는 수단을 포함하는, 장치.
  27. 제 25 항에 있어서,
    상기 데이터 교환을 수행하는 수단은 상기 제 1 오디오 출력 디바이스와 상기 제 2 오디오 출력 디바이스 사이의 무선 링크를 통해 상기 제 2 오디오 출력 디바이스에 제 1 교환 데이터를 전송하는 수단을 포함하는, 장치.
  28. 제 27 항에 있어서,
    상기 데이터 교환을 수행하는 수단은 상기 무선 링크를 통해 상기 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하는 수단을 더 포함하는, 장치.
  29. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 디바이스로서,
    상기 명령들은 하나 이상의 프로세서들로 하여금,
    제 1 오디오 출력 디바이스에서, 3차원 (3D) 음장을 표현하는 공간 오디오 데이터를 획득하게 하고;
    상기 공간 오디오 데이터에 기초하여 교환 데이터의, 상기 제 1 오디오 출력 디바이스와 제 2 오디오 출력 디바이스 사이에서의 데이터 교환을 수행하게 하며; 그리고
    상기 공간 오디오 데이터에 기초하여 상기 제 1 오디오 출력 디바이스에서 제 1 모노럴 오디오 출력을 생성하기 위해 헤드-관련 전달 함수를 적용하게 하도록
    상기 하나 이상의 프로세서들에 의해 실행가능한, 비일시적 컴퓨터 판독가능 저장 디바이스.
  30. 제 29 항에 있어서,
    상기 명령들은 추가로, 상기 하나 이상의 프로세서들로 하여금, 제 1 교환 데이터를 상기 제 2 오디오 출력 디바이스에 전송하게 하고, 상기 제 2 오디오 출력 디바이스로부터 제 2 교환 데이터를 수신하게 하며, 상기 제 1 모노럴 오디오 출력을 생성하는 것은 상기 공간 오디오 데이터 및 상기 제 2 교환 데이터에 기초하여 3D 음장 표현을 결정하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 디바이스.
KR1020237039892A 2021-05-27 2022-05-25 데이터 교환을 통한 공간 오디오 모노럴화 KR102673934B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/332,798 2021-05-27
US17/332,798 US11729570B2 (en) 2021-05-27 2021-05-27 Spatial audio monauralization via data exchange
PCT/US2022/072569 WO2022251849A1 (en) 2021-05-27 2022-05-25 Spatial audio monauralization via data exchange

Publications (2)

Publication Number Publication Date
KR20230164211A KR20230164211A (ko) 2023-12-01
KR102673934B1 true KR102673934B1 (ko) 2024-06-12

Family

ID=82156377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237039892A KR102673934B1 (ko) 2021-05-27 2022-05-25 데이터 교환을 통한 공간 오디오 모노럴화

Country Status (6)

Country Link
US (1) US11729570B2 (ko)
EP (1) EP4349029A1 (ko)
KR (1) KR102673934B1 (ko)
CN (1) CN117378220A (ko)
BR (1) BR112023024015A2 (ko)
WO (1) WO2022251849A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190174232A1 (en) 2017-10-18 2019-06-06 Bestechnic (Shanghai) Co., Ltd. Operation mode switch of wireless headphones

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080226103A1 (en) * 2005-09-15 2008-09-18 Koninklijke Philips Electronics, N.V. Audio Data Processing Device for and a Method of Synchronized Audio Data Processing
US8768252B2 (en) 2010-09-02 2014-07-01 Apple Inc. Un-tethered wireless audio system
EP2716021A4 (en) * 2011-05-23 2014-12-10 Nokia Corp SPATIAL AUDIOVERING DEVICE
EP2942980A1 (en) 2014-05-08 2015-11-11 GN Store Nord A/S Real-time control of an acoustic environment
KR20170082405A (ko) * 2016-01-06 2017-07-14 삼성전자주식회사 이어 웨어러블 타입 와이어리스 디바이스 및 이를 지원하는 시스템
CN111142665B (zh) * 2019-12-27 2024-02-06 恒玄科技(上海)股份有限公司 耳机组件的立体声处理方法、系统及耳机组件

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190174232A1 (en) 2017-10-18 2019-06-06 Bestechnic (Shanghai) Co., Ltd. Operation mode switch of wireless headphones

Also Published As

Publication number Publication date
WO2022251849A1 (en) 2022-12-01
BR112023024015A2 (pt) 2024-02-06
KR20230164211A (ko) 2023-12-01
US20220386054A1 (en) 2022-12-01
EP4349029A1 (en) 2024-04-10
US11729570B2 (en) 2023-08-15
CN117378220A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
US11317236B2 (en) Soundfield adaptation for virtual reality audio
JP2019533404A (ja) バイノーラルオーディオ信号処理方法及び装置
TWI819344B (zh) 音訊訊號渲染方法、裝置、設備及電腦可讀存儲介質
US11356796B2 (en) Priority-based soundfield coding for virtual reality audio
CN111696513A (zh) 音频信号处理方法及装置、电子设备、存储介质
CN114424587A (zh) 控制音频数据的呈现
KR20190019915A (ko) 앰비소닉 신호를 사용하는 오디오 신호 처리 방법 및 장치
CN116569255A (zh) 用于六自由度应用的多个分布式流的矢量场插值
KR102670182B1 (ko) 공간 오디오 데이터 교환
KR102673934B1 (ko) 데이터 교환을 통한 공간 오디오 모노럴화
WO2022141552A1 (zh) 无线耳机和音频设备
WO2024114372A1 (zh) 场景音频解码方法及电子设备
WO2024114373A1 (zh) 场景音频编码方法及电子设备
TWI798890B (zh) 用於產生立體聲語音效果的藍牙語音通信系統及相關的電腦程式產品
WO2022262758A1 (zh) 音频渲染系统、方法和电子设备
WO2022262750A1 (zh) 音频渲染系统、方法和电子设备
CN116472725A (zh) 用于增强现实/虚拟现实音频的智能混合渲染

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant