KR102182761B1 - 비트스트림에서 오디오 렌더링 정보의 시그널링 - Google Patents

비트스트림에서 오디오 렌더링 정보의 시그널링 Download PDF

Info

Publication number
KR102182761B1
KR102182761B1 KR1020197029148A KR20197029148A KR102182761B1 KR 102182761 B1 KR102182761 B1 KR 102182761B1 KR 1020197029148 A KR1020197029148 A KR 1020197029148A KR 20197029148 A KR20197029148 A KR 20197029148A KR 102182761 B1 KR102182761 B1 KR 102182761B1
Authority
KR
South Korea
Prior art keywords
bitstream
audio
rendering
render
matrix
Prior art date
Application number
KR1020197029148A
Other languages
English (en)
Other versions
KR20190115124A (ko
Inventor
디판잔 센
마틴 제임스 모렐
닐스 귄터 페테르스
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20190115124A publication Critical patent/KR20190115124A/ko
Application granted granted Critical
Publication of KR102182761B1 publication Critical patent/KR102182761B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

일반적으로, 비트스트림에서 오디오 렌더링 정보를 특정하기 위한 기술들이 설명된다. 비트스트림을 생성하도록 구성되는 디바이스는 여러 양태들의 기술을 수행할 수도 있다. 비트스트림 생성 디바이스는 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 특정하도록 구성되는 하나 이상의 프로세서들을 포함할 수도 있다. 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스는 또한 여러 양태들의 기술을 수행할 수도 있다. 렌더링 디바이스는 상기 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 결정하고, 상기 오디오 렌더링 정보에 기초하여 복수의 스피커 피드들을 렌더링하도록 구성되는 하나 이상의 프로세서들을 포함할 수도 있다.

Description

비트스트림에서 오디오 렌더링 정보의 시그널링{SIGNALING AUDIO RENDERING INFORMATION IN A BITSTREAM}
본 출원은 2013년 2월 8일 출원된 미국 가출원 번호 제61/762,758호의 이익을 우선권으로 주장한다.
기술 분야
본 개시물은 오디오 코딩에 관련되고 보다 구체적으로 코딩된 오디오 데이터를 특정하는 비트스트림들에 관련된다.
오디오 컨텐츠의 생성 동안에, 사운드 엔지니어는 오디오 컨텐츠를 재생하는데 이용되는 스피커들의 타겟 구성들에 대한 오디오 컨텐츠를 조정하려는 시도에 있어서 특정 렌더러를 이용하여 오디오 컨텐츠를 렌더링할 수도 있다. 즉, 사운드 엔지니어는 오디오 컨텐츠를 렌더링하고, 타겟팅된 구성에 배열된 스피커들을 이용하여 그 렌더링된 오디오 컨텐츠를 재생할 수도 있다. 그 후, 사운드 엔지니어는 오디오 컨텐츠의 여러 양태들을 리믹싱하고, 그 리믹싱된 오디오 컨텐츠를 렌더링하고, 타겟팅된 구성으로 배열된 스피커들을 이용하여 그 렌더링되는 리믹싱된 컨텐츠를 다시 플레이백한다. 사운드 엔지니어는 특정한 예술적 의도가 오디오 컨텐츠에 의해 제공될 때까지 이러한 방식으로 반복할 수 있다. 이러한 방식으로, 사운드 엔지니어는 (예를 들어, 오디오 컨텐츠와 함께 플레이되는 비디오 컨텐츠를 포함하기 위해) 특정한 예술적 의도를 제공하거나 또는 플레이백 동안에 특정 사운드 필드를 달리 제공하는 오디오 컨텐츠를 생성할 수도 있다.
일반적으로, 오디오 데이터를 나타내는 비트스트림에서 오디오 렌더링 정보를 특정하기 위한 기술들이 설명된다. 즉, 본 기술들은 플레이백 디바이스에 대한 오디오 컨텐츠 생성 동안에 이용되는 오디오 렌더링 정보를 시그널링하는 방법으로서, 플레이백 디바이스가 오디오 컨텐츠를 렌더링하기 위하여 오디오 렌더링 정보를 이후 이용할 수도 있는 방법을 제공할 수도 있다. 이러한 방식으로 렌더링 정보를 제공하는 것은 플레이백 디바이스가 사운드 엔지니어에 의해 의도되는 방식으로 오디오 컨텐츠를 렌더링할 수 있게 하며 이에 의해 예술적 의도가 청취자에 의해 가능하게 이해되도록 오디오 컨텐츠의 적절한 플레이백을 가능하게 보장한다. 즉, 사운드 엔지니어에 의해 렌더링되는 동안에 이용되는 렌더링 정보가 본 개시물에 설명된 기술들에 따라 제공되어, 오디오 플레이백 디바이스가 사운드 엔지니어에 의해 의도되는 방식으로 렌더링 정보를 이용하여 오디오 컨텐츠를 렌더링할 수도 있게 되며, 이에 의해 오디오 렌더링 정보를 제공하지 않는 시스템들에 비해, 오디오 컨텐츠의 재생 및 플레이백 양쪽 모두 동안에 보다 일관성있는 경험을 보장한다.
일 양태에서, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법으로서, 본 방법은 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 특정하는 것을 포함한다.
다른 양태에서, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스로서, 본 디바이스는 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 특정하도록 구성되는 하나 이상의 프로세서들을 포함한다.
다른 양태에서, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스로서, 본 디바이스는 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 특정하는 수단, 및 오디오 렌더링 정보를 저장하는 수단을 포함한다.
다른 양태에서, 비일시적 컴퓨터 판독가능 저장 매체는 실행될 때 하나 이상의 프로세서들로 하여금, 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 특정하게 하는 명령을 저장한다.
다른 양태에서, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법으로서, 본 방법은 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 결정하는 것, 및 오디오 렌더링 정보에 기초하여 복수의 스피커 피드들을 렌더링하는 것을 포함한다.
다른 양태에서, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 디바이스로서, 본 디바이스는 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 결정하고, 그리고 오디오 렌더링 정보에 기초하여 복수의 스피커 피드들을 렌더링하도록 구성되는 하나 이상의 프로세서들을 포함한다.
다른 양태에서, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 디바이스로서, 본 디바이스는 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 결정하는 수단, 및 오디오 렌더링 정보에 기초하여 복수의 스피커 피드들을 렌더링하는 수단을 포함한다.
다른 양태에서, 비일시적 컴퓨터 판독가능 저장 매체는 실행될 때 하나 이상의 프로세서들로 하여금, 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 결정하고, 그리고 오디오 렌더링 정보에 기초하여 복수의 스피커 피드들을 렌더링하게 하는 명령들을 저장한다.
본 기술들의 하나 이상의 양태들의 세부사항들이 첨부 도면과 하기 설명에서 제시된다. 이들 기술들의 다른 특징들, 목적들 및 이점들은 하기의 설명 및 도면들, 및 청구항들로부터 자명할 것이다.
도 1 내지 도 3 은 여러 차수들 및 하위-차수들의 구면 조화 기반 함수들을 예시하는 다이어그램들이다.
도 4 는 본 개시물에서 설명된 기술들의 여러 양태들을 구현할 수도 있는 시스템을 예시하는 다이어그램이다.
도 5 는 본 개시물에서 설명된 기술들의 여러 양태들을 구현할 수도 있는 시스템을 예시하는 다이어그램이다.
도 6 은 본 개시물에 설명된 기술들의 여러 양태들을 구현할 수도 있는 다른 시스템 (50) 을 예시하는 블록도이다.
도 7 은 본 개시물에 설명된 기술들의 여러 양태들을 구현할 수도 있는 다른 시스템 (60) 을 예시하는 블록도이다.
도 8a 내지 도 8d 는 본 개시물에 설명된 기술들에 따라 형성된 비트스트림들 (31A-31D) 을 예시하는 다이어그램이다.
도 9 는 본 개시물에 설명된 기술들의 여러 양태들을 구현하는데 있어서 시스템, 이를 테면, 도 4 내지 도 8d 의 예들에서 도시된 시스템들 (20, 30, 50 및 60) 중 하나의 예시적인 동작을 예시하는 흐름도이다.
서라운드 사운드의 이볼루션은 최근에 엔터테인먼트를 위해 많은 출력 포맷들을 이용할 수 있었다. 이러한 서라운드 사운드 포맷들의 예들은 대중적인 5.1 포맷 (이는 다음의 6 개의 채널들: FL (front left), FR (front right), 중앙 또는 전방 중앙, 후방 좌측 또는 주변 좌측, 후방 우측 또는 주변 우측, 및 LFE (low frequency effects) 를 포함함), 성장중인 7.1 포맷, 및 곧 출시될 22.2 포맷 (예를 들어, 초고해상도 텔레비전 표준에 이용하기 위한 것) 을 포함한다. 추가의 예들은 구면 조화 어레이에 대한 포맷들을 포함한다.
미래의 MPEG 인코더에 대한 입력은 선택적으로 3 개의 가능한 포맷들 중 하나이다: (i) 미리 특정된 포지션에서 확성기들을 통하여 플레이되도록 의도되는 통상의 채널 기반 오디오; (ii) (다른 정보 중에서) 이들의 로케이션 좌표들을 포함하는 연관 메타데이터를 가진 단일의 오디오 오브젝트들의 별개의 PCM (pulse-code-modulation) 데이터를 포함하는 오브젝트 기반 오디오; 및 (iii) (또한 "구면 조화 계수들" 또는 SHC 로 지칭되는) 구면 조화 기반 함수들의 계수들을 이용하여 사운드 필드를 나타내는 것을 포함하는 장면 기반 오디오.
마켓에는 여러 '서라운드-사운드' 포맷들이 존재한다. 이들은 예를 들어, 5.1 홈 시어터 시스템 (이는 스테레오를 능가하여 거실에 영향을 주는 점에서 가장 성공적이였음) 에서부터 NHK (Nippon Hoso Kyokai 또는 Japan Broadcasting Corporation) 에 의해 개발된 22.2 시스템까지의 범위에 있다. 컨텐츠 크리에이터들 (예를 들어, 할리우드 스튜디오들) 은 영화에 대한 사운드트랙을 한번에 생성하고, 이를 각각의 스피커 구성에 대해 리믹싱하려는 수고가 드는 것을 원하지 않는다. 최근, 표준 위원회들은 렌더러의 로케이션에서 스피커 지오메트리 및 음향 상태들에 대하여 적응가능하고 독립적 (agnostic) 인, 표준화된 비트스트림으로의 인코딩 및 후속 디코딩을 제공하는 방법들을 고려해 왔다.
컨텐츠 크리에이터들에 이러한 유연성을 제공하기 위하여, 엘리먼트들의 계층적 세트가 사운드 필드를 표현하는데 이용될 수도 있다. 엘리먼트들의 계층적 세트는, 저차수화된 (lower-ordered) 엘리먼트들의 기본 세트가 모델링된 사운드 필드의 완전 표현을 제공하도록 엘리먼트들이 순서화되어진 엘리먼트들의 세트를 참조할 수도 있다. 세트가 고차의 (higher-order) 엘리먼트들로 확장될 때, 표현은 보다 세부화된다.
엘리먼트들의 계층적 세트의 일 예는 구면 조화 계수들 (spherical harmonic coefficients; SHC) 의 세트이다. 다음 식은 SHC 를 이용한 사운드 필드의 표현 또는 기술을 보여준다:
Figure 112019101137355-pat00001
이 식은 사운드 필드의 임의의 지점
Figure 112019101137355-pat00002
에서의 압력
Figure 112019101137355-pat00003
가
Figure 112019101137355-pat00004
에 의해 고유하게 표현될 수 있음을 보여준다. 여기에서,
Figure 112019101137355-pat00005
이고, c 는 소리 속도 (~343 m/s) 이고,
Figure 112019101137355-pat00006
는 기준 지점 (또는 관찰 지점) 이며,
Figure 112019101137355-pat00007
은 차수 n 의 구면 베셀 함수 (Bessel function) 이고,
Figure 112019101137355-pat00008
는 차수 n 과 하위 차수 m 의 구면 조화 기반 함수들이다. 꺽쇠 괄호에서의 항들은 여러 시간 주파수 변환들, 이를 테면, 여러 DFT (discrete Fourier transform), DCT (discrete cosine transform) 또는 웨이브릿 변환에 의해 근사화될 수 있는 신호의 주파수 도메인 표현 (즉,
Figure 112019101137355-pat00009
) 임이 인식될 수 있다. 계층적 세트들의 다른 예들은 웨이브릿 변환 계수들의 세트들 및 다중 분해능 기반 함수들의 계수들의 다른 세트들을 포함한다.
도 1 은 0차 구면 조화 기반 함수 (10), 1차 구면 조화 기반 함수들 (12A-12C) 및 2차 구면 조화 기반 함수들 (14A-14E) 을 예시하는 다이어그램이다. 차수는 테이블의 로우들로 식별되고, 이 로우들은 로우들 (16A-16C) 로서 표기되며, 로우 (16A) 는 0차를 지칭하고, 로우 (16B) 는 1차를 지칭하고, 로우 (16C) 는 2차를 지칭한다. 하위 차수는 테이블의 컬럼들로 식별되고, 이 컬럼들은 컬럼들 (18A-18E) 로서 표기되고, 컬럼 (18A) 은 하위 0차를 지칭하고, 컬럼 (18B) 은 하위 1차를 지칭하고, 컬럼 (18C) 은 음의 하위 1차를 지칭하고, 컬럼 (18D) 는 하위 2차를 지칭하고 컬럼 (18E) 은 음의 하위 2차를 지칭한다. 0차 구면 조화 기반 함수 (10) 에 대응하는 SHC 는 사운드 필드의 에너지를 특정하는 것으로서 고려될 수도 있는 한편, 나머지 고차 구면 조화 기반 함수들 (예를 들어, 구면 조화 기반 함수 12A-12C 및 14A-14E) 에 대응하는 SHC들은 그 에너지의 방향을 특정할 수도 있다.
도 2 는 0차 (n = 0) 에서부터 4차 (n = 4) 까지의 구면 조화 기반 함수들을 예시하는 다이어그램이다. 알 수 있는 바와 같이, 각각의 차수에 대하여, 설명을 쉽게 하기 위해 도 2 의 예에 명시적으로 도시하지 않았지만 도시된 하위 차수들 (m) 의 확장이 존재한다.
도 3 은 0차 (n = 0) 에서부터 4차 (n = 4) 까지의 구면 조화 기반 함수들을 예시하는 다른 다이어그램이다. 도 3 에서, 구면 조화 기반 함수들은 도시된 차수와 하위 차수 양쪽 모두를 가진 3 차원 좌표 공간에 도시된다.
어느 경우에도,
Figure 112019101137355-pat00010
는 여러 마이크로폰 어레이 구성들에 의해 물리적으로 획득 (예를 들어, 레코드) 될 수 있거나, 대안으로서 이들은 사운드 필드의 채널 기반 또는 오브젝트 기반 설명들로부터 유도될 수 있다. 전자는 인코더로의 장면 기반 오디오 입력을 나타낸다. 예를 들어, 1+24 (25 그리고 이에 따라 4차) 계수들을 수반하는 4차 표현이 이용될 수도 있다.
이들 SHC들이 오브젝트 기반 설명으로부터 어떻게 유도될 수도 있는지를 예시하기 위해, 다음 식을 고려하여 본다. 개별적인 오디오 오브젝트에 대응하는 사운드 필드에 대한 계수들 (
Figure 112019101137355-pat00011
) 은 다음과 같이 표현될 수도 있다:
Figure 112019101137355-pat00012
여기에서, i 는
Figure 112019101137355-pat00013
이고,
Figure 112019101137355-pat00014
은 차수 (n) 의 (제 2 종류의) 구면 핸켈 함수 (Hankel function) 이고,
Figure 112019101137355-pat00015
는 오브젝트의 로케이션이다. (예를 들어, 시간 주파수 분석 기술들을 이용하여, 이를 테면, PCM 스트림에 대한 고속 푸리에 변환을 수행하여) 소스 에너지 g(ω) 를 주파수 함수로서 인지하는 것은 각각의 PCM 오브젝트 및 이 로케이션을
Figure 112019101137355-pat00016
으로 변환하는 것을 허용한다. 추가로, 이는 (위의 것이 선형 및 직교 분해이기 때문에) 각각의 오브젝트에 대한
Figure 112019101137355-pat00017
계수들이 가산적임을 보여줄 수 있다. 이 방식으로 PCM 오브젝트들의 크기는
Figure 112019101137355-pat00018
계수들로 (예를 들어, 개별적인 오브젝트들의 계수 백터들의 합으로서) 표현될 수 있다. 본질적으로, 이들 계수들은 사운드 필드 (3D 좌표들의 함수로서의 압력) 에 대한 정보를 포함하며, 위의 것은 관찰 지점
Figure 112019101137355-pat00019
의 근방에서 개별적인 오브젝트로부터 전체적인 사운드 필드의 표현으로의 변환을 표현한다. 나머지 도면들은 오브젝트 기반 및 SHC-기반 오디오 코딩의 환경에서 아래 설명된다.
도 4 는 오디오 데이터를 나타내는 비트스트림에서 렌더링 정보를 시그널링하기 위해 본 개시물에서 설명된 기술들을 실시할 수도 있는 시스템 (20) 을 예시하는 블록도이다. 도 4 의 예에 도시된 바와 같이, 시스템 (20) 은 컨텐츠 크리에이터 (22) 및 컨텐츠 컨슈머 (24) 를 포함한다. 컨텐츠 크리에이터 (22) 는 컨텐츠 컨슈머들, 이를 테면, 컨텐츠 컨슈머 (24) 에 의한 소비를 위한 멀티채널 오디오 컨텐츠를 생성할 수도 있는 영화 스튜디오 또는 다른 엔티티를 나타낼 수도 있다. 종종, 이 컨텐츠 크리에이터는 비디오 컨텐츠와 함께 오디오 컨텐츠를 생성한다. 컨텐츠 컨슈머 (24) 는 멀티채널 오디오 컨텐츠를 플레이백할 수 있는 오디오 플레이백 시스템의 임의의 형태를 지칭할 수도 있는 오디오 플레이백 시스템 (32) 에 대한 액세스를 갖거나 소유하는 개인을 나타낸다. 도 4 의 예에서, 컨텐츠 컨슈머 (24) 는 오디오 플레이백 시스템 (32) 을 포함한다.
컨텐츠 크리에이터 (22) 는 오디오 렌더러 (28) 및 오디오 편집 시스템 (30) 을 포함한다. 오디오 렌러더 (26) 는 (또한 "확성기 피드들", "스피커 신호들" 또는 "확성기 신호들"로서 지칭될 수도 있는) 스피커 피드들을 렌더링하거나 달리 생성하는 오디오 프로세싱 유닛을 나타낼 수도 있다. 각각의 스피커 피드는 멀티채널 오디오 시스템의 특정 채널에 대한 사운드를 재생하는 스피커 피드에 대응할 수도 있다. 도 4 의 예에서, 렌더러 (38) 는 통상적인 5.1, 7.1 또는 22.2 서라운드 사운드 포맷들에 대한 스피커 피드들을 렌더링하여, 5.1, 7.1 또는 22.2 서라운드 사운드 스피커 시스템들에서 5, 7 또는 22 스피커들 각각에 대한 스피커 피드를 생성할 수도 있다. 대안으로서, 렌더러 (28) 는 위에 논의된 소스 구면 조화 계수들의 특성들이 주어지면, 임의의 수의 스피커들을 갖는 임의의 스피커 구성에 대한 소스 구면 조화 계수들로부터 스피커 피드들을 렌더링하도록 구성될 수도 있다. 렌더러 (28) 는 스피커 피드들 (29) 로서 도 4 에 표기된 복수의 스피커 피드들을 이 방식으로 생성할 수도 있다.
컨텐츠 크리에이터 (22) 는 스피커 피드들을 생성하도록 편집 프로세스 동안에 구면 조화 계수들 (27)("SHC (27)") 을 렌더링하여, 높은 정확도 (fidelity) 를 갖지 않거나 또는 실감나는 서라운드 사운드 경험을 제공하지 않는 사운드 필드의 양태들을 식별하는 시도에 있어서 스피커 피드들을 청취한다. 컨텐츠 크리에이터 (22) 는 그 후 (종종, 소스 구면 조화 계수들이 위에 설명된 방식으로 유도될 수도 상이한 오브젝트들의 조작을 통하여 간접적으로) 소스 구면 조화 계수들을 편집할 수도 있다. 컨텐츠 크리에이터 (22) 는 구면 조화 계수들 (27) 을 편집하도록 오디오 편집 시스템 (30) 을 채용할 수도 있다. 오디오 편집 시스템 (30) 은 오디오 데이터를 편집하고 이 오디오 데이터를 하나 이상의 구면 조화 계수들로서 출력할 수 있는 임의의 시스템을 나타낸다.
편집 프로세스가 완료될 때, 컨텐츠 크리에이터 (22) 는 구면 조화 계수들 (27) 에 기초하여 비트스트림 (31) 을 생성할 수도 있다. 즉, 컨텐츠 크리에이터 (22) 는 비트스트림 (31) 을 생성할 수 있는 임의의 디바이스를 나타낼 수도 있는 비트스트림 생성 디바이스 (36) 를 포함한다. 일부 경우에, 비트스트림 생성 디바이스 (36) 는 (일 예로서, 엔트로피 인코딩을 통하여) 구면 조화 계수들 (27) 을 대역폭 압축하고, 비트스트림 (31) 을 형성하도록 허용되는 포맷으로 구면 조화 계수들 (27) 의 엔트로피 인코딩된 버전을 배열하는 인코더를 나타낼 수도 있다. 다른 경우에, 비트스트림 생성 디바이스 (36) 는 일 예로서 멀티채널 오디오 컨텐츠 또는 이들의 파생물들을 압축하기 위하여 통상의 오디오 서라운드 사운드 인코딩 프로세스들의 것과 유사한 프로세스들을 이용하여 멀티채널 오디오 컨텐츠 (29) 를 인코딩하는 오디오 인코더 (가능하게는 기존의 오디오 코딩 표준, 이를 테면, MPEG 서라운드 또는 이들의 파생물에 순응하는 것) 를 나타낼 수도 있다. 그 후, 압축된 멀티채널 오디오 컨텐츠 (29) 는 컨텐츠 (29) 를 대역폭 압축하는 일부 다른 방식으로 엔트로피 인코딩 또는 코딩될 수도 있고 비트스트림 (31) 을 형성하기 위해 약정된 포맷에 따라 배열될 수도 있다. 비트스트림 (31) 을 형성하도록 직접 압축하든, 또는 비트스트림 (31) 을 형성하도록 렌더링된 다음 압축되든 간에, 컨텐츠 크리에이터 (22) 는 비트스트림 (31) 을 컨텐츠 컨슈머 (24) 에 송신할 수도 있다.
도 4 에는 컨텐츠 컨슈머 (24) 에 직접 송신하는 것으로 도시되어 있지만, 컨텐츠 크리에이터 (22) 는 컨텐츠 크리에이터 (22) 와 컨텐츠 컨슈머 (24) 사이에 위치된 중간 디바이스에 비트스트림 (31) 을 출력할 수도 있다. 중간 디바이스는 이 비트스트림을 요청할 수도 있는 컨텐츠 컨슈머 (24) 에 이후의 전달을 위하여 비트스트림 (31) 을 저장할 수도 있다. 중간 디바이스는 파일 서버, 웹 서버, 데스크톱 컴퓨터, 랩톱 컴퓨터, 테블릿 컴퓨터, 모바일 폰, 스마트 폰, 또는 오디오 디코더에 의한 이후의 취출을 위하여 비트스트림 (31) 을 저장할 수 있는 임의의 다른 디바이스를 포함할 수도 있다. 대안으로서, 컨텐츠 크리에이터 (22) 는 저장 매체, 이를 테면, 컴퓨터 디스크, 디지털 비디오 디스크, 고해상도 비디오 디스크 또는 다른 저장 매체들에 비트스트림 (31) 을 저장할 수도 있으며, 이들 대부분은 컴퓨터에 의해 판독될 수 있고, 이에 따라 컴퓨터 판독가능 저장 매체들로서 지칭될 수도 있다. 이 환경에서, 송신 채널은 이들 저장 매체들에 저장된 컨텐츠가 송신되는 채널을 지칭할 수도 있다 (그리고 리테일 스토어 및 다른 스토어 기반 전달 메카니즘을 포함할 수도 있다). 따라서, 어느 이벤트에서도, 본 개시물의 기술들은 도 4 의 예의 관점으로만 제한되지 않아야 한다.
도 4 의 예에 추가로 도시된 바와 같이, 컨텐츠 컨슈머 (24) 는 오디오 플레이백 시스템 (32) 을 포함한다. 오디오 플레이백 시스템 (32) 은 멀티채널 오디오 데이터를 플레이백할 수 있는 임의이 오디오 플레이백 시스템을 나타낼 수도 있다. 오디오 플레이백 시스템 (32) 은 복수의 상이한 렌더러들 (34) 을 포함할 수도 있다. 렌더러들 (34) 은 상이한 렌더링 형태로 각각 제공할 수도 있고, 여기에서 상이한 렌더링 형태들은 VBAP (vector-base amplitude panning) 을 수행하는 여러 방식들 중 하나 이상, DBAP (distance based amplitude panning) 을 수행하는 여러 방식들 중 하나 이상, 단순 패닝을 수행하는 여러 방식들 중 하나 이상, NFC (near field compensation) 필터링을 수행하는 여러 방식들 중 하나 이상, 및/또는 웨이브 필드 합성을 수행하는 여러 방식들 중 하나 이상을 포함할 수도 있다.
오디오 플레이백 시스템 (32) 은 추출 디바이스 (38) 를 더 포함할 수도 있다. 추출 디바이스 (38) 는 비트스트림 생성 디바이스 (36) 의 것과 일반적으로 상호가역적일 수도 있는 프로세스를 통하여 구면 조화 계수들 (27')("SHC (27')", 이는 구면 조화 계수들 (27) 의 복제본 또는 이들의 변경된 형태를 나타낼 수도 있음) 을 추출할 수 있는 임의의 디바이스를 나타낼 수도 있다. 임의의 이벤트에서, 오디오 플레이백 시스템 (32) 은 구면 조화 계수들 (27') 을 수신할 수도 있다. 오디오 플레이백 시스템 (32) 은 렌더러들 (34) 중 하나를 선택할 수도 있고, 그 후, 렌더러는 구면 조화 계수들 (27') 을 렌더링하여 (쉬운 예시를 위하여 도 4 의 예에 도시되지 않은 오디오 플레이백 시스템 (32) 에 전기적으로 또는 가능하게는 무선으로 커플링된 복수의 확성기들에 대응하는) 복수의 스피커 피드들 (35) 을 생성할 수도 있다.
통상적으로, 오디오 플레이백 시스템 (32) 은 오디오 렌더러들 (34) 중 어느 하나를 선택할 수도 있고, 소스 - 소스로부터 비트스트림이 수신되어짐 - 에 의존하여 오디오 렌더러들 (34) 중 하나 이상 (이를 테면, 몇몇 예들을 제공하자면, DVD 플레이어, 블루레이 플레이어, 스마트폰, 태블릿 컴퓨터, 게이밍 시스템, 및 텔레비전) 을 선택하도록 구성될 수도 있다. 오디오 렌더러들 (34) 중 어느 하나가 선택될 수도 있지만, 종종, 컨텐츠를 형성할 때 이용되는 오디오 렌더러는, 그 컨텐츠가 오디오 렌더러들 중 그 오디오 렌더러, 즉, 도 4 의 예에서의 오디오 렌더러 (28) 를 이용하여 컨텐츠 크리에이터 (22) 에 의해 형성되었다는 사실에 기인하여 렌더링의 보다 양호한 (그리고 가능하다면 최상의) 형태를 제공한다. (렌더링 형태의 관점에서) 동일한 또는 적어도 가까운 오디오 렌더러들 (34) 중 하나를 선택하는 것은 사운드 필드의 보다 양호한 표현을 제공할 수도 있고 컨텐츠 컨슈머 (24) 에 대한 보다 양호한 사운드 경험을 가져올 수도 있다.
본 개시물에 설명된 기법들에 따르면, 비트스트림 생성 디바이스 (36) 는 오디오 렌더링 정보 (39)("오디오 렌더링 정보 (info) (39)") 를 포함하도록 비트스트림 (31) 을 생성할 수도 있다. 오디오 렌더링 정보 (39) 는 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러, 즉 도 4 의 예에서 오디로 렌더러 (28) 를 식별하는 신호 값을 포함할 수도 있다. 일부 경우들에서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 매트릭스를 포함한다.
일부 경우들에서, 신호 값은 비트스트림이 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 매트릭스를 포함함을 표시하는 인덱스를 정의하는 2 이상의 비트들을 포함한다. 일부 경우들에서, 신호 값은 비트스트림에 포함되는 매트릭스의 복수의 로우들을 정의하는 2 이상의 비트들, 및 비트스트림에 포함된 매트릭스의 복수의 컬럼들을 정의하는 2 이상의 비트들을 더 포함한다. 이 정보를 이용하여, 그리고 2차원 매트릭스의 각각의 계수가 통상적으로 32 비트 부동 소수점 수에 의해 정의되는 것으로 가정하면, 매트릭스의 비트들의 관점에서 사이즈는 로우들의 수, 컬럼들의 수, 및 매트릭스의 각각의 계수를 정의하는 부동 소수점 수들의 사이즈, 즉 이 예에서는 32 비트들에 따라 계산될 수도 있다.
일부 경우들에서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 렌더링 알고리즘을 특정한다. 렌더링 알고리즘은 비트스트림 생성 디바이스 (36) 및 추출 디바이스 (38) 양쪽 모두에 알려진 매트릭스를 포함할 수도 있다. 즉, 렌더링 알고리즘은 매트릭스의 적용 뿐만 아니라 다른 렌더링 단계들, 이를 테면, 패닐 (예를 들어, VBAP, DBAP 또는 단순 패닝) 또는 NFC 필터링의 적용을 포함할 수도 있다. 일부 경우들에서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 복수의 매트릭스들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함한다. 또한, 비트스트림 생성 디바이스 (36) 및 추출 디바이스 (38) 양쪽 모두는 복수의 매트릭스들을 표시하는 정보, 및 복수의 매트릭스들의 차수 (order) 로 구성될 수도 있어, 인덱스가 복수의 매트릭스들 중 특정 하나를 고유하게 식별하게 될 수도 있다. 대안으로서, 비트스트림 생성 디바이스 (36) 는 복수의 매트릭스들, 및/또는 복수의 매트릭스들의 차수을 정의하는 비트스트림 (31) 에서의 데이터를 특정할 수도 있어, 인덱스가 복수의 매트릭스들 중 특정 하나를 고유하게 식별할 수도 있게 된다.
일부 경우들에서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함한다. 또한, 비트스트림 생성 디바이스 (36) 및 추출 디바이스 (38) 양쪽 모두는 복수의 렌더링 알고리즘들을 표시하는 정보, 및 복수의 렌더링 알고리즘들의 차수로 구성될 수도 있어, 인덱스가 복수의 매트릭스들 중 특정 하나를 고유하게 식별하게 될 수도 있다. 대안으로서, 비트스트림 생성 디바이스 (36) 는 복수의 매트릭스들, 및/또는 복수의 매트릭스들의 차수을 정의하는 비트스트림 (31) 에서의 데이터를 특정할 수도 있어, 인덱스가 복수의 매트릭스들 중 특정 하나를 고유하게 식별할 수도 있게 된다.
일부 경우들에서, 비트스트림 생성 디바이스 (36) 는 비트스트림에서 오디오 프레임 단위 기반으로 오디오 렌더링 정보 (39) 를 특정한다. 다른 예들에서, 비트스트림 생성 디바이스 (36) 는 비트스트림에서 한번 오디오 렌더링 정보 (39) 를 특정한다.
추출 디바이스 (38) 는 그 후, 비트스트림에서 특정된 오디오 렌더링 정보 (39) 를 결정할 수도 있다. 오디오 렌더링 정보 (39) 에 포함된 신호 값에 기초하여, 오디오 플레이백 시스템 (32) 은 오디오 렌더링 정보 (39) 에 기초하여 복수의 스피커 피드들 (35) 을 렌더링할 수도 있다. 위에 주지된 바와 같이, 신호 값은 일부 경우에, 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 매트릭스를 포함할 수도 있다. 이 경우에, 오디오 플레이백 시스템 (32) 은 매트릭스에 기초하여 스피커 피드들 (35) 을 렌더링하도록 오디오 렌더러들 (34) 중 하나를 이용하여 매트릭스로 오디오 렌더러들 (34) 중 그 하나를 구성할 수도 있다.
일부 경우들에서, 신호 값은 비트스트림이 스피커 피드들 (35) 에 대한 구면 조화 계수들 (27') 을 렌더링하는데 이용되는 매트릭스를 포함함을 표시하는 인덱스를 정의하는 2 이상의 비트들을 포함한다. 추출 디바이스 (38) 는 인덱스에 응답하여 비트스트림으로부터 매트릭스를 파싱할 수도 있고, 이에 따라 오디오 플레이백 시스템 (32) 은 오디오 렌더러들 (34) 중 하나를 파싱된 매트릭스로 구성하여, 스피커 피드들 (35) 을 렌더링하도록 렌더러들 (34) 중 그 하나를 인보크할 수도 있다. 신호 값이, 비트스트림에 포함된 매트릭스의 복수의 로우들을 정의하는 2 이상의 비트들, 및 비트스트림에 포함된 매트릭스의 복수의 컬럼들을 정의하는 2 이상의 비트들을 포함할 때, 추출 디바이스 (38) 는 인덱스에 응답하여 그리고 복수의 로우들을 정의하는 2 이상의 비트들 및 복수의 컬럼들을 정의하는 2 이상의 비트들에 기초하여 비트스트림으로부터 매트릭스를 파싱할 수 있다.
일부 경우들에서, 신호 값은 스피커 피드들 (35) 에 대한 구면 조화 계수들 (27') 을 렌더링하는데 이용되는 렌더링 알고리즘을 특정한다. 이들 경우에, 오디오 렌더러들 (34) 중 일부 또는 전부는 이들 렌더링 알고리즘을 수행할 수도 있다. 그 후, 오디오 플레이백 디바이스(32) 는 구면 조화 계수들 (27') 로부터 스피커 피드들 (35) 을 렌더링하도록 특정 렌더링 알고리즘, 예를 들어, 오디오 렌더러들 중 하나를 이용할 수도 있다.
신호 값이, 스피커 피드들 (35) 에 대한 구면 조화 계수들 (27') 을 렌더링하는데 이용되는 복수의 매트릭스들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함할 때, 오디오 렌더러들 (34) 중 일부 또는 전부는 복수의 매트릭스들을 표현할 수도 있다. 따라서, 오디오 플레이백 시스템 (32) 은 인덱스와 연관된 오디오 렌더러들 (34) 중 하나를 이용하여, 구면 조화 계수들 (27') 로부터 스피커 피드들 (35) 를 렌더링할 수도 있다.
신호 값이, 스피커 피드들 (35) 에 대한 구면 조화 계수들 (27') 을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함할 때, 오디오 렌더러들 (34) 중 일부 또는 전부는 이들 렌더링 알고리즘들을 표현할 수도 있다. 따라서, 오디오 플레이백 시스템 (32) 은 인덱스와 연관된 오디오 렌더러들 (34) 중 하나를 이용하여, 구면 조화 계수들 (27') 로부터 스피커 피드들 (35) 를 렌더링할 수도 있다.
이 오디오 렌더링 정보가 비트스트림에서 특정되는 주파수에 의존하여, 추출 디바이스 (38) 는 오디오 프레임 단위 기반으로 또는 한번 오디오 렌더링 정보 (39) 를 결정할 수도 있다.
이 방식으로 오디오 렌더링 정보 (39) 를 특정함으로써, 기술들은 멀티채널 오디오 컨텐츠 (35) 의 보다 양호한 재생을 가능하게 가져올 수도 있고 컨텐츠 크리에이터 (22) 가 의도하는 방식에 따라 멀티채널 오디오 컨텐츠 (35) 가 재생되게 할 수 있다. 그 결과, 기술들은 보다 이머시브 (immersive) 서라운드 사운드 또는 멀티채널 오디오 경험을 제공할 수도 있다.
비트스트림에서 시그널링 (또는 달리 특정) 되는 것으로 설명되어 있지만, 오디오 렌더링 정보 (39) 는 비트스트림과는 별개인 메타데이터로서 또는 즉, 비트스트림과는 별개로 사이드 정보로서 특정될 수도 있다. 비트스트림 생성 디바이스 (36) 는 이 개시물에 설명된 기술을 지원하지 않는 이들 추출 디바이스들과의 비트스트림 호환가능성을 유지하도록 (그리고 이에 의해 추출 디바이스에 의한 성공적인 파싱이 가능하도록) 비트스트림 (31) 과는 별개로 오디오 렌더링 정보 (39) 를 생성할 수도 있다. 따라서, 비트스트림에서 특정되는 바와 같이 설명되어 있지만, 기술들은 비트스트림 (31) 과는 별개로 오디오 렌더링 정보 (39) 를 특정하도록 하는 다른 방식들을 허용할 수도 있다.
또한, 비트스트림 (31) 에서, 또는 비트스트림 (31) 과는 별개인 메타데이터 또는 사이드 정보에서 시그널링되거나 또는 달리 특정되는 것으로서 설명되어 있지만, 기술들은 비트스트림 생성 디바이스 (36) 가 비트스트림 (31) 에서의 오디오 렌더링 정보 (39) 의 일부, 및 비트스트림 (31) 과는 별개인 메타데이터로서의 오디오 렌더링 정보 (39) 의 일부를 특정하게 할 수 있다. 예를 들어, 비트스트림 생성 디바이스 (36) 는 비트스트림 (31) 에서 매트릭스를 식별하는 인덱스를 특정할 수도 있고, 여기에서, 식별된 매트릭스를 포함하는 복수의 매트릭스들을 특정하는 테이블이 비트스트림과는 별개인 메타데이터로서 특정될 수도 있다. 그 후, 오디오 플레이백 시스템 (32) 은 비트스트림 (31) 과는 별개로 특정된 메타데이터로부터 그리고 인덱스의 형태에서 비트스트림 (31) 으로부터 오디오 렌더링 정보 (39) 를 결정할 수도 있다. 오디오 플레이백 시스템 (32) 은 일부 경우들에서, (대부분이 오디오 플레이백 시스템 (32) 의 제조자 또는 표준 바디에 의해 호스트되는) 미리 구성된 또는 구성된 서버로부터 테이블 또는 임의의 다른 메타데이터를 다운로드하거나 또는 달리 취출하도록 구성될 수도 있다.
즉, 그리고 위에 주지된 바와 같이, HOA (Higher-Order Ambisonics) 는 공간 푸리에 변환에 기초하여 사운드 필드의 방향 정보를 기술하게 하는 방식을 표현할 수도 있다. 통상적으로, 앰비소닉스 (Ambisonics) 차수 (N) 가 높을수록, 공간 분해능이 더 높고, 구면 조화 (SH) 계수들 ((N+1)^2) 의 수가 더 크고, 그리고 데이터를 송신 및 저장하기 위하여 요구되는 대역폭이 더 크다.
이 기술의 가능성있는 이점은 대부분의 임의의 확성기 세트업 (예를 들어, 5.1, 7.1, 22.2, ...) 에서 사운드 필드를 재생하는 가능성이다. 사운드 필드 설명으로부터 M 개의 확성기 신호들로의 변환은 (N+1)2 개의 입력들 및 M 개의 출력들을 가진 매트릭스를 정적 렌더링하는 것을 통하여 수행될 수도 있다. 그 결과, 모든 확성기 세트업이 전용 렌더링 매트릭스를 요구할 수도 있다. 수개의 알고리즘들은 특정한 객관적인 또는 주관적인 측정 대책, 이를 테면, Gerzon 기준에 대하여 최적화될 수도 있는 원하는 확성기들에 대한 렌더링 매트릭스를 계산하기 위하여 존재할 수도 있다. 불규칙적인 확성기 세트업들에 대해, 알고리즘들은 반복적인 복수의 최적화 절차들, 이를 테면, 컨벡스 최적화로 인하여 복잡할 수도 있다. 대기 시간 없이, 불규칙한 확성기 레이아웃들에 대하여 렌더링 매트릭스를 계산하기 위해서는, 충분한 계산 리소스들이 이용가능한 것이 바람직할 수도 있다. 불규칙한 확성기 세트업들은 아키텍쳐 제약들 및 심미적 선호도들로 인하여 지배적인 실내 환경들에서 일반적일 수도 있다. 따라서, 최상의 사운드 필드 재생을 위하여, 이러한 시나리오를 위하여 최적화된 렌더링 매트릭스는 보다 정확하게 사운드 필드의 재생을 가능하게 할 수도 있다는 점에서 선호될 수도 있다.
오디오 디코더가 항상 훨씬 계산적인 리소스들을 요구하는 것은 아니기 때문에, 디바이스는 컨슈머 친화적인 시간에서 불규칙 렌더링 매트릭스를 계산가능하지 않을 수도 있다. 본 개시물에 설명된 본 기술들의 여러 양태들은 다음과 같이 클라우드 기반 계산 접근 방식을 사용하기 위하여 제공할 수도 있다:
1. 오디오 디코더는 서버에 확성기 좌표들 (그리고 일부 경우들에서, 또한 캘리브레이션 마이크로폰으로 획득된 SPL 측정값들) 을 인터넷 접속을 통하여 전송할 수도 있다.
2. 클라우드 기반 서버는 렌더링 매트릭스 (그리고 가능하다면, 고객이 이후에 상이한 버전을 선택할 수도 있게 하는 수개의 상이한 버전들) 를 계산할 수도 있다.
3. 그 후, 서버는 인터넷 접속을 통하여 오디오 디코더에 렌더링 매트릭스 (또는 상이한 버전들) 를 다시 전송할 수도 있다.
(강력한 프로세서가 이들 불규칙 렌더링 매트릭스들을 계산하는데 필요하지 않을 수도 있기 때문에) 이 접근 방식은 제조자가 오디오 디코더의 제조 비용을 낮추게 허용할 수도 있는 한편, 규칙적 스피커 구성 또는 지오메트릭들에 대하여 설계된 렌더링 매트릭스들에 비해 보다 최적의 오디오 재생을 또한 용이하게 할 수 있다. 렌더링 매트릭스를 계산하는 알고리즘은 또한 오디오 디코더가 탑재된 후에도 최적화될 수도 있어, 하드웨어 변경들 또는 심지어 회수 조치들에 대한 비용들을 가능성있게 감소시킨다. 본 기술들은 또한 일부 경우에, 미래의 제품 개발들에 대하여 유리할 수도 있는 컨슈머 제품들의 상이한 확성기 세트업에 대한 많은 정보를 수집할 수도 있다.
도 5 는 본 개시물에 설명된 기술들의 다른 양태들을 구현할 수도 있는 다른 시스템 (30) 을 예시하는 블록도이다. 시스템 (20) 과는 별개인 시스템으로서 도시되어 있지만, 시스템 (20) 과 시스템 (30) 양쪽 모두는 단일 시스템 내에 통합될 수도 있거나 또는 이 단일 시스템에 의해 달리 수행될 수도 있다. 위에 설명된 도 4 의 예에서, 기술들은 구면 조화 계수들의 환경에서 설명되었다. 그러나, 기술들은 하나 이상의 오디오 오브젝트들로서 사운드 필드를 캡쳐하는 표현들을 포함한, 사운드 필드의 임의의 표현에 대하여 마찬가지로 수행될 수도 있다. 오디오 오브젝트들의 일 예는 펄스 코드 변조 (pulse-code modulation; PCM) 오디오 오브젝트들을 포함할 수도 있다. 따라서, 시스템 (30) 은, 기술들이 구면 조화 계수들 (27 및 27') 대신에, 오디오 오브젝트들 (41 및 41') 에 대하여 수행될 수도 있다는 점을 제외하면, 시스템 (20) 과 유사한 시스템을 나타낸다.
이 환경에서, 오디오 렌더링 정보 (39) 는 일부 경우들에서, 스피커 피드들 (29) 에 대한 오디오 오브젝트들 (41) 을 렌더링하는데 이용되는 렌더링 알고리즘, 즉, 도 5 의 예에서의 오디오 렌더러 (29) 에 의해 채용되는 것을 특정할 수도 있다. 다른 예들에서, 오디오 렌더링 정보 (39) 는 스피커 피드 (29) 에 대한 오디오 오브젝트들 (41) 를 렌더링하는데 이용되는, 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스, 즉 도 5 의 예에서의 오디오 렌더러 (28) 와 연관된 것을 정의하는 2 이상의 비트들을 포함한다.
오디오 렌더링 정보 (39) 가 복수의 스피커 피드들에 대한 오디오 오브젝트들 (39') 을 렌더링하는데 이용되는 렌더링 알고리즘을 특정할 때, 오디오 렌더러들 (34) 중 일부 또는 전부는 상이한 렌더링 알고리즘들을 표현 또는 달리 수행할 수도 있다. 그 후, 오디오 플레이백 시스템 (32) 은 오디오 렌더러들 (34) 중 하나를 이용하여 오디오 오브젝트들 (39') 로부터 스피커 피드들 (35) 을 렌더링할 수도 있다.
오디오 렌더링 정보 (39) 가 스피커 피드들 (35) 에 대한 오디오 오브젝트들 (39) 를 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하는 일부 경우에, 오디오 렌더러들 (34) 중 일부 또는 전부는 상이한 렌더링 알고리즘들을 표현 또는 달리 수행할 수도 있다. 그 후, 오디오 플레이백 시스템 (32) 은 인덱스와 연관된 오디오 렌더러들 (34) 중 하나를 이용하여 오디오 오브젝트들 (39') 로부터 스피커 피드들 (35) 을 렌더링할 수도 있다.
2차원 매트릭스들을 포함하는 것으로서 위에 설명되어 있지만, 본 기술들은 임의의 차원의 메트릭스들에 대하여 구현될 수도 있다. 일부 경우들에서, 매트릭스들은 실수 계수들만을 가질 수도 있다. 다른 경우들에서, 매트릭스들은 복소수 계수들을 포함할 수도 있고, 여기에서 허수 성분들은 추가의 차원을 표현 또는 도입할 수도 있다. 복소수 계수들을 갖는 매트릭스들은 일부 환경에서 필터들로서 지칭될 수도 있다.
다음은 하기 기술들을 요약하는 일 방식이다. 오브젝트 또는 HoA (Higher-order Ambisonics)-기반 3D/2D 서브필드 재구성에서, 렌더러가 수반될 수도 있다. 렌더러에 대하여 2가지 이용들이 있을 수도 있다. 첫번째 이용은 국부적 음향 배경에서의 사운드 필드 재구성을 최적화하도록 국부적 조건들 (이를 테면, 확성기들의 수 및 지오메트리) 을 고려할 수도 있다. 두번째 이용은 컨텐츠 형성 시에, 사운드 아티스트에게 이를 제공하여 그 아티스트가 컨텐츠의 예술적 의도를 제공할 수도 있게 하는 것일 수도 있다. 해결하고자 하는 하나의 잠재적인 문제는 렌더러가 컨텐츠를 형성하는데 이용되었던 정보를 오디오 컨텐츠와 함께 송신하는 것이다.
이 개시물에 설명된 기술들은 다음 중 하나 이상을 제공할 수도 있다: (i) 렌더러의 송신 (통상적인 HoA 구현에서, 이는 사이즈 NxM 의 매트릭스이며, 여기에서, N 은 확성기들의 수이며, M 은 HoA 계수들의 수이다) 또는 (ii) 일반적으로 알려진 렌더러들의 테이블로의 인덱스의 송신.
또한, 비트스트림에서 시그널링 (또는 달리 특정) 되는 것으로 설명되어 있지만, 오디오 렌더링 정보 (39) 는 비트스트림과는 별개로 메타데이터로서 또는 즉, 비트스트림과는 별개로 사이드 정보로서 특정될 수도 있다. 비트스트림 생성 디바이스 (36) 는 이 개시물에 설명된 기술을 지원하지 않는 이들 추출 디바이스들과의 비트스트림 호환가능성을 유지하도록 (그리고 이에 의해 추출 디바이스에 의한 성공적인 파싱이 가능하도록) 비트스트림 (31) 과는 별개로 오디오 렌더링 정보 (39) 를 생성할 수도 있다. 따라서, 비트스트림에서 특정되는 바와 같이 설명되어 있지만, 기술들은 비트스트림 (31) 과는 별개로 오디오 렌더링 정보 (39) 를 특정하도록 하는 다른 방식들을 허용할 수도 있다.
또한, 비트스트림 (31) 에서, 또는 비트스트림 (31) 과는 별개인 메타데이터 또는 사이드 정보에서 시그널링되거나 또는 달리 특정되는 것으로서 설명되어 있지만, 기술들은 비트스트림 생성 디바이스 (36) 가 비트스트림 (31) 에서의 오디오 렌더링 정보 (39) 의 일부, 및 비트스트림 (31) 과는 별개인 메타데이터로서의 오디오 렌더링 정보 (39) 의 일부를 특정하게 할 수 있다. 예를 들어, 비트스트림 생성 디바이스 (36) 는 비트스트림 (31) 에서 매트릭스를 식별하는 인덱스를 특정할 수도 있고, 여기에서, 식별된 매트릭스를 포함하는 복수의 매트릭스들을 특정하는 테이블이 비트스트림과는 별개인 메타데이터로서 특정될 수도 있다. 그 후, 오디오 플레이백 시스템 (32) 은 비트스트림 (31) 과는 별개인 특정된 메타데이터로부터 그리고 인덱스의 형태에서 비트스트림 (31) 으로부터 오디오 렌더링 정보 (39) 를 결정할 수도 있다. 오디오 플레이백 시스템 (32) 은 일부 경우들에서, (대부분이 오디오 플레이백 시스템 (32) 의 제조자 또는 표준 바디에 의해 호스트되는) 미리 구성된 또는 구성된 서버로부터 테이블 또는 임의의 다른 메타데이터를 다운로드하거나 또는 달리 취출하도록 구성될 수도 있다.
도 6 은 본 개시물에 설명된 기술들의 여러 양태들을 구현할 수도 있는 다른 시스템 (50) 을 예시하는 블록도이다. 시스템 (20) 및 시스템 (30) 과는 별개인 시스템으로서 도시되어 있지만, 시스템 (20, 30 및 50) 의 여러 양태들이 단일 시스템 내에 통합될 수도 있거나 또는 이 단일 시스템에 의해 달리 수행될 수도 있다. 시스템 (50) 은, 오디오 오브젝트들 (41) 과 유사한 오디오 오브젝트들 중 하나 이상, 및 SHC (27) 와 유사한 SHC를 표현할 수도 있는 오디오 컨텐츠 (51) 에 대하여 동작할 수도 있다는 점을 제외하면, 시스템 (20 및 30) 과 유사할 수도 있다. 추가로, 시스템 (50) 은 도 4 및 도 5 의 예들에 대하여 위에 설명된 바와 같이 비트스트림 (31) 에서 오디오 렌더링 정보 (39) 를 시그널링하지 않고 그 대신에, 비트스트림 (31) 과는 별개인 메타데이터 (53) 로서 오디오 렌더링 정보 (39) 를 시그널링할 수도 있다.
도 7 은 본 개시물에 설명된 기술들의 여러 양태들을 구현할 수도 있는 다른 시스템 (60) 을 예시하는 블록도이다. 시스템 (20, 30 및 50) 과는 별개인 시스템으로서 도시되어 있지만, 시스템 (20, 30, 50 및 60) 의 여러 양태들이 단일 시스템 내에 통합될 수도 있거나 또는 이 단일 시스템에 의해 달리 수행될 수도 있다. 시스템 (60) 은 도 4 및 도 5 의 예들에 대하여 위에 설명된 바와 같이 비트스트림 (31) 에서 오디오 렌더링 정보 (39) 의 일부분을 시그널링할 수도 있고, 비트스트림 (31) 과는 별개인 메타데이터 (53) 로서 오디오 렌더링 정보 (39) 의 일부분을 시그널링할 수도 있다. 일부 예들에서, 비트스트림 생성 디바이스 (36) 는 메타데이터 (53) 를 출력할 수도 있고, 그 후, 메타데이터는 서버 또는 다른 디바이스에 업로드될 수도 있다. 오디오 플레이백 시스템 (32) 은 그 후, 메타데이터 (53) 를 다운로드 또는 달리 취출할 수도 있고, 그 후, 이 메타데이터는 추출 디바이스 (38) 에 의해 비트스트림 (31) 으로부터 추출된 오디오 렌더링 정보를 증분하는데 이용될 수도 있다.
도 8a 내지 도 8d 는 본 개시물에 설명된 기술들에 따라 형성된 비트스트림들 (31A-31D) 을 예시하는 다이어그램이다. 도 8a 의 예에서, 비트스트림 (31A) 은 위에서 도 4, 도 5 및 도 8 에 도시된 바와 같은 비트스트림 (31) 의 일 예를 나타낼 수도 있다. 비트스트림 (31A) 은 신호 값 (54) 을 정의하는 1 이상의 비트들을 포함하는 오디오 렌더링 정보 (39A) 를 포함한다. 이 신호 값 (54) 은 아래 설명된 유형들의 정보의 임의의 조합을 나타낼 수도 있다. 비트스트림 (31A) 은 또한 오디오 컨텐츠 (51) 의 일 예를 나타낼 수도 있는 오디오 컨텐츠 (58) 를 포함한다.
도 8b 의 예에서, 비트스트림 (31B) 은 비트스트림 (31A) 과 유사할 수도 있으며, 여기에서 신호 값 (54) 은 인덱스 (54A), 시그널링된 매트릭스의 로우 사이즈 (54B) 를 정의하는 1 이상의 비트들, 시그널링된 매트릭스의 컬럼 사이즈 (54C) 를 정의하는 1 이상의 비트들, 및 매트릭스 계수들 (54D) 을 포함한다. 인덱스 (54A) 는 2 내지 5 비트를 이용하여 정의될 수도 있는 한편, 로우 사이즈 (54B) 및 컬럼 사이즈 (54C) 각각은 2 내지 16 비트들을 이용하여 정의될 수도 있다.
추출 디바이스 (38) 는 인덱스 (54A) 를 추출하고, 매트릭스가 비트스트림 (31B) 에 포함됨을 인덱스가 시그널링하는지의 여부를 결정할 수도 있다 (여기에서 특정 인덱스 값들, 이를 테면, 0000 또는 1111 은 매트릭스가 비트스트림 (31B) 에서 명시적으로 특정됨을 시그널링할 수도 있다). 도 8b 의 예에서, 비트스트림 (31B) 은 매트릭스가 비트스트림 (31B) 에서 명시적으로 특정됨을 시그널링하는 인덱스 (54A) 를 포함한다. 그 결과로서, 추출 디바이스 (38) 는 로우 사이즈 (54B) 및 컬럼 사이즈 (54C) 를 추출할 수도 있다. 추출 디바이스 (38) 는 로우 사이즈 (54B) 및 컬럼 사이즈 (54C) 와, 각각의 매트릭스 계수의 시그널링된 (도 8a 에 도시되지 않음) 또는 암시적 비트 사이즈에 따라 매트릭스 계수들의 그 표현 매트릭스를 파싱하도록 비트들의 수를 계산하도록 구성될 수도 있다. 3 개의 결정된 수의 비트들을 이용하여, 추출 디바이스 (38) 는 매트릭스 계수들 (54D) 을 추출할 수도 있고, 오디오 플레이백 디바이스 (24) 는 위에 설명된 바와 같이 오디오 렌더러들 (34) 중 하나를 구성하도록 이용될 수도 있다. 비트스트림 (31B) 에서 한번 오디오 렌더링 정보 (39B) 를 시그널링하는 것으로서 도시되어 있지만, 오디오 렌더링 정보 (39B) 는 비트스트림 (31B) 에서 다수 번 시그널링될 수도 있거나, 또는 별개의 대역외 채널에서 (일부 경우들에서 선택적 데이터로서) 적어도 부분적으로 또는 완전하게 시그널링될 수도 있다.
도 8c 의 예에서, 비트스트림 (31C) 은 위에서 도 4, 도 5 및 도 8 에 도시된 바와 같은 비트스트림 (31) 의 일 예를 나타낼 수도 있다. 비트스트림 (31C) 은 이 예에서 알고리즘 인덱스 (54E) 를 특정하는 신호 값 (54) 을 포함하는 오디오 렌더링 정보 (39C) 를 포함한다. 비트스트림 (31C) 은 또한 오디오 컨텐츠 (58) 를 포함한다. 알고리즘 인덱스 (54E) 는 위에 주지된 바와 같이 2 내지 5 비트들을 이용하여 정의될 수도 있고 이 알고리즘 인덱스 (54E) 는 오디오 컨텐츠 (58) 를 렌더링할 때 이용되는 렌더링 알고리즘을 식별할 수도 있다.
추출 디바이스 (38) 는 알고리즘 인덱스 (50E) 를 추출하고, 매트릭스가 비트스트림 (31C) 에 포함됨을 알고리즘 인덱스 (54E) 가 시그널링하는지의 여부를 결정할 수도 있다 (여기에서 특정 인덱스 값들, 이를 테면, 0000 또는 1111 은 매트릭스가 비트스트림 (31C) 에서 명시적으로 특정됨을 시그널링할 수도 있다). 도 8c 의 예에서, 비트스트림 (31C) 은 매트릭스가 비트스트림 (31C) 에서 명시적으로 특정되지 않음을 시그널링하는 알고리즘 인덱스 (50E) 를 포함한다. 그 결과, 추출 디바이스 (38) 는 오디오 플레이백 디바이스로 알고리즘 인덱스 (50E) 를 포워드하고, 오디오 플레이백 디바이스는 (도 4 내지 도 8 의 예에서 렌더러들 (34) 로서 표기된 바와 같은) 대응하는 하나의 (이용가능하다면) 렌더링 알고리즘들을 선택한다. 비트스트림 (31C) 에서 한번 오디오 렌더링 정보 (39C) 를 시그널링하는 것으로서 도시되어 있지만, 도 8c 의 예에서, 오디오 렌더링 정보 (39C) 는 비트스트림 (31C) 에서 다수 번 시그널링될 수도 있거나, 또는 별개의 대역외 채널에서 (일부 경우들에서 선택적 데이터로서) 적어도 부분적으로 또는 완전하게 시그널링될 수도 있다.
도 8d 의 예에서, 비트스트림 (31C) 은 위에서 도 4, 도 5 및 도 8 에 도시된 바와 같은 비트스트림 (31) 의 일 예를 나타낼 수도 있다. 비트스트림 (31D) 은 이 예에서 매트릭스 인덱스 (54F) 를 특정하는 신호 값 (54) 을 포함하는 오디오 렌더링 정보 (39D) 를 포함한다. 비트스트림 (31D) 은 또한 오디오 컨텐츠 (58) 를 포함한다. 매트릭스 인덱스 (54F) 는 위에 주지된 바와 같이 2 내지 5 비트들을 이용하여 정의될 수도 있고 이 매트릭스 인덱스 (54F) 는 오디오 컨텐츠 (58) 를 렌더링할 때 이용되는 렌더링 알고리즘을 식별할 수도 있다.
추출 디바이스 (38) 는 매트릭스 인덱스 (50F) 를 추출하고, 매트릭스가 비트스트림 (31D) 에 포함됨을 매트릭스 인덱스 (54F) 가 시그널링하는지의 여부를 결정할 수도 있다 (여기에서 특정 인덱스 값들, 이를 테면, 0000 또는 1111 은 매트릭스가 비트스트림 (31C) 에서 명시적으로 특정됨을 시그널링할 수도 있다). 도 8d 의 예에서, 비트스트림 (31D) 은 매트릭스가 비트스트림 (31D) 에서 명시적으로 특정되지 않음을 시그널링하는 매트릭스 인덱스 (50F) 를 포함한다. 그 결과, 추출 디바이스 (38) 는 오디오 플레이백 디바이스로 매트릭스 인덱스 (50F) 를 포워드하고, 오디오 플레이백 디바이스는 대응하는 하나의 렌더러들 (34) 를 선택한다. 비트스트림 (31D) 에서 한번 오디오 렌더링 정보 (39D) 를 시그널링하는 것으로서 도시되어 있지만, 도 8d 의 예에서, 오디오 렌더링 정보 (39D) 는 비트스트림 (31D) 에서 다수 번 시그널링될 수도 있거나, 또는 별개의 대역외 채널에서 (일부 경우들에서 선택적 데이터로서) 적어도 부분적으로 또는 완전하게 시그널링될 수도 있다.
도 9 는 본 개시물에 설명된 기술들의 여러 양태들을 구현하는데 있어서 시스템, 이를 테면, 도 4 내지 도 8d 의 예들에서 도시된 시스템들 (20, 30, 50 및 60) 중 하나의 예시적인 동작을 예시하는 흐름도이다. 시스템 (20) 에 대하여 아래 설명되어 있지만, 도 9 에 대하여 설명된 기술들은 또한 시스템 (30, 50 및 60) 중 어느 하나에 의해 구현될 수도 있다.
위에 설명된 바와 같이, 컨텐츠 크리에이터 (22) 는 캡쳐 또는 생성된 오디오 컨텐츠 (도 4 의 예에서 SHC (27) 로서 도시된) 를 형성 또는 편집하도록 오디오 편집 시스템 (30) 을 채용할 수도 있다. 컨텐츠 크리에이터 (22) 는 위에 보다 자세하게 설명된 바와 같이 멀치채널 스피커 피드들 (29) 을 생성하기 위해 오디오 렌더러 (28) 를 이용하여 SHC (27) 를 렌더링할 수도 있다 (70). 그 후, 컨텐츠 크리에이터 (22) 는 오디오 플레이백 시스템을 이용하여 이들 스피커 피드들 (29) 을 플레이할 수도 있고, 추가의 조정들 및 편집이 일 예로서 원하는 예술적 의도를 캡쳐하는데 요구되는지의 여부를 결정할 수도 있다 (72). 추가의 조정들을 원할 때 ("예", 72), 컨텐츠 크리에이터 (22) 는 SHC (27) 를 리믹싱할 수도 있고 (74), SHC (27) 를 렌더링할 수도 있고 (70), 추가의 조정들이 필요한지를 결정할 수도 있다 (72). 추가의 조정들을 원하지 않을 때 ("아니오", 72), 비트스트림 생성 디바이스 (36) 는 오디오 컨텐츠를 나타내는 비트스트림 (31) 을 생성할 수도 있다 (76). 비트스트림 생성 디바이스 (36) 는 또한 위에 자세히 설명된 바와 같이 비트스트림 (31) 에서 오디오 렌더링 정보 (39) 를 생성 및 특정할 수도 있다 (78).
그 후, 컨텐츠 컨슈머 (24) 는 비트스트림 (31) 및 오디오 렌더링 정보 (39) 를 획득할 수도 있다 (80). 일 예로서, 그 후, 추출 디바이스 (38) 는 비트스트림 (31) 으로부터 오디오 컨텐츠 (이는 도 4 의 예에서, SHC (27') 로서 도시되어 있음) 및 오디오 렌더링 정보 (39) 를 추출할 수도 있다. 그 후, 오디오 플레이백 디바이스 (32) 는 위에 설명된 방식으로 오디오 렌더링 정보 (39) 에 기초하여 SHC (27') 를 렌더링할 수도 있고 (82) 렌더링된 오디오 컨텐츠를 플레이할 수도 있다 (84).
이에 따라, 본 개시물에 설명된 기술들은 제 1 예로서, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하고 오디오 렌더링 정보를 특정하는 디바이스를 가능하게 한다. 제 1 예에서, 디바이스는 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 특정하는 수단을 포함한다.
제 1 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 매트릭스를 포함한다.
제 2 실시예에서, 제 1 예의 디바이스로서, 신호 값은 비트스트림이 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 매트릭스를 포함함을 표시하는 인덱스를 정의하는 2 이상의 비트들을 포함한다.
제 2 예의 디바이스로서, 오디오 렌더링 정보는 비트스트림에 포함된 매트릭스의 복수의 로우들을 정의하는 2 이상의 비트들, 및 비트스트림에 포함된 매트릭스의 복수의 컬럼들을 정의하는 2 이상의 비트들을 더 포함한다.
제 1 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 오디오 오브젝트들을 렌더링하는데 이용되는 렌더링 알고리즘을 특정한다.
제 1 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 렌더링 알고리즘을 특정한다.
제 1 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 복수의 매트릭스들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함한다.
제 1 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 오디오 오브젝트들을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함한다.
제 1 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함한다.
제 1 예의 디바이스로서, 오디오 렌더링 정보를 특정하는 수단은 비트스트림에서 오디오 프레임 단위 기반으로 오디오 렌더링 정보를 특정하는 수단을 포함한다.
제 1 예의 디바이스로서, 오디오 렌더링 정보를 특정하는 수단은 비트스트림에서 한번 오디오 렌더링 정보를 특정하는 수단을 포함한다.
제 3 예에서, 비일시적 컴퓨터 판독가능 저장 매체는 실행될 때 하나 이상의 프로세서들로 하여금, 비트스트림에서 오디오 렌더링 정보를 특정하게 하는 명령들을 저장하며, 오디오 렌더링 정보는 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별한다.
제 4 예에서, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 디바이스로서, 본 디바이스는 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 결정하는 수단, 및 비트스트림에서 특정된 오디오 렌더링 정보에 기초하여 복수의 스피커 피드들을 렌더링하는 수단을 포함한다.
제 4 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 매트릭스를 포함하고, 복수의 스피커 피드들을 렌더링하는 수단은 매트릭스에 기초하여 복수의 스피커 피드들을 렌더링하는 수단을 포함한다.
제 5 예에서, 제 4 예의 디바이스로서, 신호 값은 비트스트림이 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 매트릭스를 포함함을 표시하는 인덱스를 정의하는 2 이상의 비트들을 포함하고, 본 디바이스는 인덱스에 응답하여 비트스트림으로부터 매트릭스를 파싱하는 수단을 더 포함하고, 복수의 스피커 피드들을 렌더링하는 수단은 파싱된 매트릭스에 기초하여 복수의 스피커 피드들을 렌더링하는 수단을 포함한다.
제 5 예의 디바이스로서, 신호 값은 비트스트림에 포함된 매트릭스의 복수의 로우들을 정의하는 2 이상의 비트들, 및 비트스트림에 포함된 매트릭스의 복수의 컬럼들을 정의하는 2 이상의 비트들을 더 포함하고, 비트스트림으로부터 매트릭스를 파싱하는 수단은 인덱스에 응답하여 그리고 복수의 로우들을 정의하는 2 이상의 비트들 및 복수의 컬럼들을 정의하는 2 이상의 비트들에 기초하여 비트스트림으로부터 매트릭스를 파싱하는 수단을 포함한다.
제 4 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 오디오 오브젝트들을 렌더링하는데 이용되는 렌더링 알고리즘을 특정하고, 복수의 스피커 피드들을 렌더링하는 수단은 특정된 렌더링 알고리즘을 이용하여 오디오 오브젝트들로부터 복수의 스피커 피드들을 렌더링하는 수단을 포함한다.
제 4 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 렌더링 알고리즘을 특정하고, 복수의 스피커 피드들을 렌더링하는 수단은 특정된 렌더링 알고리즘을 이용하여 구면 조화 계수들로부터 복수의 스피커 피드들을 렌더링하는 수단을 포함한다.
제 4 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 복수의 매트릭스들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하고, 복수의 스피커 피드들을 렌더링하는 수단은 인덱스와 연관된 복수의 매트릭스들 중 하나를 이용하여 구면 조화 계수들로부터 복수의 스피커 피드들을 렌더링하는 수단을 포함한다.
제 4 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 오디오 오브젝트들을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하고, 복수의 스피커 피드들을 렌더링하는 수단은 인덱스와 연관된 복수의 렌더링 알고리즘들 중 하나를 이용하여 오디오 오브젝트들로부터 복수의 스피커 피드들을 렌더링하는 수단을 포함한다.
제 4 예의 디바이스로서, 신호 값은 복수의 스피커 피드들에 대한 구면 조화 계수들을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하고, 복수의 스피커 피드들을 렌더링하는 수단은 인덱스와 연관된 복수의 렌더링 알고리즘들 중 하나를 이용하여 구면 조화 계수들로부터 복수의 스피커 피드들을 렌더링하는 수단을 포함한다.
제 4 예의 디바이스로서, 오디오 렌더링 정보를 결정하는 수단은 비트스트림으로부터 오디오 프레임 단위 기반으로 오디오 렌더링 정보를 결정하는 수단을 포함한다.
제 4 예의 디바이스로서, 오디오 렌더링 정보를 결정하는 수단은 비트스트림으로부터 한번 오디오 렌더링 정보를 결정하는 수단을 포함한다.
제 6 예에서, 비일시적 컴퓨터 판독가능 저장 매체는 실행될 때 하나 이상의 프로세서들로 하여금, 멀티채널 오디오 컨텐츠를 생성할 때 이용되는 오디오 렌더러를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를 결정하게 하고, 그리고 비트스트림에서 특정된 오디오 렌더링 정보에 기초하여 복수의 스피커 피드들을 렌더링하게 하는 명령들을 저장한다.
예에 따라, 본원에서 설명된 임의의 방법들의 소정의 행위들 또는 이벤트들은 상이한 시퀀스로 수행될 수도 있거나, 추가되거나 병합될 수도 있거나, 또는 함께 제거될 수도 있다 (예를 들면, 설명된 모든 행위들 또는 이벤트들이 방법의 실시에 반드시 필요한 것은 아니다) 는 것이 인식될 것이다. 또한, 소정의 예들에서, 작용들 및 이벤트들은, 순차적으로 수행되는 대신에, 예를 들어, 멀티 스레드 프로세싱, 인터럽트 프로세싱, 또는 멀티 프로세서들을 통해 동시에 수행될 수도 있다. 추가로, 본 개시물의 특정 양태들은 명료화를 위하여 단일의 디바이스 또는 유닛에 의해 수행되는 것으로 설명되어 있지만, 본 개시물의 기술들은 디바이스들, 유닛들 또는 모듈들의 조합에 의해 수행될 수도 있음이 이해되어야 한다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어에서 또는 하드웨어와 소프트웨어의 조합 (펌웨어를 포함할 수도 있음) 에서 구현될 수도 있다. 소프트웨어로 구현되는 경우, 기능들은 하드웨어 기반 프로세싱 유닛에 의해 실행되고 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능 매체 상에 저장되거나 송신될 수도 있다. 컴퓨터 판독가능 매체들은 데이터 저장 매체들과 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체들, 또는 예를 들어, 통신 프로토콜에 따라, 한 곳에서 다른 곳으로 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체들을 포함할 수도 있다.
이러한 방식으로, 컴퓨터 판독 가능한 매체들은 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체들은 이 개시물에 설명된 기법들의 구현을 위한 명령들, 코드, 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.
비제한적인 예로서, 이러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 플래시 메모리, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속은 컴퓨터 판독 가능한 매체라고 적절히 지칭된다. 예를 들면, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다.
그러나, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 접속들, 반송바들, 신호들, 또는 다른 일시적 매체들을 포함하지 않고, 대신에 비일시적, 유형의 저장 매체들이다. 본원에서 이용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 CD (compact disc), 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피 디스크, 및 블루레이 디스크를 포함하는데, 여기서 디스크 (disk) 는 보통 데이터를 자기적으로 재생하며, 반면 디스크 (disc) 는 레이저들을 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은, 하나 이상의 디지털 신호 프로세서들(DSPs), 범용 마이크로프로세서들, 주문형 집적 회로들(ASICs), 필드 프로그래머블 로직 어레이(FPGAs), 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 그에 따라, 본원에서 이용되는 바와 같은 용어 "프로세서" 는 앞서 언급한 구조들, 또는 본원에서 설명된 기법들을 구현하기에 적합한 임의의 다른 구조 중 임의의 것을 지칭한다. 또한, 몇몇 양태들에서, 본원에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/또는 소프트웨어 모듈 내에 제공되거나, 또는 통합 코덱에 통합될 수도 있다. 또한, 본원에서 개시된 기술들은 하나 이상의 회로들 또는 로직 소자들에서 완전히 구현될 수 있다.
본 개시물의 기술들은, 무선 헤드셋, 집적 회로(IC) 또는 ICs의 세트 (예를 들어, 칩 세트) 를 포함하는 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 개시된 기술들을 실시하도록 구성된 디바이스들의 기능적 양태를 강조하기 위해 다양한 소자들, 모듈들, 또는 유닛들이 본 개시에서 설명되었지만, 반드시 상이한 하드웨어 유닛들에 의해 실현될 필요는 없다. 대신, 상술한 바와 같이, 다양한 유닛들은, 적절한 소프트웨어 및/또는 펌웨어와 연계하여, 코덱 하드웨어 유닛에 통합되거나 또는 상술한 하나 이상의 프로세서들을 포함하여 상호 동작적인 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.
본 기술들의 여러 실시형태들이 개시되었다. 이들 및 다른 실시형태들은 하기의 특허청구범위의 범위 내에 있다.

Claims (34)

  1. 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법으로서,
    컨텐츠 크리에이터에 의해, 컨텐츠 컨슈머로 전송하기 위한 멀티채널 오디오 컨텐츠를 생성하는 단계, 및
    상기 멀티채널 오디오 컨텐츠를 생성할 때 이용될 상기 컨텐츠 크리에이터의 오디오 렌더러 (28) 를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를, 상기 비트스트림에서 및 오디오 인코더의 하나 이상의 프로세서들에 의해, 특정하는 단계를 포함하고,
    상기 신호 값은 복수의 스피커 피드들 (29) 로 구면 조화 계수들 (spherical harmonic coefficients) 을 렌더링하기 위해 상기 컨텐츠 크리에이터의 상기 오디오 렌더러 (28) 에서 이용되는 매트릭스를 정의하는 복수의 매트릭스 계수들을 포함하고,
    복수의 스피커 피드들 (35) 로 상기 구면 조화 계수들을 렌더링하기 위해 상기 컨텐츠 컨슈머의 오디오 렌더러 (34) 에서 상기 복수의 매트릭스 계수들이 이용될 수 있는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법.
  2. 제 1 항에 있어서,
    상기 신호 값은 상기 비트스트림이 상기 복수의 스피커 피드들 (29) 에 대한 상기 구면 조화 계수들을 렌더링하는데 이용되는 상기 매트릭스를 포함함을 표시하는 인덱스를 정의하는 2 이상의 비트들을 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법
  3. 제 2 항에 있어서,
    상기 신호 값은 상기 비트스트림에 포함된 상기 매트릭스의 복수의 로우들을 정의하는 2 이상의 비트들, 및 상기 비트스트림에 포함된 상기 매트릭스의 복수의 컬럼들을 정의하는 2 이상의 비트들을 더 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법.
  4. 제 1 항에 있어서,
    상기 신호 값은
    상기 복수의 스피커 피드들 (29) 에 대한 오디오 오브젝트들 또는 상기 구면 조화 계수들을 렌더링하는데 이용되는 렌더링 알고리즘을 특정하는 제 2 신호 값을 특정하는 단계를 더 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법.
  5. 제 1 항에 있어서,
    상기 신호 값은 상기 복수의 스피커 피드들 (29) 에 대한 오디오 오브젝트들 또는 상기 구면 조화 계수들을 렌더링하는데 이용되는 복수의 매트릭스들 중의 상기 매트릭스와 연관된 인덱스를 정의하는 2 이상의 비트들을 더 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법.
  6. 제 1 항에 있어서,
    상기 복수의 스피커 피드들 (29) 에 대한 상기 구면 조화 계수들을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하는 제 2 신호 값을 특정하는 단계를 더 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법.
  7. 제 1 항에 있어서,
    상기 오디오 렌더링 정보를 특정하는 단계는 상기 비트스트림에서 오디오 프레임 단위 (per audio frame) 기반으로, 상기 비트스트림에서 한번, 또는 상기 비트스트림과는 별개인 메타데이터로부터 상기 오디오 렌더링 정보를 특정하는 단계를 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법.
  8. 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스로서,
    컨텐츠 크리에이터에 의해, 컨텐츠 컨슈머로 전송하기 위한 멀티채널 오디오 컨텐츠를 생성하고, 상기 멀티채널 오디오 컨텐츠를 생성할 때 이용될 상기 컨텐츠 크리에이터의 오디오 렌더러 (28) 를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를, 상기 비트스트림에서, 특정하도록 구성되는 하나 이상의 프로세서들을 포함하는 오디오 인코더로서, 상기 신호 값이 복수의 스피커 피드들 (29) 에 대한 구면 조화 계수들을 렌더링하기 위해 상기 컨텐츠 크리에이터의 상기 오디오 렌더러 (28) 에서 이용되는 매트릭스를 정의하는 복수의 매트릭스 계수들을 포함하고, 복수의 스피커 피드들 (35) 로 상기 구면 조화 계수들을 렌더링하기 위해 상기 컨텐츠 컨슈머의 오디오 렌더러 (34) 에서 상기 복수의 매트릭스 계수들이 이용될 수 있는, 상기 오디오 인코더; 및
    상기 하나 이상의 프로세서들에 커플링되고, 그리고 상기 오디오 렌더링 정보를 저장하도록 구성되는 메모리를 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스.
  9. 제 8 항에 있어서,
    상기 신호 값은 상기 비트스트림이 상기 복수의 스피커 피드들 (29) 에 대한 상기 구면 조화 계수들을 렌더링하는데 이용되는 상기 매트릭스를 포함함을 표시하는 인덱스를 정의하는 2 이상의 비트들을 더 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스.
  10. 제 9 항에 있어서,
    상기 신호 값은 상기 비트스트림에 포함된 상기 매트릭스의 복수의 로우들을 정의하는 2 이상의 비트들, 및 상기 비트스트림에 포함된 상기 매트릭스의 복수의 컬럼들을 정의하는 2 이상의 비트들을 더 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스.
  11. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 복수의 스피커 피드들 (29) 에 대한 오디오 오브젝트들 또는 상기 구면 조화 계수들을 렌더링하는데 이용되는 렌더링 알고리즘을 특정하는 제 2 신호 값을 특정하도록 구성되는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스.
  12. 제 8 항에 있어서,
    상기 신호 값은 상기 복수의 스피커 피드들 (29) 에 대한 오디오 오브젝트들 또는 상기 구면 조화 계수들을 렌더링하는데 이용되는 복수의 매트릭스들 중의 상기 매트릭스와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스.
  13. 제 8 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 복수의 스피커 피드들 (29) 에 대한 상기 구면 조화 계수들을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하는 제 2 신호 값을 특정하도록 구성되는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스.
  14. 컨텐츠 컨슈머의 오디오 렌더러 (34) 에 의해 비트스트림으로부터 컨텐츠 크리에이터에 의해 생성된 멀티채널 오디오 컨텐츠를 렌더링하는 방법으로서,
    상기 멀티채널 오디오 컨텐츠를 생성할 때 이용된 상기 컨텐츠 크리에이터의 오디오 렌더러 (28) 를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를, 상기 비트스트림으로부터, 결정하는 단계로서, 상기 신호 값이 복수의 스피커 피드들 (29) 의 형태의 상기 멀티채널 오디오 컨텐츠에 대한 구면 조화 계수들을 렌더링하기 위해 상기 컨텐츠 크리에이터의 상기 오디오 렌더러 (28) 에서 이용되는 매트릭스를 정의하는 복수의 매트릭스 계수들을 포함하는, 상기 오디오 렌더링 정보를 결정하는 단계; 및
    복수의 스피커 피드들 (35) 의 형태의 상기 멀티채널 오디오 컨텐츠를, 상기 구면 조화 계수들로부터 및 상기 오디오 렌더링 정보에 기초하여, 상기 컨텐츠 컨슈머의 상기 오디오 렌더러 (34) 로 렌더링하는 단계를 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법.
  15. 제 14 항에 있어서,
    상기 복수의 스피커 피드 (35) 들을 렌더링하는 단계는 상기 매트릭스에 기초하여 상기 복수의 스피커 피드들 (35) 을 렌더링하는 단계를 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법.
  16. 제 14 항에 있어서,
    상기 신호 값은 상기 비트스트림이 상기 복수의 스피커 피드들 (29) 에 대한 상기 구면 조화 계수들을 렌더링하는데 이용되는 상기 매트릭스를 포함함을 표시하는 인덱스를 정의하는 2 이상의 비트들을 포함하고,
    상기 방법은 상기 인덱스에 응답하여 상기 비트스트림으로부터 상기 매트릭스를 파싱하는 단계를 더 포함하고,
    상기 복수의 스피커 피드들 (35) 을 렌더링하는 단계는 파싱된 상기 매트릭스에 기초하여 상기 복수의 스피커 피드들 (35) 을 렌더링하는 단계를 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법.
  17. 제 16 항에 있어서,
    상기 신호 값은 상기 비트스트림에 포함된 상기 매트릭스의 복수의 로우들을 정의하는 2 이상의 비트들, 및 상기 비트스트림에 포함된 상기 매트릭스의 복수의 컬럼들을 정의하는 2 이상의 비트들을 더 포함하고,
    상기 비트스트림으로부터 상기 매트릭스를 파싱하는 단계는, 상기 인덱스에 응답하여 그리고 상기 복수의 로우들을 정의하는 2 이상의 비트들 및 상기 복수의 컬럼들을 정의하는 2 이상의 비트들에 기초하여 상기 비트스트림으로부터 상기 매트릭스를 파싱하는 단계를 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법.
  18. 제 14 항에 있어서,
    상기 복수의 스피커 피드들 (29) 에 대한 오디오 오브젝트들 또는 상기 구면 조화 계수들을 렌더링하는데 이용되는 렌더링 알고리즘을 특정하는 제 2 신호 값을 특정하는 수단을 더 포함하고,
    상기 복수의 스피커 피드들 (35) 을 렌더링하는 단계는, 특정된 상기 렌더링된 알고리즘을 이용하여 오디오 오브젝트들 또는 구면 조화 계수들로부터 상기 복수의 스피커 피드들 (35) 을 렌더링하는 단계를 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법.
  19. 제 14 항에 있어서,
    상기 신호 값은 상기 복수의 스피커 피드들 (29) 에 대한 오디오 오브젝트들 또는 상기 구면 조화 계수들을 렌더링하는데 이용되는 복수의 매트릭스들 중의 상기 매트릭스와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하고,
    상기 복수의 스피커 피드들 (35) 을 렌더링하는 단계는 상기 인덱스와 연관된 상기 복수의 매트릭스들 중의 상기 매트릭스를 이용하여 오디오 오브젝트들 또는 구면 조화 계수들로부터 상기 복수의 스피커 피드들 (35) 을 렌더링하는 단계를 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법.
  20. 제 14 항에 있어서,
    복수의 스피커 피드들 (29) 에 대한 구면 조화 계수들을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하는 제 2 신호 값을 특정하는 단계를 더 포함하고,
    상기 복수의 스피커 피드들 (35) 을 렌더링하는 단계는 상기 인덱스와 연관된 상기 복수의 렌더링 알고리즘들 중 하나를 이용하여 상기 구면 조화 계수들로부터 상기 복수의 스피커 피드들 (35) 을 렌더링하는 단계를 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법.
  21. 제 14 항에 있어서,
    상기 오디오 렌더링 정보를 결정하는 단계는, 상기 비트스트림으로부터 오디오 프레임 단위 기반으로, 상기 비트스트림으로부터 한번, 또는 상기 비트스트림과는 별개인 메타데이터로부터 상기 오디오 렌더링 정보를 결정하는 단계를 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법.
  22. 컨텐츠 컨슈머의 오디오 렌더러 (34) 에 의해 비트스트림으로부터 컨텐츠 크리에이터에 의해 생성된 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스로서,
    상기 멀티채널 오디오 컨텐츠를 생성할 때 이용된 상기 컨텐츠 크리에이터의 오디오 렌더러 (28) 를 식별하는 신호 값을 포함하는 오디오 렌더링 정보를, 상기 비트스트림으로부터, 결정하는 것으로서, 상기 신호 값이 복수의 스피커 피드들 (29) 의 형태의 상기 멀티채널 오디오 컨텐츠에 대한 구면 조화 계수들을 렌더링하기 위해 상기 컨텐츠 크리에이터의 상기 오디오 렌더러 (28) 에서 이용되는 매트릭스를 정의하는 복수의 매트릭스 계수들을 포함하는, 상기 오디오 렌더링 정보를 결정하고; 그리고
    복수의 스피커 피드들 (35) 로서의 상기 멀티채널 오디오 컨텐츠를, 상기 구면 조화 계수들로부터 및 상기 오디오 렌더링 정보에 기초하여, 상기 컨텐츠 컨슈머의 상기 오디오 렌더러 (34) 로 렌더링하도록
    구성된, 하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 커플링되고, 그리고 상기 복수의 스피커 피드들 (35) 을 저장하도록 구성되는 메모리를 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스.
  23. 제 22 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 매트릭스에 기초하여 상기 복수의 스피커 피드들 (35) 을 렌더링하도록 구성되는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스.
  24. 제 22 항에 있어서,
    상기 신호 값은 상기 비트스트림이 상기 복수의 스피커 피드들 (29) 에 대한 상기 구면 조화 계수들을 렌더링하는데 이용되는 상기 매트릭스를 포함함을 표시하는 인덱스를 정의하는 2 이상의 비트들을 포함하고,
    상기 하나 이상의 프로세서들은 또한, 상기 인덱스에 응답하여 상기 비트스트림으로부터 상기 매트릭스를 파싱하도록 구성되고,
    상기 하나 이상이 프로세서들은 파싱된 상기 매트릭스에 기초하여 상기 복수의 스피커 피드들 (35) 을 렌더링하도록 구성되는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스.
  25. 제 24 항에 있어서,
    상기 신호 값은 상기 비트스트림에 포함된 상기 매트릭스의 복수의 로우들을 정의하는 2 이상의 비트들, 및 상기 비트스트림에 포함된 상기 매트릭스의 복수의 컬럼들을 정의하는 2 이상의 비트들을 더 포함하고,
    상기 하나 이상의 프로세서들은 상기 인덱스에 응답하여 그리고 상기 복수의 로우들을 정의하는 2 이상의 비트들 및 상기 복수의 컬럼들을 정의하는 2 이상의 비트들에 기초하여 상기 비트스트림으로부터 상기 매트릭스를 파싱하도록 구성되는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스.
  26. 제 22 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 복수의 스피커 피드들 (29) 에 대한 오디오 오브젝트들 또는 구면 조화 계수들을 렌더링하는데 이용되는 렌더링 알고리즘을 특정하는 제 2 신호 값을 특정하도록 구성되고,
    상기 하나 이상의 프로세서들은 특정된 상기 렌더링된 알고리즘을 이용하여 오디오 오브젝트들 또는 구면 조화 계수들로부터 상기 복수의 스피커 피드들 (35) 을 렌더링하도록 구성되는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스.
  27. 제 22 항에 있어서,
    상기 신호 값은 복수의 스피커 피드들 (29) 에 대한 오디오 오브젝트들 또는 상기 구면 조화 계수들을 렌더링하는데 이용되는 복수의 매트릭스들 중의 상기 매트릭스와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하고,
    상기 하나 이상의 프로세서들은 상기 인덱스와 연관된 상기 복수의 매트릭스들 중 하나를 이용하여 오디오 오브젝트들 또는 구면 조화 계수들로부터 상기 복수의 스피커 피드들 (35) 을 렌더링하도록 구성되는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스.
  28. 제 22 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 복수의 스피커 피드들 (29) 에 대한 구면 조화 계수들을 렌더링하는데 이용되는 복수의 렌더링 알고리즘들 중 하나와 연관된 인덱스를 정의하는 2 이상의 비트들을 포함하는 제 2 신호 값을 특정하도록 구성되고,
    상기 하나 이상의 프로세서들은 상기 인덱스와 연관된 상기 복수의 렌더링 알고리즘들 중 하나를 이용하여 구면 조화 계수들로부터 상기 복수의 스피커 피드들 (35) 을 렌더링하도록 구성되는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스.
  29. 제 8 항에 있어서,
    상기 복수의 매트릭스 계수들은 불규칙 스피커 지오메트리에 배열된 스피커들에 대응하는 상기 복수의 스피커 피드들 (29) 에 상기 구면 조화 계수들을 렌더링하도록 이용된 상기 매트릭스를 정의하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스.
  30. 제 22 항에 있어서,
    상기 복수의 매트릭스 계수들은 규치적이지만, 비표준화된 스피커 지오메트리에 배열된 스피커들에 대응하는 상기 복수의 스피커 피드들 (29) 에 상기 구면 조화 계수들을 렌더링하는데 이용된 상기 매트릭스를 정의하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스.
  31. 제 1 항에 있어서,
    상기 구면 조화 계수들을 나타내는 오디오 데이터를, 하나 이상의 마이크로폰들에 의해, 캡쳐하는 단계를 더 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하는 방법.
  32. 제 8 항에 있어서,
    상기 하나 이상의 프로세서에 커플링되고, 그리고 상기 구면 조화 계수들을 나타내는 오디오 데이터를 캡쳐하도록 구성되는 하나 이상의 마이크로폰들을 더 포함하는, 멀티채널 오디오 컨텐츠를 나타내는 비트스트림을 생성하도록 구성되는 디바이스.
  33. 제 14 항에 있어서,
    상기 구면 조화 계수들로 나타낸 사운드필드를, 하나 이상의 확성기들에 의해 및 상기 복수의 스피커 피드들 (35) 에 기초하여, 재생하는 단계를 더 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하는 방법.
  34. 제 22 항에 있어서,
    상기 하나 이상의 프로세서들에 커플링되고, 그리고 상기 구면 조화 계수들로 나타낸 사운드필드를, 상기 복수의 스피커 피드들 (35) 에 기초하여, 재생하도록 구성되는 하나 이상의 확성기들을 더 포함하는, 비트스트림으로부터 멀티채널 오디오 컨텐츠를 렌더링하도록 구성되는 디바이스.
KR1020197029148A 2013-02-08 2014-02-07 비트스트림에서 오디오 렌더링 정보의 시그널링 KR102182761B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361762758P 2013-02-08 2013-02-08
US61/762,758 2013-02-08
US14/174,769 US10178489B2 (en) 2013-02-08 2014-02-06 Signaling audio rendering information in a bitstream
US14/174,769 2014-02-06
PCT/US2014/015305 WO2014124261A1 (en) 2013-02-08 2014-02-07 Signaling audio rendering information in a bitstream

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157023833A Division KR20150115873A (ko) 2013-02-08 2014-02-07 비트스트림에서 오디오 렌더링 정보의 시그널링

Publications (2)

Publication Number Publication Date
KR20190115124A KR20190115124A (ko) 2019-10-10
KR102182761B1 true KR102182761B1 (ko) 2020-11-25

Family

ID=51297441

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197029148A KR102182761B1 (ko) 2013-02-08 2014-02-07 비트스트림에서 오디오 렌더링 정보의 시그널링
KR1020157023833A KR20150115873A (ko) 2013-02-08 2014-02-07 비트스트림에서 오디오 렌더링 정보의 시그널링

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157023833A KR20150115873A (ko) 2013-02-08 2014-02-07 비트스트림에서 오디오 렌더링 정보의 시그널링

Country Status (16)

Country Link
US (1) US10178489B2 (ko)
EP (2) EP3839946A1 (ko)
JP (2) JP2016510435A (ko)
KR (2) KR102182761B1 (ko)
CN (1) CN104981869B (ko)
AU (1) AU2014214786B2 (ko)
BR (1) BR112015019049B1 (ko)
CA (1) CA2896807C (ko)
IL (1) IL239748B (ko)
MY (1) MY186004A (ko)
PH (1) PH12015501587B1 (ko)
RU (1) RU2661775C2 (ko)
SG (1) SG11201505048YA (ko)
UA (1) UA118342C2 (ko)
WO (1) WO2014124261A1 (ko)
ZA (1) ZA201506576B (ko)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US8811630B2 (en) 2011-12-21 2014-08-19 Sonos, Inc. Systems, methods, and apparatus to filter audio
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9524098B2 (en) 2012-05-08 2016-12-20 Sonos, Inc. Methods and systems for subwoofer calibration
USD721352S1 (en) 2012-06-19 2015-01-20 Sonos, Inc. Playback device
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US8965033B2 (en) 2012-08-31 2015-02-24 Sonos, Inc. Acoustic optimization
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9609452B2 (en) 2013-02-08 2017-03-28 Qualcomm Incorporated Obtaining sparseness information for higher order ambisonic audio renderers
US9883310B2 (en) * 2013-02-08 2018-01-30 Qualcomm Incorporated Obtaining symmetry information for higher order ambisonic audio renderers
USD721061S1 (en) 2013-02-25 2015-01-13 Sonos, Inc. Playback device
US9905231B2 (en) * 2013-04-27 2018-02-27 Intellectual Discovery Co., Ltd. Audio signal processing method
US9980074B2 (en) 2013-05-29 2018-05-22 Qualcomm Incorporated Quantization step sizes for compression of spatial components of a sound field
US9466305B2 (en) 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US9502045B2 (en) 2014-01-30 2016-11-22 Qualcomm Incorporated Coding independent frames of ambient higher-order ambisonic coefficients
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9852737B2 (en) 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
US9620137B2 (en) 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9367283B2 (en) 2014-07-22 2016-06-14 Sonos, Inc. Audio settings
USD883956S1 (en) 2014-08-13 2020-05-12 Sonos, Inc. Playback device
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9747910B2 (en) 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
US9973851B2 (en) 2014-12-01 2018-05-15 Sonos, Inc. Multi-channel playback of audio content
US10176813B2 (en) * 2015-04-17 2019-01-08 Dolby Laboratories Licensing Corporation Audio encoding and rendering with discontinuity compensation
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
US20170085972A1 (en) 2015-09-17 2017-03-23 Sonos, Inc. Media Player and Media Player Design
USD906278S1 (en) 2015-04-25 2020-12-29 Sonos, Inc. Media player device
USD920278S1 (en) 2017-03-13 2021-05-25 Sonos, Inc. Media playback device with lights
USD768602S1 (en) 2015-04-25 2016-10-11 Sonos, Inc. Playback device
USD886765S1 (en) 2017-03-13 2020-06-09 Sonos, Inc. Media playback device
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US9729118B2 (en) 2015-07-24 2017-08-08 Sonos, Inc. Loudness matching
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9736610B2 (en) 2015-08-21 2017-08-15 Sonos, Inc. Manipulation of playback device response using signal processing
US9712912B2 (en) 2015-08-21 2017-07-18 Sonos, Inc. Manipulation of playback device response using an acoustic filter
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
JP6437695B2 (ja) 2015-09-17 2018-12-12 ソノズ インコーポレイテッド オーディオ再生デバイスのキャリブレーションを容易にする方法
USD1043613S1 (en) 2015-09-17 2024-09-24 Sonos, Inc. Media player
US10249312B2 (en) 2015-10-08 2019-04-02 Qualcomm Incorporated Quantization of spatial vectors
US9961467B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from channel-based audio to HOA
US9961475B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from object-based audio to HOA
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US10074012B2 (en) 2016-06-17 2018-09-11 Dolby Laboratories Licensing Corporation Sound and video object tracking
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10089063B2 (en) 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
US10412473B2 (en) 2016-09-30 2019-09-10 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
USD851057S1 (en) 2016-09-30 2019-06-11 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
USD827671S1 (en) 2016-09-30 2018-09-04 Sonos, Inc. Media playback device
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
CN110892735B (zh) * 2017-07-31 2021-03-23 华为技术有限公司 一种音频处理方法以及音频处理设备
GB2572419A (en) * 2018-03-29 2019-10-02 Nokia Technologies Oy Spatial sound rendering
JP7093841B2 (ja) 2018-04-11 2022-06-30 ドルビー・インターナショナル・アーベー ６ｄｏｆオーディオ・レンダリングのための方法、装置およびシステムならびに６ｄｏｆオーディオ・レンダリングのためのデータ表現およびビットストリーム構造
US10999693B2 (en) * 2018-06-25 2021-05-04 Qualcomm Incorporated Rendering different portions of audio data using different renderers
CN118711601A (zh) 2018-07-02 2024-09-27 杜比实验室特许公司 用于产生或解码包括沉浸式音频信号的位流的方法及装置
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
JP7571061B2 (ja) * 2019-06-20 2024-10-22 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｍチャネル入力のｓ個のスピーカーでのレンダリング（ｓ＜ｍ）
JP7332781B2 (ja) 2019-07-09 2023-08-23 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオコンテンツのプレゼンテーションに依存しないマスタリング
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN110620986B (zh) * 2019-09-24 2020-12-15 深圳市东微智能科技股份有限公司 音频处理算法的调度方法、装置、音频处理器和存储介质
TWI750565B (zh) * 2020-01-15 2021-12-21 原相科技股份有限公司 真無線多聲道揚聲裝置及其多音源發聲之方法
US11521623B2 (en) 2021-01-11 2022-12-06 Bank Of America Corporation System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording
CN118471236A (zh) * 2023-02-07 2024-08-09 腾讯科技（深圳）有限公司 一种音频编解码方法、装置、设备及介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931370B1 (en) * 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
US8121836B2 (en) * 2005-07-11 2012-02-21 Lg Electronics Inc. Apparatus and method of processing an audio signal
GB0619825D0 (en) 2006-10-06 2006-11-15 Craven Peter G Microphone array
EP2137725B1 (en) 2007-04-26 2014-01-08 Dolby International AB Apparatus and method for synthesizing an output signal
US8964994B2 (en) 2008-12-15 2015-02-24 Orange Encoding of multichannel digital audio signals
GB0906269D0 (en) 2009-04-09 2009-05-20 Ntnu Technology Transfer As Optimal modal beamformer for sensor arrays
KR101283783B1 (ko) * 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
CA2775828C (en) 2009-09-29 2016-03-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value
AU2010305313B2 (en) * 2009-10-07 2015-05-28 The University Of Sydney Reconstruction of a recorded sound field
JP5298245B2 (ja) 2009-12-16 2013-09-25 ドルビー インターナショナル アーベー Ｓｂｒビットストリームパラメータダウンミックス
EP2451196A1 (en) 2010-11-05 2012-05-09 Thomson Licensing Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
US9754595B2 (en) * 2011-06-09 2017-09-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 3-dimensional audio signal
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
ES2871224T3 (es) 2011-07-01 2021-10-28 Dolby Laboratories Licensing Corp Sistema y método para la generación, codificación e interpretación informática (o renderización) de señales de audio adaptativo
US9641951B2 (en) * 2011-08-10 2017-05-02 The Johns Hopkins University System and method for fast binaural rendering of complex acoustic scenes
KR102681514B1 (ko) * 2012-07-16 2024-07-05 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 음장 표현을 렌더링하는 방법 및 장치
US9761229B2 (en) * 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
EP2946468B1 (en) 2013-01-16 2016-12-21 Thomson Licensing Method for measuring hoa loudness level and device for measuring hoa loudness level
US9883310B2 (en) 2013-02-08 2018-01-30 Qualcomm Incorporated Obtaining symmetry information for higher order ambisonic audio renderers
US9609452B2 (en) 2013-02-08 2017-03-28 Qualcomm Incorporated Obtaining sparseness information for higher order ambisonic audio renderers
US9980074B2 (en) 2013-05-29 2018-05-22 Qualcomm Incorporated Quantization step sizes for compression of spatial components of a sound field
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Andrew Wabnitz, et al. TIME DOMAIN RECONSTRUCTION OF SPATIAL SOUND FIELDS USING COMPRESSED SENSING. IEEE International Conference on Acoustics, Speech and Signal Processing. 2011.05.22.*

Also Published As

Publication number Publication date
SG11201505048YA (en) 2015-08-28
IL239748B (en) 2019-01-31
EP2954521A1 (en) 2015-12-16
CN104981869B (zh) 2019-04-26
KR20150115873A (ko) 2015-10-14
US20140226823A1 (en) 2014-08-14
CA2896807C (en) 2021-03-16
CA2896807A1 (en) 2014-08-14
MY186004A (en) 2021-06-14
RU2015138139A (ru) 2017-03-21
JP2016510435A (ja) 2016-04-07
BR112015019049A2 (pt) 2017-07-18
RU2661775C2 (ru) 2018-07-19
UA118342C2 (uk) 2019-01-10
AU2014214786B2 (en) 2019-10-10
AU2014214786A1 (en) 2015-07-23
CN104981869A (zh) 2015-10-14
US10178489B2 (en) 2019-01-08
BR112015019049B1 (pt) 2021-12-28
PH12015501587A1 (en) 2015-10-05
WO2014124261A1 (en) 2014-08-14
JP6676801B2 (ja) 2020-04-08
KR20190115124A (ko) 2019-10-10
IL239748A0 (en) 2015-08-31
EP3839946A1 (en) 2021-06-23
JP2019126070A (ja) 2019-07-25
ZA201506576B (en) 2020-02-26
EP2954521B1 (en) 2020-12-02
PH12015501587B1 (en) 2015-10-05

Similar Documents

Publication Publication Date Title
JP6676801B2 (ja) マルチチャンネル音声コンテンツを表すビットストリームを生成する方法、およびデバイス
US9870778B2 (en) Obtaining sparseness information for higher order ambisonic audio renderers
US9883310B2 (en) Obtaining symmetry information for higher order ambisonic audio renderers
US20150264483A1 (en) Low frequency rendering of higher-order ambisonic audio data
US20200013426A1 (en) Synchronizing enhanced audio transports with backward compatible audio transports
CA2949108C (en) Obtaining sparseness information for higher order ambisonic audio renderers
US11081116B2 (en) Embedding enhanced audio transports in backward compatible audio bitstreams
TW201907391A (zh) 用於高階立體環繞聲之音訊資料之分層中間壓縮
EP3149972B1 (en) Obtaining symmetry information for higher order ambisonic audio renderers

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant