KR102144389B1 - 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 - Google Patents

고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 Download PDF

Info

Publication number
KR102144389B1
KR102144389B1 KR1020187020825A KR20187020825A KR102144389B1 KR 102144389 B1 KR102144389 B1 KR 102144389B1 KR 1020187020825 A KR1020187020825 A KR 1020187020825A KR 20187020825 A KR20187020825 A KR 20187020825A KR 102144389 B1 KR102144389 B1 KR 102144389B1
Authority
KR
South Korea
Prior art keywords
hoa
signals
representation
signal
compressed
Prior art date
Application number
KR1020187020825A
Other languages
English (en)
Other versions
KR20180086512A (ko
Inventor
스벤 코르돈
알렉산더 크뤼거
올리버 뷔볼트
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Publication of KR20180086512A publication Critical patent/KR20180086512A/ko
Application granted granted Critical
Publication of KR102144389B1 publication Critical patent/KR102144389B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

HOA 계수 시퀀스들의 입력 시간 프레임들(
Figure 112018071313659-pat00578
)을 가진 입력 HOA 표현인 HOA 신호를 압축하는 방법은 입력 시간 프레임들의 공간 HOA 인코딩과, 후속 지각 인코딩 및 소스 인코딩을 포함한다. 각각의 입력 시간 프레임은 우세 사운드 신호들(
Figure 112018071313659-pat00579
)의 프레임 및 주변 HOA 컴포넌트(
Figure 112018071313659-pat00580
)의 프레임으로 분해된다(802). 주변 HOA 컴포넌트(
Figure 112018071313659-pat00581
)는 계층화 모드에서, 하위 위치들 내의 입력 HOA 표현(
Figure 112018071313659-pat00582
)의 제1 HOA 계수 시퀀스들, 및 나머지 상위 위치들 내의 제2 HOA 계수 시퀀스들(
Figure 112018071313659-pat00583
)을 포함한다. 제2 HOA 계수 시퀀스들은 입력 HOA 표현과 우세 사운드 신호들의 HOA 표현 사이의 잔차의 HOA 표현의 부분이다.

Description

고차 앰비소닉스(HOA) 신호를 압축하는 방법, 압축된 HOA 신호를 압축 해제하는 방법, HOA 신호를 압축하기 위한 장치, 및 압축된 HOA 신호를 압축 해제하기 위한 장치{METHOD FOR COMPRESSING A HIGHER ORDER AMBISONICS(HOA) SIGNAL, METHOD FOR DECOMPRESSING A COMPRESSED HOA SIGNAL, APPARATUS FOR COMPRESSING A HOA SIGNAL, AND APPARATUS FOR DECOMPRESSING A COMPRESSED HOA SIGNAL}
본 발명은 고차 앰비소닉스(HOA)(Higher Order Ambisonics) 신호를 압축하는 방법, 압축된 HOA 신호를 압축 해제하는 방법, HOA 신호를 압축하기 위한 장치, 및 압축된 HOA 신호를 압축 해제하기 위한 장치에 관한 것이다.
고차 앰비소닉스(HOA)는 3차원 사운드를 표현하는 가능성을 제공한다. 다른 알려진 기법들은 웨이브 필드 합성(WFS)(wave field synthesis), 또는 22.2와 유사한 채널 기반 접근법들이다. 그러나 채널 기반 방법과 상반되게, HOA 표현은 특정한 라우드스피커 세트-업과 무관한 장점을 제공한다. 그러나 이런 유연성은 특정한 라우드스피커 세트-업에 대한 HOA 표현의 재생에 요구되는 디코딩 프로세스가 희생된다. 필요한 라우드스피커의 수가 통상 매우 큰 WFS 접근법과 비교하여, HOA는 또한, 단지 소수의 라우드스피커로 구성되는 세트-업들로 렌더링될 수 있다. HOA의 추가 장점은 동일 표현이 또한 헤드폰들로의 바이노럴 렌더링(binaural rendering)을 위한 임의의 수정 없이 이용될 수 있다는 점이다.
HOA는 생략된(truncated) 구면 조화 함수(Spherical Harmonics)(SH) 전개에 의한 복합 조화 평면파(complex harmonic plane wave) 진폭들의 소위 공간 밀도의 표현에 기초한다. 각각의 전개 계수(expansion coefficient)는 시간 도메인 함수에 의해 등가적으로 표현될 수 있는 각 주파수의 함수이다. 따라서, 일반성의 손실 없이, 완전한 HOA 사운드 필드 표현은 실제로
Figure 112018071313659-pat00001
시간 도메인 함수들로 구성된다고 가정될 수 있으며,
Figure 112018071313659-pat00002
은 전개 계수들의 수를 나타낸다. 이러한 시간 도메인 함수들은 이하에서 HOA 계수 시퀀스들 또는 HOA 채널들로서 등가적으로 지칭될 것이다. 보통, 구면 좌표계(Spherical coordinate system)는 x축이 정면 위치를 가리키고, y축이 좌측을 가리키며, z 축이 상측을 가리키는 경우에 이용된다. 공간
Figure 112018071313659-pat00003
내의 위치는 반경 ｒ> 0(즉, 좌표 원점까지의 거리), 극 축 z로부터 측정된 경사 각도 θ∈[0,π], 및 x축으로부터 x-y 평면에서 시계 반대 방향으로 측정된 방위 각도 φ∈[0,2π[에 의해 표현된다. 또한,
Figure 112018071313659-pat00004
는 이항(transposition)을 표시한다.
HOA 코딩의 더 상세한 설명은 다음에 제공된다.
Figure 112018071313659-pat00005
로 표시되는 시간에 대한 음압의 푸리에 변환, 즉
Figure 112018071313659-pat00006
(ω는 각 주파수를 표시하고, i는 허수 단위를 나타냄)은
Figure 112018071313659-pat00007
에 따라 구면 조화함수의 급수들로 전개될 수 있다. 여기서,
Figure 112018071313659-pat00008
는 사운드의 속도를 나타내고, k는 각 파수(angular wavenumber)를 나타내며, 이것은
Figure 112018071313659-pat00009
에 의해 각 주파수 ω와 관련된다. 더욱이,
Figure 112018071313659-pat00010
는 제1종(first kind)의 구면 베셀 함수를 표시하고,
Figure 112018071313659-pat00011
는 오더(order) ｎ 및 차수(degree) m의 실가(real valued) 구면 조화 함수를 표시한다. 전개 계수
Figure 112018071313659-pat00012
는 각 파수 k에만 의존한다. 음압이 공간적으로 대역-제한된다는 것이 암시적으로 가정됨에 유의한다. 따라서, 급수는 HOA 표현의 오더로 불리는 상한 N에서 오더 인덱스 n에 대해 생략된다. 사운드 필드가 상이한 각 주파수들 ω의 무한 수의 조화 평면 파들의 중첩에 의해 표현되고 각도 투플(angle tuple)
Figure 112018071313659-pat00013
에 의해 지정된 모든 가능한 방향으로부터 도달하는 경우, 각각의 평면파 복소 진폭 함수
Figure 112018071313659-pat00014
는 다음의 구면 조화 함수 전개에 의해 표현될 수 있다:
Figure 112018071313659-pat00015
여기서 오더 계수들
Figure 112018071313659-pat00016
은
Figure 112018071313659-pat00017
에 의해 전개 계수
Figure 112018071313659-pat00018
와 관련된다.
개별 계수들
Figure 112018071313659-pat00019
이 각 주파수 ω의 함수들인 것으로 가정하면, 역 푸리에 변환(
Figure 112018071313659-pat00020
로 표시됨)의 적용은 각각의 오더 n 및 차수 m에 대한 시간 도메인 함수들
Figure 112018071313659-pat00021
을 제공하고, 이것은
Figure 112018071313659-pat00022
에 의해 단일 벡터
Figure 112018071313659-pat00023
에 수집될 수 있다.
벡터
Figure 112018071313659-pat00024
내의 시간 도메인 함수
Figure 112018071313659-pat00025
의 위치 인덱스는 n(n + 1) + 1 + m에 의해 주어진다. 벡터
Figure 112018071313659-pat00026
내의 요소들의 전체 수는
Figure 112018071313659-pat00027
에 의해 주어진다. 함수들
Figure 112018071313659-pat00028
의 이산 시간 버전들은 앰비소닉스 계수 시퀀스들로 지칭된다. 프레임 기반 HOA 표현은 다음과 같이 이들 시퀀스 모두를 길이 B의 프레임들
Figure 112018071313659-pat00029
및 프레임 인덱스 k로 분할함으로써 획득된다:
Figure 112018071313659-pat00030
여기서,
Figure 112018071313659-pat00031
는 샘플링 주기를 표시한다. 프레임
Figure 112018071313659-pat00032
자체는 이후
Figure 112018071313659-pat00033
와 같이, 그 개별 행들의 구성(composition)
Figure 112018071313659-pat00034
(
Figure 112018071313659-pat00035
)으로서 표현될 수 있고,
Figure 112018071313659-pat00036
은 위치 인덱스 i를 갖는 앰비소닉스 시퀀스의 프레임을 표시한다. HOA 표현의 공간 해상도(spatial resolution)는 전개(expansion)의 증가하는 최대 오더 N에 따라 개선된다. 유감스럽게도, 전개 계수들의 수
Figure 112018071313659-pat00037
는 오더 N에 따라 2차식으로(quadratically), 특히
Figure 112018071313659-pat00038
으로 증가한다. 예를 들어, 오더 N=4를 이용하는 전형적인 HOA 표현은
Figure 112018071313659-pat00039
=25 HOA(전개) 계수들을 요구한다. 이러한 고려 사항에 따르면, HOA 표현의 송신을 위한 전체 비트레이트는, 원하는 단일 채널 샘플링 레이트
Figure 112018071313659-pat00040
및 샘플당 비트들의 수
Figure 112018071313659-pat00041
가 주어지면,
Figure 112018071313659-pat00042
에 의해 결정된다. 따라서, 오더 N = 4의 HOA 표현을, 샘플당
Figure 112018071313659-pat00043
= 16비트를 이용하여
Figure 112018071313659-pat00044
샘플링 레이트로 송신하는 것은,
Figure 112018071313659-pat00045
의 비트레이트를 초래하며, 이것은 예를 들어, 스트리밍과 같은 많은 실제 애플리케이션에서 매우 크다. 따라서, HOA 표현들의 압축이 매우 바람직하다. 이전에, HOA 사운드 필드 표현의 압축은 유럽 특허 출원들 EP2743922A, EP2665208A 및 EP2800401A에서 제안되었다. 이러한 접근법들은, 사운드 필드 분석을 수행하고 주어진 HOA 표현을 방향성 컴포넌트 및 잔차 주변 컴포넌트(residual ambient component)로 분해하는 것을 통상 갖는다. 한편, 최종 압축된 표현은 복수의 양자화된 신호들을 포함한다고 가정되며, 이는 주변 HOA 컴포넌트의 관련 계수 시퀀스들 및 방향 신호들의 지각 코딩으로부터 발생한다. 한편, 양자화된 신호들과 관련된 추가 사이드 정보가 포함된다고 가정되며, 그 사이드 정보는 그것의 압축된 버전으로부터 HOA 표현의 재구성을 위해 필요하다.
또한, 유사한 방법은 ISO/IEC JTC1/SC29/WG11 N14264(MPEG-H 3D 오디오, 2014년 1월, 산호세의 규격 초안 1-HOA 텍스트)에 기술되며, 여기서 방향 컴포넌트는 소위 우세 사운드 컴포넌트(predominant sound component)로 연장된다. 방향 컴포넌트로서, 우세 사운드 컴포넌트는 방향 신호들로부터 최초 HOA 표현의 일부를 예측하기 위한 일부 예측 파라미터들과 함께, 방향 신호들, 즉, 청취자들에게 나쁜 영향을 미친다고 가정되는 대응하는 방향을 갖는 모노럴 신호(monaural signal)들에 의해 부분적으로 표현된다고 가정된다. 또한, 우세 사운드 컴포넌트는 소위 벡터 기반 신호들에 의해 표현되기로 되어 있고, 이는 벡터 기반 신호들의 방향 분포를 정의하는 대응하는 벡터를 갖는 모너럴 신호들을 의미한다. 알려진 압축된 HOA 표현은 I 양자화된 모노럴 신호들 및 일부 추가 사이드 정보로 구성되며, 여기서 I 양자화된 모너럴 신호들 중에서 고정된 수
Figure 112018071313659-pat00046
는 주변 HOA 컴포넌트
Figure 112018071313659-pat00047
의 제1
Figure 112018071313659-pat00048
계수 시퀀스들의 공간 변환된 버전을 표현한다. 나머지
Figure 112018071313659-pat00049
신호들의 유형은 연속 프레임들 사이에서 변할 수 있고, 방향성 벡터 기반의 엠프티(empty)이거나, 또는 주변 HOA 컴포넌트
Figure 112018071313659-pat00050
의 추가 계수 시퀀스를 표현할 수 있다.
HOA 계수 시퀀스의 입력 시간 프레임들(
Figure 112018071313659-pat00051
)로 HOA 신호 표현을 압축하는 알려진 방법은 입력 시간 프레임들의 공간 HOA 인코딩과, 후속 지각 인코딩 및 소스 인코딩을 포함한다. 도 1a에 도시된 바와 같이, 공간 HOA 인코딩은 방향 및 벡터 추정 블록(101)에서 HOA 신호의 방향 및 벡터 추정 처리를 수행하는 단계를 포함하고, 여기서 방향 신호를 위한 제1 투플 세트들
Figure 112018071313659-pat00052
및 벡터 기반 신호들을 위한 제2 투플 세트들
Figure 112018071313659-pat00053
을 포함하는 데이터가 획득된다. 제1 투플 세트들 각각은 방향 신호와 각각의 양자화된 방향의 인덱스를 포함하고, 제2 투플 세트들 각각은 벡터 기반 신호 및 상기 신호들의 방향 분포를 정의하는 벡터의 인덱스를 포함한다. 다음 단계는 HOA 계수 시퀀스들의 각각의 입력 시간 프레임을 복수의 우세 사운드 신호
Figure 112018071313659-pat00054
의 프레임 및 주변 HOA 컴포넌트
Figure 112018071313659-pat00055
의 프레임으로 분해하는(103) 단계이고, 우세 사운드 신호들
Figure 112018071313659-pat00056
은 상기 방향 사운드 신호들 및 상기 벡터 기반 사운드 신호들을 포함한다. 상기 분해하는 단계는 또한, 예측 파라미터들
Figure 112018071313659-pat00057
및 타깃 할당 벡터
Figure 112018071313659-pat00058
를 제공한다. 예측 파라미터들
Figure 112018071313659-pat00059
은 우세 사운드 HOA 컴포넌트들을 강화하기 위해 우세 사운드 신호들
Figure 112018071313659-pat00060
내의 방향 신호들로부터 HOA 신호 표현의 일부를 어떻게 예측하는지를 기술하고, 타깃 할당 벡터
Figure 112018071313659-pat00061
는 우세 사운드 신호들을 주어진 수 I의 채널들에 어떻게 할당하는에 대한 정보를 포함한다. 주변 HOA 컴포넌트
Figure 112018071313659-pat00062
은 타깃 할당 벡터
Figure 112018071313659-pat00063
에 의해 제공되는 정보에 따라 수정되고(104), 주변 HOA 컴포넌트의 어느 계수 시퀀스들이 주어진 수 I의 채널들에서 송신될 것인지는, 우세 사운드 신호가 얼마나 많은 채널을 차지하는지에 따라 결정된다. 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00064
및 시간적으로 예측된 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00065
가 획득된다. 또한, 최종 할당 벡터
Figure 112018071313659-pat00066
는 타깃 할당 벡터
Figure 112018071313659-pat00067
내의 정보로부터 획득된다. 상기 분해 단계로부터 획득된 우세 사운드 신호들
Figure 112018071313659-pat00068
, 및 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00069
및 시간적으로 예측된 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00070
의 결정된 계수 시퀀스들은, 최종 할당 벡터
Figure 112018071313659-pat00071
에 의해 제공된 정보를 이용하여 주어진 수의 채널들에 할당되고, 전송 신호들
Figure 112018071313659-pat00072
(
Figure 112018071313659-pat00073
) 및 예측된 전송 신호들
Figure 112018071313659-pat00074
(
Figure 112018071313659-pat00075
)이 획득된다. 그 후, 이득 제어(또는 정규화)가 전송 신호들
Figure 112018071313659-pat00076
및 예측된 전송 신호들
Figure 112018071313659-pat00077
에 대해 수행되고, 이득 수정된 전송 신호들
Figure 112018071313659-pat00078
, 지수들
Figure 112018071313659-pat00079
및 예외 플래그들
Figure 112018071313659-pat00080
이 획득된다.
도 1b에 도시된 바와 같이, 지각 인코딩 및 소스 인코딩은 이득 수정된 전송 신호들
Figure 112018071313659-pat00081
의 지각 코딩을 포함하고, 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00082
,
Figure 112018071313659-pat00083
이 획득되고, 상기 지수들
Figure 112018071313659-pat00084
및 예외 플래그들
Figure 112018071313659-pat00085
, 제1 및 제2 투플 세트들
Figure 112018071313659-pat00086
및
Figure 112018071313659-pat00087
, 예측 파라미터들
Figure 112018071313659-pat00088
및 최종 할당 벡터
Figure 112018071313659-pat00089
를 포함하는 사이드 정보를 인코딩하여, 인코딩된 사이드 정보
Figure 112018071313659-pat00090
가 획득된다. 결국, 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00091
및 인코딩된 사이드 정보가 비트스트림으로 멀티플렉싱된다.
제안된 HOA 압축 방법의 한 가지 단점은 이것이 모놀리식(monolithic)(즉, 논-스케일러블(non-scalable)) 압축된 HOA 표현을 제공한다는 점이다. 그러나, 브로드캐스팅 또는 인터넷 스트리밍과 같은 소정의 애플리케이션에서는, 압축된 표현을 저품질 베이스 계층(BL)(base layer) 및 고품질 향상 계층(EL)(enhancement layer)으로 분할할 수 있는 것이 바람직하다. 베이스 계층은 HOA 표현의 저품질 압축 버전을 제공하기로 되어 있고, 이것은 향상 계층과 무관하게 디코딩될 수 있다. 그러한 BL은 전형적으로 송신 에러들에 대하여 매우 강건(robust)해야 하고, 열악한 송신 상태하에서도 압축 해제된 HOA 표현의 소정의 최소 품질을 보장하기 위해 낮은 데이터 레이트에서 송신되어야 한다. EL은 압축 해제된 HOA 표현의 품질을 향상시키기 위해 추가 정보를 포함한다.
본 발명은 (저품질) 베이스 계층 및 (고품질) 향상 계층을 포함하는 압축된 표현을 제공할 수 있도록 기존 HOA 압축 방법을 수정하기 위한 해결책을 제공한다. 또한, 본 발명은 본 발명에 따라 압축되는 저품질 베이스 계층을 적어도 포함하는 압축된 표현을 디코딩할 수 있도록 기존 HOA 압축 해제 방법을 수정하기 위한 해결책을 제공한다.
하나의 개선책은 자납식(self contained)(저품질) 베이스 계층을 획득하는 것과 관련된다. 본 발명에 따르면, 주변 HOA 컴포넌트
Figure 112018071313659-pat00092
의 (일반성 상실 없는) 제1
Figure 112018071313659-pat00093
계수 시퀀스들의 공간 변환된 버전을 포함하기로 되어 있는
Figure 112018071313659-pat00094
채널들은 베이스 계층으로 이용된다. 베이스 계층을 형성하기 위해 제1
Figure 112018071313659-pat00095
채널들을 선택하는 이점은 그들의 시간 불변 유형에 있다. 그러나 종래에, 각각의 신호들에는 사운드 신(sound scene)에 필수적인 임의의 우세 사운드 컴포넌트들이 부족하다. 이것은 주변 HOA 컴포넌트
Figure 112018071313659-pat00096
의 종래의 계산으로부터도 명백하고, 이런 계산은
Figure 112018071313659-pat00097
에 따라, 최초 HOA 표현
Figure 112018071313659-pat00098
에서 우세 사운드 HOA 표현
Figure 112018071313659-pat00099
의 차감에 의해 수행된다.
따라서, 본 발명의 하나의 개선책은 그런 우세 사운드 컴포넌트들의 가산과 관련된다. 본 발명에 따르면, 이 문제에 대한 해결책은 베이스 계층 내에 낮은 공간 해상도에서의 우세 사운드 컴포넌트를 포함시키는 것이다. 이 목적을 위해, 본 발명에 따르는 공간 HOA 인코더에서 HOA 분해 처리에 의해 출력되는 주변 HOA 컴포넌트
Figure 112018071313659-pat00100
는 그것의 수정된 버전에 의해 대체된다. 수정된 주변 HOA 컴포넌트는 공간 변환된 형태로 항상 송신되기로 되어 있는 제1
Figure 112018071313659-pat00101
계수 시퀀스들 내에, 최초 HOA 컴포넌트의 계수 시퀀스들을 포함한다. HOA 분해 처리의 이런 개선은 계층화 모드(예를 들어, 듀얼 계층 모드)에서 HOA 압축 작업을 만들기 위한 초기 동작으로 보여질 수 있다. 이 모드는, 예를 들어 베이스 계층 및 향상 계층으로 분할될 수 있는 2개의 비트 스트림 또는 단일 비트 스트림을 제공한다. 이 모드를 이용하거나 이용하지 않는 것은 전체 비트 스트림의 액세스 단위에서 모드 지시 비트(예를 들어, 단일 비트)에 의해 신호화된다.
일 실시예에서, 베이스 계층 비트 스트림
Figure 112018071313659-pat00102
은 지각 인코딩된 신호
Figure 112018071313659-pat00103
, 및 대응하는 코딩된 이득 제어 사이드 정보를 포함할 뿐이고, 그 사이드 정보는 지수들
Figure 112018071313659-pat00104
및 예외 플래그들
Figure 112018071313659-pat00105
로 구성된다. 나머지 지각 인코딩된 신호들
Figure 112018071313659-pat00106
,
Figure 112018071313659-pat00107
, 및 인코딩된 나머지 사이드 정보는 향상 계층 비트 스트림에 포함된다. 일 실시예에서, 베이스 계층 비트 스트림
Figure 112018071313659-pat00108
및 향상 계층 비트 스트림
Figure 112018071313659-pat00109
은 그 후 이전의 전체 비트 스트림
Figure 112018071313659-pat00110
대신에 함께 송신된다.
HOA 계수 시퀀스들의 시간 프레임들을 갖는 고차 앰비소닉스(HOA) 신호 표현을 압축하는 방법은 청구항 1에 개시된다. HOA 계수 시퀀스들의 시간 프레임들을 갖는 고차 앰비소닉스(HOA) 신호 표현을 압축하기 위한 장치는 청구항 10에 개시된다.
HOA 계수 시퀀스들의 시간 프레임들을 갖는 고차 앰비소닉스(HOA) 신호 표현을 압축 해제하는 방법은 청구항 8에 개시된다. HOA 계수 시퀀스들의 시간 프레임들을 갖는 고차 앰비소닉스(HOA) 신호 표현을 압축 해제하기 위한 장치는 청구항 18에 개시된다.
컴퓨터로 하여금 HOA 계수 시퀀스들의 시간 프레임들을 갖는 고차 앰비소닉스(HOA) 신호 표현을 압축하는 방법을 수행하게 하기 위한 실행 가능 명령어들을 갖는 비일시적 컴퓨터 판독가능 저장 매체는 청구항 20에 개시된다.
컴퓨터로 하여금 HOA 계수 시퀀스들의 시간 프레임들을 갖는 고차 앰비소닉스(HOA) 신호 표현을 압축 해제하는 방법을 수행하게 하기 위한 실행 가능 명령어들을 갖는 비일시적 컴퓨터 판독가능 저장 매체는 청구항 21에 개시된다.
본 발명의 유리한 실시예들은 종속 청구항, 하기의 설명 및 도면에 개시된다.
본 발명의 예시적 실시예들이 첨부 도면들을 참조하여 설명된다. 도면에서:
도 1은 HOA 압축기의 종래의 아키텍처의 구조이다;
도 2는 HOA 압축 해제기의 종래의 아키텍처의 구조이다;
도 3은 본 발명의 일 실시예에 따른, HOA 압축기의 공간 HOA 인코딩 및 지각 인코딩 부의 아키텍처의 구조이다;
도 4는 본 발명의 일 실시예에 따른, HOA 압축기의 소스 코더 부의 아키텍처의 구조이다;
도 5는 본 발명의 일 실시예에 따른, HOA 압축 해제기의 지각 디코딩 및 소스 디코딩 부의 아키텍처의 구조이다;
도 6은 본 발명의 일 실시예에 따른, HOA 압축 해제기의 공간 HOA 디코딩 부의 아키텍처의 구조이다;
도 7은 주변 HOA 신호들로부터 수정된 주변 HOA 신호들로의 프레임들의 변환이다;
도 8은 HOA 신호를 압축하는 방법의 흐름도이다;
도 9는 압축된 HOA 신호를 압축 해제하는 방법의 흐름도이다; 및
도 10은 본 발명의 일 실시예에 따른, HOA 압축 해제기의 공간 HOA 디코딩 부의 아키텍처의 부분들의 상세도이다.
더 쉬운 이해를 위해, 도 1 및 도 2의 종래 기술 해결책은 이하에서 요약된다.
도 1은 HOA 압축기의 종래의 아키텍처의 구조를 도시한다. [4]에 기술된 방법에서, 방향 컴포넌트는 소위 우세 사운드 컴포넌트로 연장된다. 방향 컴포넌트로서, 우세 사운드 컴포넌트는 방향 신호들에 의해 부분적으로 표현된다고 가정되며, 그 방향 신호들은 방향 신호들로부터 최초 HOA 표현의 일부를 예측하기 위한 일부 예측 파라미터들과 함께, 청취자들에게 나쁜 영향을 미친다고 가정되는 대응하는 방향을 갖는 모노럴 신호들을 의미한다. 또한, 우세 사운드 컴포넌트는 소위 벡터 기반 신호들에 의해 표현되기로 되어 있으며, 이는 벡터 기반 신호들의 방향 분포를 정의하는 대응하는 벡터를 갖는 모너럴 신호들을 의미한다. [4]에 제안된 HOA 압축기의 전체 아키텍처는 도 1에 예시된다. 이것은 도 1a에 도시된 공간 HOA 인코딩 부 및 도 1b에 도시된 지각 및 소스 인코딩 부로 세분될 수 있다. 공간 HOA 인코더는 I 신호들과 사이드 정보로 함께 구성되는 제1 압축된 HOA 표현을 제공하며, 사이드 정보는 I 신호들의 HOA 표현을 어떻게 생성할지를 기술한다. 지각 및 사이드 정보 소스 코더에서, 언급된 I 신호들은 지각 인코딩되고, 사이드 정보는 2개의 코딩된 표현을 멀티플렉싱하기 전에 소스 인코딩을 거친다.
통상적으로, 공간 인코딩 작업은 다음과 같다.
제1 단계에서, 최초 HOA 표현의 k번째 프레임
Figure 112018071313659-pat00111
은 투플 세트들
Figure 112018071313659-pat00112
및
Figure 112018071313659-pat00113
을 제공하는 방향 및 벡터 추정 처리 블록에 입력된다. 투플 세트
Figure 112018071313659-pat00114
는 제1 요소가 방향 신호의 인덱스를 표시하고 제2 요소가 각각의 양자화된 방향을 표시하는 투플(tuple)들로 구성된다. 투플 세트
Figure 112018071313659-pat00115
는 제1 요소가 벡터 기반 신호의 인덱스를 지시하고 제2 요소가 신호들의 방향 분포(즉, 벡터 기반 신호의 HOA 표현이 어떻게 계산되는지)를 정의하는 벡터를 표시하는 투플들로 구성된다.
양쪽 투플 세트
Figure 112018071313659-pat00116
및
Figure 112018071313659-pat00117
를 이용하여, 초기 HOA 프레임
Figure 112018071313659-pat00118
은 HOA 분해에서, 모든 우세 사운드(즉, 방향 및 벡터 기반) 신호들의 프레임
Figure 112018071313659-pat00119
및 주변 HOA 컴포넌트의 프레임
Figure 112018071313659-pat00120
으로 분해된다. 아티팩트 차단을 방지하기 위해 하나의 프레임의 지연이 각각 가산 처리에 오버랩될 예정임에 유의한다. 더욱이, HOA 분해는 우세 사운드 HOA 컴포넌트를 강화하기 위해 방향 신호들로부터 최초 HOA 표현의 부분들을 어떻게 예측하는지를 기술하는 일부 예측 파라미터
Figure 112018071313659-pat00121
를 출력한다고 가정된다. 또한, HOA 분해 처리 블록에서 결정되었던, 우세 사운드 신호들의 I 가용 채널들로의 할당에 대한 정보를 포함하는 타깃 할당 벡터
Figure 112018071313659-pat00122
가 제공된다. 영향을 받은 채널들은 점유된 것으로 가정될 수 있으며, 이것은 이 채널들이 각각의 시간 프레임에서 주변 HOA 컴포넌트의 임의의 계수 시퀀스들을 전송하는데 이용 가능하지 않다는 것을 의미한다.
주변 컴포넌트 수정 처리 블록에서, 주변 HOA 컴포넌트
Figure 112018071313659-pat00123
의 프레임은 타깃 할당 벡터
Figure 112018071313659-pat00124
에 의해 제공된 정보에 따라 수정된다. 특히, 주변 HOA 컴포넌트의 어느 계수 시퀀스가 주어진 I 채널들에서 송신될 것인지는, 다른 양태들 중에서도 특히 어느 채널들이 이용 가능하고 우세 사운드 신호에 의해 점유되지 않았는지에 대한 정보(타깃 할당 벡터
Figure 112018071313659-pat00125
에 포함됨)에 따라 결정된다. 또한, 계수 시퀀스들의 페이드인(fade in) 또는 페이드아웃(fade out)은선택된 계수 시퀀스들의 인덱스들이 연속 프레임들마다 차이가 있는 경우 수행된다.
게다가, 주변 HOA 컴포넌트
Figure 112018071313659-pat00126
의 제1
Figure 112018071313659-pat00127
계수 시퀀스들이 지각 코딩되고 송신되도록 항상 선택된다고 가정하며, 여기서
Figure 112018071313659-pat00128
이 되고,
Figure 112018071313659-pat00129
이 되며, N은 전형적으로 최초 HOA 표현의 오더보다 작은 오더이다. 이러한 HOA 계수 시퀀스들을 역 상관(de-correlate)시키기 위해, 이들을 일부 사전 정의된 방향들
Figure 112018071313659-pat00130
로부터 침투하는 방향 신호들(즉, 일반 평면파 함수들)로 변환하는 것이 제안된다. 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00131
과 함께, 시간적으로 예측된 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00132
은 적당한 룩 어헤드(look ahead)를 허용하기 위해 이득 제어 처리 블록에서 차후에 사용되도록 계산된다.
주변 HOA 컴포넌트의 수정에 대한 정보는 모든 가능한 유형들의 신호들의 이용 가능한 채널로의 할당에 직접 관련된다. 할당에 대한 최종 정보는 최종 할당 벡터
Figure 112018071313659-pat00133
에 포함된다. 이 벡터를 계산하기 위해, 타깃 할당 벡터
Figure 112018071313659-pat00134
에 포함되는 정보가 이용된다.
채널 할당은 할당 벡터
Figure 112018071313659-pat00135
에 의해 제공되는 정보와 함께,
Figure 112018071313659-pat00136
에 포함되고
Figure 112018071313659-pat00137
에 포함되는 적당한 신호들을 I 이용 가능한 채널들에 할당하여, 신호들
Figure 112018071313659-pat00138
을 산출한다. 더욱이,
Figure 112018071313659-pat00139
및
Figure 112018071313659-pat00140
에 포함되는 적당한 신호들은 또한, I 이용 가능한 채널들에 할당되어, 예측된 신호들
Figure 112018071313659-pat00141
을 산출한다. 신호들
Figure 112018071313659-pat00142
의 각각은 이득 제어에 의해 최종적으로 처리되고, 여기서 신호 이득은 지각 인코더들에 적합한 값 범위를 달성하도록 원활하게 수정된다. 예측된 신호 프레임들
Figure 112018071313659-pat00143
은 연속 블록들 사이에서 심각한 이득 변경을 방지하기 위해 일종의 룩 어헤드를 허용한다. 이득 수정은 지수들
Figure 112018071313659-pat00144
및 예외 플래그들
Figure 112018071313659-pat00145
로 구성되는 이득 제어 사이드 정보를 이용하여 공간 디코더에서 복원된다고 가정된다.
도 2는 [4]에서 제안된 바와 같이, HOA 압축 해제기의 종래의 아키텍처의 구조를 도시한다. 통상적으로, HOA 압축 해제는 HOA 압축기 컴포넌트들의 대응 부분들로 구성되고, 이것은 분명히 반대 순서로 배열된다. 이것은 도 2a에 도시된 지각 및 소스 디코딩 부 및 도 2b에 도시된 공간 HOA 디코딩 부로 세분될 수 있다.
지각 및 사이드 정보 소스 디코더에서, 비트 스트림은 I 신호들의 지각 코딩된 표현, 및 코딩된 사이드 정보로 먼저 디멀티플렉싱되고, 코딩된 사이드 정보는 그것의 HOA 표현이 어떻게 생성되는지를 기술한다. 연속해서, I 신호들의 지각 디코딩 및 사이드 정보의 디코딩이 수행된다. 그 후, 공간 HOA 디코더는 I 신호 및 사이드 정보로부터 재구성된 HOA 표현을 생성한다.
통상적으로, 공간 HOA 디코딩 작업은 다음과 같다.
공간 HOA 디코더에서, 지각 디코딩된 신호들
Figure 112018071313659-pat00146
각각은 연관된 이득 정정 지수
Figure 112018071313659-pat00147
및 이득 정정 예외 플래그
Figure 112018071313659-pat00148
와 함께 역 이득 제어 처리 블록에 먼저 입력된다. i번째 역 이득 제어 처리는 이득 정정된 신호 프레임
Figure 112018071313659-pat00149
을 제공한다.
모든 I 이득 정정된 신호 프레임들
Figure 112018071313659-pat00150
은 할당 벡터
Figure 112018071313659-pat00151
및 투플 세트들
Figure 112018071313659-pat00152
및
Figure 112018071313659-pat00153
와 함께 채널 재할당에 전달된다. 투플 세트들
Figure 112018071313659-pat00154
및
Figure 112018071313659-pat00155
은 (공간 HOA 인코딩을 위해) 위에 정의되었고, 할당 벡터
Figure 112018071313659-pat00156
는 I 컴포넌트들로 구성되고, 이것은 각각의 송신 채널이 주변 HOA 컴포넌트의 계수 시퀀스들을 포함하는지와 어느 계수 시퀀스를 포함하는지를 각각의 송신 채널에 대해 나타낸다. 채널 재할당에서, 이득 정정된 신호 프레임들
Figure 112018071313659-pat00157
은 모든 우세 사운드 신호들(즉, 모든 방향 및 벡터 기반 신호들)의 프레임
Figure 112018071313659-pat00158
및 주변 HOA 컴포넌트의 중간 표현의 프레임
Figure 112018071313659-pat00159
을 재구성하도록 재분배된다. 또한, k번째 프레임에서 활성인, 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들의 세트
Figure 112018071313659-pat00160
, 및 (k-1)번째 프레임에서 인에이블되고 디스에이블되며 활성으로 유지될 필요가 있는, 주변 HOA 컴포넌트의 계수 인덱스들의 세트들
Figure 112018071313659-pat00161
,
Figure 112018071313659-pat00162
및
Figure 112018071313659-pat00163
이 제공된다.
우세 사운드 합성에서, 우세 사운드 컴포넌트
Figure 112018071313659-pat00164
의 HOA 표현은 예측 파라미터들의 투플 세트
Figure 112018071313659-pat00165
및 세트
Figure 112018071313659-pat00166
, 투플 세트
Figure 112018071313659-pat00167
및 세트들
Figure 112018071313659-pat00168
,
Figure 112018071313659-pat00169
및
Figure 112018071313659-pat00170
를 이용하여 모든 우세 사운드 신호들의 프레임들
Figure 112018071313659-pat00171
로부터 계산된다.
주변 합성(Ambience Synthesis)에서, 주변 HOA 컴포넌트 프레임
Figure 112018071313659-pat00172
은 k번째 프레임에서 활성인 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들의 세트
Figure 112018071313659-pat00173
를 이용하여, 주변 HOA 컴포넌트의 중간 표현의 프레임
Figure 112018071313659-pat00174
으로부터 생성된다. 하나의 프레임의 지연이 우세 사운드 HOA 컴포넌트와의 동기화에 기인하여 도입됨에 유의한다. 결국, HOA 구성에서, 우세 사운드 HOA 컴포넌트의 주변 HOA 컴포넌트 프레임
Figure 112018071313659-pat00175
및 프레임
Figure 112018071313659-pat00176
은 디코딩된 HOA 프레임
Figure 112018071313659-pat00177
을 제공하기 위해 중첩된다.
상기 HOA 압축 및 압축 해제 방법의 개략적 설명으로부터 명백하게 된 바와 같이, 압축된 표현은 I 양자화된 모노럴 신호들 및 일부 추가 사이드 정보로 구성된다. 이들 I 양자화된 모노럴 신호들 중에서 고정된 수
Figure 112018071313659-pat00178
은 주변 HOA 컴포넌트
Figure 112018071313659-pat00179
의 제1
Figure 112018071313659-pat00180
계수 시퀀스들의 공간 변환된 버전을 표현한다. 나머지
Figure 112018071313659-pat00181
신호들의 유형은 연속 프레임들 사이에 변할 수 있으며, 이것은 방향성, 벡터 기반, 엠프티(empty)이거나 또는 주변 HOA 컴포넌트
Figure 112018071313659-pat00182
의 추가 계수 시퀀스들을 표현한다. 있는 그래로 보면, 압축된 HOA 표현은 모노리식인 것을 의미한다. 특히, 설명된 표현을 저품질 베이스 계층 및 향상 계층으로 어떻게 분할할지가 하나의 문제이다.
개시된 본 발명에 따르면, 저품질 베이스 계층을 위한 후보는 주변 HOA 컴포넌트
Figure 112018071313659-pat00183
의 제1
Figure 112018071313659-pat00184
계수 시퀀스들의 공간 변환된 버전을 포함하는
Figure 112018071313659-pat00185
채널들이다. 이러한(일반성 상실 없이: 먼저)
Figure 112018071313659-pat00186
채널들이 저품질 베이스 계층을 형성하기 위해서는 이들의 시불변 유형을 선택하는 것이 좋다. 그러나 각각의 신호들은 사운드 신에 필수적인 임의의 우세 사운드 컴포넌트가 부족하다. 이것은 또한, 주변 HOA 컴포넌트
Figure 112018071313659-pat00187
의 계산에서 알 수 있으며, 이 계산은
[수학식 1]
Figure 112018071313659-pat00188
에 따라 최초 HOA 표현
Figure 112018071313659-pat00189
으로부터 우세 사운드 HOA 표현
Figure 112018071313659-pat00190
의 차감에 의해 수행된다.
이 문제에 대한 해결책은 낮은 공간 해상도에서의 우세 사운드 컴포넌트들을 베이스 계층에 포함시키는 것이다.
HOA 압축에 대한 제안된 보정은 이하에 기술된다.
도 3은 본 발명의 일 실시예에 따른 HOA 압축기의 공간 HOA 인코딩 및 지각 인코딩 부의 아키텍처의 구조를 도시한다. 낮은 공간 해상도에서의 우세 사운드 컴포넌트들을 또한 베이스 계층 내에 포함시키기 위해, 공간 HOA 인코더(도 1a 참조)에서 HOA 분해 처리에 의해 출력되는 주변 HOA 컴포넌트
Figure 112018071313659-pat00191
는 수정된 버전
Figure 112018071313659-pat00192
에 의해 대체되고, 이들의 요소들은
Figure 112018071313659-pat00193
에 의해 주어진다.
다시 말해서, 공간 변환된 형태로 항상 송신되기로 되어 있는 주변 HOA 컴포넌트의 제1
Figure 112018071313659-pat00194
계수 시퀀스들은 최초 HOA 컴포넌트의 계수 시퀀스들에 의해 대체된다. 공간 HOA 인코더의 다른 처리 블록들은 변하지 않은 채 유지될 수 있다.
HOA 분해 처리의 이런 변경이 소위 "듀얼 계층" 또는 "2 계층" 모드에서 HOA 압축 작업을 하는 초기 동작으로 보일 수 있다는 점에 유의하는 것이 중요하다. 이 모드는 저품질 베이스 계층 및 향상 계층으로 분할될 수 있는 비트 스트림을 제공한다. 이 모드를 이용하거나 이용하지 않는 것은 전체 비트 스트림의 액세스 단위에서 단일 비트에 의해 신호화될 수 있다.
아래에 더 자세히 설명되는 바와 같이, 베이스 계층 및 향상 계층에 비트 스트림을 제공하도록 멀티플렉싱하는 비트 스트림의 결과적인 가능한 수정은 도 3 및 4에 예시된다.
베이스 계층 비트 스트림
Figure 112018071313659-pat00195
은 지각 인코딩된 신호
Figure 112018071313659-pat00196
, 및 대응하는 코딩된 이득 제어 사이드 정보를 포함할 뿐이고, 이 사이드 정보는 지수들
Figure 112018071313659-pat00197
및 예외 플래그
Figure 112018071313659-pat00198
로 구성된다. 나머지 지각 인코딩된 신호들
Figure 112018071313659-pat00199
,
Figure 112018071313659-pat00200
, 및 인코딩된 나머지 사이드 정보는 향상 계층 비트 스트림에 포함된다. 베이스 계층 및 향상 계층 비트 스트림들
Figure 112018071313659-pat00201
및
Figure 112018071313659-pat00202
은 그 후 이전의 전체 비트 스트림
Figure 112018071313659-pat00203
대신에 함께 송신된다.
도 3 및 도 4에는, HOA 계수 시퀀스들의 입력 시간 프레임들 (
Figure 112018071313659-pat00204
)을 가진 입력 HOA 표현인 HOA 신호를 압축하기 위한 장치가 도시된다. 상기 장치는 도 3에 도시된, 입력 시간 프레임의 공간 HOA 인코딩 및 후속 지각 인코딩을 위한 공간 HOA 인코딩 및 지각 인코딩 부와, 도 4에 도시된, 소스 인코딩을 위한 소스 코더 부를 포함한다. 공간 HOA 인코딩 및 지각 인코딩 부는 방향 및 벡터 추정 블록(301), HOA 분해 블록(303), 주변 컴포넌트 수정 블록(304), 채널 할당 블록(305), 및 복수의 이득 제어 블록(306)을 포함한다.
방향 및 벡터 추정 블록(301)은 HOA 신호의 방향 및 벡터 추정 처리를 수행하도록 적응되고, 여기서 방향 신호들을 위한 제1 투플 세트들
Figure 112018071313659-pat00205
및 벡터 기반 신호들을 위한 제2 투플 세트들
Figure 112018071313659-pat00206
을 포함하는 데이터가 획득되고, 제1 투플 세트들
Figure 112018071313659-pat00207
각각은 방향 신호와 각각의 양자화된 방향의 인덱스를 포함하고, 제2 투플 세트들
Figure 112018071313659-pat00208
각각은 벡터 기반 신호 및 상기 신호들의 방향 분포를 정의하는 벡터의 인덱스를 포함한다.
HOA 분해 블록(303)은 HOA 계수 시퀀스들의 각각의 입력 시간 프레임을 복수의 우세 사운드 신호
Figure 112018071313659-pat00209
의 프레임 및 주변 HOA 컴포넌트
Figure 112018071313659-pat00210
의 프레임으로 분해하도록 적응되고, 우세 사운드 신호
Figure 112018071313659-pat00211
는 상기 방향 사운드 신호들 및 상기 벡터 기반 사운드 신호들을 포함하고, 주변 HOA 컴포넌트
Figure 112018071313659-pat00212
은 입력 HOA 표현과 우세 사운드 신호들의 HOA 표현 사이의 잔차를 표현하는 HOA 계수 시퀀스들을 포함하고, 분해하는 것은 또한 예측 파라미터들
Figure 112018071313659-pat00213
및 타깃 할당 벡터
Figure 112018071313659-pat00214
를 제공한다. 예측 파라미터들
Figure 112018071313659-pat00215
은 우세 사운드 HOA 컴포넌트들을 강화하기 위해 우세 사운드 신호들
Figure 112018071313659-pat00216
내의 방향 신호들로부터 HOA 신호 표현의 일부를 어떻게 예측하는지를 기술하고, 타깃 할당 벡터
Figure 112018071313659-pat00217
는 우세 사운드 신호들을 주어진 수 I의 채널들에 어떻게 할당하는지에 대한 정보를 포함한다. 주변 컴포넌트 수정 블록(304)은 타깃 할당 벡터
Figure 112018071313659-pat00218
에 의해 제공되는 정보에 따라 주변 HOA 컴포넌트
Figure 112018071313659-pat00219
를 수정하도록 적응되고, 주변 HOA 컴포넌트
Figure 112018071313659-pat00220
의 어느 계수 시퀀스들이 주어진 수 I의 채널들에서 송신될 것인지는, 우세 사운드 신호들이 얼마나 많은 채널을 차지하는지에 따라 결정되고, 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00221
및 시간적으로 예측된 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00222
가 획득되고, 최종 할당 벡터
Figure 112018071313659-pat00223
는 타깃 할당 벡터
Figure 112018071313659-pat00224
내의 정보로부터 획득된다.
채널 할당 블록(305)은 분해로부터 획득된 우세 사운드 신호들
Figure 112018071313659-pat00225
과, 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00226
및 시간적으로 예측된 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00227
의 결정된 계수 시퀀스들을, 최종 할당 벡터
Figure 112018071313659-pat00228
에 의해 제공된 정보를 이용하여 주어진 수 I의 채널들에 할당하도록 적응되고, 전송 신호들
Figure 112018071313659-pat00229
,
Figure 112018071313659-pat00230
및 예측된 전송 신호들
Figure 112018071313659-pat00231
,
Figure 112018071313659-pat00232
이 획득된다.
복수의 이득 제어 블록(306)은 전송 신호들
Figure 112018071313659-pat00233
및 예측된 전송 신호들
Figure 112018071313659-pat00234
에 대한 이득 제어(805)를 수행하도록 적응되고, 이득 수정된 전송 신호들
Figure 112018071313659-pat00235
, 지수들
Figure 112018071313659-pat00236
및 예외 플래그들
Figure 112018071313659-pat00237
이 획득된다.
도 4는 본 발명의 일 실시예에 따른 HOA 압축기의 소스 코더 부의 아키텍처의 구조를 도시한다. 도 4에 도시된 바와 같은 소스 코더 부는 지각 코더(310), 2개의 코더(320, 330)(즉, 베이스 계층 사이드 정보 소스 코더(320) 및 향상 계층 사이드 정보 인코더(330))를 가진 사이드 정보 소스 코더 블록, 및 2개의 멀티플렉서(340, 350)(즉, 베이스 계층 비트스트림 멀티플렉서(340) 및 향상 계층 비트스트림 멀티플렉서(350))를 포함한다. 사이드 정보 소스 코더들은 단일 사이드 정보 소스 코더 블록 내에 있을 수 있다.
지각 코더(310)는 상기 이득 수정된 전송 신호들
Figure 112018071313659-pat00238
를 지각 코딩(806)하도록 적응되며, 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00239
이 획득된다.
사이드 정보 소스 코더들(320, 330)은, 상기 지수들
Figure 112018071313659-pat00240
및 예외 플래그들
Figure 112018071313659-pat00241
, 상기 제1 투플 세트들
Figure 112018071313659-pat00242
및 제2 투플 세트들
Figure 112018071313659-pat00243
, 상기 예측 파라미터
Figure 112018071313659-pat00244
및 상기 최종 할당 벡터
Figure 112018071313659-pat00245
를 포함하는 사이드 정보를 인코딩하도록 적응되고, 인코딩된 사이드 정보
Figure 112018071313659-pat00246
가 획득된다. 멀티플렉서들(340, 350)은 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00247
및 인코딩된 사이드 정보
Figure 112018071313659-pat00248
를 멀티플렉싱된 데이터 스트림
Figure 112018071313659-pat00249
으로 멀티플렉싱하도록 적응되고, 분해에서 획득된 주변 HOA 컴포넌트
Figure 112018071313659-pat00250
는
Figure 112018071313659-pat00251
최하위 위치들(즉, 최하위 인덱스들을 갖는 위치들) 내의 입력 HOA 표현
Figure 112018071313659-pat00252
의 제1 HOA 계수 시퀀스들, 및 나머지 상위 위치들 내의 제2 HOA 계수 시퀀스들
Figure 112018071313659-pat00253
을 포함한다. 수학식 4-6과 관련하여 아래에 설명되는 바와 같이, 제2 HOA 계수 시퀀스들은 입력 HOA 표현과 우세 사운드 신호들의 HOA 표현 사이의 잔차의 HOA 표현의 부분이다. 더욱이, 제1
Figure 112018071313659-pat00254
지수들
Figure 112018071313659-pat00255
및 지수 플래그들
Figure 112018071313659-pat00256
은 베이스 계층 사이드 정보 소스 코더(320)에서 인코딩되고, 여기서 인코딩된 베이스 계층 사이드 정보
Figure 112018071313659-pat00257
가 획득되고,
Figure 112018071313659-pat00258
및
Figure 112018071313659-pat00259
이 되고,
Figure 112018071313659-pat00260
및
Figure 112018071313659-pat00261
이 되고,
Figure 112018071313659-pat00262
이 사전 정의된 정수 값이다. 제1
Figure 112018071313659-pat00263
지각 인코딩된 전송 신호들
Figure 112018071313659-pat00264
및 인코딩된 베이스 계층 사이드 정보
Figure 112018071313659-pat00265
는 베이스 계층 비트스트림 멀티플렉서(340)(이것은 상기 멀티플렉서들 중 하나임)에서 멀티플렉싱되고, 베이스 계층 비트스트림
Figure 112018071313659-pat00266
이 획득된다. 베이스 계층 사이드 정보 소스 코더(320)는 사이드 정보 소스 코더들 중 하나이거나, 또는 사이드 정보 소스 코더 블록 내에 있다. 나머지
Figure 112018071313659-pat00267
지수들
Figure 112018071313659-pat00268
및 예외 플래그들
Figure 112018071313659-pat00269
, 상기 제1 투플 세트들
Figure 112018071313659-pat00270
및 제2 투플 세트들
Figure 112018071313659-pat00271
, 상기 예측 파라미터들
Figure 112018071313659-pat00272
및 상기 최종 할당 벡터
Figure 112018071313659-pat00273
는 향상 계층 사이드 정보 인코더(330)에서 인코딩되고, 여기서 인코딩된 향상 계층 사이드 정보
Figure 112018071313659-pat00274
가 획득된다. 향상 계층 사이드 정보 소스 코더(330)는 사이드 정보 소스 코더들 중 하나이거나, 또는 사이드 정보 소스 코더 블록 내에 있다.
나머지
Figure 112018071313659-pat00275
지각 인코딩된 전송 신호들
Figure 112018071313659-pat00276
Figure 112018071313659-pat00277
및 인코딩된 향상 계층 사이드 정보
Figure 112018071313659-pat00278
는 향상 계층 비트스트림 멀티플렉서(350)(이것은 또한 상기 멀티플렉서들 중 하나임)에서 멀티플렉싱되고, 여기서 향상 계층 비트스트림
Figure 112018071313659-pat00279
이 획득된다. 또한, 모드 지시
Figure 112018071313659-pat00280
는 멀티플렉서 또는 지시 삽입 블록에 추가된다. 모드 지시
Figure 112018071313659-pat00281
는 계층화 모드의 이용을 신호화하고, 이것은 압축된 신호의 정확한 압축 해제를 위해 사용된다.
일 실시예에서, 인코딩을 위한 장치는 모드를 선택하도록 적응된 모드 선택기를 더 포함하며, 모드는 모드 지시
Figure 112018071313659-pat00282
에 의해 지시되며, 계층화 모드 및 비계층화 모드 중 하나이다. 비계층화 모드에서, 주변 HOA 컴포넌트
Figure 112018071313659-pat00283
는 입력 HOA 표현과 우세 사운드 신호들의 HOA 표현 사이의 잔차를 표현하는 HOA 계수 시퀀스들만을 포함한다(즉, 입력 HOA 표현의 계수 시퀀스들이 없음).
HOA 압축 해제의 제안된 보정은 이하에서 설명된다.
계층화 모드에서, HOA 압축시 주변 HOA 컴포넌트
Figure 112018071313659-pat00284
의 수정은 HOA 구성을 적절히 수정함으로써 HOA 압축 해제에서 고려된다.
HOA 압축 해제기에서는, 베이스 계층 및 향상 계층 비트 스트림들의 디멀티플렉싱 및 디코딩이 도 5에 따라 수행된다. 베이스 계층 비트 스트림
Figure 112018071313659-pat00285
은 베이스 계층 사이드 정보 및 지각 인코딩된 신호들의 코딩된 표현으로 디멀티플렉싱된다. 연속해서, 베이스 계층 사이드 정보 및 지각 인코딩된 신호들의 코딩된 표현은 한편으로는 지수들
Figure 112018071313659-pat00286
및 예외 플래그들을 제공하고, 다른 한편으로는 지각 디코딩된 신호들을 제공하도록 디코딩된다. 유사하게, 향상 계층 비트 스트림은 지각 디코딩된 신호들 및 나머지 사이드 정보를 제공하도록 디멀티플렉싱되고 디코딩된다(도 5 참조). 이런 계층화 모드에서, 공간 HOA 디코딩 부는 또한, 공간 HOA 인코딩시 주변 HOA 컴포넌트
Figure 112018071313659-pat00287
의 수정을 고려하도록 수정되어야 한다. 이 수정은 HOA 구성에서 달성된다.
특히, 재구성된 HOA 표현
Figure 112018071313659-pat00288
은 그 수정된 버전
Figure 112018071313659-pat00289
에 의해 대체되고,
그 요소들은
Figure 112018071313659-pat00290
에 의해 주어진다.
이것은 우세 사운드 HOA 컴포넌트가 제1
Figure 112018071313659-pat00291
계수 시퀀스들을 위해 주변 HOA 컴포넌트에 추가되지 않는다는 것을 의미하며, 그 이유는 이것이 이미 포함되었기 때문이다. HOA 공간 디코더의 다른 모든 처리 블록들은 변화없이 유지된다.
이하에서는, 저품질 베이스 계층 비트 스트림
Figure 112018071313659-pat00292
의 순수한 존재시 HOA 압축 해제가 간단히 고려된다.
비트 스트림은 재구성된 신호들
Figure 112018071313659-pat00293
, 및 지수들
Figure 112018071313659-pat00294
및 예외 플래그들
Figure 112018071313659-pat00295
로 구성되는 대응하는 이득 제어 사이드 정보를 제공하도록 먼저 디멀티플렉싱되고 디코딩된다. 향상 계층의 부재시, 지각 코딩된 신호들
Figure 112018071313659-pat00296
은 이용 가능하지 않다. 이런 상황에 대처하는 가능한 방식은
Figure 112018071313659-pat00297
Figure 112018071313659-pat00298
을 0으로 설정하는 것이고, 이것은 재구성된 우세 사운드 컴포넌트
Figure 112018071313659-pat00299
가 자동으로 0이 되게 한다.
다음 단계에서, 공간 HOA 디코더에서, 제1
Figure 112018071313659-pat00300
역 이득 제어 처리 블록들은 이득 정정된 신호 프레임들
Figure 112018071313659-pat00301
을 제공하고, 이것은 채널 재할당에 의해 주변 HOA 컴포넌트의 중간 표현의 프레임
Figure 112018071313659-pat00302
을 구성하는데 사용된다. k번째 프레임에서 활성인, 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들의 세트
Figure 112018071313659-pat00303
가 인덱스들 1,2,...,
Figure 112018071313659-pat00304
만을 포함함에 유의한다. 주변 합성에서, 제1
Figure 112018071313659-pat00305
계수 시퀀스들의 공간 변환은 주변 HOA 컴포넌트 프레임
Figure 112018071313659-pat00306
을 제공하기 위해 반전된다. 결국, 재구성된 HOA 표현은 수학식 6에 따라 계산된다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 HOA 압축 해제기의 아키텍처의 구조를 도시한다. 장치는 도 5에 도시된 지각 디코딩 및 소스 디코딩 부, 도 6에 도시된 공간 HOA 디코딩 부, 및 압축된 HOA 신호가 압축된 베이스 계층 비트스트림
Figure 112018071313659-pat00307
및 압축된 향상 계층 비트스트림을 포함하는 것을 지시하는 계층화 모드 지시
Figure 112018071313659-pat00308
를 검출하도록 적응되는 모드 검출기를 포함한다.
도 5는 본 발명의 일 실시예에 따른 HOA 압축 해제기의 지각 디코딩 및 소스 디코딩 부의 아키텍처의 구조를 도시한다. 지각 디코딩 및 소스 디코딩 부는 제1 디멀티플렉서(510), 제2 디멀티플렉서(520), 베이스 계층 지각 디코더(540) 및 향상 계층 지각 디코더(550), 베이스 계층 사이드 정보 소스 디코더(530) 및 향상 계층 사이드 정보 소스 디코더(560)를 포함한다.
제1 디멀티플렉서(510)는 압축된 베이스 계층 비트스트림
Figure 112018071313659-pat00309
을 디멀티플렉싱하도록 적응되고, 제1 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00310
및 제1 인코딩된 사이드 정보
Figure 112018071313659-pat00311
가 획득된다. 제2 디멀티플렉서(520)는 압축된 향상 계층 비트스트림
Figure 112018071313659-pat00312
을 디멀티플렉싱하도록 적응되며, 제2 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00313
및 제2 인코딩된 사이드 정보
Figure 112018071313659-pat00314
가 획득된다.
베이스 계층 지각 디코더(540) 및 향상 계층 지각 디코더(550)는 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00315
을 지각 디코딩하도록(904) 적응되며, 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00316
이 획득되고, 베이스 계층 지각 디코더(540)에서, 베이스 계층의 상기 제1 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00317
이 디코딩되고, 제1 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00318
이 획득된다. 향상 계층 지각 디코더(550)에서, 향상 계층의 상기 제2 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00319
이 디코딩되고, 상기 제2 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00320
이 획득된다.
베이스 계층 사이드 정보 소스 디코더(530)는 제1 인코딩된 사이드 정보
Figure 112018071313659-pat00321
를 디코딩하도록(905) 적응되고, 제1 지수들
Figure 112018071313659-pat00322
및 제1 예외 플래그들
Figure 112018071313659-pat00323
이 획득된다.
향상 계층 사이드 정보 소스 디코더(560)는 제2 인코딩된 사이드 정보
Figure 112018071313659-pat00324
를 디코딩하도록(906) 적응되고, 제2 지수들
Figure 112018071313659-pat00325
Figure 112018071313659-pat00326
및 제2 예외 플래그들
Figure 112018071313659-pat00327
이 획득되고, 추가 데이터가 획득된다. 추가 데이터는 방향 신호들을 위한 제1 투플 세트
Figure 112018071313659-pat00328
및 벡터 기반 신호들을 위한 제2 투플 세트
Figure 112018071313659-pat00329
를 포함한다. 제1 투플 세트
Figure 112018071313659-pat00330
의 각각의 투플은 방향 신호 및 각각의 양자화된 방향의 인덱스를 포함하고, 제2 투플 세트
Figure 112018071313659-pat00331
의 각각의 투플은 벡터 기반 신호 및 벡터 기반 신호의 방향 분포를 정의하는 벡터의 인덱스를 포함한다. 더욱이, 예측 파라미터들
Figure 112018071313659-pat00332
및 주변 할당 벡터
Figure 112018071313659-pat00333
가 획득되고, 주변 할당 벡터
Figure 112018071313659-pat00334
는 각각의 송신 채널이 주변 HOA 컴포넌트의 계수 시퀀스들을 포함하는지와 어느 계수 시퀀스를 포함하는지를 각각의 송신 채널에 대해 나타내는 컴포넌트들을 포함한다.
도 6은 본 발명의 일 실시예에 따른 HOA 압축 해제기의 공간 HOA 디코딩 부의 아키텍처의 구조를 도시한다. 공간 HOA 디코딩 부는 복수의 역 이득 제어 유닛(604), 채널 재할당 블록(605), 우세 사운드 합성 블록(606), 주변 합성 블록(607), 및 HOA 구성 블록(608)을 포함한다.
복수의 역 이득 제어 유닛(604)은 역 이득 제어를 수행하도록 적응되고, 여기서 상기 제1 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00335
은 제1 지수들
Figure 112018071313659-pat00336
및 제1 예외 플래그들
Figure 112018071313659-pat00337
에 따라 제1 이득 정정된 신호 프레임들
Figure 112018071313659-pat00338
로 변환되고, 제2 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00339
은 제2 지수들
Figure 112018071313659-pat00340
Figure 112018071313659-pat00341
및 제2 예외 플래그들
Figure 112018071313659-pat00342
에 따라 제2 이득 정정된 신호 프레임들
Figure 112018071313659-pat00343
로 변환된다.
채널 재할당 블록(605)은 제1 및 제2 이득 정정된 신호 프레임들
Figure 112018071313659-pat00344
을 I 채널들에 재분배하도록(911) 적응되고, 여기서 우세 사운드 신호들
Figure 112018071313659-pat00345
의 프레임들이 재구성되고, 우세 사운드 신호들은 방향 신호들 및 벡터 기반 신호들을 포함하고, 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00346
가 획득되고, 상기 주변 할당 벡터
Figure 112018071313659-pat00347
와, 상기 제1 및 제2 투플 세트들
Figure 112018071313659-pat00348
및
Figure 112018071313659-pat00349
내의 정보에 따라 할당이 이루어진다.
더욱이, 채널 재할당 블록(605)은 k번째 프레임에서 활성인 수정된 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들
Figure 112018071313659-pat00350
의 제1 세트, 및 인에이블되고, 디스에이블되고, (k-1)번째 프레임에서 활성으로 유지될 필요가 있는 수정된 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들
Figure 112018071313659-pat00351
의 제2 세트를 생성하도록 적응된다.
우세 사운드 합성 블록(606)은 상기 우세 사운드 신호
Figure 112018071313659-pat00352
로부터 우세 HOA 사운드 컴포넌트들
Figure 112018071313659-pat00353
의 HOA 표현을 합성하도록(912) 적응되고, 상기 제1 및 제2 투플 세트들
Figure 112018071313659-pat00354
및
Figure 112018071313659-pat00355
, 예측 파라미터들
Figure 112018071313659-pat00356
및 인덱스들
Figure 112018071313659-pat00357
의 제2 세트가 사용된다.
주변 합성 블록(607)은 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00358
로부터 주변 HOA 컴포넌트
Figure 112018071313659-pat00359
를 합성하도록(913) 적응되고, 제1
Figure 112018071313659-pat00360
채널들을 위한 역 공간 변환이 이루어지고, 인덱스들
Figure 112018071313659-pat00361
의 제1 세트가 사용되고, 인덱스들의 제1 세트는 k번째 프레임에서 활성인 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들이다.
계층화 모드 지시
Figure 112018071313659-pat00362
가 적어도 2개의 계층을 가진 계층화 모드를 지시하는 경우, 주변 HOA 컴포넌트는 그
Figure 112018071313659-pat00363
최하위 위치들(즉, 최하위 인덱스들을 가진 위치들) 내의 압축 해제된 HOA 신호
Figure 112018071313659-pat00364
의 HOA 계수 시퀀스들, 및 나머지 상위 위치들 내의 잔차의 HOA 표현의 부분인 계수 시퀀스들을 포함한다. 이런 잔차는 압축 해제된 HOA 신호
Figure 112018071313659-pat00365
와 우세 HOA 사운드 컴포넌트들
Figure 112018071313659-pat00366
Figure 112018071313659-pat00367
의 HOA 표현 사이의 잔차이다.
한편, 계층화 모드 지시
Figure 112018071313659-pat00368
가 단일-계층 모드를 지시하는 경우, 압축 해제된 HOA 신호
Figure 112018071313659-pat00369
의 HOA 계수 시퀀스들은 구성되지 않고, 주변 HOA 컴포넌트가 압축 해제된 HOA 신호
Figure 112018071313659-pat00370
와 우세 사운드 컴포넌트
Figure 112018071313659-pat00371
Figure 112018071313659-pat00372
의 HOA 표현 사이의 잔차가 된다.
HOA 구성 블록(608)은 우세 사운드 컴포넌트들의 HOA 표현을 주변 HOA 컴포넌트
Figure 112018071313659-pat00373
Figure 112018071313659-pat00374
에 가산하도록 적응되고, 여기서 우세 사운드 신호들의 HOA 표현의 계수들 및 주변 HOA 컴포넌트의 대응하는 계수들이 가산되고, 압축 해제된 HOA 신호
Figure 112018071313659-pat00375
가 획득되며,
계층화 모드 지시
Figure 112018071313659-pat00376
가 적어도 2개의 계층을 가진 계층화 모드를 지시하는 경우, 가장 높은
Figure 112018071313659-pat00377
계수 채널들만이 우세 HOA 사운드 컴포넌트들
Figure 112018071313659-pat00378
Figure 112018071313659-pat00379
및 주변 HOA 컴포넌트
Figure 112018071313659-pat00380
의 가산에 의해 획득되고, 압축 해제된 HOA 신호
Figure 112018071313659-pat00381
의 가장 낮은
Figure 112018071313659-pat00382
계수 채널들이 주변 HOA 컴포넌트
Figure 112018071313659-pat00383
로부터 복사된다. 한편, 계층화 모드 지시
Figure 112018071313659-pat00384
가 단일-계층 모드를 지시하는 경우, 압축 해제된 HOA 신호
Figure 112018071313659-pat00385
의 모든 계수 채널들은 우세 HOA 사운드 컴포넌트
Figure 112018071313659-pat00386
Figure 112018071313659-pat00387
및 주변 HOA 컴포넌트
Figure 112018071313659-pat00388
의 가산에 의해 획득된다.
도 7은 주변 HOA 신호들로부터 수정된 주변 HOA 신호들로의 프레임들의 변환을 도시한다.
도 8은 HOA 신호를 압축하는 방법의 흐름도를 보여준다.
고차 앰비소닉스(HOA)(Higher Order Ambisonics) 신호(이는 HOA 계수 시퀀스들의 입력 시간 프레임
Figure 112018071313659-pat00389
을 가진 오더 N의 입력 HOA 표현임)를 압축하는 방법(800)은 입력 시간 프레임의 공간 HOA 인코딩과, 후속 지각 인코딩 및 소스 인코딩을 포함한다.
공간 HOA 인코딩은,
방향 및 벡터 추정 블록(301)에서 HOA 신호의 방향 및 벡터 추정 처리(801)를 수행하는 단계로서, 방향 신호들을 위한 제1 투플 세트들
Figure 112018071313659-pat00390
및 벡터 기반 신호들을 위한 제2 투플 세트들
Figure 112018071313659-pat00391
을 포함하는 데이터가 획득되고, 제1 투플 세트들
Figure 112018071313659-pat00392
각각은 방향 신호와 각각의 양자화된 방향의 인덱스를 포함하고, 제2 투플 세트들
Figure 112018071313659-pat00393
각각은 벡터 기반 신호 및 상기 신호들의 방향 분포를 정의하는 벡터의 인덱스를 포함하는 단계,
HOA 분해 블록(303)에서, HOA 계수 시퀀스들의 각각의 입력 시간 프레임을 복수의 우세 사운드 신호
Figure 112018071313659-pat00394
의 프레임 및 주변 HOA 컴포넌트
Figure 112018071313659-pat00395
의 프레임으로 분해하는 단계(802)로서, 우세 사운드 신호들
Figure 112018071313659-pat00396
이 상기 방향 사운드 신호들 및 상기 벡터 기반 사운드 신호들을 포함하고, 주변 HOA 컴포넌트
Figure 112018071313659-pat00397
가 입력 HOA 표현과 우세 사운드 신호들의 HOA 표현 사이의 잔차를 나타내는 HOA 계수 시퀀스들을 포함하는 단계 - 분해하는 단계(702)는 또한 예측 파라미터들
Figure 112018071313659-pat00398
및 타깃 할당 벡터
Figure 112018071313659-pat00399
를 제공하고, 예측 파라미터들
Figure 112018071313659-pat00400
은 우세 사운드 HOA 컴포넌트들을 강화하기 위해 우세 사운드 신호들
Figure 112018071313659-pat00401
내의 방향 신호들로부터 HOA 신호 표현의 일부를 어떻게 예측하는지를 기술하고, 타깃 할당 벡터
Figure 112018071313659-pat00402
는 우세 사운드 신호들을 주어진 수 I의 채널들에 어떻게 할당하는지에 대한 정보를 포함함 -,
주변 컴포넌트 수정 블록(304)에서, 타깃 할당 벡터
Figure 112018071313659-pat00403
에 의해 제공되는 정보에 따라 주변 HOA 컴포넌트
Figure 112018071313659-pat00404
를 수정하는 단계(803)로서, 주변 HOA 컴포넌트
Figure 112018071313659-pat00405
의 어느 계수 시퀀스들이 주어진 수 I의 채널들에서 송신될 것인지는, 우세 사운드 신호들이 얼마나 많은 채널을 차지하는지에 따라 결정되고, 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00406
및 시간적으로 예측된 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00407
가 획득되고, 최종 할당 벡터
Figure 112018071313659-pat00408
가 타깃 할당 벡터
Figure 112018071313659-pat00409
내의 정보로부터 획득되는 단계,
채널 할당 블록(105)에서, 분해 단계로부터 획득된 우세 사운드 신호들
Figure 112018071313659-pat00410
, 및 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00411
및 시간적으로 예측된 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00412
의 결정된 계수 시퀀스들을, 최종 할당 벡터
Figure 112018071313659-pat00413
에 의해 제공된 정보를 이용하여 주어진 수 I의 채널들에 할당하는 단계(804)로서, 전송 신호들
Figure 112018071313659-pat00414
,
Figure 112018071313659-pat00415
및 예측된 전송 신호들
Figure 112018071313659-pat00416
,
Figure 112018071313659-pat00417
이 획득되는 단계, 및
복수의 이득 제어 블록(306)에서 전송 신호들
Figure 112018071313659-pat00418
및 예측된 전송 신호들
Figure 112018071313659-pat00419
에 대한 이득 제어(805)를 수행하는 단계로서, 이득 수정된 전송 신호들
Figure 112018071313659-pat00420
, 지수들
Figure 112018071313659-pat00421
및 예외 플래그들
Figure 112018071313659-pat00422
가 획득되는 단계
를 포함한다.
지각 인코딩 및 소스 인코딩은,
지각 코더(310)에서, 상기 이득 수정된 전송 신호들
Figure 112018071313659-pat00423
을 지각 코딩하는 단계(806)로서, 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00424
이 획득되는 단계,
하나 이상의 사이드 정보 소스 코더들(320, 330)에서, 상기 지수들
Figure 112018071313659-pat00425
및 예외 플래그들
Figure 112018071313659-pat00426
, 상기 제1 투플 세트들
Figure 112018071313659-pat00427
및 제2 투플 세트들
Figure 112018071313659-pat00428
, 상기 예측 파라미터들
Figure 112018071313659-pat00429
및 상기 최종 할당 벡터
Figure 112018071313659-pat00430
를 포함하는 사이드 정보를 인코딩하는 단계(807)로서, 인코딩된 사이드 정보
Figure 112018071313659-pat00431
가 획득되는 단계, 및
지각 인코딩된 전송 신호들
Figure 112018071313659-pat00432
및 인코딩된 사이드 정보
Figure 112018071313659-pat00433
를 멀티플렉싱하는 단계(808)로서, 멀티플렉싱된 데이터 스트림
Figure 112018071313659-pat00434
이 획득되는 단계
를 포함한다.
분해 단계(802)에서 획득된 주변 HOA 컴포넌트
Figure 112018071313659-pat00435
는
Figure 112018071313659-pat00436
최하위 위치들(즉, 최하위 인덱스들을 갖는 위치들) 내의 입력 HOA 표현
Figure 112018071313659-pat00437
의 제1 HOA 계수 시퀀스들, 및 나머지 상위 위치들 내의 제2 HOA 계수 시퀀스들
Figure 112018071313659-pat00438
을 포함한다. 제2 계수 시퀀스들은 입력 HOA 표현과 우세 사운드 신호들의 HOA 표현 사이의 잔차의 HOA 표현의 부분이다.
제1
Figure 112018071313659-pat00439
지수들
Figure 112018071313659-pat00440
및 지수 플래그들
Figure 112018071313659-pat00441
은 베이스 계층 사이드 정보 소스 코더(320)에서 인코딩되고, 여기서 인코딩된 베이스 계층 사이드 정보
Figure 112018071313659-pat00442
가 획득되고,
Figure 112018071313659-pat00443
및
Figure 112018071313659-pat00444
이 되고,
Figure 112018071313659-pat00445
및
Figure 112018071313659-pat00446
이 되고,
Figure 112018071313659-pat00447
이 사전 정의된 정수 값이다.
제1
Figure 112018071313659-pat00448
지각 인코딩된 전송 신호들
Figure 112018071313659-pat00449
및 인코딩된 베이스 계층 사이드 정보
Figure 112018071313659-pat00450
는 베이스 계층 비트스트림 멀티플렉서(340)에서 멀티플렉싱되고(809), 여기서 베이스 계층 비트스트림
Figure 112018071313659-pat00451
이 획득된다. 나머지
Figure 112018071313659-pat00452
지수들
Figure 112018071313659-pat00453
및 예외 플래그들
Figure 112018071313659-pat00454
, 상기 제1 투플 세트들
Figure 112018071313659-pat00455
및 제2 투플 세트들
Figure 112018071313659-pat00456
, 상기 예측 파라미터들
Figure 112018071313659-pat00457
및 상기 최종 할당 벡터
Figure 112018071313659-pat00458
(또한, 도면에서는
Figure 112018071313659-pat00459
로 도시됨)는 향상 계층 사이드 정보 인코더(330)에서 인코딩되고, 여기서 인코딩된 향상 계층 사이드 정보
Figure 112018071313659-pat00460
가 획득된다.
나머지
Figure 112018071313659-pat00461
지각 인코딩된 전송 신호들
Figure 112018071313659-pat00462
Figure 112018071313659-pat00463
및 인코딩된 향상 계층 사이드 정보
Figure 112018071313659-pat00464
는 향상 계층 비트스트림 멀티플렉서(350)에서 멀티플렉싱되고(810), 여기서 향상 계층 비트스트림
Figure 112018071313659-pat00465
이 획득된다.
전술한 바와 같이, 계층화 모드의 이용을 신호화하는 모드 지시가 가산된다(811). 모드 지시는 지시 삽입 블록 또는 멀티플렉서에 가산된다.
일 실시예에서, 방법은 베이스 계층 비트스트림
Figure 112018071313659-pat00466
, 향상 계층 비트스트림
Figure 112018071313659-pat00467
및 모드 지시를 단일 비트스트림으로 멀티플렉싱하는 최종 단계를 더 포함한다.
일 실시예에서, 상기 우세 방향 추정은 에너지적으로 우세한 HOA 컴포넌트들의 방향 전력 분포에 의존한다.
일 실시예에서, 주변 HOA 컴포넌트를 수정하는 단계에서, 계수 시퀀스들의 페이드 인(fade in) 및 페이드 아웃(fade out)은선택된 HOA 계수 시퀀스들의 HOA 시퀀스 인덱스들이 연속 프레임들마다 차이가 있는 경우 수행된다.
일 실시예에서, 주변 HOA 컴포넌트를 수정하는 단계에서, 주변 HOA 컴포넌트
Figure 112018071313659-pat00468
의 부분 역상관(decorrelation)이 수행된다.
일 실시예에서, 제1 투플 세트들
Figure 112018071313659-pat00469
에 포함되는 양자화된 방향은 우세 방향이다.
도 9는 압축된 HOA 신호를 압축 해제하는 방법의 흐름도를 보여준다.
본 발명의 이 실시예에서, 압축된 HOA 신호를 압축 해제하는 방법(900)은 HOA 계수 시퀀스들의 출력 시간 프레임들
Figure 112018071313659-pat00470
을 획득하기 위해 지각 디코딩 및 소스 디코딩과, 후속 공간 HOA 디코딩을 포함하고, 상기 방법은 압축된 고차 앰비소닉스(HOA)(Higher Order Ambisonics) 신호가 압축된 베이스 계층 비트스트림
Figure 112018071313659-pat00471
및 압축된 향상 계층 비트스트림
Figure 112018071313659-pat00472
을 포함하는 것을 지시하는 계층화 모드 지시
Figure 112018071313659-pat00473
를 검출하는 단계(901)를 포함한다.
지각 디코딩 및 소스 디코딩은,
압축된 베이스 계층 비트스트림을
Figure 112018071313659-pat00474
을 디멀티플렉싱하는 단계(902)로서, 제1 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00475
및 제1 인코딩된 사이드 정보
Figure 112018071313659-pat00476
가 획득되는 단계,
압축된 향상 계층 비트스트림
Figure 112018071313659-pat00477
을 디멀티플렉싱하는 단계(903)로서, 제2 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00478
및 제2 인코딩된 사이드 정보
Figure 112018071313659-pat00479
가 획득되는 단계,
지각 인코딩된 전송 신호들
Figure 112018071313659-pat00480
을 지각 디코딩하는 단계(904)로서, 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00481
이 획득되고, 베이스 계층 지각 디코더(540)에서, 베이스 계층의 상기 제1 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00482
이 디코딩되고, 제1 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00483
이 획득되고, 향상 계층 지각 디코더(550)에서, 향상 계층의 상기 제2 지각 인코딩된 전송 신호들
Figure 112018071313659-pat00484
이 디코딩되고, 제2 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00485
이 획득되는 단계,
베이스 계층 사이드 정보 소스 디코더(530)에서 제1 인코딩된 사이드 정보
Figure 112018071313659-pat00486
를 디코딩하는 단계(905)로서, 제1 지수들
Figure 112018071313659-pat00487
및 제1 예외 플래그들
Figure 112018071313659-pat00488
이 획득되는 단계, 및
향상 계층 사이드 정보 소스 디코더(560)에서 제2 인코딩된 사이드 정보
Figure 112018071313659-pat00489
를 디코딩하는 단계(906)로서, 제2 지수들
Figure 112018071313659-pat00490
Figure 112018071313659-pat00491
및 제2 예외 플래그들
Figure 112018071313659-pat00492
이 획득되고, 추가 데이터가 획득되는 단계 - 추가 데이터는 방향 신호들을 위한 제1 투플 세트
Figure 112018071313659-pat00493
및 벡터 기반 신호들을 위한 제2 투플 세트
Figure 112018071313659-pat00494
를 포함하고, 제1 투플 세트
Figure 112018071313659-pat00495
의 각각의 투플은 방향 신호 및 각각의 양자화된 방향의 인덱스를 포함하고, 제2 투플 세트
Figure 112018071313659-pat00496
의 각각의 투플은 벡터 기반 신호 및 벡터 기반 신호의 방향 분포를 정의하는 벡터의 인덱스를 포함하고, 예측 파라미터들
Figure 112018071313659-pat00497
및 주변 할당 벡터
Figure 112018071313659-pat00498
가 획득됨 - 를 포함한다. 주변 할당 벡터
Figure 112018071313659-pat00499
는 각각의 송신 채널이 주변 HOA 컴포넌트의 계수 시퀀스를 포함하는지와 어느 계수 시퀀스를 포함하는지를 각각의 송신 채널에 대해 나타내는 컴포넌트들을 포함한다.
공간 HOA 디코딩은,
역 이득 제어를 수행하는 단계(910)로서, 상기 제1 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00500
이 제1 지수들
Figure 112018071313659-pat00501
및 제1 예외 플래그들
Figure 112018071313659-pat00502
에 따라 제1 이득 정정된 신호 프레임들
Figure 112018071313659-pat00503
로 변환되고, 제2 지각 디코딩된 전송 신호들
Figure 112018071313659-pat00504
이 제2 지수들
Figure 112018071313659-pat00505
Figure 112018071313659-pat00506
및 제2 예외 플래그들
Figure 112018071313659-pat00507
에 따라 제2 이득 정정된 신호 프레임들
Figure 112018071313659-pat00508
로 변환되는 단계,
채널 재할당 블록(605)에서, 제1 및 제2 이득 정정된 신호 프레임들
Figure 112018071313659-pat00509
을 I 채널들에 재분배하는 단계(911)로서, 우세 사운드 신호들
Figure 112018071313659-pat00510
의 프레임들이 재구성되고, 우세 사운드 신호들이 방향 신호들 및 벡터 기반 신호들을 포함하고, 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00511
가 획득되고, 상기 주변 할당 벡터
Figure 112018071313659-pat00512
및 상기 제1 및 제2 투플 세트들
Figure 112018071313659-pat00513
및
Figure 112018071313659-pat00514
내의 정보에 따라 할당이 이루어지는 단계,
채널 재할당 블록(605)에서, k번째 프레임에서 활성인 수정된 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들
Figure 112018071313659-pat00515
의 제1 세트, 및 인에이블되고 디스에이블되고 (k-1)번째 프레임에서 활성으로 유지될 필요가 있는 수정된 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들
Figure 112018071313659-pat00516
의 제2 세트를 생성하는 단계(911b),
우세 사운드 합성 블록(606)에서, 상기 우세 사운드 신호들
Figure 112018071313659-pat00517
로부터 우세 HOA 사운드 컴포넌트들
Figure 112018071313659-pat00518
의 HOA 표현을 합성하는 단계(912)로서, 상기 제1 및 제2 투플 세트들
Figure 112018071313659-pat00519
및
Figure 112018071313659-pat00520
, 예측 파라미터들
Figure 112018071313659-pat00521
및 인덱스들
Figure 112018071313659-pat00522
의 제2 세트가 사용되는 단계,
주변 합성 블록(607)에서, 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00523
로부터 주변 HOA 컴포넌트
Figure 112018071313659-pat00524
를 합성하는 단계(913)로서, 제1
Figure 112018071313659-pat00525
채널들을 위한 역 공간 변환이 이루어지고, 인덱스들
Figure 112018071313659-pat00526
의 제1 세트가 사용되고, 인덱스들의 제1 세트가 k 번째 프레임에서 활성인 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들이며, 주변 HOA 컴포넌트가 계층화 모드 지시
Figure 112018071313659-pat00527
에 따라서 적어도 2개의 상이한 구성들 중 하나를 갖는 단계, 및
HOA 구성 블록(608)에서 우세 HOA 사운드 컴포넌트들
Figure 112018071313659-pat00528
및 주변 HOA 컴포넌트
Figure 112018071313659-pat00529
의 HOA 표현을 가산하는 단계(914)로서, 우세 사운드 신호들의 HOA 표현의 계수들 및 주변 HOA 컴포넌트의 대응하는 계수들이 가산되고, 압축 해제된 HOA 신호
Figure 112018071313659-pat00530
가 획득되는 단계
를 포함하고, 다음의 조건들이 적용된다:
계층화 모드 지시
Figure 112018071313659-pat00531
가 적어도 2개의 계층을 가진 계층화 모드를 지시하는 경우, 가장 높은
Figure 112018071313659-pat00532
계수 채널들만이 우세 HOA 사운드 컴포넌트들
Figure 112018071313659-pat00533
Figure 112018071313659-pat00534
및 주변 HOA 컴포넌트
Figure 112018071313659-pat00535
의 가산에 의해 획득되고, 압축 해제된 HOA 신호
Figure 112018071313659-pat00536
의 가장 낮은
Figure 112018071313659-pat00537
계수 채널들이 주변 HOA 컴포넌트
Figure 112018071313659-pat00538
로부터 복사된다. 그렇지 않고, 계층화 모드 지시
Figure 112018071313659-pat00539
가 단일-계층 모드를 지시하는 경우, 압축 해제된 HOA 신호
Figure 112018071313659-pat00540
의 모든 계수 채널들은 우세 사운드 컴포넌트들
Figure 112018071313659-pat00541
Figure 112018071313659-pat00542
및 주변 HOA 컴포넌트
Figure 112018071313659-pat00543
의 가산에 의해 획득된다.
계층화 모드 지시
Figure 112018071313659-pat00544
에 따르는 주변 HOA 컴포넌트의 구성은 다음과 같다:
계층화 모드 지시
Figure 112018071313659-pat00545
가 적어도 2개의 계층을 가진 계층화 모드를 지시하는 경우, 주변 HOA 컴포넌트는, 그
Figure 112018071313659-pat00546
최하위 위치들 내의, 압축 해제된 HOA 신호
Figure 112018071313659-pat00547
의 HOA 계수 시퀀스들, 및 나머지 상위 위치 내의, 압축 해제된 HOA 신호
Figure 112018071313659-pat00548
와 우세 HOA 사운드 컴포넌트들
Figure 112018071313659-pat00549
Figure 112018071313659-pat00550
의 HOA 표현 사이의 잔차의 HOA 표현의 부분인 계수 시퀀스들을 포함한다.
한편, 계층화 모드 지시
Figure 112018071313659-pat00551
가 단일-계층 모드를 지시하는 경우, 주변 HOA 컴포넌트는 압축 해제된 HOA 신호
Figure 112018071313659-pat00552
와 우세 사운드 컴포넌트
Figure 112018071313659-pat00553
Figure 112018071313659-pat00554
의 HOA 표현 사이의 잔차이다.
일 실시예에서, 압축된 HOA 신호 표현은 멀티플렉싱된 비트스트림이고, 압축된 HOA 신호를 압축 해제하는 방법은 압축된 HOA 신호 표현을 디멀티플렉싱하는 초기 단계를 더 포함하고, 여기서 상기 압축된 베이스 계층 비트스트림
Figure 112018071313659-pat00555
, 상기 압축된 향상 계층 비트스트림
Figure 112018071313659-pat00556
및 상기 계층화 모드 지시
Figure 112018071313659-pat00557
가 획득된다.
도 10은 본 발명의 일 실시예에 따른 HOA 압축 해제기의 공간 HOA 디코딩 부의 아키텍처의 부분들의 상세를 도시한다.
유리하게는, 예를 들어 EL이 수신되지 않거나 또는 BL 품질이 충분한 경우, BL만을 디코딩하는 것이 가능하다. 이 경우, EL의 신호들은 디코더에서 0으로 설정될 수 있다. 그 후, 채널 재할당 블록(605)에서 제1 및 제2 이득 정정된 신호 프레임들
Figure 112018071313659-pat00558
을 I 채널들에 재분배하는 단계(911)는, 우세 사운드 신호들
Figure 112018071313659-pat00559
의 프레임들이 비어있기 때문에, 매우 단순하다. 인에이블되고 디스에이블되고 (k-1)번째 프레임에서 활성으로 유지될 필요가 있는 수정된 주변 HOA 컴포넌트의 계수 시퀀스들의 인덱스들
Figure 112018071313659-pat00560
의 제2 세트는 0으로 설정된다. 따라서, 우세 사운드 합성 블록(606)에서, 우세 사운드 신호들
Figure 112018071313659-pat00561
로부터 우세 HOA 사운드 컴포넌트들
Figure 112018071313659-pat00562
의 HOA 표현을 합성하는 단계(912)는 스킵될 수 있고, 주변 합성 블록(607)에서, 수정된 주변 HOA 컴포넌트
Figure 112018071313659-pat00563
로부터 주변 HOA 컴포넌트
Figure 112018071313659-pat00564
를 합성하는 단계(913)는 종래의 HOA 구성에 대응한다.
HOA 압축을 위한 최초(즉, 모노리식, 논-스케일러블, 비계층화) 모드는, 저품질 베이스 계층 비트 스트림이, 예를 들어 파일 기반 압축에 요구되지 않는 애플리케이션에 여전히 유용할 수 있다. 최초 HOA 컴포넌트
Figure 112018071313659-pat00565
의 공간적으로 변환된 계수 시퀀스들 대신에, 최초 HOA 표현과 방향 HOA 표현 간의 차이인, 주변 HOA 컴포넌트
Figure 112018071313659-pat00566
의 공간적으로 변환된 제1
Figure 112018071313659-pat00567
계수 시퀀스들을 지각 코딩하는 주요 장점은, 전자의 경우 지각 코딩될 모든 신호들 사이의 교차 상관이 감소된다는 점이다. 신호들
Figure 112018071313659-pat00568
사이의 임의의 교차 상관은 공간 디코딩 프로세스 동안 지각 코딩 노이즈의 구조적 중첩을 야기할 수 있고, 동시에 노이즈가 없는 HOA 계수 시퀀스들이 중첩에서 삭제된다. 이 현상은 지각 노이즈 언마스킹(perceptual noise unmasking)으로 알려져 있다. 계층화 모드에서, 신호들
Figure 112018071313659-pat00569
사이, 또한 신호들
Figure 112018071313659-pat00570
과
Figure 112018071313659-pat00571
사이에는 높은 교차 상관이 존재하며, 그 이유는 주변 HOA 컴포넌트
Figure 112018071313659-pat00572
Figure 112018071313659-pat00573
의 수정된 계수 시퀀스들이 방향 HOA 컴포넌트의 신호들을 포함하기 때문이다(수학식 3 참고). 반대로, 이것은 최초 비계층화 모드에서는 그렇지 않다. 따라서, 계층화 모드에 의해 도입된 송신 강건성은 압축 품질의 희생으로 따라올 수 있다는 것으로 결론지었다. 그러나 압축 품질의 감소는 송신 강건성의 증가와 비교하여 낮다. 위에 보인 바와 같이, 제안된 계층화 모드는 적어도 위에 설명된 상황에서는 유리하다.
본 발명의 바람직한 실시예들에 적용되는 것처럼 본 발명의 근본적인 신규한 특징들을 도시하고 설명하고 지적하였으나, 본 발명의 정신으로부터 벗어나지 않고도 본 기술분야의 통상의 기술자들에 의해서, 설명한 장치 및 방법에서의 다양한 생략, 치환, 및 변경이 개시된 디바이스의 형태 및 상세 사항에서, 그 디바이스의 동작에서 이루어질 수 있음을 이해할 것이다. 동일한 결과들을 얻기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 요소들의 모든 조합들은 본 발명의 범위 내에 속하는 것이 명확히 의도된다. 하나의 설명된 실시예로부터의 요소들의 다른 실시예로의 치환도 충분히 의도되고 고려된다.
본 발명은 단지 예시적으로 설명되었을 뿐이며, 본 발명의 범위로부터 벗어나지 않고 상세의 변경들이 이루어질 수 있다는 것을 이해할 것이다.
설명 및(적절한 경우에) 청구항들 및 도면들에 개시된 각각의 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 특징들은 적절한 경우에 하드웨어, 소프트웨어, 또는 이 둘의 조합으로 구현될 수 있다. 적용 가능한 경우, 접속은 무선 접속 또는 유선 접속으로서 실시될 수 있으며 반드시 직접 또는 전용일 필요는 없다.
청구항들에 보이는 참조 번호는 예시만을 목적으로 한 것으로, 청구항들에 한정적인 효과를 미치지 않는다.
참조 문헌들
[1] EP12306569.0
[2] EP12305537.8(EP2665208A로 공개됨)
[3] EP133005558.2
[4] ISO/IEC JTC1/SC29/WG11 N14264. Working draft 1-HOA text of MPEG-H 3D audio,January 2014

Claims (2)

  1. 사운드 또는 사운드 필드의 압축된 고차 앰비소닉스(HOA)(Higher Order Ambisonics) 표현을 디코딩하는 방법으로서,
    상기 압축된 HOA 표현을 포함하는 비트 스트림을 수신하는 단계;
    상기 압축된 HOA 표현에 관한 다수의 계층이 존재하는지를 결정하는 단계;
    다수의 계층이 존재한다는 결정에 기초하여, 디코딩된 HOA 표현들의 시퀀스를 획득하기 위해 상기 비트 스트림으로부터 상기 압축된 HOA 표현을 디코딩하는 단계
    를 포함하고,
    상기 디코딩된 HOA 표현들의 시퀀스의 제1 부분집합은 상기 디코딩된 HOA 표현들의 시퀀스의 인덱스들의 제1 세트에 대응하고, 상기 디코딩된 HOA 표현들의 시퀀스의 제2 부분집합은 상기 디코딩된 HOA 표현들의 시퀀스의 인덱스들의 제2 세트에 대응하고,
    인덱스들의 상기 제1 세트는
    Figure 112018071313659-pat00574
    채널들에 기초하고,
    인덱스들의 상기 제1 세트 내의 각각의 인덱스에서는, 상기 제1 부분집합 내의 대응하는 디코딩된 HOA 표현은 대응하는 주변 HOA 컴포넌트에만 기초하여 결정되고,
    인덱스들의 상기 제2 세트는 상기 다수의 계층 중 적어도 하나의 계층에 기초하여 결정되고,
    인덱스 n 및 프레임 k에 대해, 상기 디코딩된 HOA 표현들은 적어도 부분적으로
    Figure 112018071313659-pat00575

    에 의해 표현되는 디코딩 방법.
  2. 사운드 또는 사운드 필드의 압축된 고차 앰비소닉스(HOA) 표현을 디코딩하기 위한 장치로서,
    상기 압축된 HOA 표현을 포함하는 비트 스트림을 수신하기 위한 수신기;
    다수의 계층이 존재한다는 결정에 기초하여, 디코딩된 HOA 표현들의 시퀀스를 획득하기 위해 상기 비트 스트림으로부터 상기 압축된 HOA 표현을 디코딩하기 위한 오디오 디코더
    를 포함하고,
    상기 디코딩된 HOA 표현들의 시퀀스의 제1 부분집합은 상기 디코딩된 HOA 표현들의 시퀀스의 인덱스들의 제1 세트에 대응하고, 상기 디코딩된 HOA 표현들의 시퀀스의 제2 부분집합은 상기 디코딩된 HOA 표현들의 시퀀스의 인덱스들의 제2 세트에 대응하며,
    인덱스들의 상기 제1 세트는
    Figure 112018071313659-pat00576
    채널들에 기초하고,
    인덱스들의 상기 제1 세트 내의 각각의 인덱스에서는, 상기 제1 부분집합 내의 대응하는 디코딩된 HOA 표현은 대응하는 주변 HOA 컴포넌트에만 기초하여 결정되고,
    인덱스 n 및 프레임 k에 대해, 상기 디코딩된 HOA 표현들은 적어도 부분적으로
    Figure 112018071313659-pat00577

    에 의해 표현되는 디코딩 장치.
KR1020187020825A 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 KR102144389B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305411.2 2014-03-21
EP14305411.2A EP2922057A1 (en) 2014-03-21 2014-03-21 Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
PCT/EP2015/055914 WO2015140291A1 (en) 2014-03-21 2015-03-20 Method for compressing a higher order ambisonics (hoa) signal, method for decompressing a compressed hoa signal, apparatus for compressing a hoa signal, and apparatus for decompressing a compressed hoa signal

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187005988A Division KR101882654B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207022907A Division KR102238609B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치

Publications (2)

Publication Number Publication Date
KR20180086512A KR20180086512A (ko) 2018-07-31
KR102144389B1 true KR102144389B1 (ko) 2020-08-13

Family

ID=50439305

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020187005988A KR101882654B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020237038132A KR20230156453A (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020167025844A KR101838056B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020227026504A KR102600284B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020187020825A KR102144389B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020217010049A KR102428815B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020207022907A KR102238609B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020187005988A KR101882654B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020237038132A KR20230156453A (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020167025844A KR101838056B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020227026504A KR102600284B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020217010049A KR102428815B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR1020207022907A KR102238609B1 (ko) 2014-03-21 2015-03-20 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치

Country Status (7)

Country Link
US (7) US9930464B2 (ko)
EP (4) EP2922057A1 (ko)
JP (7) JP6220082B2 (ko)
KR (7) KR101882654B1 (ko)
CN (6) CN106463123B (ko)
TW (4) TWI648729B (ko)
WO (1) WO2015140291A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2922057A1 (en) * 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
EP3120352B1 (en) 2014-03-21 2019-05-01 Dolby International AB Method for compressing a higher order ambisonics (hoa) signal, method for decompressing a compressed hoa signal, apparatus for compressing a hoa signal, and apparatus for decompressing a compressed hoa signal
US10140996B2 (en) 2014-10-10 2018-11-27 Qualcomm Incorporated Signaling layers for scalable coding of higher order ambisonic audio data
US9984693B2 (en) 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
CN108140392B (zh) 2015-10-08 2023-04-18 杜比国际公司 用于压缩声音或声场表示的分层编解码
EA035078B1 (ru) 2015-10-08 2020-04-24 Долби Интернэшнл Аб Многоуровневое кодирование сжатых представлений звука или звукового поля
EP4411732A3 (en) * 2015-10-08 2024-10-09 Dolby International AB Layered coding and data structure for compressed higher-order ambisonics sound or sound field representations
ME03762B (me) * 2015-10-08 2021-04-20 Dolby Int Ab Slojevito kodiranje za prezentacije komprimovanog zvuka ilizvučnog polja
EA038833B1 (ru) * 2016-07-13 2021-10-26 Долби Интернэшнл Аб Многоуровневое кодирование сжатых представлений звука или звукового поля
US10332530B2 (en) 2017-01-27 2019-06-25 Google Llc Coding of a soundfield representation
CN108550369B (zh) * 2018-04-14 2020-08-11 全景声科技南京有限公司 一种可变长度的全景声信号编解码方法
US10999693B2 (en) * 2018-06-25 2021-05-04 Qualcomm Incorporated Rendering different portions of audio data using different renderers
ES2969138T3 (es) * 2018-12-07 2024-05-16 Fraunhofer Ges Forschung Aparato, método y programa informático para codificación, decodificación, procesamiento de escenas y otros procedimientos relacionados con codificación de audio espacial basada en dirac que utiliza compensación directa de componentes
CN114038473A (zh) * 2019-01-29 2022-02-11 桂林理工大学南宁分校 一种单模块数据处理的对讲机系统
US11430451B2 (en) 2019-09-26 2022-08-30 Apple Inc. Layered coding of audio with discrete objects
US12120497B2 (en) * 2020-06-29 2024-10-15 Qualcomm Incorporated Sound field adjustment

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57107277A (en) 1980-12-24 1982-07-03 Babcock Hitachi Kk Brush removing type bolt cleaner
JPS6351748A (ja) 1986-08-21 1988-03-04 Nec Corp 交換回線接続方法
JPH0453956Y2 (ko) 1986-09-22 1992-12-18
JP3881943B2 (ja) * 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
US7937272B2 (en) * 2005-01-11 2011-05-03 Koninklijke Philips Electronics N.V. Scalable encoding/decoding of audio signals
US8345899B2 (en) * 2006-05-17 2013-01-01 Creative Technology Ltd Phase-amplitude matrixed surround decoder
ES2425814T3 (es) 2008-08-13 2013-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato para determinar una señal de audio espacial convertida
EP2306456A1 (en) * 2009-09-04 2011-04-06 Thomson Licensing Method for decoding an audio signal that has a base layer and an enhancement layer
WO2011117399A1 (en) * 2010-03-26 2011-09-29 Thomson Licensing Method and device for decoding an audio soundfield representation for audio playback
EP2395505A1 (en) * 2010-06-11 2011-12-14 Thomson Licensing Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
EP2686654A4 (en) * 2011-03-16 2015-03-11 Dts Inc CODING AND PLAYING THREE-DIMENSIONAL AUDIOSPURES
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
KR102003191B1 (ko) 2011-07-01 2019-07-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법
EP2592845A1 (en) 2011-11-11 2013-05-15 Thomson Licensing Method and Apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an Ambisonics representation of the sound field
EP2637427A1 (en) 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
EP2688065A1 (en) 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for avoiding unmasking of coding noise when mixing perceptually coded multi-channel audio signals
JP6279569B2 (ja) * 2012-07-19 2018-02-14 ドルビー・インターナショナル・アーベー マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9516446B2 (en) 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
EP2743922A1 (en) 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
EP2800401A1 (en) * 2013-04-29 2014-11-05 Thomson Licensing Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation
US10499176B2 (en) * 2013-05-29 2019-12-03 Qualcomm Incorporated Identifying codebooks to use when coding spatial components of a sound field
US9691406B2 (en) * 2013-06-05 2017-06-27 Dolby Laboratories Licensing Corporation Method for encoding audio signals, apparatus for encoding audio signals, method for decoding audio signals and apparatus for decoding audio signals
US9489955B2 (en) * 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
US20150243292A1 (en) * 2014-02-25 2015-08-27 Qualcomm Incorporated Order format signaling for higher-order ambisonic audio data
EP2922057A1 (en) * 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
EP3120352B1 (en) 2014-03-21 2019-05-01 Dolby International AB Method for compressing a higher order ambisonics (hoa) signal, method for decompressing a compressed hoa signal, apparatus for compressing a hoa signal, and apparatus for decompressing a compressed hoa signal
KR102201961B1 (ko) * 2014-03-21 2021-01-12 돌비 인터네셔널 에이비 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
US9847087B2 (en) * 2014-05-16 2017-12-19 Qualcomm Incorporated Higher order ambisonics signal compression
US9984693B2 (en) * 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
EA035078B1 (ru) 2015-10-08 2020-04-24 Долби Интернэшнл Аб Многоуровневое кодирование сжатых представлений звука или звукового поля
CN108140392B (zh) 2015-10-08 2023-04-18 杜比国际公司 用于压缩声音或声场表示的分层编解码

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Erik Hellerud, et al. Spatial redundancy in Higher Order Ambisonics and its use for lowdelay lossless compression. IEEE International Conference on Acoustics, Speech and Signal Processing. 2009. pp.26
WD1-HOA Text of MPEG-H 3D Audio. ISO/IEC JTC1/SC29/WG11 N14264. 2014.02.21.

Also Published As

Publication number Publication date
JP2023001241A (ja) 2023-01-04
KR101882654B1 (ko) 2018-07-26
EP2922057A1 (en) 2015-09-23
CN111179949B (zh) 2022-03-25
KR20210040193A (ko) 2021-04-12
CN111182442A (zh) 2020-05-19
TW201537562A (zh) 2015-10-01
TWI836503B (zh) 2024-03-21
KR20180026568A (ko) 2018-03-12
JP2017514160A (ja) 2017-06-01
JP2020160454A (ja) 2020-10-01
WO2015140291A1 (en) 2015-09-24
US12069465B2 (en) 2024-08-20
JP6707604B2 (ja) 2020-06-10
JP2024144543A (ja) 2024-10-11
CN111179948A (zh) 2020-05-19
TW201933333A (zh) 2019-08-16
EP3686887A1 (en) 2020-07-29
CN111145766A (zh) 2020-05-12
US20180234785A1 (en) 2018-08-16
CN111179948B (zh) 2024-09-27
US20210058729A1 (en) 2021-02-25
US20190342686A1 (en) 2019-11-07
TW202309877A (zh) 2023-03-01
US20220377481A1 (en) 2022-11-24
JP7174810B6 (ja) 2022-12-20
CN111179949A (zh) 2020-05-19
KR20220113838A (ko) 2022-08-16
CN111145766B (zh) 2022-06-24
US9930464B2 (en) 2018-03-27
JP6907383B2 (ja) 2021-07-21
KR20180086512A (ko) 2018-07-31
JP2017227930A (ja) 2017-12-28
JP2018205783A (ja) 2018-12-27
JP6220082B2 (ja) 2017-10-25
US11722830B2 (en) 2023-08-08
KR102600284B1 (ko) 2023-11-10
EP3686887B1 (en) 2024-02-28
EP4387276A2 (en) 2024-06-19
EP4387276A3 (en) 2024-09-11
KR102428815B1 (ko) 2022-08-04
US10334382B2 (en) 2019-06-25
TW202113805A (zh) 2021-04-01
US10779104B2 (en) 2020-09-15
KR20200097813A (ko) 2020-08-19
US20240007813A1 (en) 2024-01-04
KR20160124422A (ko) 2016-10-27
KR101838056B1 (ko) 2018-03-14
TWI648729B (zh) 2019-01-21
CN106463123B (zh) 2020-03-03
US10542364B2 (en) 2020-01-21
EP3120350A1 (en) 2017-01-25
TWI697893B (zh) 2020-07-01
JP6416352B2 (ja) 2018-10-31
US20170180902A1 (en) 2017-06-22
EP3120350B1 (en) 2020-02-19
CN118762700A (zh) 2024-10-11
KR102238609B1 (ko) 2021-04-09
TWI770522B (zh) 2022-07-11
JP2021152681A (ja) 2021-09-30
US20200120436A1 (en) 2020-04-16
KR20230156453A (ko) 2023-11-14
US11395084B2 (en) 2022-07-19
JP7174810B2 (ja) 2022-11-17
CN111182442B (zh) 2021-08-27
CN106463123A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
KR102144389B1 (ko) 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR102144976B1 (ko) 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
KR102143037B1 (ko) 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right