KR20140130464A - 멀티-채널 오디오 신호의 적응적 다운-믹싱 및 업-믹싱을 수행하기 위한 방법 및 장치 - Google Patents

멀티-채널 오디오 신호의 적응적 다운-믹싱 및 업-믹싱을 수행하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20140130464A
KR20140130464A KR1020147025117A KR20147025117A KR20140130464A KR 20140130464 A KR20140130464 A KR 20140130464A KR 1020147025117 A KR1020147025117 A KR 1020147025117A KR 20147025117 A KR20147025117 A KR 20147025117A KR 20140130464 A KR20140130464 A KR 20140130464A
Authority
KR
South Korea
Prior art keywords
channel
block
matrix
auxiliary
channels
Prior art date
Application number
KR1020147025117A
Other languages
English (en)
Other versions
KR101662680B1 (ko
Inventor
다비드 비레뜨
야누시 클레이사
빌렘 바스티안 클레인
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20140130464A publication Critical patent/KR20140130464A/ko
Application granted granted Critical
Publication of KR101662680B1 publication Critical patent/KR101662680B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

특정 수의 입력 채널을 포함하는 멀티-채널 오디오 신호의 적응적 다운-믹싱을 수행하기 위한 방법 및 장치로서, 하나의 세트의 하위 호환 가능한 기본 채널을 제공하기 위한 고정 블록과 하나의 세트의 보조 채널을 제공하기 위한 신호 적응적 블록을 포함하는 다운믹스 블록 행렬을 입력 채널에 곱함으로써, 상기 입력 채널의 신호 적응적 변환이 수행된다.

Description

멀티-채널 오디오 신호의 적응적 다운-믹싱 및 업-믹싱을 수행하기 위한 방법 및 장치{A METHOD AND APPARATUS FOR PERFORMING AN ADAPTIVE DOWN- AND UP-MIXING OF A MULTI-CHANNEL AUDIO SIGNAL}
본 발명은 멀티-채널 오디오 신호의 적응적 다운-믹싱 및 업-믹싱을 수행하기 위한 방법에 관한 것이다. 특히, 본 방법은 멀티-채널 오디오 신호 또는 공간적 오디오 코딩에서 일반적으로 이용되는 다운-믹싱 및 업-믹싱과 관련된다.
범용의 적응적 다운-믹싱 방법은 신호-의존적인 다운-믹싱 변환을 사용한다. 신호의 특정한 구현에 의존하여, 이용가능한 다운-믹싱 변환의 세트 중에서 가장 효율적인 다운-믹싱 변환이 선택된다. 예를 들어, 스테레오 코딩의 경우, 스테레오 코딩 계획(stereo coding scheme)의 다운-믹싱 변환은, 식별 변환(identity transformation, LR 코딩으로 지칭됨), 변환 수득 합(transformation yielding a sum, M/Mid-채널로 지칭됨), 및 입력 채널들의 차(S/Side-채널로 지칭됨)를 포함하는 2개의 상이한 다운-믹싱 변환을 포함하는 집합으로부터 선택될 수 있다.
이러한 범용의 코딩 계획은 전형적으로 M/S 코딩 또는 Mid/Side 코딩으로 참조된다. 나아가, 이러한 범용의 M/S 코딩은, 이용가능한 변환의 세트가 제한되기 때문에, 단지 제한된 레이트 왜곡(rate distortion) 이득만을 제공한다. 또한, 폐 루프(closed loop) 코딩이 이용되기 때문에, 관련 복잡도가 클 수 있다.
이러한 M/S 코딩의 단점은, M. Briand, D. Virette and N. Martin "Parametric Coding of Stereo Audio Based on Principal Component Analysis", Proc. of the 9th International Conference on Digital Audio Effects, Montreal, Canada, September 28, 2006.에서 설명된 것처럼, 다운-믹싱 변환이 채널간 공분산 행렬(covariance matrix)에 기초하여 연산되는 다운-믹싱 방법에 의해 제어되고 있다. 나아가, 이러한 접근법은 스테레오 신호로 제한되어, 더 많은 수의 입력 채널에는 적용될 수 없다. 더 많은 수의 채널에 대한 이러한 접근법의 확장은 D. Yang, H. Ai, C. Kyriakakis, and C.-C. J. Kuo, "Progressive Syntax-Rich Coding of Multichannel Audio Sources", EURASIP Journal on Applied Signal Processing, vol. 2003, pp. 980-992, Jan. 2003.에서 설명되고 있다. 그러나, 이러한 접근법은 하위 호환 가능한 다운믹스(backward compatible downmix)의 생성을 허용하지 않는다.
고정된 세트의 다운-믹싱 변환의 사용에 관한 다른 단점은 일반적인 경우에 대한 적합한 다운-믹싱 변환 세트를 찾기가 어렵다는 것이다. 추가의 범용의 다운-믹싱 변환이 G. Hotho, L.F. Villemoes and J. Breebaart "A Backward-Compatible Multichannel Audio Codec" IEEE Transactions on Audio, Speech and Language Processing, Vol.　16, No.　1, pp. 83 to 93, January 2008.에서 제안되고 있다. 이러한 범용의 방법은, 행렬 다운-믹싱 변환과 기본 채널로부터의 보조 채널의 예측을 결합함으로써, 하위 호환 가능성을 실현한다. 이는 파라미터가 예측 파라미터인 파라메트릭 코딩 계획을 실현한다. 그러나, Hotho et al.에 설명된 이러한 범용의 접근법은 채널 수가 적을 때에만 효율적이다. 또한, 이러한 범용의 다운-믹싱 접근법의 코딩 성능은 레이트 왜곡 성능의 측면에서 볼 때 차선책에 불과하다.
범용의 적응적 다운-믹싱 방법은 각각 특정 수의 채널을 지원하나, 본래의 멀티-채널 오디오 신호의 공간적 특성을 보존하지는 않는데, 이는 하위 호환 가능성이 실현되지 않는다거나, 또는 생성된 다운-믹스에서 본래의 멀티-채널 오디오 신호의 공간적 특성을 보존하면서도 오직 제한된 수의 오디오 채널을 가지는 멀티-채널 오디오 신호에만 이용될 수 있음을 의미한다. 따라서, 본래의 멀티-채널 오디오 신호의 공간적 특성을 보존할 수 있는 동시에 하위 호환 가능성을 제공할 수 있는 적응적 다운-믹싱을 수행하기 위한 방법 및 장치가 필요하다.
본 발명의 제1 태양의 제1 구현예에 따르면, 특정 수의 입력 채널을 포함하는 멀티-채널 오디오 신호의 적응적 다운-믹싱을 수행하기 위해 본 방법이 제공되는데, 입력 채널의 신호 적응적 변환은, 하나의 세트의 하위 호환 가능한(backward compatible)한 기본 채널을 제공하기 위한 고정 블록과 하나의 세트의 보조 채널을 제공하기 위한 신호 적응적 블록을 포함하는 다운믹스 블록 행렬을 입력 채널에 곱함으로써 수행된다.
본 발명의 제1 태양의 제1 구현예의 제2 가능 구현예에서는, 다운믹스 블록 행렬의 신호 적응적 블록이 입력 채널들의 채널간 공분산에 따라 조정된다.
본 발명의 제1 태양을 따른 방법의 제2 구현예의 다른 가능한 제3 구현예에서는, 입력 채널들의 채널간 공분산에 대한 예비 공분한 행렬이 예비 직교 정규 변환(orthonormal transform)을 수단으로 하여 계산된다.
본 발명의 제1 태양에 따른 방법의 제3 구현예의 다른 제4 가능한 구현예에서는, 상기 예비 직교 정규 변환이 그람-슈미트 직교 정규화(Gram-Schmidt procedure)의 개시 시점의 고정 블록에 기초하여 계산된다.
본 발명의 제1 태양에 따른 방법의 제3 구현예의 다른 제5 가능한 구현예에서는, 카루넨-뤼브 변환 행렬(Karhunen-Loeve transformation matrix)이 예비 공분산 행렬의 블록에 대해 계산된다.
본 발명의 제1 태양에 따른 방법의 제5 구현예의 다른 가능한 제6 구현예에서는, 다운믹스 블록 행렬의 신호 적응적 블록이, 계산된 카루넨-뤼브 변환 행렬에 기초하여 계산된다.
본 발명의 제1 태양에 따른 방법의 제1 구현예 내지 제6 구현예에 대한 다른 제7 가능한 구현예에서는, 하위 호환 가능한 기본 채널이 단일 레가시 인코더(legacy encoder)에 의해 인코딩되어, 하위 호환 가능한 기본 레가시 비트 스트림을 생성한다.
본 발명의 제1 태양에 따른 방법의 다른 가능한 제8 구현예에서는, 각각의 하위 호환 가능한 기본 채널이 레가시 인코더에 의해 인코딩되어 하위 호환 가능한 기본 레가시 비트 스트림을 생성한다.
본 발명의 제1 태양에 따른 방법의 제7 구현예 또는 제8 구현예의 가능한 제9 구현예에 따르면, 각각의 보조 채널은 대응하는 보조 채널 인코더에 의해 인코딩된다.
본 발명의 제1 태양에 따른 제7 구현예 또는 제8 구현예의 다른 가능한 제10 구현예에서는, 보조 채널이 공통 멀티-채널 인코더에 의해 인코딩되어 보조 채널 각각에 대한 보조 비트 스트림을 생성한다.
본 발명의 제1 태양에 따른 방법의 제3 구현예의 가능한 제11 구현예에서는, 채널간 공분산 행렬 또는 예비 공분산 행렬이 양자화되어 보조 채널 비트 스트림으로 전송된다.
본 발명의 제1 태양에 따른 방법의 제9 구현예 및 제10 구현예의 다른 가능한 제12 구현예에서는, 기본 비트 스트림이 보조 비트 스트림과 함께 무선 디코더에 전송된다.
본 발명의 제1 태양에 따른 방법의 제12 구현예의 다른 가능한 제13 구현예에서는, 무선 디코더가, 기본 채널의 재구성을 위해 하위 호환 가능한 기본 비트 스트림을 디코딩하도록 조정된 단일의 레가시 디코더를 포함한다.
본 발명의 제1 태양에 따른 방법의 제12 구현예의 다른 제14 구현예에서는, 무선 디코들은, 기본 채널의 재구성을 위해 하위 호환 가능한 기본 비트 스트림을 디코딩하도록 구성된 대응하는 수의 레가시 디코더를 포함한다.
본 발명의 제1 태양에 따른 방법의 제12 구현예의 다른 가능한 제15 구현예에서는, 무선 디코더가, 보조 채널 재구성을 위해 보조 비트 스트림을 디코딩하도록 구성된 보조 채널 디코더들을 포함한다.
본 발명의 제1 태양에 따른 방법의 제12 구현예 내지 제15 구현예의 다른 가능한 제16 구현예에서는, 하나의 유형의 비트 스트림이 무선 디코더들에 시그널링된다.
본 발명의 제1 태양에 따른 방법의 제16 구현예의 다른 가능한 제17 구현예에서는, 그 유형의 시그널링이 적어도 하나의 비트 스트림에 이송된 예비 데이터를 수단으로 한 내재 시그널링(implicit signalling)에 의해 수행된다.
본 발명의 제1 태양에 따른 방법의 제16 구현예의 다른 가능한 제18 구현예에서는, 그 유형의 시그널링이 비트 스트림 각각의 유형을 나타내는 플래그를 수단으로 한 외재 시그널링(explicit signalling)에 의해 수행된다.
본 발명의 제1 태양에 따른 방법의 다른 가능한 제19 구현예에서는, 특정 수의 입력 채널의 신호 적응적 변환이 다운믹스 블록 행렬을 입력 채널에 곱하는 것에 의해 수행되어, 하나의 세트의 하위 호환 가능한 기본 채널 및 하나의 세트의 예비 채널을 제공한다.
본 발명의 제1 태양에 따른 방법의 제19 구현예의 다른 가능한 제20 구현예에서는, 카루넨-뤼브 변환(KLT)이 하나의 세트의 예비 채널에 적용되어 하나의 세트의 보조 채널을 제공한다.
본 발명의 제2 태양에 따르면, 수신된 비트 스트림의 적응적 업-믹싱을 수행하기 위한 방법이 제공되는데, 하위 호환 가능한 기본 비트 스트림이 레가시 디코더에 의해 디코딩되어 대응하는 기본 채널을 재구성하고, 보조 비트 스트림이 보조 채널에 의해 디코딩되어 대응하는 보조 채널을 구성하며, 디코더 비트 스트림의 신호 적응적 역변환이 업믹스 블록 행렬을 수단으로 하여 수행되어 특정 수의 출력 채널을 포함하는 멀티-채널 오디오 신호를 재구성한다.
본 발명의 제2 태양의 제1 가능 실시예에서는, 업믹스 블록 행렬의 신호 적응적 블록이 입력 채널의 디코딩된 채널간 공분산에 따라 조정된다.
본 발명의 제2 태양에 따른 방법의 제1 구현예의 다른 가능한 제2 구현예에서는, 입력 채널들의 채널간 공분산에 대한 예비 공분산 행렬이 디코딩된다.
본 발명의 제2 태양에 따른 방법의 제2 구현예의 다른 가능한 제3 구현예에서는, 보조 직교 정규 역변환이 그람-슈미트 직교 정규화의 개시 시점의 고정 블록에 기초하여 계산된다.
본 발명의 제2 태양에 따른 방법의 제2 구현예의 다른 가능한 제4 구현예에서는, 카루넨-뤼브 변환 행렬이 예비 공분산 행렬의 블록에 대해 계산된다.
본 발명의 제2 태양에 따른 방법의 제4 구현예의 가능한 제5 구현예에서는, 업믹스 블록 행렬의 신호 적응적 블록이, 계산된 카루넨-뤼브 변환 행렬에 기초하여 계산된다.
본 발명의 제3 태양에 따르면, 특정 수의 입력 채널을 포함하는 멀티-채널 오디오 신호의 적응적 다운-믹싱을 수행하도록 조정된 다운-믹싱 장치가 제공되는데, 상기 다운-믹싱 장치는, 하나의 세트의 하위 호환 가능한 기본 채널을 제공하기 위한 고정 블록과 하나의 세트의 보조 채널을 제공하기 위한 신호 적응적 블록을 포함하는 다운믹스 블록 행렬을 입력 채널에 곱하는 것에 의해 입력 채널의 신호 적응적 변환을 수행하도록 조정된 신호 적응적 변환 유닛을 포함한다.
상기 제3 태양에 따른 장치의 가능한 실시예들은, 상기 제1 태양을 따른 구현예들의 일부 또는 전부를 수행하도록 조정된다.
본 발명의 제4 태양에 따르면, 본 발명의 제3 태양에 따른 다운-믹싱 장치를 포함하는 인코딩 장치가 제공되는데, 상기 인코딩 장치는, 하위 호환 가능한 기본 채널을 인코딩하여 적어도 하나의 하위 호환 가능한 기본 비트 스트림을 생성하도록 조정된 적어도 하나의 레가시 인코더와, 보조 채널을 인코딩하여 적어도 하나의 보조 비트 스트림을 생성하도록 조정된 적어도 하나의 보조 채널 인코더를 더 포함한다.
본 발명의 제5 태양에 따르면, 디코딩된 기본 비트 스트림과 디코딩된 보조 비트 스트림을 포함하는 디코딩된 비트 스트림의 적응적 업-믹싱을 수행하도록 조정된 업-믹싱 장치가 제공되는데, 상기 업-믹싱 장치는, 디코딩된 기본 비트 스트림에 대한 고정 블록과 디코딩된 보조 비트 스트림에 대한 신호 적응적 블록을 포함하는 업믹스 블록 행렬을 디코딩된 비트 스트림에 곱하는 것에 의해 상기 디코딩된 비트 스트림의 신호 적응적 역변환을 수행하도록 조정된 신호 적응적 재변환 유닛을 포함한다.
본 발명의 제6 태양에 따르면, 본 발명의 제5 태양에 따른 업-믹싱 장치를 포함하는 디코딩 장치가 제공되는데, 상기 디코딩 장치는, 적어도 하나의 수신된 하위 호환 가능한 기본 비트 스트림을 디코딩하여, 상기 업-믹싱 장치에 공급되는 적어도 하나의 디코딩 기본 비트 스트림을 생성하도록 조정된 적어도 하나의 레가시 디코더와, 적어도 하나의 수신된 보조 비트 스트림을 디코딩하여, 상기 업-믹싱 장치에 공급되는 적어도 하나의 디코딩된 보조 비트 스트림을 생성하도록 조정된 적어도 하나의 보조 채널 디코더를 더 포함한다.
상기 제6 태양에 따른 장치의 가능한 실시예들은, 상기 제2 태양을 따른 구현예들의 일부 또는 전부를 수행하도록 조정된다.
본 발명의 제7 태양에 따르면, 오디오 시스템이 제공되는데, 이는 본 발명의 제4 태양에 따른 적어도 하나의 인코딩 장치와, 본 발명의 제6 태양에 따른 적어도 하나의 디코딩 장치를 포함하며, 상기 인코딩 장치와 디코딩 장치는 네트워크를 통해 서로 연결된다.
본 발명의 제8 태양에 따르면 컴퓨터 프로그램이 제공되는데, 이는 컴퓨터 프로그램이 컴퓨터, 프로세서, 마이크로 콘트롤러, 또는 임의의 프로그래머블 장치에서 실행되는 경우, 임의의 상술한 방법 태양들 또는 그들의 구현예들에 따른 방법을 수행하기 위한 프로그램 코드를 포함한다.
전술한 태양들 및 그들의 구현예들은 하드웨어, 소프트웨어, 또는 하드웨워와 소프트웨어의 임의의 조합으로 구현될 수 있다.
이하에서의 본 발명의 상이한 태양의 가능한 구현예들은, 첨부된 도면들을 참조하여 더욱 상세하게 설명된다.
도 1은 본 발명의 제4 태양 및 제6 태양에 따른 적어도 하나의 인코더 장치와 적어도 하나의 디코더 장치를 포함하는 본 발명의 제7 태양에 따른 오디오 시스템의 가능한 구현예에 대한 블록 다이어그램을 도시한다.
도 2는 본 발명의 제3 태양에 따른 다운-믹싱 장치의 가능한 구현예를 설명하는 블록 다이어그램을 도시한다.
도 3은 본 발명의 제3 태양에 따른 다운-믹싱 장치의 다른 가능한 구현예의 블록 다이어그램을 도시한다.
도 4는 본 발명의 일 태양에 따른 다운-믹싱 장치에 의해 수행되는 예시적인 하위 호환 가능한 다운믹스를 설명하기 위한 다이어그램을 도시한다.
도 5는 본 발명의 제7 태양에 따른 오디오 시스템의 예시적인 구현예를 설명하기 위한 다이어그램을 도시한다.
도 6 및 도 7은 본 발명의 일 태양에 따른 인코딩 방법의 예시적인 구현예의 플로 차트를 도시한다.
도 8은 본 발명의 일 태양에 따른 디코딩 방법의 예시적인 실시예의 플로 차트를 도시한다.
도 1에서 알 수 있는 것처럼, 본 발명의 일 태양에 따른 오디오 시스템(1)은, 네트워크 또는 신호선(4)을 통해 연결된, 도시된 구현예에서의 적어도 하나의 인코딩 장치(2)와 적어도 하나의 디코딩 장치(3)를 포함할 수 있다. 도 1에 도시된 구현예에서는, 인코딩 장치(2)가 멀티-채널 오디오 신호가 적용될 수 있는 신호 입력(5)을 포함할 수 있다. 이 멀티-채널 오디오 신호는 M개의 입력 채널을 포함할 수 있다. 도 1에 도시된 예시적인 구현예에서는, 입력 멀티-채널 오디오 신호가, 수신된 멀티-채널 오디오 신호를 전처리하도록 조정된 전처리 블록(pre-processing block)(6)에 적용된다. 전처리 블록(6)은, 가능한 실시예에서, 수신된 멀티-채널 오디오 신호의 입력 채널들 사이의 지연 정렬(delay alignment) 및/또는 입력 채널들의 시간 주파수 변환을 수행할 수 있다. 전처리된(pre-processed) 멀티-채널 오디오 신호는 전처리 블록(6)에 의해, 수신된 전처리된 멀티-채널 오디오 신호의 적응적 다운-믹싱을 수행하도록 조정된 또는 구성된 다운-믹싱 장치(7)에 공급된다. 다른 실시예에서는, M개의 입력 채널을 포함하는 멀티-채널 오디오 신호가 임의의 전처리를 수행하지 않고 다운-믹싱 장치(7)에 바로 적용된다. 시간 주파수 변환의 경우, 도 1에 도시된 다운-믹싱 장치(7)와 업-믹싱 장치(11)가 입력 멀티-채널 오디오 신호의 각각의 서브-밴드에 대해 개별적으로 제공된다. 이 서브-밴드는 스펙트럼 계수 또는 데시메이션된(decimated) 시간 주파수 오디오 신호에 의해 표현될 수 있는 밴드-제한 오디오 신호로서 정의될 수 있다. 다운-믹싱 블록과 업-믹싱 블록이, 제한된 주파수 밴드에 대응하는 밴드 제한 신호 상에서 수행되기 때문에, 서브-밴드 처리는 성능 측면에서 이점을 제공한다.
다운-믹싱 장치(7)는, 하나의 세트의 하위 호환 가능한 기본 채널을 제공하기 위한 고정 블록과 하나의 세트의 보조 채널을 제공하기 위한 신호 적응적 블록을 포함하는 다운믹스 블록 행렬을 입력 채널에 곱하는 것에 의해 멀티 채널 오디오 신호의 수신된 입력 채널의 신호 적응적 변환을 수행하도록 조정된 신호 적응적 변환 유닛을 포함한다. 다운-믹싱 장치(7)에 의해 수행되는 다운-믹싱 동작은, 예컨대 N개의 하위 호환 가능한 기본 채널의 제1 그룹과 M-N개의 보조 채널의 하나의 그룹인(여기서, 1≤N≤M 및 3≤M임) 2개의 그룹을 포함하는 다운-믹스 도메인의 M개의 채널을 생성할 수 있다. 전형적으로, 제공된 하위 호환 가능한 기본 채널은 보조 채널보다 더 큰 에너지를 포함한다. 이는, 다운-믹싱 장치(7)에 의해 채용된 다운-믹싱 방법으로 달성되는 에너지 집중을 이끌어낼 수 있다.
도 1에서 알 수 있는 것처럼, 인코딩 장치(2)는 N개의 하위 호환 가능한 채널을 인코딩하기 위해 하나의 레가시 인코더(8), 또는 선택적으로 N개의 하위 호환 가능한 채널 인코더 또는 레가시 인코더(8)를 더 포함하는데, 각각의 하위 호환 가능한 기본 채널은 대응하는 레가시 인코더(8)에 의해 인코딩되어, 데이터 네트워크(4)를 통해 도 1에 도시된 디코딩 장치(3)에 이송될 수 있는 하위 호환 가능한 기본 레가시 비트 스트림을 생성한다. 인코딩 장치(2)는 (M-N개) 보조 채널 인코더(9)를 더 포함한다. 다운-믹싱 장치(7)에 의해 출력된 각각의 보조 채널이 대응하는 보조 채널 인코더(9)에 의해 인코딩되어, 데이터 네트워크(4)를 통해 디코딩 장치(3)에 이송되는 대응하는 보조 비트 스트림을 생성한다. 선택적 실시예에서, 모든 보조 채널들이 공통 멀티-채널 인코더(9)에 의해 인코딩되어, 각각의 보조 채널에 대한 보조 비트 스트림을 생성할 수 있다. 생성된 기본 비트 스트림과 보조 비트 스트림은, 도 1에 도시된 것처럼, 신호선 또는 데이터 네트워크(4)를 통해 무선 디코딩 장치(3)로 전송된다. 보조 채널에 더하여, 채널간 공분산 행렬 또는 예비 공분산 행렬의 추정치(estimate)도 양자화되어 전송될 수 있다.
하위 호환 가능한 기본 채널이 도 1에 도시된 것과 같은 단일의 레가시 인코더(8)에 의해, 또는 대응하는 레가시 디코더와의 하위 호환성을 제공하기 위한 높은 적합도를 가지는 N개의 하위 호환 가능한 채널 인코더에 의해 선택적으로, 인코딩된다. 보조 채널이 보조 채널 인코더(9)에 의해 인코딩되는데, 보통 파라메트릭 공간적 오디오 코딩이 사용된다. 또한, 보조 채널이 오디오 시스템(1) 내에 드롭(drop)된 특정 구현예에서도 가능하다. 가능한 실시예에서는, 보조 채널이 중요도 수준에 의해 랭크될 수 있다. 이용 가능한 비트 레이트에 따라, 인코더 장치(2)는 더 적은 중요도의 보조 채널의 일부를 드롭하도록 결정할 수 있다.
하나의 가능한 시나리오에서, 다운믹스 신호의 하위 호환 가능한 기본 채널이, N개의 기본 채널만을 이용하는, 레가시 재생 출력(legacy playout)으로 호칭되기도 하는 재생 출력을 촉진시킬 수 있다. 이러한 상황에서는, 레가시 N개 채널 재생 출력을 이용하여 지각적으로 의미 있는 재구성을 행하기 위해, 하위 호환 가능한 기본 채널이 멀티-채널 오디오 신호의 본래의 M개의 입력 채널의 일부 공간적 성분을 보존한다.
도 1에서 알 수 있는 것처럼, 오디오 시스템(1)은 데이터 네트워크(4)를 통해 하위 호환 가능한 기본 비트 스트림과 보조 비트 스트림을 수신하는 적어도 하나의 디코딩 장치(3)를 포함한다. 본 발명의 제6 태양에 따른 이 디코딩 장치(3)는, 디코딩 장치(3)의 업-믹싱 장치(11)에 공급되는 디코딩된 기본 비트 스트림을 생성하기 위해, 수신된 하위 호환 가능한 기본 비트 스트림을 디코딩하는 N개의 레가시 디코더(10)를 포함한다. 디코딩 장치(3)는, 도 1에 도시된 것처럼, 업-믹싱 장치(11)에 공급되는 디코딩된 보조 비트 스트림을 생성하기 위해, 수신된 보조 비트 스트림을 디코딩하도록 조정된 M-N개의 보조 채널 디코더(12)를 포함하거나, 또는, M-N개의 보조 비트 스트림을 디코딩하는 오직 하나의 보조 채널 디코더(12)만을 선택적으로 포함할 수 있다. 업-믹싱 장치(11)는 디코딩된 비트 스트림의 적응적 업-믹싱을 수행하도록 조정된다. 업-믹싱 장치(11)는 디코딩된 기본 비트 스트림에 대한 고정 블록과 디코딩된 보조 비트 스트림에 대한 신호 적응적 블록을 포함하는 업믹스 블록 행렬을 디코딩된 비트 스트림에 곱하는 것에 의해, 디코딩된 비트 스트림의 신호 적응적 역변환을 수행하도록 조정된 신호 적응적 재변환 유닛을 포함할 수 있다. 업-믹싱 장치(11)의 출력 신호는, 도 1의 도시된 구현예에서, 시간 주파수 역변환을 포함하거나 및/또는 각각의 출력 신호에 대한 지연을 합성(synthesizing)하는 것과 같은 업-믹싱된 신호의 전처리가 수행될 수 있는 후처리 블록(14)에 공급된다. 디코딩 장치(3)는 재구성된 신호를 출력하기 위한 신호 출력부(13)를 포함한다.
도 1에서 알 수 있는 것처럼, 하위 호환 가능한 기본 비트 스트림과 보조 비트 스트림은 데이터 이송 매체 또는 데이터 네트워크(4)를 통해 이송된다. 이 데이터 네트워크(4)는 IP 네트워크에 의해 형성될 수 있다. 하나의 가능한 실시예에서, 비트 스트림이 동일한 패킷 또는 개별 데이터 패킷으로 이송될 수 있다.
하나의 가능한 실시예에서, 각각의 비트 스트림은 각각의 비트 스트림의 유형의 지시자를 포함할 수 있다. 하나의 가능한 유형의 비트 스트림은, ISO/IEC 11172-3 표준을 따르는 MP3 비트 스트림이다. 또 다른 유형의 비트 스트림은, ISO/IEC 14496-3 표준으로 정의된 진보된 오디오 코딩(advanced audio coding, AAC) 비트 스트림, 또는 OPUS 비트 스트림이다. 하위 호환 가능한 기본 비트 스트림은 이러한 레가시 유형 중 하나일 수 있다. MP3와 AAC는 광범위하게 사용되고, 현재의 레거시 인코더는 하위 호환 가능한 기본 비트 스트림을 디코딩할 수 있다. 보조 비트 스트림은 레가시 유형의 비트 스트림일 수 있고, 또한 미래의 또는 어플리케이션의 개별 유형의 비트 스트림일 수 있다.
하나의 가능한 실시예에서, 해당 유형의 각각의 비트 스트림이 디코딩 장치(3)의 무선 디코더(10, 12)에 시그널링된다. 하나의 가능한 실시예에서, 해당 유형의 시그널링은, 적어도 하나의 비트 스트림으로 이송된 예비 데이터를 수단으로 한 내재 시그널링에 의해 수행된다. 하나의 선택적 실시예에서는, 이 시그널링이 각각의 비트 스트림의 유형을 나타내는 플래그를 수단으로 한 외재 시그널링에 의해 수행된다. 내재 시그널링을 포함하는 제1 시그널링 옵션과 외재 시그널링을 포함하는 제2 시그널링 옵션 사이의 전환이 가능할 수 있다. 하나의 내재 시그널링의 가능한 실시예에서, 플래그는 적어도 하나의 하위 호환 가능한 기본 비트 스트림의 예비 데이터 내의 보조 채널 정보의 존재를 나타낼 수 있다. 레가시 디코더(10)는, 플래그가 현존하는지 또는 아닌지를 확인하지 않고, 오직 하위 호환 가능한 기본 채널을 디코딩한다. 예를 들어, 보조 채널 비트 스트림의 시그널링은 AAC 비트 스트림의 예비 데이터 내에 포함될 수 있다. 나아가, 보조 비트 스트림은 또한, AAC 비트 스트림의 예비 데이터 내에 포함될 수 있다. 이러한 경우에, 레가시 AAC 디코더가 비트 스트림의 하위 호환 가능한 부분만을 디코딩하고, 예비 데이터는 폐기한다. 본 발명의 일 구현예에 따른 비-레가시 유형 디코더는, 그러한 플래그의 존재를 확인할 수 있고, 수신된 비트 스트림에 플래그가 존재하면, 비-레가시 디코더는 멀티-채널 오디오 신호를 재구성한다.
외재 시그널링의 가능한 실시예에서는, 비트 스트림이 본 발명의 일 구현예에 따른 비-레가시 유형 보조 채널 인코더(9)로 획득된 본 발명의 일 구현예에 따른 보조 비트 스트림임을 나타내는 플래그가 이용될 수 있다. 디코딩 장치(3)의 레가시 디코더는, 이 플래그를 해석하는 방법을 인식하지 않기 때문에, 비트 스트림을 디코딩할 수 없다. 그러나, 본 발명의 일 구현예에 따른 디코더는 디코딩 능력을 가지며, 하위 호환 가능한 부분만 또는 완전한 멀티-채널 오디오 시그널의 어느 한쪽을 디코딩하도록 결정할 수 있다.
이러한 하위 호환 가능성의 유리한 점은 다음과 같이 이해될 수 있다. 본 발명의 일 구현예에 따른 이동 단말기는, 복잡도 부담이 더 낮은 점에서, 내장 배터리의 배터리 수명을 절약하기 위해 하위 호환 가능한 부분을 디코딩하도록 결정할 수 있다. 게다가, 렌더링 시스템에 따라, 디코더는 비트 스트림의 어떤 부분을 디코딩할지를 결정할 수 있다. 예를 들어, 헤드폰을 통한 렌더링에 있어서, 수신된 신호의 하위 호환 가능한 부분은 충분할 수 있는 반면, 단말기가, 예를 들어 멀티-채널 렌더링 능력을 가지는 도킹 스테이션에 연결된 때에만, 멀티-채널 오디오 신호가 디코딩된다.
본 발명에 따른 오디오 시스템(1)에 의해 제공되는 하위 호환 가능성이 제공하는 기본 장점은, 멀티-채널 오디오 신호를 렌더링하기 위한 능력을 가지지 않는 레가시 디코더(10) 상의 하위 호환 가능한 부분을 바로 디코딩하는 것이 가능하다는 점이다. 나아가, 오직 레가시 디코더(10)만이 내장되어 있는 범용 기기가, 하나의 코딩 포맷에서 다른 코딩 포맷으로의 트랜스-코딩 동작을 수행할 필요 없이, 하위 호환 가능한 오디오 신호를 바로 디코딩할 수 있다. 이는, 새로운 코딩 포맷의 배치를 촉진하고, 하위 호환 가능성을 제공하기 위한 복잡도를 경감한다.
하위 호환 가능한 기본 채널이 하위 호환 가능한 방식으로 생성된다. 이는, 기본 채널이 범용의 레가시 오디오 인코더를 이용하여 인코딩될 수 있다는 것을 의미한다. 예를 들어, 현재의 스테레오 인코더가 이용되어, 하위 호환 가능한 다운믹스의 스테레오 기본 채널을 인코딩할 수 있다. 하위 호환 가능한 기본 채널을 설명하는 비트 스트림은, 최초 멀티-채널 오디오 신호의 재구성을 행하는 비트 스트림으로부터 분리될 수 있다. 예를 들어, 멀티-채널 오디오 신호는 범용의 오디오 디코더(10)에 의해 완전한 비트 스트림으로부터 비트를 제거함에 따라 재구성될 수 있다. 재구성된 기본 채널은 최초의 M개의 입력 채널보다 더 적은 수의 채널을 이용하여 재생 출력될 수 있다. 예를 들어, 5개의 채널 신호가 스테레오 라우드스피커를 이용하여 재생 출력될 수 있다.
본 발명에 따른 방법에 의해 사용되는 다운-믹싱 변환 접근법의 하위 호환 가능성의 실제적 영향은, 하위 호환 가능한 기본 채널이 규제된 방식으로 생성된다는 것이다. 이 규제는 레가시 인코더(8)의 특성과, 최초의 멀티-채널 신호의 채널들을 결합함으로써 획득되는 하위 호환 가능한 기본 채널의 특정 조합에 대한 조건에 기인한다.
하나의 가능한 실시예에서는, 하위 호환 가능한 기본 채널이, 하위 호환 가능한 다운믹스의 N개의 기본 채널에 대해 레가시 기본 비트 스트림을 제공하는 오디오 인코더(모노, 스테레오, 또는 멀티-채널)를 통해 인코딩될 수 있다. 보조 채널 인코더(9)는, 멀티-채널 오디오 신호를 재구성하기 위해 디코딩 장치(3)에 의해 이용될 수 있는 비트 스트림의 다른 부분을 생성한다. 각각의 보조 채널은 단일의 채널 오디오 인코더(9)를 통해 인코딩될 수 있다. 선택적으로, 공통 멀티-채널이 보조 채널에 대해 이용될 수 있다. 이 멀티-채널 오디오 인코더는, 가능한 구현예에서, 보조 채널의 파형을 정확히 인코딩하도록 조정된 파형 코딩 계획을 이용할 수 있다. 다른 선택적 실시예에서는, 보조 채널 인코더(9)는 보조 채널의 파라메트릭 표현을 이용할 수 있다. 예를 들어, 보조 채널의 에너지 시간 및 주파수 엔벨로프(energy time and frequency envelope)의 단순한 코딩이 보조 채널 인코더(9)에 의해 채용될 수 있다. 이러한 경우, 보조 채널 디코더(12)는, 강제적으로 디코딩된 보조 채널을 생성하기 위해 역상관되는(decorrelated) 보조 채널의 특징을 이용할 수 있다.
도 2는 본 발명의 일 태양에 따른 다운-믹싱 장치(7)를 포함하는 인코딩 장치(2)의 가능한 구현예를 설명한다. 다운-믹싱 장치(7)는 M개의 입력 채널을 포함하는 멀티-채널 오디오 신호를 수신한다. 다운-믹싱 장치(7)는 다운믹스 블록 행렬을 입력 채널에 곱하는 것에 의해 M개의 입력 채널의 신호 적응적 변환을 수행하도록 조정된 신호 적응적 변환 유닛을 포함한다. 이 다운믹스 블록 행렬은 하나의 세트의 하위 호환 가능한 기본 채널을 제공하기 위한 고정 블록과 하나의 세트의 보조 채널을 제공하기 위한 신호 적응적 블록을 포함할 수 있다. 다운-믹싱 장치(7)에 의해 제공되는 N개의 하위 호환 가능한 기본 채널은 N개의 채널의 대응하는 하위 호환 가능한 채널 인코더에 또는 선택적으로 N개의 하위 호환 가능한 채널 인코더(8)에 공급될 수 있다. M-N개의 보조 채널은 M-N개의 보조 인코더(9)를 포함하는 하나의 세트의 보조 채널에 공급될 수 있다.
도 3은 다운-믹싱 장치(7)의 다른 가능한 구현예를 도시한다. 도시된 구현예에서, 다운-믹싱 장치(7)는 임의의 M×M 단위(unitary) 다운-믹스 블록(7A)을 포함한다. M개의 입력 채널의 신호 적응적 변환은 하나의 세트의 하위 호환 가능한 기본 채널과 하나의 세트의 예비 채널을 제공하도록 다운믹스 블록 행렬을 입력 채널에 곱함으로써 수행된다. 위 하나의 세트의 예비 채널에 대해, 블록(7B)에서 카루넨-뤼브-변환(KLT)이 적용되어 하나의 세트의 보조 채널을 제공한다.
이하에서는, 다운믹스 동작이 도식적 예시를 참조하여 설명된다. 본 M개의 입력 채널의 예시적인 실시예에서 M = 3이며, N개의 하위 호환 가능한 기본 채널의 N = 1이다. 따라서, 본 실시예에서는, 멀티-채널 오디오 신호는 3-채널 오디오 신호에 의해 수행된다.
M개의 입력 채널을 포함하는 멀티-채널 오디오 신호의 적응적 다운-믹싱을 수행하기 위한 방법에서, 상기 입력 채널의 신호 적응적 변환은 하나의 세트인 N개의 하위 호환 가능한 기본 채널을 제공하기 위한 고정 블록 WO와 하나의 세트인 M-N개의 보조 채널을 제공하기 위한 신호 적응적 블록 Wx를 포함하는 다운믹스 블록 행렬 WT를 입력 채널에 곱하는 것에 의해 수행된다.
3-채널 입력 신호의 샘플은
Figure pct00001
인 구현에서 랜덤 벡터
Figure pct00002
에 의해 표현될 수 있다. 이 신호는 블록으로 분할될 수 있어서, 이에 따라 고정된 것으로 보일 수 있고, 그러므로 각각의 이러한 블록에 대해, 채널 간 공분산 행렬
Figure pct00003
가, 예컨대 샘플 채널 간 공분산 행렬을 연산함에 의해 추정될 수 있다. 하위 호환 가능성 제약이 없는 경우에는, 이 다운-믹싱 방법은 다운-믹스 신호의 채널에 최대 에너지 집중을 이끌어낼 수 있다. 예를 들어, 코딩 이득을 연산함에 의해 에너지 집중이 평가될 수 있다. 에너지 집중이 크면, 대응하는 코딩 이득도 크다. 큰 코딩 이득은 소스 코딩의 효율성을 나타내며, 따라서 다운-믹스의 기본 채널과 보조 채널의 코딩을 촉진한다. 최적의 에너지 집중 변환은
Figure pct00004
를 대각선화(diagonalize), 즉 공분산 행렬이
Figure pct00005
로서 분해될 수 있는데,
Figure pct00006
는 단위 변환(즉,
Figure pct00007
)이고,
Figure pct00008
는 대각 행렬이다. 이러한 경우에,
Figure pct00009
이기 때문에, 변환
Figure pct00010
는 KLT 행렬을 형성하고 대각 공분산 행렬을 산출해낸다. KLT 행렬이 다운-믹스를 생성하기 위해 이용되면, 다운-믹스 신호(
Figure pct00011
)의 대응하는 벡터 샘플은 다음과 같이 계산된다.
(식 1)
Figure pct00012
채널 간 공분산 행렬의 추정치는
Figure pct00013
는, 다수의 프레임에 걸친 프레임 단위로(frame-by-frame basis) 갱신되는데, 최적의 변환
Figure pct00014
가 시간에 있어서 변화함을 암시한다. 예를 들어,
Figure pct00015
이 모노 다운-믹스의 샘플이면,
Figure pct00016
이기 때문에, 최초의 신호
Figure pct00017
에 대한 연관성은 시간에 있어서 고정되지 않고, 다운-믹스의 지각적(perceptual) 품질이 시간-변화(time-varying)인 것으로 될 수 있다(특히, 본 경우에서의 모델링 오류에 기인함). 벡터
Figure pct00018
는 신호 통계에 기초하여 최적화된
Figure pct00019
공간 내에 기반을 형성한다.
다운-믹스 신호의 양호한 품질을 달성하기 위한 가능한 실시예에서, 안정된 품질을 가지는 다운-믹스 채널(기본 채널)을 획득하도록 이용될 수 있는 일부의 고정 벡터와, 신호의 통계를 활용하고 최적의 전체 에너지 집중(optimal over-all energy concentration)을 제공할 수 있는 일부의 비-고정 벡터를 포함하는 기반을 구성할 수 있다. 이러한 시나리오는 도 4에서 나타낸다. 규제가 없는 경우에는, 위 기반은
Figure pct00020
로 주어진다. 그 목적은 다른 기반인
Figure pct00021
를 찾는 것이고, 여기서 벡터 는 임의로 고정된다. 다운-믹스 신호는 이후, 안정된 품질을 가지는 다운-믹스 신호를 산출해내는
Figure pct00023
로서 획득될 수 있다. 이러한 접근법은 N-채널 다운-믹스의 경우에 대해 일반화될 수 있는데, 여기서 N개의 직교 정규 벡터는 안정한 공간적 특성을 가지는 임의의 N-채널 다운-믹스를 산출하여 임의로 선택될 수 있다.
본 발명의 일 구현예에 따른 변환을 지시하기 위해 적합한 기준을 정의할 수 있다. 이상적인 기준은 에너지 집중을 향상시킴으로써 최대화될 수 있는 코딩 이득이다. 그 변환이 행렬
Figure pct00024
로 주어지면, 변환된 신호의 채널 간 공분산 행렬은
Figure pct00025
로 주어진다. 일반적으로, 행렬
Figure pct00026
는 KLT 행렬이 아니며, 채널 간 공분산 행렬
Figure pct00027
는 대각이 아니다. 그러나, 변환 행렬
Figure pct00028
가 단위(unitary)가 되도록 통제되기 때문에, 에너지 집중 성능을 측정하기 위해,
Figure pct00029
로 주어지는
Figure pct00030
의 직교 요소를 이용할 수 있다. 코딩 이득(G)은 다음과 같이 정의된다.
(식 2)
Figure pct00031
실제로, 식 (2)의 분자는 이용되는 특정 단위 변환에 의존하지 않는다. 이는,
Figure pct00032
이기 때문에, 쉽게 알 수 있다. 그러므로, 식 (2)의 분모가 최소화되면, 코딩 이득(G)이 극대화된다.
Figure pct00033
인 샘플을 생성하는 소스
Figure pct00034
에 의해 표현되는 멀티-채널 신호의 인코딩에 있어서, 채널 간 공분한 행렬
Figure pct00035
의 추정치가 이용 가능하다. 목적은, 변환 행렬
Figure pct00036
를 찾고, 이에 따라
Figure pct00037
내의 일부 벡터에 대한 통제를 통해 식 2에 의해 주어지는 코딩 이득(G)이 극대화되는 것이다. 따라서, 직교 정규 변환
(식 3)
Figure pct00038
을 고려할 수 있는데, 여기서
Figure pct00039
는 안정한 품질의 다운-믹스를 이끌어내는 어떠한 임의의 방법에 따라 선택되는 N개의 직교 정규 벡터를 포함한다.
Figure pct00040
의 다른 블록은, 주어진 공분산 행렬
Figure pct00041
에 대한 최적의 에너지 집중을 획득하도록 조정된
Figure pct00042
개의 잔여 기반 벡터 행렬을 포함하는 행렬
Figure pct00043
의 형식이다. 설계 문제는
Figure pct00044
로 특정된 변환의 통제된 부분에 주어진 최적의
Figure pct00045
를 결정하는 것이다.
Figure pct00046
를 찾기 위한 알고리즘을 제공하기 위해, 예비 직교 정규 변환
Figure pct00047
(식 4)
Figure pct00048
를 도입할 수 있는데, 여기서
Figure pct00049
는 임의로 선택되므로, 이에 따라
Figure pct00050
이다. 직교 정규 변환
Figure pct00051
가 단위(unitary)가 되어야 하고,
Figure pct00052
와
Figure pct00053
의 컬럼(column)은 직교 정규(orthonormal)이어야 한다. 이 조건을 만족시키는
Figure pct00054
를 생성하는 일부 절차가 존재한다. 예를 들어, 이러한 절차 중 하나는
Figure pct00055
의 기반 벡터로 개시되고,
Figure pct00056
의 임의의 벡터에 적용되는 그람-슈미트 직교 정규화를 포함한다.
변환된 신호
Figure pct00057
의 공분산 행렬에 대해,
(식 5)
Figure pct00058
(식 6)
Figure pct00059
이고,
Figure pct00060
가 단위(unitary)라는 사실을 이용할 수 있다.
Figure pct00061
를 도입함에 따라, 설계 문제에 추가 구조식이 강제된다. 따라서,
(식 7)
Figure pct00062
이고, 여기서 비-대각 영 행렬(off-diagonal zero matrix)을 포함하는 위 구조식은
Figure pct00063
의 컬럼이
Figure pct00064
에 직교 정규라는 사실에 기초한다.
Figure pct00065
내의 대응하는 블록 행렬의 KLT가 되도록
Figure pct00066
가 선택되면, 식 2의 코딩 이득(G)은 극대화됨을 보일 수 있다.
Figure pct00067
는 다음의 형식으로 한다.
(식 8)
Figure pct00068
Figure pct00069
이
Figure pct00070
를 대각화한 직교 정규화 변환이기 때문에, 행렬
Figure pct00071
는
Figure pct00072
의 블록에 대해 수행되는 KLT를 수단으로 하여 검출될 수 있다.
Figure pct00073
와
Figure pct00074
를 알기 때문에, 변환
Figure pct00075
의 최적의 블록
Figure pct00076
가
(식 9)
Figure pct00077
에 의해 주어진다.
제안된 방법은 도 3에 도시된 것처럼 매우 효율적으로 구현될 수 있다. 기본 채널과 보조 채널을 생성하는 과정은 2단계에 걸쳐 수행될 수 있다. 첫 번째 단계(7A)는
Figure pct00078
단위 행렬을 수단으로 하여, 단위 변환을 멀티-채널 신호에 적용하는 단계를 포함한다. 그 변환 결과는
Figure pct00079
개의 기본 채널과
Figure pct00080
개의 예비 채널을 도출한다. 두 번째 단계(7B)는 예비 채널의 서브 공간(subspace) 내의 KLT의 연산을 포함한다. KLT는 예비 채널을 코딩되는 보조 채널로 변환한다. 단계 7A에서의 제1 변환은 사전 연산될 수 있다. KLT는, 제1 변환을 수단으로 하여 채널 간 공분산 행렬을 변환함으로써, 그리고 예비 채널에 대응하는 블록을 선택함으로써 획득될 수 있다.
Figure pct00081
개의 입력 채널 신호의 채널 간 공분산 행렬
Figure pct00082
는 추정치를 수단으로 하여 이용 가능하거나 또는, 부가 정보로서 전송될 수 있다.
Figure pct00083
개의 채널을 포함하는 입력 신호로부터
Figure pct00084
개의 하위 호환 가능한 기본 채널을 포함하는 하위 호환 가능한 다운-믹스
Figure pct00085
또는 업-믹스
Figure pct00086
를 생성하기 위한 제안된 방법은, 도 6에 도시된 것처럼 다음의 인코딩 단계들을 포함한다.
단계 S61에서 채널 간 공분산
Figure pct00087
의 추정치를 획득.
단계 S62에서 다운-믹싱 변환
Figure pct00088
의 미리 정의된 통제 부분을 선택.
단계 S63에서 블록
Figure pct00089
를 포함하는 임의의
Figure pct00090
변환
Figure pct00091
를 연산.
단계 S64에서 예비 공분산 행렬
Figure pct00092
을 연산.
단계 S65에서 예비 공분산 행렬의 블록
Figure pct00093
(식 8 참조)에 대한 KLT 행렬을 연산.
단계 S66에서 식 9에 따라 블록
Figure pct00094
를 연산.
일부 구현예들에 따라, 인코딩 알고리즘은 도 7에 도시된 것처럼 구현될 수 있다.
단계 S71에서 채널 간 공분산
Figure pct00095
의 추정치를 획득.
단계 S72에서 다운-믹싱 변환
Figure pct00096
의 미리 정의된 통제 부분을 선택.
단계 S73에서 블록
Figure pct00097
를 포함하는 임의의
Figure pct00098
변환
Figure pct00099
를 연산.
단계 S74에서, 단계 S73에서 획득된 변환을 수단으로 하여, 하나의 세트의
Figure pct00100
개의 기본 채널과 하나의 세트의
Figure pct00101
개의 예비 채널을 생성.
단계 S75에서 알고 있는
Figure pct00102
와
Figure pct00103
에 기초하여 예비 채널의 서브 공간에 대한 채널 간 공분산 행렬을 연산.
단계 S76에서, 단계 S75에서 획득된 채널 간 공분산 행렬에 기초하여 예비 채널의 서브 공간에 대한 KLT를 연산.
단계 S77에서, 단계 S76에서 연산된 KLT를 수단으로 하여, 하나의 세트의
Figure pct00104
개의 예비 채널을 산출하는 단계 S74에서 연산된 예비 채널을 변환.
하나의 가능한 실시예에 따라, 디코딩 방법이 도 8에 도시된 것처럼 구현될 수 있다.
단계 S81에서 부가 정보로서 전송된 채널 간 공분산 행렬
Figure pct00105
의 추정치를 획득.
단계 S82에서 다운-믹싱 변환
Figure pct00106
의 미리 정의된 통제 부분이 다운-믹싱 과정에서 이용된 통제 부분과 동일하게 되도록 선택.
단계 S83에서 블록
Figure pct00107
를 포함하는 역
Figure pct00108
변환을 연산.
단계 S84에서 하나의 세트의
Figure pct00109
개의 기본 채널과 하나의 세트의
Figure pct00110
개의 예비 채널을 나타내고 그들의 재구성을 수행하는 비트 스트림을 디코딩.
단계 S85에서 예비 채널의 서브 공간에 대한 채널 간 공분산 행렬을 연산.
Figure pct00111
와 단계 S82에서 획득된 변환을 알고 있기 때문에, 단계 S85가 가능함.
단계 S86에서, 단계 S85에서 획득된 채널 간 공분산 행렬에 기초하여, 예비 채널의 서브 공간에 대한 역 KLT를 연산.
단계 S87에서, 단계 S86에서 연산된 역 KLT를 수단으로 하여, 하나의 세트의
Figure pct00112
개의 예비 채널을 산출하는 단계 S84에서 재구성된 보조 채널을 변환.
단계 S88에서, 단계 S83에서 연산된 변환과, 단계 S83에서 획득된 재구성된 기본 채널과, 단계 S87에서 획득된 재구성된 예비 채널을 이용하여 업-믹스를 연산.
본 발명에 따른 방법의 적용이, 4채널 방식 사운드의 경우에 있어서의 수치상 예시에 의해 설명될 수 있다. 도 5에 도시된 것과 같은 재생 출력 설정에 있어서, 스피커 설정은 4개의 스피커로 구성된다: 전면 좌측(front left, FL), 전면 우측(front right, FR), 후면 좌측(rear left, RL), 및 후면 우측(rear right, RR). 목적은 코딩 효율을 촉진하고 하위 호환 가능한 스테레오 다운-믹스를 제공하는 적응적 다운-믹싱 방법을 찾는 것에 있다. 본 경우에서는, FR 채널과 RR 채널을 평균함으로써 새로운 우측 채널(R)을 생성하는 이상적인 스테레오 다운-믹스가 획득된다. 스테레오 다운-믹스의 좌측 채널(L)은 FL 채널과 RL 채널을 평균함으로써 획득된다. 본 경우에서는, 다운-믹싱 행렬의 통제 부분이 2개의 벡터,
Figure pct00113
와
Figure pct00114
를 포함한다. 위 벡터들을 선택한 이후에, 인코딩 알고리즘의 첫 번째 단계가 완료된다. 최초의 입력 채널이 다음의 순서, FL, RL, FR, RL의 순서로 제공됨을 가정한다. 본 예시에서, 고려된 신호에 대한 채널 간 공분산 행렬은
(식 10)
Figure pct00115
의 형식을 가진다.
변환의 통제 부분을 알고 있기 때문에, 통제되지 않은 부분은 그람-슈미트 직교 정규화를 이용하여 연산될 수 있다. 다운-믹스는 식 11에 주어진 것과 같을 수 있다.
(식 11)
Figure pct00116
공분산 행렬
Figure pct00117
는 쉽게 연산될 수 있다. 공분산 행렬의 2 × 2 블록은
(식 12)
Figure pct00118
의 형식이다.
Figure pct00119
의 KLT는
(식 13)
Figure pct00120
의 형식을 취한다.
변환 행렬
Figure pct00121
의 조정된 부분
Figure pct00122
는 식 9로부터 연산될 수 있고,
(식 14)
Figure pct00123
를 산출한다.
다운-믹스
Figure pct00124
에 대한 최종 변환은 다음의 형식을 취한다.
(식 15)
Figure pct00125
식 11에 의해 주어진 다운-믹스 행렬은 하위 호환 가능한 스테레오 다운-믹스 를 제공하는 비-적응적 다운-믹싱 방법을 제공한다. 코딩 이득(G)를 수단으로 하여 평가된 이러한 다운-믹스의 성능은 8.0이다. 고려된 예시에서는, 식 (15)에 의해 주어진 하위 호환 가능한 다운-믹싱
Figure pct00126
행렬을 이끌어내는 제안된 다운-믹싱 방법은 비-적응적 다운-믹싱 방법과 비교하여 실질적으로 향상된 26.6의 코딩 이득을 산출한다. 식 15의 변환을 적용한 이후의 채널 간 공분산을 다음과 같이 검증할 수 있다.
(식 16)
Figure pct00127
식 16으로부터 보조 채널이 서로 역상관되어 있다는 것을 알 수 있다.
하나의 가능한 실시예에서, 채널 수가 큰 경우에는, 카루넨-뤼브 변환(KLT)에 기초한 신호 적응적 다운믹스를 이용함으로써 코딩 효율이 향상될 수 있다. 본 발명에 따른 방법은 하위 호환 가능한 다운믹스 채널을 제공하는 신호 적응적 다운믹스의 생성을 촉진한다.
본 발명에 따른 방법은 특히, 다운믹스가 하나의 세트의 하위 호환 가능한 기본 채널과 하나의 세트의 보조 채널을 생성하는 경우에 이용될 수 있다. 본 발명에 따른 방법은 채널 수가 크고 하위 호환 가능한 기본 채널의 수가 적은 코딩 시나리오에 대해 이용될 수 있다.
이러한 창의적 방법의 특정 구현 조건에 따라, 본 방법은 하드웨어로 또는 소프트웨어로 또는 이들의 임의의 조합으로 구현될 수 있다.
본 구현예들은, 프로그래머블 컴퓨터 시스템과 협력하여 또는 협력이 가능하여, 그에 따라 적어도 하나의 본 창의적 방법 중의 하나의 실시예가 수행될 수 있는 디지털 저장 매체, 특히 전기적으로 판독 가능한 제어 신호가 저장되어 있는 플로피 디스크, CD, DVD 또는 블루레이 디스크, ROM, PROM, EPROM, EEPROM, 또는 플래시 메모리를 이용하여 수행될 수 있다.
따라서, 본 발명의 추가 실시예는, 기계-판독 가능한 캐리어 상에 저장되어, 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 본 창의적 방법 중 적어도 하나를 실행하기 위해 구동되는 프로그램 코드를 포함하는 컴퓨터 프로그램 제품이거나, 이를 포함한다.
즉, 본 창의적 방법의 실시예들은, 컴퓨터 프로그램이 컴퓨터, 프로세서 또는 이와 유사한 것에서 실행될 때, 적어도 하나의 본 창의적 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램이거나, 이를 포함한다.
본 발명의 추가 실시예는, 컴퓨터 프로그램 제품이 컴퓨터, 프로세서 또는 이와 유사한 것에서 실행될 때, 적어도 하나의 본 창의적 방법을 수행하도록 동작하고, 저장되어 있는 컴퓨터 프로그램을 포함하는 기계-판독 가능한 디지털 저장 매체이거나, 이를 포함한다.
본 발명의 추가 실시예는, 컴퓨터 프로그램 제품이 컴퓨터, 프로세서 또는 이와 유사한 것에서 실행될 때, 적어도 하나의 본 창의적 방법을 수행하도록 동작하는 컴퓨터 프로그램을 표현하는 데이터 스트림 또는 일련의 신호이거나, 이를 포함한다.
본 발명의 추가 실시예는, 적어도 하나의 본 창의적 방법을 수행하도록 조정된 컴퓨터, 프로세서 또는 임의의 다른 프로그래머블 로직 디바이스이거나, 이를 포함한다.
본 발명의 추가 실시예는, 컴퓨터 프로그램 제품이 컴퓨터, 프로세서 또는 임의의 다른 프로그래머블 로직 디바이스, 예컨대 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)에서 실행될 때, 적어도 하나의 본 창의적 방법을 수행하기 위해 동작하는 저장된 컴퓨터 프로그램을 포함하는 컴퓨터, 프로세서, 또는 임의의 다른 프로그래머블 로직 디바이스이거나, 이를 포함한다.
전술한 발명들이 특히 본 발명의 특정 실시예들을 참조하여 도시되고 설명되었으나, 통상의 기술자라면, 본 발명의 사상이나 범위를 벗어남이 없이 그 형식에 대한 다양한 다른 변형과 그 상세가 충분히 가능한 것으로 이해될 것이다. 따라서, 본 명세서에 개시되고 이후의 특허청구범위에 의해 파악되는 넓은 개념을 벗어남이 없이, 다양한 변형들이 상이한 실시예들을 변경함으로써 이루어질 수 있는 것으로 이해될 것이다.

Claims (21)

  1. 특정 수(M개)의 입력 채널을 포함하는 멀티-채널 오디오 신호의 적응적 다운-믹싱(adaptive down-mixing)을 수행하기 위한 방법으로서,
    상기 입력 채널의 신호 적응적 변환은, 하나의 세트(N개)의 하위 호환 가능한 기본 채널을 제공하기 위한 고정 블록(WO)과 하나의 세트(M-N개)의 보조 채널을 제공하기 위한 신호 적응적 블록(Wx)을 포함하는 다운믹스 블록 행렬(WT)을 상기 입력 채널에 곱하는 것에 의해 수행되는, 방법.
  2. 제1항에 있어서,
    상기 다운믹스 블록 행렬(WT)의 신호 적응적 블록이 상기 입력 채널의 채널 간 공분산(interchannel covariance)에 따라 조정되는, 방법.
  3. 제2항에 있어서,
    상기 입력 채널의 채널 간 공분산에 대한 예비 공분산 행렬(∑X)이 예비 직교 정규화 변환(V)을 수단으로 하여 계산되는, 방법.
  4. 제3항에 있어서,
    상기 예비 직교 정규화 변환(V)이 그람-슈미트 직교 정규화(Gram-Schmidt procedure)의 개시 시점의 상기 고정 블록(WO)에 기초하여 계산되는, 방법.
  5. 제3항에 있어서,
    카루넨-뤼브 변환(Karhunen-Loeve-transformation, KLT) 행렬 Q가 상기 예비 공분산 행렬(∑X)의 블록에 대해 계산되는, 방법.
  6. 제5항에 있어서,
    상기 다운믹스 블록 행렬의 신호 적응적 블록은 상기 KLT 행렬 Q에 기초하여 계산되는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 하위 호환 가능한 기본 채널은 단일 레가시 인코더(legacy encoder)(8)에 의해 또는 대응하는 수(N개)의 레가시 인코더에 의해 인코딩되어, 하위 호환 가능한 기본 레가시 비트 스트림을 생성하고,
    상기 보조 채널은 공통 멀티-채널 인코더(9)에 의해 또는 대응하는 수의 보조 채널 인코더에 의해 인코딩되어, 상기 보조 채널 각각에 대한 보조 비트 스트림을 생성하는, 방법.
  8. 제7항에 있어서,
    상기 기본 비트 스트림은 상기 보조 비트 스트림과 함께,
    상기 기본 채널의 재구성을 위해 상기 하위 호환 가능한 기본 비트 스트림을 디코딩하도록 조정된 단일의 레가시 디코더(legacy decoder)(10) 또는 대응하는 수의 레가시 디코더, 및
    상기 보조 채널의 재구성을 위해 상기 보조 비트 스트림을 디코딩하도록 조정된 단일의 보조 채널 디코더(12) 또는 대응하는 수의 보조 채널 디코더
    를 포함하는 무선 디코더에 전송되는, 방법.
  9. 제8항에 있어서,
    비트 스트림의 유형이 상기 무선 디코더에 시그널링되고,
    상기 유형의 시그널링은,
    적어도 하나의 비트 스트림에 이송된 예비 데이터(auxiliary data)를 수단으로 한 내재 시그널링(implicit signalling)에 의해, 또는
    상기 비트 스트림 각각의 유형을 나타내는 플래그를 수단으로 한 외재 시그널링(explicit signalling)에 의해 수행되는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 특정 수(M)의 입력 채널의 신호 적응적 변환이 상기 다운믹스 블록 행렬(WT)을 입력 채널에 곱하는 것에 의해 수행되어, 상기 하나의 세트의 하위 호환 가능한 기본 채널과 하나의 세트의 예비 채널을 제공하고,
    상기 하나의 세트의 예비 채널에 카루넨-뤼브 변환(KLT)이 적용되어 상기 하나의 세트의 보조 채널을 제공하는, 방법.
  11. 수신된 비트 스트림의 적응적 업-믹싱을 수행하기 위한 방법으로서,
    하위 호환 가능한 기본 비트 스트림이 레가시 디코더(10)에 의해 디코딩되어, 대응하는 기본 채널을 재구성하고,
    보조 비트 스트림이 보조 채널 디코더(12)에 의해 디코딩되어, 대응하는 보조 채널을 재구성하며,
    상기 디코딩된 비트 스트림들의 신호 적응적 역변환이 업믹스 블록 행렬(W)을 수단으로 하여 수행됨으로써, 특정 수(M)의 출력 채널을 포함하는 멀티-채널 오디오 신호를 재구성하는, 방법.
  12. 제11항에 있어서,
    상기 업믹스 블록 행렬(W)의 신호 적응적 블록(Wx)이 입력 채널의 디코딩된 채널 간 공분산에 따라 조정되는, 방법.
  13. 제12항에 있어서,
    상기 입력 채널의 채널 간 공분산에 대한 예비 공분산 행렬(∑X)이 디코딩되는, 방법.
  14. 제13항에 있어서,
    예비 직교 정규화 역변환이 그람-슈미트 직교 정규화의 개시 시점의 고정 블록(WO)에 기초하여 계산되는, 방법.
  15. 제13항에 있어서,
    카루넨-뤼브 변환(KLT) 행렬이 상기 예비 공분산 행렬(∑X)의 블록에 대해 계산되는, 방법.
  16. 제15항에 있어서,
    상기 업믹스 블록 행렬(W)의 신호 적응적 블록(Wx)이 상기 계산된 카루넨-뤼브 변환(KLT) 행렬에 기초하여 계산되는, 방법.
  17. 특정 수(M개)의 입력 채널을 포함하는 멀티-채널 오디오 신호의 적응적 다운-믹싱을 수행하도록 조정된 다운-믹싱 장치(7)로서,
    하나의 세트의 하위 호환 가능한 기본 채널을 제공하기 위한 고정 블록(WO)과 하나의 세트의 보조 채널을 제공하기 위한 신호 적응적 블록(Wx)을 포함하는 다운믹스 블록 행렬(WT)을 상기 입력 채널에 곱하는 것에 의해, 상기 입력 채널의 신호 적응적 변환을 수행하도록 조정된 신호 적응적 변환 유닛을 포함하는 다운-믹싱 장치.
  18. 제17항의 다운-믹싱 장치를 포함하는 인코딩 장치(2)로서,
    상기 하위 호환 가능한 기본 채널을 인코딩하여, 하위 호환 가능한 기본 비트 스트림을 생성하도록 조정된 적어도 하나의 레가시 인코더(8); 및
    상기 보조 채널을 인코딩하여, 보조 비트 스트림을 생성하도록 조정된 적어도 하나의 보조 채널 인코더(9)를 포함하는 인코딩 장치.
  19. 디코딩된 기본 비트 스트림과 디코딩된 보조 비트 스트림을 포함하는 디코딩된 비트 스트림들의 적응적 업-믹싱을 수행하도록 조정된 업-믹싱 장치(11)로서,
    상기 디코딩된 기본 비트 스트림에 대한 고정 블록과 상기 디코딩된 보조 비트 스트림에 대한 신호 적응적 블록을 포함하는 업믹스 블록 행렬(W)을 상기 디코딩된 비트 스트림들에 곱함으로써, 상기 디코딩된 비트 스트림들의 신호 적응적 역변환을 수행하도록 조정된 신호 적응적 재변환 유닛을 포함하는 업-믹싱 장치.
  20. 제19항의 업-믹싱 장치를 포함하는 디코딩 장치(3)로서,
    수신된 하위 호환 가능한 기본 비트 스트림을 디코딩하여, 상기 업-믹싱 장치(11)에 공급되는 디코딩된 기본 비트 스트림을 생성하도록 조정된 적어도 하나의 레가시 디코더(10); 및
    수신된 보조 비트 스트림을 디코딩하여, 상기 업-믹싱 장치(11)에 공급되는 디코딩된 보조 비트 스트림을 생성하도록 조정된 적어도 하나의 보조 채널 디코더(12)를 포함하는 디코딩 장치.
  21. 오디오 시스템(1)으로서,
    제18항에 따른 적어도 하나의 인코딩 장치(2); 및
    제20항에 따른 적어도 하나의 디코딩 장치(3)
    를 포함하고,
    상기 인코딩 장치(2)와 상기 디코딩 장치(3)는 서로 네트워크(4)를 통해 연결되어 있는, 오디오 시스템.
KR1020147025117A 2012-02-14 2012-02-14 멀티-채널 오디오 신호의 적응적 다운-믹싱 및 업-믹싱을 수행하기 위한 방법 및 장치 KR101662680B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/052443 WO2013120510A1 (en) 2012-02-14 2012-02-14 A method and apparatus for performing an adaptive down- and up-mixing of a multi-channel audio signal

Publications (2)

Publication Number Publication Date
KR20140130464A true KR20140130464A (ko) 2014-11-10
KR101662680B1 KR101662680B1 (ko) 2016-10-05

Family

ID=45808773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147025117A KR101662680B1 (ko) 2012-02-14 2012-02-14 멀티-채널 오디오 신호의 적응적 다운-믹싱 및 업-믹싱을 수행하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US9514759B2 (ko)
EP (1) EP2815399B1 (ko)
JP (1) JP5930441B2 (ko)
KR (1) KR101662680B1 (ko)
CN (1) CN103493128B (ko)
WO (1) WO2013120510A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2823649B1 (en) * 2012-03-05 2017-04-19 Institut für Rundfunktechnik GmbH Method and apparatus for down-mixing of a multi-channel audio signal
EP3503095A1 (en) 2013-08-28 2019-06-26 Dolby Laboratories Licensing Corp. Hybrid waveform-coded and parametric-coded speech enhancement
EP2854133A1 (en) * 2013-09-27 2015-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation of a downmix signal
KR102244379B1 (ko) * 2013-10-21 2021-04-26 돌비 인터네셔널 에이비 오디오 신호들의 파라메트릭 재구성
WO2015150480A1 (en) * 2014-04-02 2015-10-08 Dolby International Ab Exploiting metadata redundancy in immersive audio metadata
JP6437136B2 (ja) * 2015-04-30 2018-12-12 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． オーディオ信号処理装置および方法
WO2016173659A1 (en) 2015-04-30 2016-11-03 Huawei Technologies Co., Ltd. Audio signal processing apparatuses and methods
WO2018001500A1 (en) * 2016-06-30 2018-01-04 Huawei Technologies Duesseldorf Gmbh Apparatuses and methods for encoding and decoding a multichannel audio signal
KR102432406B1 (ko) * 2018-09-05 2022-08-12 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
GB2611154A (en) 2021-07-29 2023-03-29 Canon Kk Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
GB2611157A (en) 2021-07-30 2023-03-29 Canon Kk Image pickup apparatus used as action camera, calibration system, control method for image pickup apparatus, and storage medium storing control program for...
KR20230019016A (ko) 2021-07-30 2023-02-07 캐논 가부시끼가이샤 액션 카메라로서 사용되는 촬상장치
GB2611156B (en) 2021-07-30 2024-06-05 Canon Kk Image capture apparatus, control method, and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080103094A (ko) * 2006-03-29 2008-11-26 돌비 스웨덴 에이비 감소된 개수의 채널 디코딩

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594800A (en) * 1991-02-15 1997-01-14 Trifield Productions Limited Sound reproduction system having a matrix converter
DK1173925T3 (da) * 1999-04-07 2004-03-29 Dolby Lab Licensing Corp Matriksforbedringer til tabsfri kodning og dekodning
US6534126B1 (en) 2000-11-13 2003-03-18 Dow Corning Corporation Coatings for polymeric substrates
US7813513B2 (en) * 2004-04-05 2010-10-12 Koninklijke Philips Electronics N.V. Multi-channel encoder
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
MX2007011915A (es) * 2005-03-30 2007-11-22 Koninkl Philips Electronics Nv Codificacion de audio multicanal.
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
JP5133401B2 (ja) * 2007-04-26 2013-01-30 ドルビー・インターナショナル・アクチボラゲット 出力信号の合成装置及び合成方法
KR101283783B1 (ko) * 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
US20100324915A1 (en) 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
RU2576476C2 (ru) * 2009-09-29 2016-03-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф., Декодер аудиосигнала, кодер аудиосигнала, способ формирования представления сигнала повышающего микширования, способ формирования представления сигнала понижающего микширования, компьютерная программа и бистрим, использующий значение общего параметра межобъектной корреляции
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080103094A (ko) * 2006-03-29 2008-11-26 돌비 스웨덴 에이비 감소된 개수의 채널 디코딩

Also Published As

Publication number Publication date
JP5930441B2 (ja) 2016-06-08
US9514759B2 (en) 2016-12-06
EP2815399B1 (en) 2016-02-10
KR101662680B1 (ko) 2016-10-05
CN103493128B (zh) 2015-05-27
EP2815399A1 (en) 2014-12-24
JP2015507228A (ja) 2015-03-05
WO2013120510A1 (en) 2013-08-22
CN103493128A (zh) 2014-01-01
US20140355767A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
KR101662680B1 (ko) 멀티-채널 오디오 신호의 적응적 다운-믹싱 및 업-믹싱을 수행하기 위한 방법 및 장치
RU2690885C1 (ru) Стереофонический кодер и декодер аудиосигналов
JP4601669B2 (ja) マルチチャネル信号またはパラメータデータセットを生成する装置および方法
US9966080B2 (en) Audio object encoding and decoding
CN105580073B (zh) 音频解码器、音频编码器、方法和计算机可读存储介质
US8180061B2 (en) Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
RU2576476C2 (ru) Декодер аудиосигнала, кодер аудиосигнала, способ формирования представления сигнала повышающего микширования, способ формирования представления сигнала понижающего микширования, компьютерная программа и бистрим, использующий значение общего параметра межобъектной корреляции
US9502040B2 (en) Encoding and decoding of slot positions of events in an audio signal frame
JP5166292B2 (ja) 主成分分析によりマルチチャネルオーディオ信号を符号化するための装置および方法
TW201316327A (zh) 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法
JP5511848B2 (ja) 音声符号化装置および音声符号化方法
JP6686015B2 (ja) オーディオ信号のパラメトリック混合
AU2015201672B2 (en) Apparatus for generating a decorrelated signal using transmitted phase information
TW202429446A (zh) 用於具有元資料之參數化經寫碼獨立串流之不連續傳輸的解碼器及解碼方法
TW202411984A (zh) 用於具有元資料之參數化經寫碼獨立串流之不連續傳輸的編碼器及編碼方法
CN118414660A (zh) 用于对基于场景的沉浸式音频内容进行编码或解码的方法和设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 4