KR102381216B1 - 오디오 신호들의 파라메트릭 재구성 - Google Patents

오디오 신호들의 파라메트릭 재구성 Download PDF

Info

Publication number
KR102381216B1
KR102381216B1 KR1020217011678A KR20217011678A KR102381216B1 KR 102381216 B1 KR102381216 B1 KR 102381216B1 KR 1020217011678 A KR1020217011678 A KR 1020217011678A KR 20217011678 A KR20217011678 A KR 20217011678A KR 102381216 B1 KR102381216 B1 KR 102381216B1
Authority
KR
South Korea
Prior art keywords
signal
upmix
matrix
channel
wet
Prior art date
Application number
KR1020217011678A
Other languages
English (en)
Other versions
KR20210046848A (ko
Inventor
라르스 빌레모에스
하이디-마리아 레토넨
하이코 푸른하겐
토니 히르보넨
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Priority to KR1020227010258A priority Critical patent/KR102486365B1/ko
Publication of KR20210046848A publication Critical patent/KR20210046848A/ko
Application granted granted Critical
Publication of KR102381216B1 publication Critical patent/KR102381216B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)

Abstract

인코딩 시스템(400)은 드라이 및 웨트 업믹스 파라미터들(C, P)과 함께 단일-채널 다운믹스 신호(Y)로서, N-채널 오디오 신호(X)를 인코드하고, 여기서, N≥3이다. 디코딩 시스템(200)에서, 역상관부(101)는 다운믹스 신호에 기초하여, (N-1)-채널 역상관된 신호(Z)를 출력하고; 드라이 업믹스부(102)는 드라이 업믹스 파라미터들에 기초하여 결정된 드라이 업믹스 계수들(C)에 따라 다운믹스 신호를 선형으로 맵핑하고; 웨트 업믹스부(103)는 중간 행렬을, 웨트 업믹스 파라미터들에 기초하여 그리고 중간 행렬이 미리 정해진 행렬 부류에 속한다는 것을 알고서, 파퓰레이트하고, 중간 행렬에 미리 정해진 행렬을 곱함으로써 웨트 업믹스 계수들(P)을 획득하고, 웨트 업믹스 계수들에 따라 역상관된 신호를 선형으로 맵핑하고; 조합부(104)는 업믹스부들로부터의 출력들을 조합하여, 재구성될 신호에 대응하는 재구성된 신호(X)를 획득한다.

Description

오디오 신호들의 파라메트릭 재구성{PARAMETRIC RECONSTRUCTION OF AUDIO SIGNALS}
관련 출원들의 상호 참조
본원은 각각이 본원에 전체적으로 참조로 포함된, 2013년 10월 21일자 출원된 미국 가 출원 번호 61/893,770; 2014년 4월 3일자 출원된 미국 가 출원 번호 61/974,544; 및 2014년 8월 15일자 출원된 미국 가 출원 번호 62/037,693을 우선권 주장한다.
발명의 기술 분야
여기에 개시된 발명은 일반적으로 오디오 신호들의 인코딩 및 디코딩, 및 특히 다운믹스 신호 및 관련된 메타데이터로부터의 다채널 오디오 신호의 파라메트릭 재구성에 관한 것이다.
다수의 확성 스피커를 포함하는 오디오 재생 시스템들은 다채널 오디오 신호에 의해 나타나는 오디오 장면을 재생하는 데 자주 사용되고, 여기서 다채널 오디오 신호의 각각의 채널들은 각각의 확성 스피커들 상에서 재생된다. 다채널 오디오 신호는 예를 들어 복수의 음향 트랜스듀서를 통해 기록되거나 오디오 오더링(authoring) 장비에 의해 발생될 수 있을 것이다. 많은 상황들에서, 오디오 신호를 재생 장비에 송신하기 위한 대역폭 제한들 및/또는 오디오 신호를 컴퓨터 메모리 내에 또는 휴대용 저장 디바이스 상에 저장하기 위한 제한된 공간이 있다. 오디오 신호들의 파라메트릭(parametric) 코딩을 위한 오디오 코딩 시스템들이 존재하여, 필요한 대역폭 또는 저장 크기를 감소시킨다. 인코더 측 상에서, 이들 시스템은 전형적으로 다채널 오디오 신호를, 전형적으로 모노(1 채널) 또는 스테레오(2 채널) 다운믹스인, 다운믹스 신호로 다운믹스하고, 레벨 차이들 및 교차 상관(cross-correlation)과 같은 파라미터들에 의해 채널들의 특성들을 묘사하는 부가 정보를 추출한다. 다운믹스 및 부가 정보는 다음에 인코드되어 디코더 측에 보내진다. 디코더 측 상에서, 다채널 오디오 신호는 부가 정보의 파라미터들의 제어하에서 다운믹스로부터 재구성 즉, 근사화된다.
그들의 가정 내에서의 최종 사용자들을 겨냥한 부상하는 세그먼트를 포함하는, 다채널 오디오 콘텐츠의 재생을 위해 가용한 디바이스들 및 시스템들의 광범위한 상이한 타입들에 비추어서, 대역폭 요건들 및/또는 저장을 위한 요구된 메모리 크기를 감소시키고/시키거나 디코더 측에서의 다채널 오디오 신호의 재구성을 용이하게 하도록, 다채널 오디오 콘텐츠를 효율적으로 인코드하는 신규하고 대안적인 방식들이 필요하다.
다음에, 첨부 도면을 참조하여 예시적인 실시예들이 아래에 더 상세히 설명된다.
도 1은 예시적인 실시예에 따른, 단일-채널 다운믹스 신호 및 관련된 드라이 및 웨트 업믹스 파라미터들에 기초하여 다채널 오디오 신호를 재구성하는 파라메트릭 재구성부의 일반화된 블록도이고;
도 2는 예시적인 실시예에 따른, 도 1에 도시된 파라메트릭 재구성부를 포함하는 오디오 디코딩 시스템의 일반화된 블록도이고;
도 3은 예시적인 실시예에 따른, 단일-채널 다운믹스 신호 및 관련된 메타데이터로서 다채널 오디오 신호를 인코딩하는 파라메트릭 인코딩부의 일반화된 블록도이고;
도 4는 예시적인 실시예에 따른, 도 3에 도시된 파라메트릭 인코딩부를 포함하는 오디오 인코딩 시스템의 일반화된 블록도이고;
도 5-11은 예시적인 실시예들에 따른, 다운믹스 채널들에 의해 11.1 채널 오디오 신호를 나타내는 대안적 방식들을 도시하고;
도 12-13은 예시적인 실시예들에 따른, 다운믹스 채널들에 의해 13.1 채널 오디오 신호를 나타내는 대안적 방식들을 도시하고;
도 14-16은 예시적인 실시예들에 따른, 다운믹스 신호들에 의해 22.2 채널 오디오 신호를 나타내는 대안적 방식들을 도시한다.
모든 도면은 본 발명을 더 자세히 설명하기 위해 필요한 부분들을 단지 개략적이고 일반적으로 도시하지만, 다른 부분들은 생략될 수 있거나 단지 제안될 수 있다.
여기에 사용된 바와 같이, 오디오 신호는 순수한 오디오 신호, 시청각 신호의 오디오 부분 또는 멀티미디어 신호 또는 메타데이터와 조합한 이들 중 어느 것일 수 있다.
여기에 사용된 바와 같이, 채널은 미리 정해진/고정된 공간적 위치/배향 또는 "좌" 또는 "우"와 같이 정해지지 않은 공간적 위치에 관련된 오디오 신호이다.
Ⅰ. 개관
제1 양태에 따라, 예시적인 실시예들은 오디오 신호를 재구성하는 방법들 및 컴퓨터 프로그램 제품들뿐만 아니라 오디오 디코딩 시스템들을 제안한다. 제1 양태에 따른, 제안된 디코딩 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 일반적으로 동일한 특징들 및 장점들을 공유할 수 있다.
예시적인 실시예들에 따라, N-채널 오디오 신호를 재구성하고, 여기서, N≥3인, 방법이 제공된다. 이 방법은 관련된 드라이 및 웨트 업믹스 파라미터들과 함께, 단일-채널 다운믹스 신호, 또는 더 많은 오디오 신호들의 재구성을 위한 데이터를 전달하는 다채널 다운믹스 신호의 채널을 수신하는 단계; 다운믹스 신호의 선형 맵핑으로서, 드라이 업믹스 신호라고 하는 복수(N)의 채널을 갖는 제1 신호를 계산하는 단계 - 드라이 업믹스 계수들의 세트는 드라이 업믹스 신호를 계산하는 부분으로서 다운믹스 신호에 적용됨 -; 다운믹스 신호에 기초하여 (N-1)-채널 역상관된(decorrelated) 신호를 발생하고; 역상관된 신호의 선형 맵핑으로서, 웨트 업믹스 신호라고 하는, 복수(N)의 채널을 갖는 추가 신호를 계산하는 단계 - 웨트 업믹스 계수들의 세트는 웨트 업믹스 신호를 계산하는 부분으로서 비상관된 신호의 채널들에 적용됨 -; 드라이 업믹스 신호와 웨트 업믹스 신호를 조합하여, 재구성될 N-채널 오디오 신호에 대응하는 다차원 재구성된 신호를 획득하는 단계를 포함한다. 상기 방법은 수신된 드라이 업믹스 파라미터들에 기초하여 드라이 업믹스 계수들의 세트를 결정하는 단계; 수신된 웨트 업믹스 파라미터들의 수보다 많은 요소들을 갖는 중간 행렬을, 수신된 웨트 업믹스 파라미터들에 기초하여 그리고 중간 행렬이 미리 정해진 행렬 부류에 속한다는 것을 알고서, 파퓰레이트(populate)하는 단계; 중간 행렬에 미리 정해진 행렬을 곱함으로써 웨트 업믹스 계수들의 세트를 획득하는 단계를 더 포함하고, 업믹스 계수들의 세트는 곱셈으로부터 생기는 행렬에 대응하고 중간 행렬 내의 요소들의 수보다 많은 계수들을 포함한다.
이 예시적인 실시예에서, N-채널 오디오 신호를 재구성하기 위해 이용된 웨트 업믹스 계수들의 수는 수신된 웨트 업믹스 파라미터들의 수보다 크다. 수신된 웨트 업믹스 파라미터들로부터 웨트 업믹스 계수들을 획득하기 위한 미리 정해진 행렬 및 미리 정해진 행렬 부류의 지식을 이용함으로써, N-채널 오디오 신호의 재구성을 가능하게 하는 데 필요한 정보의 양이 감소될 수 있어서, 인코더 측으로부터 다운믹스 신호와 함께 송신된 메타데이터의 양을 감소시킬 수 있다. 파라메트릭 재구성을 위해 필요한 데이터의 양을 감소시킴으로써, N-채널 오디오 신호의 파라메트릭 표현의 송신을 위한 요구된 대역폭, 및/또는 이러한 표현을 저장하기 위한 요구된 메모리 크기가 감소될 수 있다.
(N-1)-채널 역상관된 신호는 청취자에 의해 인지되는, 재구성된 N-채널 오디오 신호의 콘텐츠의 차원수를 증가시키는 역할을 한다. (N-1)-채널 역상관된 신호의 채널들은 단일-채널 다운믹스 신호와 적어도 거의 동일한 스펙트럼을 가질 수 있거나, 단일-채널 다운믹스 신호의 스펙트럼의 리스케일된/정규화된 버전들에 대응하는 스펙트럼들을 가질 수 있고, 단일-채널 다운믹스 신호와 함께, N개의 적어도 거의 상호 비상관된 채널들(mutually uncorrelated channels)을 형성할 수 있다. N-채널 오디오 신호의 채널들의 충실한 재구성을 제공하기 위해서, 역상관된 신호의 채널들 각각은 바람직하게는 다운믹스 신호와 유사한 것으로 청취자에 의해 인지되도록 하는 그러한 특성들을 갖는다. 그러므로, 상호 비상관된 신호들을 예를 들어, 백색 잡음으로부터의 주어진 스펙트럼과 합성하는 것이 가능하지만, 역상관된 신호의 채널들은 바람직하게는 음색과 같이, 비교적 더 감지하기 힘든 음향 심리학적으로(psycho-acoustically) 조정된 특성들을 포함하는, 다운믹스 신호의 특별히 로컬한 고정 특성들을, 가능한 한 많이 보존하도록, 예를 들어, 각각의 전역 통과 필터들을 다운믹스 신호에 적용하거나 다운믹스 신호의 부분들을 재조합하는 것을 포함하는, 다운믹스 신호의 처리에 의해 도출된다.
웨트 업믹스 신호와 드라이 업믹스 신호를 조합하는 것은 샘플마다 또는 변환 계수마다 기초하는 부가 믹싱과 같이, 웨트 업믹스 신호의 각각의 채널들로부터의 오디오 콘텐츠를 드라이 업믹스 신호의 각각의 대응하는 채널들의 오디오 콘텐츠에 부가하는 것을 포함할 수 있다.
미리 정해진 행렬 부류는 행렬 요소들의 일부, 또는 제로인 일부 행렬 요소들 간의 소정의 관계들과 같이, 부류 내의 모든 행렬들에 대해 유효한 적어도 일부의 행렬 요소들의 알려진 특성들과 관련될 수 있다. 이들 특성을 알면 중간 행렬 내의 행렬 요소들의 전체 수보다 적은 웨트 업믹스 파라미터들에 기초하여 중간 행렬을 파퓰레이트하는 것이 가능해진다. 디코더 측은 보다 적은 수의 웨트 업믹스 파라미터들에 기초하여 모든 행렬 요소들을 계산하는 데 필요한 요소들의 특성들 및 그들 간의 관계들의 지식을 적어도 갖는다.
드라이 업믹스 신호가 다운믹스 신호의 선형 맵핑이 된다는 것은 드라이 업믹스 신호가 제1 선형 변환을 다운믹스 신호에 적용함으로써 획득된다는 것을 의미한다. 제1 변환은 입력으로서 하나의 채널을 취하고 출력으로서 N개의 채널들을 제공하고, 드라이 업믹스 계수들은 이 제1 선형 변환의 정량적 특성들을 정의하는 계수들이다.
웨트 업믹스 신호가 역상관된 신호의 선형 맵핑이 된다는 것은 웨트 업믹스 신호가 제2 선형 변환을 역상관된 신호에 적용함으로써 획득된다는 것을 의미한다. 이 제2 변환은 입력으로서 N-1개의 채널들을 취하고 출력으로서 N개의 채널들을 제공하고, 웨트 업믹스 계수들은 제2 선형 변환의 정량적 특성들을 정의하는 계수들이다.
예시적인 실시예에서, 웨트 업믹스 파라미터들을 수신하는 것은 N(N-1)/2개의 웨트 업믹스 파라미터들을 수신하는 것을 포함할 수 있다. 본 예시적인 실시예에서, 중간 행렬을 파퓰레이트하는 것은 수신된 N(N-1)/2개의 웨트 업믹스 파라미터들에 기초하여 그리고 중간 행렬이 미리 정해진 행렬 부류에 속한다는 것을 알고서, (N-1)2개의 행렬 요소들에 대한 값들을 획득하는 것을 포함할 수 있다. 이것은 행렬 요소들로서 즉각 웨트 업믹스 파라미터들의 값들을 삽입하거나, 행렬 요소들에 대한 값들을 도출하는 적합한 방식으로 웨트 업믹스 파라미터들을 처리하는 것을 포함할 수 있다. 본 예시적인 실시예에서, 미리 정해진 행렬은 N(N-1)개의 요소들을 포함할 수 있고, 웨트 업믹스 계수들의 세트는 N(N-1)개의 계수들을 포함할 수 있다. 예를 들어, 웨트 업믹스 파라미터들을 수신하는 것은 N(N-1)/2개 미만의 독립적으로 할당가능한 웨트 업믹스 파라미터들을 수신하는 것을 포함할 수 있고/있거나 수신된 웨트 업믹스 파라미터들의 수는 N-채널 오디오 신호를 재구성하기 위해 이용되는 웨트 업믹스 계수들의 수의 반보다 크지 않을 수 있다.
역상관된 신호의 채널들의 선형 맵핑으로서 웨트 업믹스 신호의 채널을 형성할 때 역상관된 신호의 채널로부터 기여를 생략하는 것은 그 채널에 값 제로를 갖는 계수를 적용하는 것에 대응하는데, 즉 채널로부터 기여를 생략하는 것은 선형 맵핑의 부분으로서 적용된 계수들의 수에 영향을 주지 않는다는 것을 이해할 것이다.
예시적인 실시예에서, 중간 행렬을 파퓰레이트하는 것은 중간 행렬 내의 요소들로서 수신된 웨트 업믹스 파라미터들을 이용하는 것을 포함할 수 있다. 수신된 웨트 업믹스 파라미터들은 더 이상 처리되지 않고 중간 행렬 내의 요소들로서 이용되기 때문에, 중간 행렬을 파퓰레이트하고, 업믹스 계수들을 획득하기 위해 요구되는 계산들의 복잡성이 감소될 수 있고, N-채널 오디오 신호의 계산적으로 보다 효율적인 재구성이 가능해진다.
예시적인 실시예에서, 드라이 업믹스 파라미터들을 수신하는 것은 (N-1)개의 드라이 업믹스 파라미터들을 수신하는 것을 포함할 수 있다. 본 예시적인 실시예에서, 드라이 업믹스 계수들의 세트는 N개의 계수들을 포함할 수 있고, 드라이 업믹스 계수들의 세트는 수신된 (N-1)개의 드라이 업믹스 파라미터들에 기초하여 그리고 드라이 업믹스 계수들의 세트에서의 계수들 간의 미리 정해진 관계에 기초하여 결정된다. 예를 들어, 드라이 업믹스 파라미터들을 수신하는 것은 (N-1)개 미만의 독립적으로 할당가능한 드라이 업믹스 파라미터들을 수신하는 것을 포함할 수 있다. 예를 들어, 다운믹스 신호는 재구성될 N-채널 오디오 신호의 선형 맵핑으로서, 미리 정해진 규칙에 따라, 획득가능할 수 있고, 드라이 업믹스 계수들 간의 미리 정해진 관계는 미리 정해진 규칙에 기초할 수 있다.
예시적인 실시예에서, 미리 정해진 행렬 부류는 하삼각 행렬 또는 상삼각 행렬 - 그 부류 내의 모든 행렬들의 알려진 특성들은 제로인 미리 정해진 행렬 요소들을 포함함 -; 대칭 행렬들 - 그 부류 내의 모든 행렬들의 알려진 특성들은 동일한 미리 정해진 행렬 요소들(주 대각선의 어느 한 측 상에 있음)을 포함함 -; 및 직교 행렬과 대각선 행렬의 곱들 - 그 부류 내의 모든 행렬들의 알려진 특성들은 미리 정해진 행렬 요소들 간의 알려진 관계들을 포함함 - 중 하나일 수 있다. 바꾸어 말하면, 미리 정해진 행렬 부류는 하삼각 행렬들의 부류, 상삼각 행렬들의 부류, 대칭 행렬들의 부류 또는 직교 행렬과 대각선 행렬의 곱들의 부류일 수 있다. 상기 부류들 각각의 공통적인 특성은 그것의 차원수가 행렬 요소들의 전체 수보다 적다는 것이다.
예시적인 실시예에서, 다운믹스 신호는 재구성될 N-채널 오디오 신호의 선형 맵핑으로서, 미리 정해진 규칙에 따라 획득가능할 수 있다. 본 예시적인 실시예에서, 미리 정해진 규칙은 미리 정해진 다운믹스 동작을 정의할 수 있고, 미리 정해진 행렬은 미리 정해진 다운믹스 동작의 커널 공간에 걸치는 벡터들에 기초할 수 있다. 예를 들어, 미리 정해진 행렬의 행들 또는 열들은 기저, 예를 들어, 미리 정해진 다운믹스 동작의 커널 공간을 위한, 정규 직교 기저를 형성하는 벡터들일 수 있다.
예시적인 실시예에서, 관련된 드라이 및 웨트 업믹스 파라미터들과 함께 단일-채널 다운믹스 신호를 수신하는 것은 다운믹스 신호의 시간 세그먼트 또는 시간/주파수 타일을 그 시간 세그먼트 또는 시간/주파수 타일과 관련된 드라이 및 웨트 업믹스 파라미터들과 함께 수신하는 것을 포함할 수 있다. 본 예시적인 실시예에서, 다차원 재구성된 신호는 재구성될 N-채널 오디오 신호의 시간 세그먼트 또는 시간/주파수 타일에 대응할 수 있다. 바꾸어 말하면, N-채널 오디오 신호의 재구성은 적어도 일부 예시적인 실시예들에서 한 번에 하나의 시간 세그먼트 또는 시간/주파수 타일에 대해 수행될 수 있다. 오디오 인코딩/디코딩 시스템들은 전형적으로 예를 들어, 적합한 필터 뱅크들을 입력 오디오 신호들에 적용함으로써 시간-주파수 공간을 시간/주파수 타일들로 나눈다. 시간/주파수 타일은 일반적으로 시간 간격/세그먼트 및 주파수 서브-밴드에 대응하는 시간-주파수 공간의 부분을 의미한다.
예시적인 실시예들에 따라, 제1 단일-채널 다운믹스 신호 및 관련된 드라이 및 웨트 업믹스 파라미터들에 기초하여 N-채널 오디오 신호를 재구성하도록 구성된 제1 파라메트릭 재구성부를 포함하고, 여기서 N≥3인, 오디오 디코딩 시스템이 제공된다. 제1 파라메트릭 재구성부는 제1 다운믹스 신호를 수신하고, 그에 기초하여, 제1 N-1-채널 역상관된 신호를 출력하도록 구성된 제1 역상관부(decorrelating section)를 포함한다. 제1 파라메트릭 재구성부는 드라이 업믹스 파라미터들 및 다운믹스 신호를 수신하고; 드라이 업믹스 파라미터들에 기초하여 드라이 업믹스 계수들의 제1 세트를 결정하고; 드라이 업믹스 계수들의 제1 세트에 따라 제1 다운믹스 신호를 선형으로 맵핑함으로써 계산된 제1 드라이 업믹스 신호를 출력하도록 구성된 제1 드라이 업믹스부를 또한 포함한다. 바꾸어 말하면, 제1 드라이 업믹스 신호의 채널들은 드라이 업믹스 계수들 자체들일 수 있거나, 드라이 업믹스 계수들을 통해 제어가능한 계수들일 수 있는, 각각의 계수들을 단일-채널 다운믹스 신호에 곱함으로써 획득된다. 제1 파라메트릭 재구성부는 웨트 업믹스 파라미터들 및 제1 역상관된 신호를 수신하고; 수신된 웨트 업믹스 파라미터들의 수보다 많은 요소들을 갖는 제1 중간 행렬을, 수신된 웨트 업믹스 파라미터들에 기초하여 그리고 제1 중간 행렬이 제1 미리 정해진 행렬 부류에 속한다는 것을 알고서, 파퓰레이트하고, 즉 미리 정해진 행렬 부류 내의 모든 행렬들에 해당하는 것으로 알려진 소정의 행렬 요소들의 특성들을 이용하고; 제1 중간 행렬에 제1 미리 정해진 행렬을 곱함으로써 웨트 업믹스 계수들의 제1 세트를 획득하고 - 웨트 업믹스 계수들의 제1 세트는 곱셈으로부터 생기는 행렬에 대응하고 제1 중간 행렬 내의 요소들의 수보다 많은 계수들을 포함함 -; 웨트 업믹스 계수들의 제1 세트에 따라 제1 역상관된 신호를 선형으로 맵핑함으로써, 즉 웨트 업믹스 계수들을 이용하여 역상관된 신호의 채널들의 선형 조합들을 형성함으로써 계산된 제1 웨트 업믹스 신호를 출력하도록 구성된 제1 웨트 업믹스부를 더 포함한다. 제1 파라메트릭 재구성부는 제1 드라이 업믹스 신호 및 제1 웨트 업믹스 신호를 수신하고, 이들 신호를 조합하여, 재구성될 N-차원 오디오 신호에 대응하는 제1 다차원 재구성된 신호를 획득하도록 구성된 제1 조합부를 또한 포함한다.
예시적인 실시예에서, 오디오 디코딩 시스템은 제1 파라메트릭 재구성부에 독립적으로 동작가능하고 제2 단일-채널 다운믹스 신호 및 관련된 드라이 및 웨트 업믹스 파라미터들에 기초하여 N2-채널 오디오 신호를 재구성하도록 구성되고, 여기서 N2≥2인 제2 파라메트릭 재구성부를 더 포함할 수 있다. 예를 들어, N2=2 또는 N2≥3일 수 있다. 본 예시적인 실시예에서, 제2 파라메트릭 재구성부는 제2 역상관부, 제2 드라이 업믹스부, 제2 웨트 업믹스부 및 제2 조합부를 포함할 수 있고, 제2 파라메트릭 재구성부의 부들은 제1 파라메트릭 재구성부의 대응하는 부들과 유사하게 구성될 수 있다. 본 예시적인 실시예에서, 제2 웨트 업믹스부는 제2 미리 정해진 행렬 부류에 속하는 제2 중간 행렬 및 제2 미리 정해진 행렬을 이용하도록 구성될 수 있다. 제2 미리 정해진 행렬 부류 및 제2 미리 정해진 행렬은 각각 제1 미리 정해진 행렬 부류 및 제1 미리 정해진 행렬과 상이하거나 동일할 수 있다.
예시적인 실시예에서, 오디오 디코딩 시스템은 복수의 다운믹스 채널 및 관련된 드라이 및 웨트 업믹스 파라미터들에 기초하여 다채널 오디오 신호를 재구성하도록 적응될 수 있다. 본 예시적인 실시예에서, 오디오 디코딩 시스템은 각각의 다운믹스 채널들 및 각각의 관련된 드라이 및 웨트 업믹스 파라미터들에 기초하여 오디오 신호 채널들의 각각의 세트들을 독립적으로 재구성하도록 동작가능한 파라메트릭 재구성부들을 포함하는 복수의 재구성부; 및 각각의 다운믹스 채널들에 의해, 그리고 다운믹스 채널들 중 적어도 일부에 대해서는, 각각의 관련된 드라이 및 웨트 업믹스 파라미터들에 의해 나타나는 채널들의 세트들로의 다채널 오디오 신호의 채널들의 분할에 대응하는 다채널 오디오 신호의 코딩 포맷을 표시하는 시그널링을 수신하도록 구성된 제어부를 포함할 수 있다. 본 예시적인 실시예에서, 코딩 포맷은 각각의 웨트 업믹스 파라미터들에 기초하여 채널들의 각각의 세트들 중 적어도 일부에 관련된 웨트 업믹스 계수들을 획득하기 위한 미리 정해진 행렬들의 세트에 더 대응할 수 있다. 선택적으로, 코딩 포맷은 각각의 중간 행렬들이 웨트 업믹스 파라미터들의 각각의 세트들에 기초하여 어떻게 파퓰레이트되어야 하는지를 표시하는 미리 정해진 행렬 부류들의 세트에 더 대응할 수 있다.
본 예시적인 실시예에서, 디코딩 시스템은 제1 코딩 포맷을 표시하는 수신된 시그널링에 응답하여, 복수의 재구성부의 제1 서브셋을 사용하여 다채널 오디오 신호를 재구성하도록 구성될 수 있다. 본 예시적인 실시예에서, 디코딩 시스템은 제2 코딩 포맷을 표시하는 수신된 시그널링에 응답하여, 복수의 재구성부의 제2 서브셋을 사용하여 다채널 오디오 신호를 재구성하도록 구성될 수 있고, 재구성부들의 제1 및 제2 서브셋들 중 적어도 하나는 제1 파라메트릭 재구성부를 포함할 수 있다.
다채널 오디오 신호의 오디오 콘텐츠의 합성, 인코더 측으로부터 디코더 측으로의 송신을 위한 가용한 대역폭, 청취자에 의해 인지되는 요구된 재생 품질 및/또는 디코더 측 상에 재구성된 오디오 신호의 요구된 충실도에 따라, 가장 적절한 코딩 포맷은 상이한 적용들 및/또는 시간 주기들 간에 상이할 수 있다. 다채널 오디오 신호를 위한 다중 코딩 포맷들을 지원함으로써, 본 예시적인 실시예의 오디오 디코딩 시스템은 인코더 측이 현재의 상황들에 더욱 특별히 맞는 코딩 포맷을 사용하게 한다.
예시적인 실시예에서, 복수의 재구성부는 단일 오디오 채널만이 인코드된 다운믹스 채널에 기초하여 단일 오디오 채널을 독립적으로 재구성하도록 동작가능한 단일-채널 재구성부를 포함할 수 있다. 본 예시적인 실시예에서, 재구성부들의 제1 및 제2 서브셋들 중 적어도 하나는 단일-채널 재구성부를 포함할 수 있다. 다채널 오디오 신호의 일부 채널들은 청취자에 의해 인지되는, 다채널 오디오 신호의 전체적인 표현을 위해 특히 중요할 수 있다. 다른 채널들이 다른 다운믹스 채널들에서 함께 파라메트릭하게 인코드되는 동안, 예를 들어, 그 자신의 다운믹스 채널들에서 따로따로 이러한 채널을 인코드하기 위해 단일-채널 재구성부를 이용함으로써, 재구성된 다채널 오디오 신호의 충실도는 증가될 수 있다. 일부 예시적인 실시예들에서, 다채널 오디오 신호의 하나의 채널의 오디오 콘텐츠는 다채널 오디오 신호의 다른 채널들의 오디오 콘텐츠와 상이한 타입일 수 있고, 재구성된 다채널 오디오 신호의 충실도는 그 채널이 그 자신의 다운믹스 채널에서 따로 따로 인코드되는 코딩 포맷을 이용함으로써 증가될 수 있다.
예시적인 실시예에서, 제1 코딩 포맷은 제2 코딩 포맷보다 낮은 수의 다운믹스 채널들로부터의 다채널 오디오 신호의 재구성에 대응할 수 있다. 낮은 수의 다운믹스 채널들을 이용함으로써, 인코더 측으로부터 디코더 측으로의 송신을 위한 요구된 대역폭은 감소될 수 있다. 보다 높은 수의 다운믹스 채널들을 이용함으로써, 재구성된 다채널 오디오 신호의 충실도 및/또는 인지된 오디오 품질이 증가될 수 있다.
제2 양태에 따라, 예시적인 실시예들은 다채널 오디오 신호를 인코딩하는 방법들 및 컴퓨터 프로그램 제품들뿐만 아니라 오디오 인코딩 시스템들을 제안한다. 제2 양태에 따른, 제안된 인코딩 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 일반적으로 동일한 특징들 및 장점들을 공유할 수 있다. 또한, 제1 양태에 따른, 디코딩 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 특징들에 대해 위에 제시된 장점들은 제2 양태에 따른 인코딩 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 대응하는 특징들에 대해 일반적으로 유효할 수 있다.
예시적인 실시예들에 따라, 다운믹스 신호 및 다운믹스 신호에 기초하여 결정된 (N-1)-채널 역상관된 신호로부터의 오디오 신호의 파라메트릭 재구성을 위해 적합한 단일-채널 다운믹스 신호 및 메타데이터로서 N-채널 오디오 신호를 인코딩하고, 여기서 N≥3인, 방법이 제공된다. 이 방법은 오디오 신호를 수신하고; 미리 정해진 규칙에 따라, 오디오 신호의 선형 맵핑으로서 단일-채널 다운믹스 신호를 계산하고; 예를 들어, 다운믹스 신호만이 재구성을 위해 가용하다는 가정하에서 최소 평균 제곱 오차 근사화를 통해 오디오 신호를 근사화하는 다운믹스 신호의 선형 맵핑을 정의하기 위해 드라이 업믹스 계수들의 세트를 결정하는 것을 포함한다. 상기 방법은 수신된 오디오 신호의 공분산과 다운믹스 신호의 선형 맵핑에 의해 근사화된 오디오 신호의 공분산 간의 차이에 기초하여 중간 행렬을 결정하는 것을 더 포함하고, 미리 정해진 행렬로 곱해질 때 중간 행렬은 오디오 신호의 파라메트릭 재구성의 부분으로서 역상관된 신호의 선형 맵핑을 정의하는 웨트 업믹스 계수들의 세트에 대응하고, 웨트 업믹스 계수들의 세트는 중간 행렬 내의 요소들의 수보다 많은 계수들을 포함한다. 상기 방법은 드라이 업믹스 계수들의 세트가 도출가능한 드라이 업믹스 파라미터들, 및 웨트 업믹스 파라미터들과 함께 다운믹스 신호를 출력하는 것을 더 포함하고, 중간 행렬은 출력 웨트 업믹스 파라미터들의 수보다 많은 요소들을 갖고, 중간 행렬은 중간 행렬이 미리 정해진 행렬 부류에 속한다면 출력 웨트 업믹스 파라미터들에 의해 유일하게 정의된다.
디코더 측에서의 오디오 신호의 파라메트릭 재구성 카피는 하나의 기여로서, 다운믹스 신호의 선형 맵핑에 의해 형성된 드라이 업믹스 신호를, 그리고 다른 기여로서, 역상관된 신호의 선형 맵핑에 의해 형성된 웨트 업믹스 신호를 포함한다. 드라이 업믹스 계수들의 세트는 다운믹스 신호의 선형 맵핑을 정의하고 웨트 업믹스 계수들의 세트는 역상관된 신호들의 선형 맵핑을 정의한다. 웨트 업믹스 계수들의 수보다 적고, 웨트 업믹스 계수들이 미리 정해진 행렬 및 미리 정해진 행렬 부류에 기초하여 도출가능한 웨트 업믹스 파라미터들을 출력함으로써, N-채널 오디오 신호의 재구성을 가능하게 하기 위해 디코더 측에 보내지는 정보의 양은 감소될 수 있다. 파라메트릭 재구성을 위해 필요한 데이터의 양을 감소시킴으로써, N-채널 오디오 신호의 파라메트릭 표현의 송신을 위한 요구된 대역폭, 및/또는 이러한 표현을 저장하기 위한 요구된 메모리 크기는 감소될 수 있다.
중간 행렬은 수신된 오디오 신호의 공분산과 다운믹스 신호의 선형 맵핑에 의해 근사화된 오디오 신호의 공분산 간의 차이에 기초하여, 예를 들어, 다운믹스 신호의 선형 맵핑에 의해 근사화된 오디오 신호의 공분산을 보충하기 위해 역상관된 신호의 선형 맵핑에 의해 획득된 신호의 공분산에 대해 결정될 수 있다.
예시적인 실시예에서, 중간 행렬을 결정하는 것은 웨트 업믹스 계수들의 세트에 의해 정의된, 역상관된 신호의 선형 맵핑에 의해 획득된 신호의 공분산이 수신된 오디오 신호의 공분산과 다운믹스 신호의 선형 맵핑에 의해 근사화된 오디오 신호의 공분산 간의 차이에 근사하거나, 실질적으로 일치하도록 중간 행렬을 결정하는 것을 포함할 수 있다. 바꾸어 말하면, 중간 행렬은 다운믹스 신호의 선형 맵핑에 의해 형성된 드라이 업믹스 신호와 역상관된 신호의 선형 맵핑에 의해 형성된 웨트 업믹스 신호의 합으로서 획득된 오디오 신호의 재구성 카피가 수신된 오디오 신호의 공분산을 완전히, 또는 적어도 거의 회복하도록 결정될 수 있다.
예시적인 실시예에서, 웨트 업믹스 파라미터들을 출력하는 것은 N(N-1)/2개 미만의 독립적으로 할당가능한 웨트 업믹스 파라미터들을 출력하는 것을 포함할 수 있다. 본 예시적인 실시예에서, 중간 행렬은 (N-1)2개의 행렬 요소들을 가질 수 있고 중간 행렬이 미리 정해진 행렬 부류에 속한다면 출력 웨트 업믹스 파라미터들에 의해 유일하게 정의될 수 있다. 본 예시적인 실시예에서, 웨트 업믹스 계수들의 세트는 N(N-1)개의 계수들을 포함할 수 있다.
예시적인 실시예에서, 드라이 업믹스 계수들의 세트는 N개의 계수들을 포함할 수 있다. 본 예시적인 실시예들에서, 드라이 업믹스 파라미터들을 출력하는 것은 N-1개 미만의 드라이 업믹스 파라미터들을 출력하는 것을 포함할 수 있고, 드라이 업믹스 계수들의 세트는 미리 정해진 규칙을 사용하여 N-1개의 드라이 업믹스 파라미터들로부터 도출가능할 수 있다.
예시적인 실시예에서, 드라이 업믹스 계수들의 결정된 세트는 오디오 신호의 최소 평균 제곱 오차 근사화에 대응하는 다운믹스 신호의 선형 맵핑을 정의할 수 있고, 즉, 다운믹스 신호의 선형 맵핑들의 세트 중에서, 드라이 업믹스 계수들의 결정된 세트는 오디오 신호에 최소 평균 제곱 의미에서 최상으로 근사화하는 선형 맵핑을 정의할 수 있다.
예시적인 실시예들에 따라, 다운믹스 신호 및 다운믹스 신호에 기초하여 결정된 (N-1)-채널 역상관된 신호로부터의 오디오 신호의 파라메트릭 재구성을 위해 적합한 단일-채널 다운믹스 신호 및 메타데이터로서 N-채널 오디오 신호를 인코드하도록 구성되고, 여기서, N≥3인, 파라메트릭 인코딩부를 포함하는 오디오 인코딩 시스템이 제공된다. 파라메트릭 인코딩부는 오디오 신호를 수신하고, 미리 정해진 규칙에 따라, 오디오 신호의 선형 맵핑으로서 단일-채널 다운믹스 신호를 계산하도록 구성된 다운믹스부; 및 오디오 신호를 근사화하는 다운믹스 신호의 선형 맵핑을 정의하기 위해 드라이 업믹스 계수들의 세트를 결정하도록 구성된 제1 분석부를 포함한다. 파라메트릭 인코딩부는 수신된 오디오 신호의 공분산과 다운믹스 신호의 선형 맵핑에 의해 근사화된 오디오 신호의 공분산 간의 차이에 기초하여 중간 행렬을 결정하도록 구성된 제2 분석부를 더 포함하고, 미리 정해진 행렬로 곱해질 때 중간 행렬은 오디오 신호의 파라메트릭 재구성의 부분으로서 역상관된 신호의 선형 맵핑을 정의하는 웨트 업믹스 계수들의 세트에 대응하고, 웨트 업믹스 계수들의 세트는 중간 행렬 내의 요소들의 수보다 많은 계수들을 포함한다. 파라메트릭 인코딩부는 드라이 업믹스 계수들의 세트가 도출가능한 드라이 업믹스 파라미터들, 및 웨트 업믹스 파라미터들과 함께 다운믹스 신호를 출력하도록 더 구성되고, 중간 행렬은 출력 웨트 업믹스 파라미터들의 수보다 많은 요소들을 갖고, 중간 행렬은 중간 행렬이 미리 정해진 행렬 부류에 속한다면 출력 웨트 업믹스 파라미터들에 의해 유일하게 정의된다.
예시적인 실시예에서, 오디오 인코딩 시스템은 복수의 다운믹스 채널 및 관련된 드라이 및 웨트 업믹스 파라미터들의 형태로 다채널 오디오 신호의 표현을 제공하도록 구성될 수 있다. 본 예시적인 실시예에서, 오디오 인코딩 시스템은 오디오 신호 채널들의 각각의 세트들에 기초하여 각각의 다운믹스 채널들 및 각각의 관련된 업믹스 파라미터들을 독립적으로 계산하도록 동작가능한 파라메트릭 인코딩부들을 포함하는 복수의 인코딩부를 포함할 수 있다. 본 예시적인 실시예에서, 오디오 인코딩 시스템은 각각의 다운믹스 채널들에 의해, 그리고 다운믹스 채널들 중 적어도 일부에 대해서는, 각각의 관련된 드라이 및 웨트 업믹스 파라미터들에 의해 나타내질 채널들의 세트들로의 다채널 오디오 신호의 채널들의 분할에 대응하는 다채널 오디오 신호에 대한 코딩 포맷을 결정하도록 구성된 제어부를 더 포함할 수 있다. 본 예시적인 실시예에서, 코딩 포맷은 각각의 다운믹스 채널들 중 적어도 일부를 계산하기 위한 미리 정해진 규칙들의 세트에 더 대응할 수 있다. 본 예시적인 실시예에서, 오디오 인코딩 시스템은 제1 코딩 포맷인 결정된 코딩 포맷에 응답하여, 복수의 인코딩부의 제1 서브셋을 사용하여 다채널 오디오 신호를 인코드하도록 구성될 수 있다. 본 예시적인 실시예에서, 오디오 인코딩 시스템은 제2 코딩 포맷인 결정된 코딩 포맷에 응답하여, 복수의 인코딩부의 제2 서브셋을 사용하여 다채널 오디오 신호를 인코드하도록 구성될 수 있고, 인코딩부들의 제1 및 제2 서브셋들 중 적어도 하나는 제1 파라메트릭 인코딩부를 포함할 수 있다. 본 예시적인 실시예에서, 제어부는 예를 들어 다채널 오디오 신호의 채널들의 오디오 콘텐츠에 기초하여 및/또는 원하는 코딩 포맷을 표시하는 입력 신호에 기초하여 디코더 측으로 다채널 오디오 신호의 인코드된 버전을 전송하기 위한 가용한 대역폭에 기초하여 코딩 포맷을 결정할 수 있다.
예시적인 실시예에서, 복수의 인코딩부는 다운믹스 채널 내의 단일 오디오 채널만을 독립적으로 인코드하도록 동작가능한 단일-채널 인코딩부를 포함할 수 있고, 인코딩부들의 제1 및 제2 서브셋들 중 적어도 하는 단일-채널 인코딩부를 포함할 수 있다.
예시적인 실시예들에 따라, 제1 및 제2 양태들의 방법들 중 어느 한 방법을 수행하기 위한 명령어들을 갖는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품이 제공된다.
예시적인 실시예들에 따라, 제1 및 제2 양태들의 방법들, 인코딩 시스템들, 디코딩 시스템들 및 컴퓨터 프로그램 제품들 중 어느 것에서나 N=3 또는 N=4일 수 있다.
다른 예시적인 실시예들이 종속 청구항들에서 정의된다. 서로 상이한 청구항에서 열거되더라도, 예시적인 실시예들은 특징들의 모든 조합들을 포함한다는 점에 주목한다.
Ⅱ. 예시적인 실시예들
도 3 및 4를 참조하여 설명될 인코더 측 상에서, 단일-채널 다운믹스 신호 Y는 다음 식에 따라 N-채널 오디오 신호
Figure 112021045922133-pat00001
의 선형 맵핑으로서 계산되고,
Figure 112021045922133-pat00002
여기서, dn, n = 1,..., N은 다운믹스 행렬 D에 의해 표현되는 다운믹스 계수들이다. 도 1 및 2를 참조하여 설명될 디코더 측 상에서, N-채널 오디오 신호 X의 파라메트릭 재구성은 다음 식에 따라 수행되고,
Figure 112021045922133-pat00003
여기서, cn, n = 1,..., N은 행렬 드라이 업믹스 행렬 C에 의해 표현되는 드라이 업믹스 계수들이고, pn,k, n = 1,..., N, k = 1,...N-1은 웨트 업믹스 행렬 P에 의해 표현되는 웨트 업믹스 계수들이고, zk, k = 1,..., N-1은 다운믹스 신호 Y에 기초하여 발생된 (N-1)-채널 역상관된 신호 Z의 채널들이다. 각각의 오디오 신호의 채널들이 행들로서 표현되면, 원래의 오디오 신호 X의 공분산 행렬은
Figure 112021045922133-pat00004
로서 표현될 수 있고, 재구성된 오디오 신호
Figure 112021045922133-pat00005
의 공분산 행렬은
Figure 112021045922133-pat00006
로서 표현될 수 있다. 예를 들어 오디오 신호들이 복소 값 변환 계수들을 포함하는 행들로서 표현되면,
Figure 112021045922133-pat00007
의 실수부(여기서
Figure 112021045922133-pat00008
는 행렬 X의 복소 공액 전치)가 예를 들어
Figure 112021045922133-pat00009
대신에 고려될 수 있다는 점에 주목한다.
원래의 오디오 신호의 X의 충실한 재구성을 제공하기 위해서, 식(2)에 의해 주어진 재구성이 완전한 공분산을 회복시키는 것이 유리할 수 있는데, 즉, 아래 식이 되도록 드라이 및 웨트 업믹스 행렬들 C 및 P를 이용하는 것이 유리할 수 있다.
Figure 112021045922133-pat00010
한가지 방식은 다음의 정규 식들을 푸는 것에 의해, 최소 제곱 의미에서 가장 가능한 "드라이" 업믹스
Figure 112021045922133-pat00011
를 부여하는 드라이 업믹스 행렬 C를 먼저 구하는 것이다.
Figure 112021045922133-pat00012
Figure 112021045922133-pat00013
에 대해, 식(4)의 해인 행렬 C에 의해, 다음 식이 성립한다.
Figure 112021045922133-pat00014
역상관된 신호 Z의 채널들이 상호 비상관되고 모두 단일-채널 다운믹스 신호 Y의 것과 등가인 동일한 에너지
Figure 112021045922133-pat00015
를 갖는다고 가정하면, 양 한정 미싱 공분산
Figure 112021045922133-pat00016
은 다음 식에 따라 인수 분해될 수 있다.
Figure 112021045922133-pat00017
완전한 공분산은 식(4)의 해인 드라이 업믹스 행렬 C 및 식(6)의 해인 웨트 업믹스 행렬 P를 이용함으로써 식(3)에 따라 회복될 수 있다. 식(1)과 식(4)는
Figure 112021045922133-pat00018
이고, 그래서 비디제너레이트(non-degenerate) 다운믹스 행렬들 D에 대해 다음 식이 성립된다는 것을 함축한다.
Figure 112021045922133-pat00019
식(5)와 식(7)은
Figure 112021045922133-pat00020
이고 다음 식인 것을 함축한다.
Figure 112021045922133-pat00021
그러므로, 미싱 공분산
Figure 112021045922133-pat00022
은 랭크 N-1을 갖고, 실제로 N-1개의 상호 비상관된 채널들로 역상관된 신호 Z를 이용함으로써 제공될 수 있다. 식(6)과 식(8)은 DP=0이라서, 식(6)의 해인 웨트 업믹스 행렬 P의 열들이 다운믹스 행렬 D의 커널 공간에 걸치는 벡터들로부터 구성될 수 있다는 것을 함축한다. 그러므로 적합한 웨트 업믹스 행렬 P를 구하기 위한 계산들은 그 저차원 공간으로 이동될 수 있다.
V를 다운믹스 행렬 D의 커널 공간, 즉
Figure 112021045922133-pat00023
을 갖는 벡터들
Figure 112021045922133-pat00024
의 선형 공간을 위한 정규 직교 기저를 포함하는 크기 N(N-1)의 행렬이라고 하자. N=2, N=3, 및 N=4에 대해 각각 이러한 미리 정해진 행렬들 V의 예들은 다음과 같다.
Figure 112021045922133-pat00025
V에 의해 주어진 기저에서, 미싱 공분산은
Figure 112021045922133-pat00026
로서 표현될 수 있다. 그러므로, 식(6)을 풀어서 웨트 업믹스 행렬 P를 구하기 위해서는 먼저
Figure 112021045922133-pat00027
를 푸는 것에 의해 행렬 H를 구하고, 다음에
Figure 112021045922133-pat00028
로서 P를 획득하고, 여기서
Figure 112021045922133-pat00029
는 단일-채널 다운믹스 신호 Y의 에너지의 제곱근이다. 다른 적합한 업믹스 행렬들 P가
Figure 112021045922133-pat00030
로서 획득될 수 있고, 여기서 O는 직교 행렬이다. 대안적으로, 단일-채널 다운믹스 신호 Y의 에너지
Figure 112021045922133-pat00031
에 의해 미싱 공분산
Figure 112021045922133-pat00032
을 리스케일하여 대신 다음 식을 풀 수 있고,
Figure 112021045922133-pat00033
여기서
Figure 112021045922133-pat00034
이고, 아래 식으로서 P를 획득한다.
Figure 112021045922133-pat00035
Figure 112021045922133-pat00036
의 엔트리들이 양자화되고 원하는 출력이 사일런트 채널을 가질 때, 위에 명시된 바와 같이 미리 정해진 행렬 V의 특성들은 인컨비니언트(inconvenient)할 수 있다. 한 예로서, N=3에 대해, (9)의 제2 행렬에 대한 보다 좋은 선택은 다음과 같이 될 것이다.
Figure 112021045922133-pat00037
불행히도, 행렬 V의 열들이 쌍으로 직교하다는 요건은 이들 열이 선형으로 독립인 한 강하될 수 있다.
Figure 112021045922133-pat00038
에 대한 원하는 해
Figure 112021045922133-pat00039
는 다음에 V의 역행렬인
Figure 112021045922133-pat00040
로 하여
Figure 112021045922133-pat00041
에 의해 획득된다.
행렬
Figure 112021045922133-pat00042
는 크기 (N-1)2의 양의 반한정 행렬이고 차원 N(N-1)/2의 각각의 행렬 부류들 내의 해들에 이르게 하는, 즉, 행렬들이 N(N-1)/2개의 행렬 요소들에 의해 유일하게 정의되는, 식(10)의 해를 구하는 여러 방식이 있다. 해들은 예를 들어:
a. 하삼각
Figure 112021045922133-pat00043
에 이르게 하는 촐레스키 인수분해;
b. 대칭의 양의 반한정
Figure 112021045922133-pat00044
에 이르게 하는 양의 제곱근; 또는
c. 폼
Figure 112021045922133-pat00045
(여기서
Figure 112021045922133-pat00046
는 직교이고
Figure 112021045922133-pat00047
는 대각선)의
Figure 112021045922133-pat00048
에 이르게 하는 극성을 이용함으로써 획득될 수 있다.
또한,
Figure 112021045922133-pat00049
이
Figure 112021045922133-pat00050
(여기서
Figure 112021045922133-pat00051
는 대각선이고
Figure 112021045922133-pat00052
은 1인 모든 대각선 요소들을 가짐)로서 표현될 수 있는 옵션들 a) 및 b)의 정규화된 버전이 있다. 위의 대안들 a, b 및 c는 상이한 행렬 부류들, 즉 하삼각 행렬들, 대칭 행렬들 및 대각선과 직교 행렬들의 곱들 내의 해들
Figure 112021045922133-pat00053
을 제공한다.
Figure 112021045922133-pat00054
이 속하는 행렬 부류가 디코더 측에서 알려지면, 즉,
Figure 112021045922133-pat00055
이 미리 정해진 행렬 부류에 속한다는 것이 알려지면, 예를 들어, 상기 대안들 a, b 및 c 중 어느 것에 따라,
Figure 112021045922133-pat00056
은 그것의 요소들 중 단지 N(N-1)/2개에 기초하여 파퓰레이트될 수 있다. 또한 행렬 V가 디코더 측에서 알려지면, 예를 들어, V가 식(9)에서 주어진 행렬들 중 하나라는 것이 알려지면, 식(2)에 따라 재구성을 위해 필요한 웨트 업믹스 행렬 P는 다음에 식(11)을 통해 획득될 수 있다.
도 3은 예시적인 실시예에 따른 파라메트릭 인코딩부(300)의 일반화된 블록도이다. 파라메트릭 인코딩부(300)는 식(2)에 따라 오디오 신호 X의 파라메트릭 재구성을 위해 적합한 단일-채널 다운믹스 신호 Y 및 메타데이터로서 N-채널 오디오 신호 X를 인코드하도록 구성된다. 파라메트릭 인코딩부(300)는 오디오 신호 X를 수신하고, 미리 정해진 규칙에 따라, 오디오 신호 X의 선형 맵핑으로서 단일-채널 다운믹스 신호 Y를 계산하는 다운믹스부(301)를 포함한다. 본 예시적인 실시예에서, 다운믹스부(301)는 식(1)에 따라 다운믹스 신호 Y를 계산하고, 여기서 다운믹스 행렬 D는 미리 정해지고 미리 정해진 규칙에 대응한다. 제1 분석부(302)는 오디오 신호 X를 근사화하는 다운믹스 신호 Y의 선형 맵핑을 정의하기 위해, 드라이 업믹스 행렬 C에 의해 표현되는 드라이 업믹스 계수들의 세트를 결정한다. 다운믹스 신호 Y의 이 선형 맵핑은 식(2)에서 CY로 표시된다. 본 예시적인 실시예에서, N개의 드라이 업믹스 계수들 C는 다운믹스 신호 Y의 선형 맵핑 CY가 오디오 신호 X의 최소 평균 제곱 근사화에 대응하도록 식(4)에 따라 결정된다. 제2 분석부(303)는 수신된 오디오 신호 X의 공분산 행렬과 다운믹스 신호 Y의 선형 맵핑 CY에 의해 근사화된 오디오 신호의 공분산 행렬 간의 차이에 기초하여 중간 행렬
Figure 112021045922133-pat00057
을 결정한다. 본 예시적인 실시예에서, 공분산 행렬들은 각각 제1 및 제2 처리부들(304, 305)에 의해 계산되고, 다음에 제2 분석부(303)에 제공된다. 본 예시적인 실시예에서, 중간 행렬
Figure 112021045922133-pat00058
은 대칭인 중간 행렬
Figure 112021045922133-pat00059
에 이르게 하는, 식(10)을 푸는 데 위에 설명된 방식 b에 따라 결정된다. 식(1)과 식(11)에서 표시된 바와 같이, 미리 정해진 행렬 V로 곱해질 때, 중간 행렬
Figure 112021045922133-pat00060
은 웨트 업믹스 파라미터들 P의 세트를 통해, 디코더 측에서의 오디오 신호 X의 파라메트릭 재구성의 부분으로서 역상관된 신호 Z의 선형 맵핑 PZ를 정의한다. 본 예시적인 실시예에서, 중간 행렬 V는 N=3인 경우에 대해 (9)의 제2 행렬이고, N=4인 경우에 대해 (9)의 제3 행렬이다. 파라메트릭 인코딩부(300)는 드라이 업믹스 파라미터들
Figure 112021045922133-pat00061
및 웨트 업믹스 파라미터들
Figure 112021045922133-pat00062
와 함께 다운믹스 신호 Y를 출력한다. 본 예시적인 실시예에서, N개의 드라이 업믹스 계수들 C 중 N-1개는 드라이 업믹스 파라미터들
Figure 112021045922133-pat00063
이고, 나머지 하나의 드라이 업믹스 계수는 미리 정해진 다운믹스 행렬 D가 알려지면 식(7)을 통해 드라이 업믹스 파라미터들
Figure 112021045922133-pat00064
로부터 도출가능하다. 중간 행렬
Figure 112021045922133-pat00065
은 대칭 행렬들의 부류에 속하기 때문에, 그것은 그것의 (N-1)2개의 요소들 중 N(N-1)/2개에 의해 유일하게 정의된다. 본 예시적인 실시예에서, 중간 행렬
Figure 112021045922133-pat00066
의 요소들 중 N(N-1)/2개는 그래서 웨트 업믹스 파라미터들
Figure 112021045922133-pat00067
이고 그로부터 중간 행렬
Figure 112021045922133-pat00068
의 나머지는 그것이 대칭이라는 것을 알면 도출가능하다.
도 4는 도 3을 참조하여 설명된 파라메트릭 인코딩부(300)를 포함하는, 예시적인 실시예에 따른 오디오 인코딩 시스템(400)의 일반화된 블록도이다. 본 예시적인 실시예에서, 예를 들어, 하나 이상의 음향 트랜스듀서(401)에 의해 기록되거나, 오디오 오더링 장비(401)에 의해 발생된 오디오 콘텐츠는 N-채널 오디오 신호 X의 형태로 제공된다. 쿼드러처 미러 필터(quadrature mirror filter)(QMF) 분석부(402)는 오디오 신호 X를 시간 세그먼트마다, 시간/주파수 타일들의 형태로 오디오 신호 X의 파라메트릭 인코딩부(300)에 의해 처리하기 위해 QMF 도메인으로 변환한다. 파라메트릭 인코딩부(300)에 의해 출력된 다운믹스 신호 Y는 QMF 합성부(403)에 의해 QMF 도메인으로부터 다시 변환되고 변환부(404)에 의해 수정된 이산 코사인 변환(MDCT) 도메인으로 변환된다. 양자화부들(405 및 406)은 각각 드라이 업믹스 파라미터들
Figure 112021045922133-pat00069
및 웨트 업믹스 파라미터들
Figure 112021045922133-pat00070
를 양자화한다. 예를 들어, 0.1 또는 0.2(무차원)의 단계 크기를 갖는 균일한 양자화가 이용될 수 있고, 그 후 허프만 코딩(Huffman coding)의 형태로 엔트로피 코딩이 이어진다. 단계 크기 0.2를 갖는 보다 거친 양자화가 예를 들어 송신 대역폭을 절약하기 위해 이용될 수 있고, 단계 크기 0.1을 갖는 보다 미세한 양자화가 예를 들어 디코더 측 상에서 재구성의 충실도를 향상시키기 위해 이용될 수 있다. MDCT-변환된 다운믹스 신호 Y 및 양자화된 드라이 업믹스 파라미터들
Figure 112021045922133-pat00071
및 웨트 업믹스 파라미터들
Figure 112021045922133-pat00072
는 다음에 디코더 측으로 송신하기 위해, 멀티플렉서(407)에 의해 비트스트림 B로 조합된다. 오디오 인코딩 시스템(400)은 또한 다운믹스 신호 Y가 멀티플렉서(407)에 제공되기 전에, 돌비 디지털(Dolby Digital) 또는 MPEG AAC와 같은 지각적 오디오 코덱을 사용하여 다운믹스 신호 Y를 인코드하도록 구성된 코어 인코더(도 4에 도시 안됨)를 포함할 수 있다.
도 1은 단일-채널 다운믹스 신호 Y 및 관련된 드라이 업믹스 파라미터들
Figure 112021045922133-pat00073
및 웨트 업믹스 파라미터들
Figure 112021045922133-pat00074
에 기초하여 N-채널 오디오 신호 X를 재구성하도록 구성된, 예시적인 실시예에 따른, 파라메트릭 재구성부(100)의 일반화된 블록도이다. 파라메트릭 재구성부(100)는 식(2)에 따라, 즉 드라이 업믹스 파라미터들 C 및 웨트 업믹스 파라미터들 P를 사용하여 재구성을 수행하도록 적응된다. 그러나, 드라이 업믹스 파라미터들 C 및 웨트 업믹스 파라미터들 P 자체들을 수신하는 것 대신에, 드라이 업믹스 파라미터들
Figure 112021045922133-pat00075
및 웨트 업믹스 파라미터들
Figure 112021045922133-pat00076
가 수신되고 그로부터 드라이 업믹스 파라미터들 C 및 웨트 업믹스 파라미터들 P가 도출가능하다. 역상관부(101)는 다운믹스 신호 Y를 수신하고, 그에 기초하여, (N-1)-채널 역상관된 신호
Figure 112021045922133-pat00077
를 출력한다. 본 예시적인 실시예에서, 역상관된 신호 Z의 채널들은 다운믹스 신호 Y로 비상관되고, 다운믹스 신호 Y와 스펙트럼적으로 유사하고 또한 청취자에 의해 다운믹스 신호 Y의 것과 또한 유사하게 인지되는 오디오 콘텐츠를 갖는 채널들을 제공하도록, 각각의 전역 통과 필터들을 다운믹스 신호 Y에 적용하는 것을 포함하는, 다운믹스 신호 Y의 처리에 의해 도출된다. (N-1)-채널 역상관된 신호 Z는 청취자에 의해 인지되는, N-채널 오디오 신호 X의 재구성된 버전
Figure 112021045922133-pat00078
의 차원수를 증가시키는 역할을 한다. 본 예시적인 실시예에서, 역상관된 신호 Z의 채널들은 단일-채널 다운믹스 신호 Y의 것과 적어도 거의 동일한 스펙트럼들을 갖고, 단일-채널 다운믹스 신호 Y와 함께, N개의 적어도 거의 상호 비상관된 채널들을 형성한다. 드라이 업믹스부(102)는 드라이 업믹스 파라미터들
Figure 112021045922133-pat00079
및 다운믹스 신호 Y를 수신한다. 본 예시적인 실시예에서, 드라이 업믹스 파라미터들
Figure 112021045922133-pat00080
는 N개의 드라이 업믹스 계수들 C 중 첫번째 N-1개와 일치하고, 나머지 드라이 업믹스 계수는 식(7)에 의해 주어진 드라이 업믹스 계수들 C 간의 미리 정해진 관계에 기초하여 결정된다. 드라이 업믹스부(102)는 드라이 업믹스 계수들 C의 세트에 따라 다운믹스 신호 Y를 선형으로 맵핑함으로써 계산되고, 식(2)에서 CY로 표시된 드라이 업믹스 신호를 출력한다. 웨트 업믹스부(103)는 웨트 업믹스 파라미터들
Figure 112021045922133-pat00081
및 역상관된 신호 Z를 수신한다. 본 예시적인 실시예에서, 웨트 업믹스 파라미터들
Figure 112021045922133-pat00082
는 식(10)에 따라 인코더 측에서 결정된 중간 행렬
Figure 112021045922133-pat00083
의 N(N-1)/2개의 요소들이다. 본 예시적인 실시예에서, 웨트 업믹스부(103)는 중간 행렬
Figure 112021045922133-pat00084
이 미리 정해진 행렬 부류에 속하다는 것, 즉, 대칭이라는 것을 알고, 행렬의 요소들 간의 대응하는 관계들을 이용하여 중간 행렬
Figure 112021045922133-pat00085
의 나머지 요소들을 파퓰레이트한다. 웨트 업믹스부(103)는 다음에 식(11)을 이용함으로써, 즉, 중간 행렬
Figure 112021045922133-pat00086
에 미리 정해진 행렬 V, 즉 N=3인 경우에 대해서는 (9)의 제2 행렬, 그리고 N=4인 경우에 대해서는 (9)의 제3 행렬을 곱함으로써 웨트 업믹스 계수들 P의 세트를 획득한다. 그러므로, N(N-1)개의 웨트 업믹스 계수들 P는 수신된 N(N-1)/2개의 독립적으로 할당가능한 웨트 업믹스 파라미터들
Figure 112021045922133-pat00087
로부터 도출된다. 웨트 업믹스부(103)는 웨트 업믹스 계수들 P의 세트에 따라 역상관된 신호 Z를 선형으로 맵핑함으로써 계산되고, 식(2)에서 PZ로 표시된 웨트 업믹스 신호를 출력한다. 조합부(104)는 드라이 업믹스 신호 CY 및 웨트 업믹스 신호 PZ을 수신하고 이들 신호를 조합하여 재구성될 N-채널 오디오 신호 X에 대응하는 제1 다차원 재구성된 신호
Figure 112021045922133-pat00088
를 획득한다. 본 예시적인 실시예에서, 조합부(104)는 식(2)에 따라, 드라이 업믹스 신호 CY의 각각의 채널들의 오디오 콘텐츠를 웨트 업믹스 신호 PZ의 각각의 채널들과 조합함으로써 재구성된 신호
Figure 112021045922133-pat00089
의 각각의 채널들을 획득한다.
도 2는 예시적인 실시예에 따른 오디오 디코딩 시스템(200)의 일반화된 블록도이다. 오디오 디코딩 시스템(200)은 도 1을 참조하여 설명된 파라메트릭 재구성부(100)를 포함한다. 예를 들어, 디멀티플렉서를 포함하는 수신부(201)는 도 4를 참조하여 설명된 오디오 인코딩 시스템(400)으로부터 송신된 비트스트림 B를 수신하고, 비트스트림 B로부터 다운믹스 신호 Y 및 관련된 드라이 업믹스 파라미터들
Figure 112021045922133-pat00090
및 웨트 업믹스 파라미터들
Figure 112021045922133-pat00091
를 추출한다. 다운믹스 신호 Y가 돌비 디지털 또는 MPEG AAC와 같은 지각적 오디오 코덱을 사용하여 비트스트림 B에서 인코드되는 경우에, 오디오 디코딩 시스템(200)은 비트스트림 B로부터 추출될 때 다운믹스 신호 Y를 디코드하도록 구성된 코어 디코더(도 2에 도시 안됨)를 포함할 수 있다. 변환부(202)는 역 MDCT를 수행함으로써 다운믹스 신호 Y를 변환하고 QMF 분석부(203)는 다운믹스 신호 Y를 시간/주파수 타일들의 형태로 다운믹스 신호 Y의 파라메트릭 재구성부(100)에 의한 처리를 위해 QMF 도메인으로 변환한다. 역양자화부들(204 및 205)은 그들을 파라메트릭 재구성부(100)에 공급하기 전에, 예를 들어, 엔트로피 코딩된 포맷으로부터, 드라이 업믹스 파라미터들
Figure 112021045922133-pat00092
및 웨트 업믹스 파라미터들
Figure 112021045922133-pat00093
를 역양자화한다. 도 4를 참조하여 설명된 바와 같이, 양자화는 2개의 상이한 단계 크기들 중 하나, 예를 들어, 0.1 또는 0.2로 수행될 수 있을 것이다. 이용된 실제 단계 크기는 미리 정해질 수 있거나, 예를 들어, 비트스트림 B를 통해, 인코더 측으로부터 오디오 디코딩 시스템(200)에 시그널링될 수 있다. 일부 예시적인 실시예들에서, 드라이 업믹스 계수들 C 및 웨트 업믹스 계수들 P는 각각 드라이 업믹스부(102) 및 웨트 업믹스부(103)의 일부로서 선택적으로 간주될 수 있는, 각각의 역양자화부들(204 및 205) 내에서 이미, 각각 드라이 업믹스 파라미터들
Figure 112021045922133-pat00094
및 웨트 업믹스 파라미터들
Figure 112021045922133-pat00095
로부터 도출될 수 있다. 본 예시적인 실시예에서, 파라메트릭 재구성부(100)에 의해 출력된 재구성된 오디오 신호
Figure 112021045922133-pat00096
는 멀티스피커 시스템(207) 상에서 재생하기 위해 오디오 디코딩 시스템(200)의 출력으로서 제공되기 전에 QMF 합성부(206)에 의해 QMF 도메인으로부터 다시 변환된다.
도 5-11은 예시적인 실시예들에 따른, 다운믹스 채널들에 의해 11.1 채널 오디오 신호를 나타내는 대안적 방식들을 도시한다. 본 예시적인 실시예들에서, 11.1 채널 오디오 신호는 도 5-11에서 대문자로 표시된 채널들: 좌(L), 우(R), 중앙(C), 저주파수 효과들(LFE), 좌 측면(LS), 우 측면(RS), 좌후(LB), 우후(RB), 상 전좌(TFL), 상전우(TFR), 상후좌(TBL) 및 상후우(TBR)를 포함한다. 11.1 채널 오디오 신호를 나타내는 대안적 방식들은 채널들의 세트들로의 채널들의 대안적 분할들에 대응하고, 각각의 세트는 단일 다운믹스 신호에 의해, 그리고 선택적으로 관련된 웨트 및 드라이 업믹스 파라미터들에 의해 나타내진다. 채널들의 세트들 각각의 그것의 각각의 단일-채널 다운믹스 신호(및 메타데이터)로의 인코딩은 독립적으로 그리고 동시에 수행될 수 있다. 유사하게, 그들의 각각의 단일-채널 다운믹스 신호들로부터의 채널들의 각각의 세트들의 재구성은 독립적으로 그리고 동시에 수행될 수 있다.
도 5-11을 참조하여 (그리고 또한 도 13-16을 참조하여 아래에) 설명되는 예시적인 실시예들에서, 재구성된 채널들 중 어느 것도 하나보다 많은 다운믹스 채널 및 그 단일 다운믹스 신호로부터 도출된 임의의 역상관된 신호들로부터의 기여들을 포함하지 않을 수 있는데, 즉 다중 다운믹스 채널들로부터의 기여들은 파라메트릭 재구성 중에 조합/믹스되지 않는다는 것을 이해하여야 한다.
도 5에서, 채널들 LS, TBL 및 LB는 단일 다운믹스 채널 ls (및 그것의 관련된 메타데이터)에 의해 나타내진 채널들의 그룹(501)을 형성한다. 도 3을 참조하여 설명된 파라메트릭 인코딩부(300)는 단일-채널 다운믹스 채널 ls 및 관련된 드라이 및 웨트 업믹스 파라미터들에 의해 3개의 오디오 채널들 LS, TBL 및 LB를 나타내기 위해 N=3으로 하여 이용될 수 있다. 파라메트릭 인코딩부(300)에서 수행된 인코딩과 모두 관련된, 미리 정해진 행렬 V 및 중간 행렬
Figure 112021045922133-pat00097
의 미리 정해진 행렬 부류가 디코더 측 상에 알려지는 상황에서, 도 1을 참조하여 설명된 파라메트릭 재구성부(100)는 다운믹스 신호 ls 및 관련된 드라이 및 웨트 업믹스 파라미터들로부터 3개의 채널 LS, TBL 및 LB를 재구성하기 위해 이용될 수 있다. 유사하게, 채널들 RS, TBR 및 RB는 단일 다운믹스 채널 rs에 의해 나타내진 채널들의 그룹(502)을 형성하고, 파라메트릭 인코딩부(300)의 또 하나의 예는 단일 다운믹스 채널 rs 및 관련된 드라이 및 웨트 업믹스 파라미터들에 의해 3개의 채널들 RS, TBR 및 RB를 나타내기 위해 제1 인코딩부와 동시에 이용될 수 있다. 또한, 파라메트릭 인코딩부(300)의 제2 예와 모두 관련된, 미리 정해진 행렬 V 및 중간 행렬
Figure 112021045922133-pat00098
이 속하는 미리 정해진 행렬 부류가 디코더 측에서 알려지는 상황에서, 파라메트릭 재구성부(100)의 또 하나의 예는 다운믹스 신호 rs 및 관련된 드라이 및 웨트 업믹스 파라미터들로부터 3개의 채널들 RS, TBR 및 RB를 재구성하기 위해 제1 파라메트릭 재구성부와 동시에 이용될 수 있다. 채널들의 또 하나의 그룹(503)은 다운믹스 채널 l에 의해 나타내진 단지 2개의 채널들 L 및 TFL을 포함한다. 이들 2개의 채널의 다운믹스 채널 l 및 관련된 웨트 및 드라이 업믹스 파라미터들로의 인코딩은 각각 도 3 및 1을 참조하여 설명된 것들과 유사하지만, N=2인 인코딩부들 및 재구성부에 의해 수행될 수 있다. 채널들의 또 하나의 그룹(504)은 다운믹스 채널 lfe에 의해 나타내진 단일-채널 LFE 만을 포함한다. 이 경우에, 다운믹싱이 요구되지 않고 다운믹스 채널 lfe는 지각적 오디오 코덱을 사용하여 선택적으로 MDCT 도메인으로 변환 및/또는 인코드된 채널 LFE 자체일 수 있다.
11.1 채널 오디오 신호를 나타내기 위해 도 5-11에서 이용된 다운믹스 채널들의 총수는 변화한다. 예를 들어, 도 5에 도시된 예는 6개의 다운믹스 채널을 이용하지만 도 7의 예는 10개의 다운믹스 채널을 이용한다. 상이한 다운믹스 구성들이 상이한 상황들에 대해, 예를 들어, 다운믹스 신호들 및 관련된 업믹스 파라미터의 송신을 위한 가용한 대역폭, 및/또는 11.1 채널 오디오 신호의 충실한 재구성이 어떻게 이루어져야 하는지에 대한 요건들에 따라 적합하게 될 수 있다.
예시적인 실시예들에 따라, 도 4를 참조하여 설명된 오디오 인코딩 시스템(400)은 도 3을 참조하여 설명된 파라메트릭 인코딩부(300)를 포함하는, 복수의 파라메트릭 인코딩부를 포함할 수 있다. 오디오 인코딩 시스템(400)은 도 5-11에 도시된 11.1 채널 오디오 신호의 각각의 분할들에 대응하는 코딩 포맷들을 위한 수집으로부터, 11.1 채널 오디오 신호를 위한 코딩 포맷을 결정/선택하도록 구성된 제어부(도 4에 도시 안됨)를 포함할 수 있다. 코딩 포맷은 각각의 다운믹스 채널들을 계산하기 위한 미리 정해진 규칙들의 세트(그 중 적어도 일부는 일치할 수 있음), 중간 행렬들
Figure 112021045922133-pat00099
을 위한 미리 정해진 행렬 부류들의 세트(그 중 적어도 일부는 일치할 수 있음) 및 각각의 관련된 웨트 업믹스 파라미터들에 기초하여 채널들의 각각의 세트들 중 적어도 일부와 관련된 웨트 업믹스 계수들을 획득하기 위한 미리 결정된 행렬들 V의 세트(그 중 적어도 일부는 일치할 수 있음)에 더 대응한다. 본 예시적인 실시예에 따라, 오디오 인코딩 시스템은 결정된 코딩 포맷에 적절한 복수의 인코딩부의 서브셋을 사용하여 11.1 채널 오디오 신호를 인코드하도록 구성된다. 예를 들어, 결정된 코딩 포맷이 도 1에 도시된 11.1 채널들의 분할에 대응하면, 인코딩 시스템은 각각의 단일 다운믹스 채널들에 의해 3개의 채널들의 각각의 세트들을 나타내기 위해 구성된 2개의 인코딩부, 각각의 단일 다운믹스 채널들에 의해 2개의 채널들의 각각의 세트들을 나타내기 위해 구성된 2개의 인코딩부, 및 각각의 단일 다운믹스 채널들로서 각각의 단일 채널을 나타내기 위해 구성된 2개의 인코딩부를 이용할 수 있다. 모든 다운믹스 신호들 및 관련된 웨트 및 드라이 업믹스 파라미터들은 디코더 측에 송신하기 위해, 동일한 비트스트림 B에서 인코드될 수 있다. 다운믹스 채널들, 즉 웨트 업믹스 파라미터들 및 웨트 업믹스 파라미터들을 수반하는 메타데이터의 조밀한 포맷은 인코딩부들 중 일부에 의해 이용될 수 있지만, 예시적인 실시예들 중 적어도 일부에서, 다른 메타데이터 포맷들이 이용될 수 있다는 점에 주목한다. 예를 들어, 인코딩부들 중 일부는 웨트 및 드라이 업믹스 파라미터들 대신에 웨트 및 드라이 업믹스 계수들의 전체 수를 출력할 수 있다. 일부 채널들이 N-1보다 적은 수의 (또는 심지어 역상관이 전혀 없는) 역상관된 채널을 이용하는 재구성을 위해 인코드되고, 여기서 파라메트릭 재구성을 위한 메타데이터가 그래서 상이한 형태를 취할 수 있는 실시예들이 또한 상상된다.
예시적인 실시예에 따라, 도 2를 참조하여 설명된 오디오 디코딩 시스템(200)은 각각의 다운믹스 신호들에 의해 나타내진 11.1 채널 오디오 신호의 채널들의 각각의 세트들을 재구성하기 위해, 도 1을 참조하여 설명된 파라메트릭 재구성부(100)를 포함하는, 복수의 재구성부를 포함할 수 있다. 오디오 디코딩 시스템(200)은 결정된 코딩 포맷을 표시하는 인코더 측으로부터의 시그널링을 수신하도록 구성된 제어부(도 2에 도시 안됨)를 포함할 수 있고, 오디오 디코딩 시스템(200)은 수신된 다운믹스 신호들 및 관련된 드라이 및 웨트 업믹스 파라미터들로부터 11.1 채널 오디오 신호를 재구성하는 복수의 재구성부의 적절한 서브셋을 이용할 수 있다.
도 12-13은 예시적인 실시예들에 따른, 다운믹스 채널들에 의해 13.1 채널 오디오 신호를 나타내는 대안적 방식들을 도시한다. 13.1 채널 오디오 신호는 채널들: 좌 스크린(LSCRN), 좌측 와이드(LW), 우 스크린(RSCRN), 우측 와이드(RW), 중앙(C), 저주파수 효과들(LFE), 좌 측면(LS), 우 측면(RS), 좌후(LB), 우후(RB), 상전좌(TFL), 상전우(TFR), 상후좌(TBL) 및 상후우(TBR)를 포함한다. 각각의 다운믹스 채널들로서의 채널들의 각각의 그룹들의 인코딩은 도 5-11을 참조하여 위에 설명된 바와 같이, 독립적이고 동시에 동작하는 각각의 인코딩부들에 의해 수행될 수 있다. 유사하게, 각각의 다운믹스 채널들 및 관련된 업믹스 파라미터들에 기초한 채널들의 각각의 그룹들의 재구성은 독립적이고 동시에 동작하는 각각의 재구성부들에 의해 수행될 수 있다.
도 14-16은 예시적인 실시예들에 따른, 다운믹스 신호들에 의해 22.2 채널 오디오 신호를 나타내는 대안적 방식들을 도시한다. 22.2 채널 오디오 신호는 채널들: 저주파수 효과들 1(LFE1), 저주파수 효과들 2(LFE2), 하전 중앙(BFC), 중앙(C), 상전 중앙(TFC), 좌측 와이드(LW), 하전좌(BFL), 좌(L), 상전좌(TFL), 상 측면 좌(TSL), 상후좌(TBL), 좌 측면(LS), 좌후(LB), 상 중앙(TC), 상후 중앙(TBC), 중앙 후(CB), 하전우(BFR), 우(R), 우측 와이드(RW), 상전우(TFR), 상 측면 우(TSR), 상후우(TBR), 우 측면(RS), 및 우후(RB)를 포함한다. 도 16에 도시된 22.2 채널 오디오 신호의 분할은 4개의 채널을 포함하는 채널들의 그룹(1601)을 포함한다. 도 3을 참조하여 설명되지만, N=4로 하여 구현되는 파라메트릭 인코딩부(300)는 다운믹스 신호 및 관련된 웨트 및 드라이 업믹스 파라미터들로서 이들 채널을 인코드하기 위해 이용될 수 있다. 유사하게, 도 1을 참조하여 설명되지만, N=4로 하여 구현되는 파라메트릭 재구성부(100)는 다운믹스 신호 및 관련된 웨트 및 드라이 업믹스 파라미터들로서 이들 채널을 재구성하기 위해 이용될 수 있다.
Ⅲ. 등가물들, 확장들, 대안들 및 여러 종류
본 개시의 다른 실시예들은 본 기술 분야의 통상의 기술자가 상기 설명을 연구한 후에 분명해질 것이다. 본 설명 및 도면이 실시예들 및 예들을 개시하지만, 이 개시는 이들 특정한 예에 한정되지 않는다. 다양한 수정들 및 변형들이 첨부된 청구 범위에 의해 정의되는, 본 개시의 범위에서 벗어나지 않고서 이루어질 수 있다. 청구 범위에 나오는 어떤 참조 부호들은 그들의 범위를 제한하는 것으로 이해되어서는 안된다.
추가적으로, 개시된 실시예들에 대한 변형들은 도면, 개시 및 첨부된 청구 범위의 연구로부터, 본 개시를 실시하는 데 있어서 통상의 기술자에 의해 이해되고 수행될 수 있다. 단어 "포함하는"은 다른 요소들 또는 단계들을 배제하지 않고, 단수 표현은 복수를 배제하지 않는다. 소정의 수단들이 서로 상이한 종속 청구항들에서 열거된다는 단순한 사실은 이들 수단의 조합이 유리하게 이용될 수 없다는 것을 의미하지 않는다.
위에 개시된 디바이스들 및 방법들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로서 구현될 수 있다. 하드웨어 구현에서, 상기 설명에서 참조된 기능적 유닛들 간의 작업들의 분할은 반드시 물리적 유닛들로의 분할에 대응하지 않고; 반대로, 하나의 물리적 소자는 다중 기능들을 가질 수 있고, 하나의 작업은 여러 물리적 소자들에 의해 협력하여 수행될 수 있다. 소정의 소자들 또는 모든 소자들은 디지털 신호 프로세서 또는 마이크로프로세서에 의해 실행되는 소프트웨어로서 구현될 수 있거나, 하드웨어로서 또는 주문형 집적 회로로서 구현될 수 있다. 이러한 소프트웨어는 컴퓨터 저장 매체(또는 비일시적인 매체) 및 통신 매체(또는 일시적인 매체)를 포함할 수 있는, 컴퓨터 판독가능 매체 상에 분배될 수 있다. 본 기술 분야의 통상의 기술자에게 널리 공지된 바와 같이, 컴퓨터 저장 매체라는 용어는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 어떤 방법 또는 기술에서 구현되는 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체 모두를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크들(DVD) 또는 다른 광학 디스크 스토리지, 자기 카세트들, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 기타 매체를 포함하지만, 이들로 제한되지 않는다. 또한, 통신 매체는 전형적으로 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 반송파 또는 다른 이송 메커니즘과 같은 변조된 데이터 신호로 실시하고 어떤 정보 전달 매체를 포함한다는 것은 통상의 기술자에게 널리 공지되어 있다.

Claims (13)

  1. 단일-채널 다운믹스 신호(Y)에 기초하여 N-채널 오디오 신호(X)를 재구성하는 방법으로서,
    파라메트릭 재구성 시스템(parametric reconstruction system)의 역상관부(decorrelating section)에 의해, 상기 단일-채널 다운믹스 신호(Y)를 수신하는 단계;
    상기 단일-채널 다운믹스 신호(Y)를 처리하여 (N-1)-채널 역상관된 신호(Z)를 출력하는 단계 - 상기 처리는 각각의 필터들을 상기 단일-채널 다운믹스 신호(Y)에 적용하는 것을 포함함 - ;
    상기 파라메트릭 재구성 시스템의 드라이 업믹스부에 의해, 상기 단일-채널 다운믹스 신호(Y) 및 드라이 업믹스 파라미터들(
    Figure 112021105839698-pat00116
    )을 수신하는 단계 - 상기 드라이 업믹스 파라미터들(
    Figure 112021105839698-pat00117
    )은 드라이 업믹스 계수들의 세트(C)의 제1 부분과 일치함 - ;
    　상기 드라이 업믹스 계수들의 세트(C) 간의 미리 정해진 관계에 기초하여 상기 드라이 업믹스 계수들의 세트(C)의 다른 부분들을 결정하는 단계;
    상기 드라이 업믹스부에 의해, 상기 드라이 업믹스 계수들의 세트(C)에 따라 상기 단일-채널 다운믹스 신호(Y)를 선형으로 맵핑함으로써 계산된 드라이 업믹스 신호(CY)를 출력하는 단계;
    상기 파라메트릭 재구성 시스템의 웨트 업믹스부에 의해, 상기 (N-1)-채널 역상관된 신호(Z) 및 웨트 업믹스 파라미터들의 세트(
    Figure 112021105839698-pat00118
    )를 수신하는 단계;
    상기 웨트 업믹스 파라미터들의 세트(
    Figure 112021105839698-pat00119
    )로부터, 웨트 업믹스 계수들의 세트(P)를 도출하는 단계;
    상기 웨트 업믹스부에 의해, 상기 (N-1)-채널 역상관된 신호(Z)와 상기 웨트 업믹스 계수들의 세트(P)를 맵핑함으로써 계산된 웨트 업믹스 신호(PZ)를 출력하는 단계; 및
    상기 파라메트릭 재구성 시스템의 조합부에 의해, 재구성될 상기 N-채널 오디오 신호(X)에 대응하는 다차원 재구성된 신호(
    Figure 112021105839698-pat00120
    )를 획득하기 위해 상기 드라이 업믹스 신호(CY)와 상기 웨트 업믹스 신호(PZ)를 조합하는 단계
    를 포함하고,
    상기 파라메트릭 재구성 시스템은 하나 이상의 프로세서를 포함하며,
    상기 방법은 상기 수신된 웨트 업믹스 파라미터들에 기초하여, 상기 수신된 웨트 업믹스 파라미터들의 수보다 많은 요소들을 갖는 중간 행렬을 파퓰레이트하는(populating) 단계를 더 포함하고, 상기 중간 행렬은 미리 정해진 행렬 부류(matrix class)에 속하는 방법.
  2. 삭제
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서, 상기 웨트 업믹스 계수들의 세트를 도출하는 단계는 상기 중간 행렬을 미리 정해진 행렬과 곱하는 단계를 포함하고, 상기 웨트 업믹스 계수들의 세트는 상기 곱셈으로부터 생기는 행렬에 대응하고 상기 중간 행렬 내의 요소들의 수보다 많은 계수들을 포함하는 방법.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제3항에 있어서, 상기 미리 정해진 행렬 부류는,
    하삼각 또는 상삼각 행렬들(lower or upper triangular matrices) - 상기 부류 내의 모든 행렬들의 알려진 속성들은 0인 미리 정해진 행렬 요소들을 포함함 -;
    대칭 행렬들 - 상기 부류 내의 모든 행렬들의 알려진 속성들은 동일한 미리 정의된 행렬 요소들을 포함함 -; 및
    직교 행렬과 대각 행렬의 곱들 - 상기 부류 내의 모든 행렬들의 알려진 속성들은 미리 정의된 행렬 요소들 사이의 알려진 관계들을 포함함 - 중 하나인 방법.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서, 상기 웨트 업믹스 파라미터들은 N(N-1)/2개의 웨트 업믹스 파라미터들을 포함하고, 상기 중간 행렬을 파퓰레이트하는 단계는 상기 N(N-1)/2개의 웨트 업믹스 파라미터들에 기초하여 그리고 상기 중간 행렬이 상기 미리 정해진 행렬 부류에 속한다는 것을 알고서
    Figure 112021105839698-pat00121
    개의 행렬 요소들에 대한 값들을 획득하는 단계를 포함하고, 상기 미리 정해진 행렬은 N(N-1)개의 요소들을 포함하고, 상기 웨트 업믹스 계수들의 세트는 N(N-1)개의 계수들을 포함하는 방법.
  6. 삭제
  7. 제1 단일-채널 다운믹스 신호(Y)에 기초하여 N-채널 오디오 신호(X)를 재구성하도록 구성된 제1 파라메트릭 재구성부(100)를 포함하는 오디오 디코딩 시스템(200)으로서, 상기 오디오 디코딩 시스템은,
    파라메트릭 재구성 시스템의 제1 역상관부 - 상기 파라메트릭 재구성 시스템의 제1 역상관부는,
    상기 단일-채널 다운믹스 신호(Y)를 수신하는 것;
    상기 단일-채널 다운믹스 신호(Y)를 처리하는 것 - 상기 처리하는 것은 상기 단일-채널 다운믹스 신호(Y)에 각각의 필터들을 적용하는 것을 포함함 -; 및
    (N-1)-채널 역상관된 신호(Z)를 출력하는 것을 포함하는 동작들을 수행하도록 구성됨 - ;
    제1 드라이 업믹스부 - 상기 제1 드라이 업믹스부는,
    상기 단일-채널 다운믹스 신호(Y) 및 드라이 업믹스 파라미터들(
    Figure 112021105839698-pat00122
    )을 수신하는 것 - 상기 드라이 업믹스 파라미터들(
    Figure 112021105839698-pat00123
    )은 드라이 업믹스 계수들의 세트(C)의 제1 부분과 일치함 - ;
    상기 드라이 업믹스 계수들의 세트(C) 간의 미리 정해진 관계에 기초하여 상기 드라이 업믹스 계수들의 세트(C)의 다른 부분들을 결정하는 것; 및
    상기 드라이 업믹스 계수들의 세트(C)에 따라 상기 단일-채널 다운믹스 신호(Y)를 선형으로 맵핑함으로써 계산된 드라이 업믹스 신호(CY)를 출력하는 것을 포함하는 동작들을 수행하도록 구성됨 - ;
    상기 파라메트릭 재구성 시스템의 제1 웨트 업믹스부 - 상기 파라메트릭 재구성 시스템의 제1 웨트 업믹스부는,
    상기 (N-1)-채널 역상관된 신호(Z) 및 웨트 업믹스 파라미터들의 세트(
    Figure 112021105839698-pat00124
    )를 수신하는 것;
    상기 웨트 업믹스 파라미터들의 세트(
    Figure 112021105839698-pat00125
    )로부터, 웨트 업믹스 계수들의 세트(P)를 도출하는 것; 및
    상기 (N-1)-채널 역상관된 신호(Z)와 상기 웨트 업믹스 계수들의 세트(P)를 맵핑함으로써 계산된 웨트 업믹스 신호(PZ)를 출력하는 것을 포함하는 동작들을 수행하도록 구성됨 - ; 및
    조합부 - 상기 조합부는, 재구성될 상기 N-채널 오디오 신호에 대응하는 다차원 재구성된 신호(
    Figure 112021105839698-pat00126
    )를 획득하기 위해 상기 드라이 업믹스 신호(CY)와 상기 웨트 업믹스 신호(PZ)를 조합하는 것을 포함하는 동작들을 수행하도록 구성됨 -
    를 포함하고,
    상기 제1 파라메트릭 재구성부는 하나 이상의 프로세서를 포함하며,
    상기 제1 파라메트릭 재구성부는, 상기 수신된 웨트 업믹스 파라미터들에 기초하여, 상기 수신된 웨트 업믹스 파라미터들의 수보다 많은 요소들을 갖는 중간 행렬을 파퓰레이트하는 것을 포함하는 동작들을 수행하도록 더 구성되고, 상기 중간 행렬은 미리 정해진 행렬 부류에 속하는 오디오 디코딩 시스템.
  8. 삭제
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제7항에 있어서, 상기 웨트 업믹스 계수들의 세트를 도출하는 것은 상기 중간 행렬을 미리 정해진 행렬과 곱하는 것을 포함하고, 상기 웨트 업믹스 계수들의 세트는 상기 곱셈으로부터 생기는 행렬에 대응하고 상기 중간 행렬 내의 요소들의 수보다 많은 계수들을 포함하는 오디오 디코딩 시스템.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제9항에 있어서, 상기 미리 정해진 행렬 부류는,
    하삼각 또는 상삼각 행렬들 - 상기 부류 내의 모든 행렬들의 알려진 속성들은 0인 미리 정해진 행렬 요소들을 포함함 -;
    대칭 행렬들 - 상기 부류 내의 모든 행렬들의 알려진 속성들은 동일한 미리 정의된 행렬 요소들을 포함함 -; 및
    직교 행렬과 대각 행렬의 곱들 - 상기 부류 내의 모든 행렬들의 알려진 속성들은 미리 정의된 행렬 요소들 사이의 알려진 관계들을 포함함 - 중 하나인 오디오 디코딩 시스템.
  11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈
    제7항에 있어서, 상기 웨트 업믹스 파라미터들은 N(N-1)/2개의 웨트 업믹스 파라미터들을 포함하고, 상기 중간 행렬을 파퓰레이트하는 것은 상기 N(N-1)/2개의 웨트 업믹스 파라미터들에 기초하여 그리고 상기 중간 행렬이 상기 미리 정해진 행렬 부류에 속한다는 것을 알고서
    Figure 112021105839698-pat00127
    개의 행렬 요소들에 대한 값들을 획득하는 것을 포함하고, 상기 미리 정해진 행렬은 N(N-1)개의 요소들을 포함하고, 상기 웨트 업믹스 계수들의 세트는 N(N-1)개의 계수들을 포함하는 오디오 디코딩 시스템.
  12. 삭제
  13. 하나 이상의 프로세서에 의해 수행될 때, 상기 하나 이상의 프로세서로 하여금 단일-채널 다운믹스 신호(Y)에 기초하여 N-채널 오디오 신호(X)를 재구성하는 동작을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 동작들은,
    파라메트릭 재구성 시스템의 역상관부에 의해, 상기 단일-채널 다운믹스 신호(Y)를 수신하는 단계;
    상기 단일-채널 다운믹스 신호(Y)를 처리하여 (N-1)-채널 역상관된 신호(Z)를 출력하는 단계 - 상기 처리는 각각의 필터들을 상기 단일-채널 다운믹스 신호(Y)에 적용하는 것을 포함함 - ;
    상기 파라메트릭 재구성 시스템의 드라이 업믹스부에 의해, 상기 단일-채널 다운믹스 신호(Y) 및 드라이 업믹스 파라미터들(
    Figure 112021105839698-pat00128
    )을 수신하는 단계 - 상기 드라이 업믹스 파라미터들(
    Figure 112021105839698-pat00129
    )은 드라이 업믹스 계수들의 세트(C)의 제1 부분과 일치함 - ;
    　상기 드라이 업믹스 계수들의 세트(C) 간의 미리 정해진 관계에 기초하여 상기 드라이 업믹스 계수들의 세트(C)의 다른 부분들을 결정하는 단계;
    상기 드라이 업믹스부에 의해, 상기 드라이 업믹스 계수들의 세트(C)에 따라 상기 단일-채널 다운믹스 신호(Y)를 선형으로 맵핑함으로써 계산된 드라이 업믹스 신호(CY)를 출력하는 단계;
    상기 파라메트릭 재구성 시스템의 웨트 업믹스부에 의해, 상기 (N-1)-채널 역상관된 신호(Z) 및 웨트 업믹스 파라미터들의 세트(
    Figure 112021105839698-pat00130
    )를 수신하는 단계;
    상기 웨트 업믹스 파라미터들의 세트(
    Figure 112021105839698-pat00131
    )로부터, 웨트 업믹스 계수들의 세트(P)를 도출하는 단계;
    상기 웨트 업믹스부에 의해, 상기 (N-1)-채널 역상관된 신호(Z)와 상기 웨트 업믹스 계수들의 세트(P)를 맵핑함으로써 계산된 웨트 업믹스 신호(PZ)를 출력하는 단계; 및
    상기 파라메트릭 재구성 시스템의 조합부에 의해, 재구성될 상기 N-채널 오디오 신호(X)에 대응하는 다차원 재구성된 신호(
    Figure 112021105839698-pat00132
    )를 획득하기 위해 상기 드라이 업믹스 신호(CY)와 상기 웨트 업믹스 신호(PZ)를 조합하는 단계
    를 포함하고,
    상기 동작들은 상기 수신된 웨트 업믹스 파라미터들에 기초하여, 상기 수신된 웨트 업믹스 파라미터들의 수보다 많은 요소들을 갖는 중간 행렬을 파퓰레이트하는(populating) 단계를 더 포함하며, 상기 중간 행렬은 미리 정해진 행렬 부류에 속하는 비일시적 컴퓨터 판독가능 매체.
KR1020217011678A 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성 KR102381216B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227010258A KR102486365B1 (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201361893770P 2013-10-21 2013-10-21
US61/893,770 2013-10-21
US201461974544P 2014-04-03 2014-04-03
US61/974,544 2014-04-03
US201462037693P 2014-08-15 2014-08-15
US62/037,693 2014-08-15
KR1020167010113A KR102244379B1 (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성
PCT/EP2014/072570 WO2015059153A1 (en) 2013-10-21 2014-10-21 Parametric reconstruction of audio signals

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167010113A Division KR102244379B1 (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227010258A Division KR102486365B1 (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성

Publications (2)

Publication Number Publication Date
KR20210046848A KR20210046848A (ko) 2021-04-28
KR102381216B1 true KR102381216B1 (ko) 2022-04-08

Family

ID=51845388

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020237000408A KR20230011480A (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성
KR1020227010258A KR102486365B1 (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성
KR1020167010113A KR102244379B1 (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성
KR1020217011678A KR102381216B1 (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020237000408A KR20230011480A (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성
KR1020227010258A KR102486365B1 (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성
KR1020167010113A KR102244379B1 (ko) 2013-10-21 2014-10-21 오디오 신호들의 파라메트릭 재구성

Country Status (9)

Country Link
US (6) US9978385B2 (ko)
EP (1) EP3061089B1 (ko)
JP (1) JP6479786B2 (ko)
KR (4) KR20230011480A (ko)
CN (3) CN105917406B (ko)
BR (1) BR112016008817B1 (ko)
ES (1) ES2660778T3 (ko)
RU (1) RU2648947C2 (ko)
WO (1) WO2015059153A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112016008426B1 (pt) 2013-10-21 2022-09-27 Dolby International Ab Método para reconstrução de uma pluralidade de sinais de áudio, sistema de decodificação de áudio, método para codificação de uma pluralidade de sinais de áudio, sistema de codificação de áudio, e mídia legível por computador
JP6640849B2 (ja) 2014-10-31 2020-02-05 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ信号のパラメトリック・エンコードおよびデコード
TWI587286B (zh) 2014-10-31 2017-06-11 杜比國際公司 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體
US9986363B2 (en) * 2016-03-03 2018-05-29 Mach 1, Corp. Applications and format for immersive spatial sound
CN106851489A (zh) * 2017-03-23 2017-06-13 李业科 在小房间摆放多声道音箱的方法
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
WO2019020757A2 (en) 2017-07-28 2019-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. APPARATUS FOR ENCODING OR DECODING A MULTI-CHANNEL SIGNAL ENCODED USING A FILLING SIGNAL GENERATED BY A BROADBAND FILTER
JP7107727B2 (ja) * 2018-04-17 2022-07-27 シャープ株式会社 音声処理装置、音声処理方法、プログラム、及び、プログラムの記録媒体
CN111696625A (zh) * 2020-04-21 2020-09-22 天津金域医学检验实验室有限公司 一种fish室荧光计数系统
CA3240986A1 (en) 2021-12-20 2023-06-29 Dolby International Ab Ivas spar filter bank in qmf domain
WO2024073401A2 (en) * 2022-09-30 2024-04-04 Sonos, Inc. Home theatre audio playback with multichannel satellite playback devices
WO2024097485A1 (en) 2022-10-31 2024-05-10 Dolby Laboratories Licensing Corporation Low bitrate scene-based audio coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008131903A1 (en) * 2007-04-26 2008-11-06 Dolby Sweden Ab Apparatus and method for synthesizing an output signal
US20110173005A1 (en) 2008-07-11 2011-07-14 Johannes Hilpert Efficient Use of Phase Information in Audio Encoding and Decoding

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111958A (en) * 1997-03-21 2000-08-29 Euphonics, Incorporated Audio spatial enhancement apparatus and methods
PT1362499E (pt) * 2000-08-31 2012-04-18 Dolby Lab Licensing Corp Processo para dispositivo para descodificação matricial áudio
CA3026283C (en) * 2001-06-14 2019-04-09 Dolby Laboratories Licensing Corporation Reconstructing audio signals with multiple decorrelation techniques
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
SE0402651D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
SE0402649D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
WO2006079086A2 (en) 2005-01-24 2006-07-27 Thx, Ltd. Ambient and direct surround sound system
DE102005010057A1 (de) 2005-03-04 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms
KR101271069B1 (ko) * 2005-03-30 2013-06-04 돌비 인터네셔널 에이비 다중채널 오디오 인코더 및 디코더와, 인코딩 및 디코딩 방법
JP4804532B2 (ja) * 2005-04-15 2011-11-02 ドルビー インターナショナル アクチボラゲット 無相関信号の包絡線整形
US8917874B2 (en) * 2005-05-26 2014-12-23 Lg Electronics Inc. Method and apparatus for decoding an audio signal
PL2088580T3 (pl) 2005-07-14 2012-07-31 Koninl Philips Electronics Nv Kodowanie sygnałów audio
EP1938662B1 (en) * 2005-08-30 2016-09-28 LG Electronics Inc. Method, apparatus, computer-readable medium for decoding an audio signal
CN101253556B (zh) * 2005-09-02 2011-06-22 松下电器产业株式会社 能量整形装置以及能量整形方法
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
JP2007178684A (ja) * 2005-12-27 2007-07-12 Matsushita Electric Ind Co Ltd マルチチャンネルオーディオ復号装置
KR100953643B1 (ko) * 2006-01-19 2010-04-20 엘지전자 주식회사 미디어 신호 처리 방법 및 장치
DE602006021347D1 (de) 2006-03-28 2011-05-26 Fraunhofer Ges Forschung Verbessertes verfahren zur signalformung bei der mehrkanal-audiorekonstruktion
KR101015037B1 (ko) * 2006-03-29 2011-02-16 돌비 스웨덴 에이비 오디오 디코딩
US7965848B2 (en) * 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
JP5113151B2 (ja) 2006-04-03 2013-01-09 エルジー エレクトロニクス インコーポレイティド メディア信号処理装置及びその方法
US8041041B1 (en) * 2006-05-30 2011-10-18 Anyka (Guangzhou) Microelectronics Technology Co., Ltd. Method and system for providing stereo-channel based multi-channel audio coding
WO2007146424A2 (en) 2006-06-15 2007-12-21 The Force Inc. Condition-based maintenance system and method
US7876904B2 (en) 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
PT2372701E (pt) * 2006-10-16 2014-03-20 Dolby Int Ab Codificação aprimorada e representação de parâmetros de codificação de objeto de downmix multicanal
DE102007018032B4 (de) * 2007-04-17 2010-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung dekorrelierter Signale
KR101244515B1 (ko) * 2007-10-17 2013-03-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 업믹스를 이용한 오디오 코딩
US8811621B2 (en) * 2008-05-23 2014-08-19 Koninklijke Philips N.V. Parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder
US8346379B2 (en) 2008-09-25 2013-01-01 Lg Electronics Inc. Method and an apparatus for processing a signal
US8346380B2 (en) 2008-09-25 2013-01-01 Lg Electronics Inc. Method and an apparatus for processing a signal
US8258849B2 (en) 2008-09-25 2012-09-04 Lg Electronics Inc. Method and an apparatus for processing a signal
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
EP2214162A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
EP2214161A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
US8666752B2 (en) 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
EP2394268B1 (en) 2009-04-08 2014-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing
EP2422344A1 (en) * 2009-04-21 2012-02-29 Koninklijke Philips Electronics N.V. Audio signal synthesizing
US8705769B2 (en) 2009-05-20 2014-04-22 Stmicroelectronics, Inc. Two-to-three channel upmix for center channel derivation
CN102460573B (zh) * 2009-06-24 2014-08-20 弗兰霍菲尔运输应用研究公司 音频信号译码器、对音频信号译码的方法
CN102714035B (zh) * 2009-10-16 2015-12-16 弗兰霍菲尔运输应用研究公司 用以提供一或多个经调整参数的装置及方法
TWI431611B (zh) * 2009-10-20 2014-03-21 Dolby Int Ab 用以基於下混信號表示型態提供上混信號表示型態之裝置、用以提供表示多聲道音訊信號的位元串流之裝置、使用失真控制發訊之方法、電腦程式與位元串流
US9026450B2 (en) 2011-03-09 2015-05-05 Dts Llc System for dynamically creating and rendering audio objects
CN102446507B (zh) * 2011-09-27 2013-04-17 华为技术有限公司 一种下混信号生成、还原的方法和装置
JP5930441B2 (ja) * 2012-02-14 2016-06-08 ホアウェイ・テクノロジーズ・カンパニー・リミテッド マルチチャネルオーディオ信号の適応ダウン及びアップミキシングを実行するための方法及び装置
CN103325383A (zh) * 2012-03-23 2013-09-25 杜比实验室特许公司 音频处理方法和音频处理设备
WO2013181272A2 (en) 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
DE102012210525A1 (de) 2012-06-21 2013-12-24 Robert Bosch Gmbh Verfahren zur Funktionskontrolle eines Sensors zur Detektion von Teilchen und Sensor zur Detektion von Teilchen
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008131903A1 (en) * 2007-04-26 2008-11-06 Dolby Sweden Ab Apparatus and method for synthesizing an output signal
US20110173005A1 (en) 2008-07-11 2011-07-14 Johannes Hilpert Efficient Use of Phase Information in Audio Encoding and Decoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ETSI TS 103 190-2 V1.1.1, Digital Audio Compression (AC-4) Standard Part 2: Immersive and personalized audio, 2015.09.
ISO/IEC WD0 23008-3. Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio. ISO/IEC JTC 1/SC 29/WG 11. 2013.10.23. (106 meeting w14060)

Also Published As

Publication number Publication date
JP2016537669A (ja) 2016-12-01
JP6479786B2 (ja) 2019-03-06
US10614825B2 (en) 2020-04-07
US10242685B2 (en) 2019-03-26
US9978385B2 (en) 2018-05-22
RU2648947C2 (ru) 2018-03-28
US20180268831A1 (en) 2018-09-20
CN111192592A (zh) 2020-05-22
KR102244379B1 (ko) 2021-04-26
CN105917406A (zh) 2016-08-31
KR20220044619A (ko) 2022-04-08
EP3061089A1 (en) 2016-08-31
US20190325885A1 (en) 2019-10-24
KR20210046848A (ko) 2021-04-28
US20240087584A1 (en) 2024-03-14
CN111192592B (zh) 2023-09-15
BR112016008817A2 (ko) 2017-08-01
RU2016119563A (ru) 2017-11-28
US20230104408A1 (en) 2023-04-06
ES2660778T3 (es) 2018-03-26
KR20230011480A (ko) 2023-01-20
EP3061089B1 (en) 2018-01-17
KR20160099531A (ko) 2016-08-22
US20160247514A1 (en) 2016-08-25
CN105917406B (zh) 2020-01-17
US11450330B2 (en) 2022-09-20
KR102486365B1 (ko) 2023-01-09
US11769516B2 (en) 2023-09-26
WO2015059153A1 (en) 2015-04-30
BR112016008817B1 (pt) 2022-03-22
CN111179956A (zh) 2020-05-19
CN111179956B (zh) 2023-08-11
US20200302943A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
KR102381216B1 (ko) 오디오 신호들의 파라메트릭 재구성
CN107112020B (zh) 音频信号的参数化混合
KR101805327B1 (ko) 오디오 신호들의 파라메트릭 재구성을 위한 역상관기 구조

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right