KR20160003572A - 다채널 오디오 신호 처리 방법 및 장치 - Google Patents

다채널 오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR20160003572A
KR20160003572A KR1020150094195A KR20150094195A KR20160003572A KR 20160003572 A KR20160003572 A KR 20160003572A KR 1020150094195 A KR1020150094195 A KR 1020150094195A KR 20150094195 A KR20150094195 A KR 20150094195A KR 20160003572 A KR20160003572 A KR 20160003572A
Authority
KR
South Korea
Prior art keywords
signal
channel
input
output
matrix
Prior art date
Application number
KR1020150094195A
Other languages
English (en)
Other versions
KR102144332B1 (ko
Inventor
백승권
서정일
성종모
이태진
장대영
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to PCT/KR2015/006788 priority Critical patent/WO2016003206A1/ko
Priority to US15/323,028 priority patent/US9883308B2/en
Priority to DE112015003108.1T priority patent/DE112015003108B4/de
Publication of KR20160003572A publication Critical patent/KR20160003572A/ko
Priority to US15/870,700 priority patent/US10264381B2/en
Priority to US16/357,180 priority patent/US10645515B2/en
Application granted granted Critical
Publication of KR102144332B1 publication Critical patent/KR102144332B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

다채널 오디오 신호 처리 방법 및 다채널 오디오 신호 처리 장치가 개시된다. 다채널 오디오 신호 처리 방법은, N-N/2-N 구조에 따라 N/2채널의 다운믹스 신호로부터 N채널의 출력 신호를 생성할 수 있다.

Description

다채널 오디오 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING MULTI-CHANNEL AUDIO SIGNAL}
본 발명은 다채널 오디오 신호 처리 방법 및 장치에 관한 것으로, 보다 구체적으로는 N-N/2-N 구조에 대해 다채널 오디오 신호를 보다 효율적으로 처리하는 방법 및 장치에 관한 것이다.
MPEG Surround(MPS)는 5.1 채널, 7.1채널 등 다채널 신호를 코딩하기 위한 오디오 코덱으로, 높은 압축률로서 다채널 신호를 압축하여 전송할 수 있는 인코딩 및 디코딩 기술을 의미한다. MPS는 인코딩 및 디코딩 과정에서 하위 호환이라는 제약 사항을 가진다. 그래서, MPS를 통해 압축된 후 디코더로 전송되는 비트스트림은 이전의 오디오 코덱을 이용하더라도 모노 또는 스테레오 방식으로 재생이 가능하여야 하는 제약 사항을 만족하여야 한다.
따라서, 다채널 신호를 구성하는 입력 채널의 수가 증가하더라도, 디코더로 전송되는 비트스트림은 인코딩된 모노 신호 또는 스테레오 신호를 포함하여야 한다. 그리고, 디코더는 비트스트림을 통해 전송된 모노 신호 또는 스테레오 신호가 업믹싱될 수 있도록 부가 정보를 추가로 수신할 수 있다. 디코더는 부가 정보를 이용하여 모노 신호 또는 스테레오 신호로부터 다채널 신호를 복원할 수 있다.
하지만, 5.1 채널, 7.1 채널 이상의 다채널 오디오 신호의 사용이 요구되면서, 기존의 MPS에서 정의하는 구조로 다채널 오디오 신호를 처리하는 경우 오디오 신호의 품질에 문제가 있었다.
본 발명은 N-N/2-N 구조를 통해 다채널 오디오 신호를 처리하는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 다채널 오디오 신호 처리 방법은 N채널의 입력 신호로부터 생성된 N/2 채널의 다운믹스 신호와 잔차 신호를 식별하는 단계; 상기 N/2 채널의 다운믹스 신호와 잔차 신호를 제1 매트릭스에 적용하는 단계; 상기 제1 매트릭스를 통해 N/2개의 OTT 박스들에 대응하는 N/2개의 비상관기에 입력되는 제1 신호 및 N/2개의 비상관기에 입력되지 않고 제2 매트릭스에 전달되는 제2 신호를 출력하는 단계; 상기 N/2개의 비상관기를 통해 제1 신호로부터 비상관된 신호를 출력하는 단계; 상기 비상관된 신호와 제2 신호를 제2 매트릭스에 적용하는 단계; 및 상기 제2 매트릭스를 통해 N채널의 출력 신호를 생성하는 단계를 포함할 수 있다.
상기 N채널의 출력 신호에 LFE 채널이 포함되지 않는 경우, 상기 N/2개의 OTT 박스들에 N/2개의 비상관기가 대응할 수 있다.
상기 비상관기의 개수가 모듈로 연산의 기준값을 초과하는 경우, 상기 비상관기의 인덱스는 기준값에 따라 반복적으로 재사용될 수 있다.
상기 N채널의 출력 신호에 LFE 채널이 포함되는 경우, 상기 비상관기는, N/2개에서 LFE 채널 개수를 제외한 나머지 개수가 사용되고, 상기 LFE 채널은, OTT 박스의 비상관기를 사용하지 않을 수 있다.
시간적인 쉐이핑 툴이 사용되지 않는 경우, 상기 제2 매트릭스는, 상기 제2 신호, 상기 비상관기로부터 도출된 비상관된 신호 및 상기 비상관기로부터 도출된 잔차 신호를 포함하는 하나의 벡터가 입력될 수 있다.
시간적인 쉐이핑 툴이 사용되는 경우, 상기 제2 매트릭스는, 상기 제2 신호 및 상기 비상관기로부터 도출된 잔차 신호로 구성된 다이렉트 신호에 대응하는 벡터와 상기 비상관기로부터 도출된 비상관된 신호로 구성된 확산 신호에 대응하는 벡터가 입력될 수 있다.
상기 N채널의 출력 신호를 생성하는 단계는, 서브밴드 도메인 시간 프로세싱(STP)가 사용되는 경우, 확산 신호와 다이렉트 신호에 기초한 스케일 팩터를 출력 신호의 확산 신호 부분에 적용하여 출력 신호의 시간적인 포락선을 쉐이핑할 수 있다.
상기 N채널의 출력 신호를 생성하는 단계는, 가이드된 포락선 쉐이핑(GES)가 사용되는 경우, N채널의 출력 신호의 채널별로 다이렉트 신호 부분에 대한 포락선을 평편화하고 리쉐이핑할 수 있다.
상기 제1 매트릭스의 크기는, 상기 제1 매트릭스를 적용하는 다운믹스 신호의 채널 개수와 비상관기의 개수에 따라 결정되고, 상기 제1 매트릭스의 엘리먼트는, CLD 파라미터 또는 CPC 파라미터에 의해 결정될 수 있다.
본 발명의 다른 실시예에 따른 다채널 오디오 신호 처리 방법은 N/2채널의 다운믹스 신호와 N/2 채널의 잔차 신호를 식별하는 단계; N/2채널의 다운믹스 신호와 N/2 채널의 잔차 신호를 N/2개의 OTT 박스에 입력하여 N채널의 출력 신호를 생성하는 단계를 포함하고, 상기 N/2개의 OTT 박스들은 서로 연결되지 않고 병렬적으로 배치되며, 상기 N/2개의 OTT 박스들 중 LFE 채널을 출력하는 OTT 박스는, (1) 잔차 신호를 제외한 다운믹스 신호만 입력받고, (2) CLD 파라미터와 ICC 파라미터 중 CLD 파라미터를 이용하며, (3) 비상관기를 통해 비상관된 신호를 출력하지 않는다.
본 발명의 일실시예에 따른 다채널 오디오 신호 처리 장치는 다채널 오디오 신호 처리 방법을 수행하는 프로세서를 포함하고, 상기 다채널 오디오 신호 처리 방법은, N채널의 입력 신호로부터 생성된 N/2 채널의 다운믹스 신호와 잔차 신호를 식별하는 단계; 상기 N/2 채널의 다운믹스 신호와 잔차 신호를 제1 매트릭스에 적용하는 단계; 상기 제1 매트릭스를 통해 N/2개의 OTT 박스들에 대응하는 N/2개의 비상관기에 입력되는 제1 신호 및 N/2개의 비상관기에 입력되지 않고 제2 매트릭스에 전달되는 제2 신호를 출력하는 단계; 상기 N/2개의 비상관기를 통해 제1 신호로부터 비상관된 신호를 출력하는 단계; 상기 비상관된 신호와 제2 신호를 제2 매트릭스에 적용하는 단계; 및 상기 제2 매트릭스를 통해 N채널의 출력 신호를 생성하는 단계를 포함할 수 있다.
상기 N채널의 출력 신호에 LFE 채널이 포함되지 않는 경우, 상기 N/2개의 OTT 박스들에 N/2개의 비상관기가 대응할 수 있다.
상기 비상관기의 개수가 모듈로 연산의 기준값을 초과하는 경우, 상기 비상관기의 인덱스는 기준값에 따라 반복적으로 재사용될 수 있다.
상기 N채널의 출력 신호에 LFE 채널이 포함되는 경우, 상기 비상관기는, N/2개에서 LFE 채널 개수를 제외한 나머지 개수가 사용되고, 상기 LFE 채널은, OTT 박스의 비상관기를 사용하지 않을 수 있다.
시간적인 쉐이핑 툴이 사용되지 않는 경우, 상기 제2 매트릭스는, 상기 제2 신호, 상기 비상관기로부터 도출된 비상관된 신호 및 상기 비상관기로부터 도출된 잔차 신호를 포함하는 하나의 벡터가 입력될 수 있다.
시간적인 쉐이핑 툴이 사용되는 경우, 상기 제2 매트릭스는, 상기 제2 신호 및 상기 비상관기로부터 도출된 잔차 신호로 구성된 다이렉트 신호에 대응하는 벡터와 상기 비상관기로부터 도출된 비상관된 신호로 구성된 확산 신호에 대응하는 벡터가 입력될 수 있다.
상기 N채널의 출력 신호를 생성하는 단계는, 서브밴드 도메인 시간 프로세싱(STP)가 사용되는 경우, 확산 신호와 다이렉트 신호에 기초한 스케일 팩터를 출력 신호의 확산 신호 부분에 적용하여 출력 신호의 시간적인 포락선을 쉐이핑할 수 있다.
상기 N채널의 출력 신호를 생성하는 단계는, 가이드된 포락선 쉐이핑(GES)가 사용되는 경우, N채널의 출력 신호의 채널별로 다이렉트 신호 부분에 대한 포락선을 평편화하고 리쉐이핑할 수 있다.
상기 제1 매트릭스의 크기는, 상기 제1 매트릭스를 적용하는 다운믹스 신호의 채널 개수와 비상관기의 개수에 따라 결정되고, 상기 제1 매트릭스의 엘리먼트는, CLD 파라미터 또는 CPC 파라미터에 의해 결정될 수 있다.
본 발명의 다른 실시예에 따른 다채널 오디오 신호 처리 장치는, 다채널 오디오 신호 처리 방법을 수행하는 프로세서를 포함하고, 상기 다채널 오디오 신호 처리 방법은, N/2채널의 다운믹스 신호와 N/2 채널의 잔차 신호를 식별하는 단계; N/2채널의 다운믹스 신호와 N/2 채널의 잔차 신호를 N/2개의 OTT 박스에 입력하여 N채널의 출력 신호를 생성하는 단계를 포함하고,
상기 N/2개의 OTT 박스들은 서로 연결되지 않고 병렬적으로 배치되며, 상기 N/2개의 OTT 박스들 중 LFE 채널을 출력하는 OTT 박스는, (1) 잔차 신호를 제외한 다운믹스 신호만 입력받고, (2) CLD 파라미터와 ICC 파라미터 중 CLD 파라미터를 이용하며, (3) 비상관기를 통해 비상관된 신호를 출력하지 않는다.
본 발명의 일실시예에 따르면, N-N/2-N 구조에 따라 다채널 오디오 신호를 처리함으로써 MPS에서 정의하는 채널 수보다 많은 채널 수의 오디오 신호를 효율적으로 처리할 수 있다.
도 1은 일실시예에 따른 3D 오디오 디코더를 도시한 도면이다.
도 2는 일실시예에 따른 3D 오디오 디코더에서 처리하는 도메인에 대한 도면이다.
도 3은 일실시예에 따른 USAC 3D 인코더와 USAC 3D 디코더를 도시한 도면이다.
도 4는 일실시예에 따른 도 3의 제1 인코딩부의 세부 구성을 도시한 제1 도면이다.
도 5는 일실시예에 따른 도 3의 제1 인코딩부의 세부 구성을 도시한 제2 도면이다.
도 6은 일실시예에 따른 도 3의 제1 인코딩부의 세부 구성을 도시한 제3 도면이다.
도 7은 일실시예에 따른 도 3의 제1 인코딩부의 세부 구성을 도시한 제4 도면이다.
도 8은 일실시예에 따른 도 3의 제2 디코딩부의 세부 구성을 도시한 제1 도면이다.
도 9는 일실시예에 따른 도 3의 제2 디코딩부의 세부 구성을 도시한 제2 도면이다.
도 10은 일실시예에 따른 도 3의 제2 디코딩부의 세부 구성을 도시한 제3 도면이다.
도 11은 일실시예에 따른 도 3을 구현한 예시를 도시한 도면이다.
도 12는 일실시예에 따른 도 11을 간략하게 표현한 도면이다.
도 13은 일실시예에 따른 도 12의 제2 인코딩부와 제1 디코딩부의 세부 구성을 도시한 도면이다.
도 14는 일실시예에 따른 도 11의 제1 인코딩부와 제2 인코딩부를 결합하고, 제1 디코딩부와 제2 디코딩부를 결합한 결과를 도시한 도면이다.
도 15는 일실시예에 따른 도 14를 간략하게 표현한 도면이다.
도 16은 일실시예에 따른 N-N/2-N 구조에 대한 오디오 처리 방식에 대한 도면이다.
도 17은 일실시예에 따른 N-N/2-N 구조를 트리 형태로 표현한 도면이다.
도 18은 일실시예에 따른 FCE 구조에 대한 인코더와 디코더를 도시한 도면이다.
도 19는 일실시예에 따른 TCE 구조에 대한 인코더와 디코더를 도시한 도면이다.
도 20은 일실시예에 따른 ECE 구조에 대한 인코더와 디코더를 도시한 도면이다.
도 21은 일실시예에 따른 SiCE 구조에 대한 인코더와 디코더를 도시한 도면이다.
도 22는 일실시예에 따른 FCE 구조에 따라 24채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 23은 일실시예에 따른 ECE 구조에 따라 24채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 24는 일실시예에 따른 FCE 구조에 따라 14채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 25는 일실시예에 따른 ECE 구조와 SiCE 구조에 따라 14채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 26은 일실시예에 따른 TCE 구조에 따라 11.1채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 27은 일실시예에 따른 FCE 구조에 따라 11.1채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 28은 일실시예에 따른 TCE 구조에 따라 9.0채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 29는 일실시예에 따른 FCE 구조에 따라 9.0채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 3D 오디오 디코더를 도시한 도면이다.
본 발명을 참고하면, 다채널 오디오 신호를 인코더에서 다운믹싱하고, 디코더에서 다운믹스 신호를 업믹싱하여 다채널 오디오 신호를 복원할 수 있다. 이하의 도 2 내지 도 29에서 설명하는 실시예들 중 디코더에 관한 내용이 도 1에 대응한다. 한편, 도 2 내지 도 29는 다채널 오디오 신호를 처리하는 과정을 나타내므로, 도 1에서 비트스트림, USAC 3D 디코더, DRC-1, Format conversion 중 어느 하나의 구성 요소에 대응할 수 있다.
도 2는 일실시예에 따른 3D 오디오 디코더에서 처리하는 도메인에 대한 도면이다.
도 1에서 설명한 USAC 디코더는 코어 대역의 코딩을 위한 것으로 시간 도메인과 주파수 도메인 중 어느 하나의 도메인에서 오디오 신호를 처리한다. 그리고, DRC-1는 오디오 신호가 멀티밴드인 경우 주파수 도메인에서 오디오 신호를 처리한다. 한편, Format conversion는 주파수 도메인에서 오디오 신호를 처리한다.
도 3은 일실시예에 따른 USAC 3D 인코더와 USAC 3D 디코더를 도시한 도면이다.
도 3을 참고하면, USAC 3D 인코더는 제1 인코딩부(301)와 제2 인코딩부(302)를 모두 포함할 수 있다. 또는, USAC 3D 인코더는 제2 인코딩부(302)를 포함할 수 있다. 유사하게, USAC 3D 디코더는 제1 디코딩부(303)와 제2 디코딩부(304)를 포함할 수 있다. 또는, USAC 3D 디코더는 제1 디코딩부(303)를 포함할 수 있다.
제1 인코딩부(301)에 N채널의 입력 신호가 입력된다. 그런 후, 제1 인코딩부(301)는 N채널의 입력 신호에 대해 다운믹싱하여 M채널의 다운믹스 신호를 출력할 수 있다. 이 때, N은 M보다 큰 값을 가질 수 있다. 일례로, N이 짝수인 경우, M은 N/2일 수 있다. 그리고, N이 홀수인 경우, M은 (N-1)/2+1일 수 있다. 이를 정리하면, 수학식 1과 같이 표현될 수 있다.
Figure pat00001
제2 인코딩부(302)는 M채널의 다운믹스 신호를 인코딩하여 비트스트림을 생성할 수 있다. 일례로, 제2 인코딩부(302)는 M채널의 다운믹스 신호를 인코딩할 수 있으며, 일반적인 오디오 코더가 활용될 수 있다. 예를 들어, 제2 인코딩부(302)가 Extended HE-AAC인 USAC 코더인 경우, 제2 인코딩부(302)는 24개의 채널 신호를 인코딩하여 전송할 수 있다.
다만, 제2 인코딩부(302)만 이용하여 N채널의 입력 신호를 인코딩하는 경우, 제1 인코딩부(301)와 제2 인코딩부(302)를 모두 이용하여 N채널의 입력 신호를 인코딩하는 것보다 상대적으로 많은 비트가 요구되며, 음질 열화도 발생될 수 있다.
한편, 제1 디코딩부(303)는 제2 인코딩부(302)가 생성한 비트스트림을 디코딩하여 M채널의 다운믹스 신호를 출력할 수 있다. 그러면, 제2 디코딩부(304)는 M채널의 다운믹스 신호를 업믹싱하여 N채널의 출력 신호를 생성할 수 있다. N채널의 출력 신호는 제1 인코딩부(301)에 입력된 N채널의 입력 신호와 유사하게 복원될 수 있다.
일례로, 제2 디코딩부(304)는 M채널의 다운믹스 신호를 디코딩할 수 있으며, 일반적인 오디오 코더가 활용될 수 있다. 예를 들어, 제2 디코딩부(304)가 Extended HE-AAC인 USAC 코더인 경우, 제2 디코딩부(302)는 24채널의 다운믹스 신호를 디코딩할 수 있다.
도 4는 일실시예에 따른 도 3의 제1 인코딩부의 세부 구성을 도시한 제1 도면이다.
제1 인코딩부(301)는 복수의 다운믹싱부(401)를 포함할 수 있다. 이 때, 제1 인코딩부(301)에 입력된 N채널의 입력 신호들은 2개씩 짝으로 구성된 후 다운믹싱부(401)에 입력될 수 있다. 그래서, 다운믹싱부(401)는 TTO(Two-To-Two) 박스를 나타낼 수 있다. 다운믹싱부(401)는 입력된 2채널의 입력 신호로부터 공간큐인 CLD(Channel Level Difference), ICC(Inter Channel Correlation/Coherence), IPD(Inter Channel Phase Difference), Channel Prediction Coefficient (CPC) 또는 OPD(Overall Phase Difference)를 추출하고, 2채널(스테레오)의 입력 신호를 다운믹싱하여 1채널(모노)의 다운믹스 신호를 생성할 수 있다.
제1 인코딩부(301)에 포함된 복수의 다운믹싱부(401)는 병렬 구조를 나타낼 수 있다. 예를 들어, 제1 인코딩부(301)에 N채널의 입력 신호가 입력되고 N이 짝수인 경우, 제1 인코딩부(301)에 포함되는 TTO 박스로 구현되는 다운믹싱부(401)는 N/2개가 필요할 수 있다. 도 4의 경우, 제1 인코딩부(301)는 N채널의 입력 신호를 N/2개의 TTO 박스를 통해 다운믹스하여 M채널(N/2채널)의 다운믹스 신호를 생성할 수 있다.
도 5는 일실시예에 따른 도 3의 제1 인코딩부의 세부 구성을 도시한 제2 도면이다.
앞서 설명한 도 4는 제1 인코딩부(301)에 N채널의 입력 신호가 입력되고, N이 짝수인 경우에 제1 인코딩부(301)의 세부 구성을 나타낸다. 그리고, 도 5는 제1 인코딩부(301)에 N채널의 입력 신호가 입력되고 N이 홀수인 경우에, 제1 인코딩부(301)의 세부 구성을 나타낸다.
도 5를 참고하면, 제1 인코딩부(301)는 복수의 다운믹싱부(501)를 포함할 수 있다. 이 때, 제1 인코딩부(301)는 (N-1)/2개의 다운믹싱부(501)를 포함할 수 있다. 그리고, 나머지 1개의 채널 신호를 처리하기 위해, 제1 인코딩부(301)는 지연부(502)를 포함할 수 있다.
이 때, 제1 인코딩부(301)에 입력된 N채널의 입력 신호들을 2채널씩 짝으로 구성된 후 다운믹싱부(501)에 입력할 수 있다. 그래서, 다운믹싱부(501)는 TTO 박스를 나타낼 수 있다. 다운믹싱부(501)는 입력된 2채널의 입력 신호로부터 공간큐인 CLD, ICC, IPD, CPC 또는 OPD를 추출하고, 2채널(스테레오)의 입력 신호를 다운믹싱하여 1채널(모노)의 다운믹스 신호를 생성할 수 있다. 제1 인코딩부(301)에서 출력되는 M채널의 다운믹스 신호는 다운믹싱부(501)의 개수와 지연부(502)의 개수에 따라 결정된다.
그리고, 지연부(502)에 적용되는 지연값은 다운믹싱부(501)에 적용되는 지연값과 동일할 수 있다. 만약, 제1 인코딩부(301)의 출력 신호인 M채널의 다운믹스 신호가 PCM 신호인 경우, 지연값은 다음 수학식 2에 따라 결정될 수 있다.
Figure pat00002
여기서, Enc_Delay는 다운믹싱부(501)와 지연부(502)에 적용되는 지연값을 나타낸다. 그리고, Delay1(QMF Analysis)는 MPS의 64 밴드에 대해 QMF 분석시에 발생하는 지연값을 나타내며, 288일 수 있다. 그리고, Delay2(Hybrid QMF Analysis)은 13 탭(tap)의 필터를 사용하는 Hybrid QMF 분석시에 발생하는 지연값을 나타내며, 6*64=384일 수 있다. 여기서, 64가 적용되는 이유는 64 밴드에 대해 QMF 분석이 수행되고 난 후에 Hybrid QMF 분석이 수행되기 때문이다.
만약, 제1 인코딩부(301)의 출력 신호인 M채널의 다운믹스 신호가 QMF 신호인 경우, 지연값은 수학식 3에 따라 결정될 수 있다.
Figure pat00003
도 6은 일실시예에 따른 도 3의 제1 인코딩부의 세부 구성을 도시한 제3 도면이다. 그리고, 도 7은 일실시예에 따른 도 3의 제1 인코딩부의 세부 구성을 도시한 제4 도면이다.
만약, N채널의 입력 신호가 N’채널의 입력 신호와 K채널의 입력 신호로 구성된다고 가정한다. 이 때, N’채널의 입력 신호는 제1 인코딩부(301)에 입력되고, K채널의 입력 신호는 제1 인코딩부(301)에 입력되지 않는다고 가정한다.
이 경우 수학식 4에 의해 제2 인코딩부(301)에 입력되는 M채널의 다운믹스 신호에 대응하는 채널 개수인 M이 결정될 수 있다.
Figure pat00004
이 때, 도 6은 N’가 짝수인 경우에 제1 인코딩부(301)의 구조를 나타내고, 도 7은 N’가 홀수인 경우에 제1 인코딩부(301)의 구조를 나타낸다.
도 6에 의하면, N’가 짝수인 경우, N’채널의 입력 신호는 복수의 다운믹싱부(601)에 입력되고, K채널의 입력 신호는 복수의 지연부(602)에 입력될 수 있다. 여기서, N’ 채널의 입력 신호는 N’/2개의 TTO 박스를 나타내는 다운믹싱부(601)에 입력되고, K 채널의 입력 신호는 K개의 지연부(602)에 입력될 수 있다.
그리고, 도 7에 의하면, N’가 홀수인 경우, N’ 채널의 입력 신호는 복수의 다운믹싱부(701)와 1개의 지연부(702)에 입력될 수 있다. 그리고, K 채널의 입력 신호는 복수의 지연부(702)에 입력될 수 있다. 여기서, N’ 채널의 입력 신호는 N’/2개의 TTO 박스를 나타내는 다운믹싱부(701)와 1개의 지연부(702)에 입력될 수 있다. 그리고, K 채널의 입력 신호는 K개의 지연부(702)에 입력될 수 있다.
도 8은 일실시예에 따른 도 3의 제2 디코딩부의 세부 구성을 도시한 제1 도면이다.
도 8을 참고하면, 제2 디코딩부(304)는 제1 디코딩부(303)로부터 전달된 M채널의 다운믹스 신호를 업믹싱하여 N채널의 출력 신호를 생성할 수 있다. 제1 디코딩부(303)는 비트스트림에 포함된 M채널의 다운믹스 신호를 디코딩할 수 있다. 이 때, 제2 디코딩부(304)는 도 3의 제2 인코딩부(301)로부터 전송된 공간큐를 이용하여 M채널의 다운믹스 신호를 업믹싱함으로써 N채널의 출력 신호를 생성할 수 있다.
일례로, N채널의 출력 신호에서 N이 짝수인 경우, 제2 디코딩부(304)는 복수의 비상관부(801)와 업믹싱부(802)를 포함할 수 있다. 그리고, N채널의 출력 신호에서 N이 홀수인 경우, 제2 디코딩부(304)는 복수의 비상관부(801), 업믹싱부(802) 및 지연부(803)를 포함할 수 있다. 즉, N채널의 출력 신호에서 N이 짝수인 경우, 도 8에서 도시된 바와 달리 지연부(803)가 불필요할 수 있다.
이 때, 비상관부(801)에서 비상관된 신호를 생성하는 과정에서 추가적인 지연이 발생할 수 있기 때문에, 지연부(803)의 지연값은 인코더에서 적용된 지연값과 다를 수 있다. 도 8은 제2 디코딩부(304)로부터 도출되는 N채널의 출력 신호에서 N이 홀수인 경우를 나타낸다.
제2 디코딩부(304)에서 출력된 N채널의 출력 신호가 PCM 신호인 경우, 지연부(803)의 지연값은 하기 수학식 5에 따라 결정될 수 있다.
Figure pat00005
여기서, Dec_Delay는 지연부(803)의 지연값을 나타낸다. 그리고, Delay1은 QMF 분석에 따라 발생되는 지연값, Delay2는 하이브리드 QMF 분석에 따라 발생되는 지연값, Delay3은 QMF 합성에 따라 발생되는 지연값을 나타낸다. 그리고, Delay4는 비상관부(801)에서 비상관성 필터를 적용함에 따라 발생되는 지연값을 나타낸다.
그리고, 제2 디코딩부(304)에서 출력된 N채널의 출력 신호가 QMF 신호인 경우, 지연부(803)의 지연값은 하기 수학식 6에 따라 결정될 수 있다.
Figure pat00006
먼저 복수의 비상관부(801)들 각각은 제2 디코딩부(304)에 입력된 M채널의 다운믹스 신호는 비상관된 신호를 생성할 수 있다. 복수의 비상관부(801)들 각각에서 생성된 비상관된 신호는 업믹싱부(802)에 입력될 수 있다.
이 때, MPS에서 비상관된 신호를 생성하는 것과 달리, 복수의 비상관부(801)는 M채널의 다운믹스 신호를 이용하여 비상관된 신호를 생성할 수 있다. 즉, 비상관된 신호를 생성하기 위해, 인코더에서 전달된 M채널의 다운믹스 신호를 이용하는 경우, 다채널 신호의 음장을 재현할 때 음질 열화가 발생되지 않을 수 있다.
이하에서는, 제2 디코딩부(304)에 포함된 업믹싱부(802)의 동작에 대해 설명하기로 한다. 제2 디코딩부(304)에 입력되는 M채널의 다운믹스 신호는
Figure pat00007
로 정의될 수 있다. 그리고, M채널의 다운믹스 신호를 이용하여 생성되는 M개의 비상관된 신호는
Figure pat00008
로 정의될 수 있다. 또한, 제2 디코딩부(304)를 통해 출력되는 N채널의 출력 신호는
Figure pat00009
로 정의될 수 있다.
그러면, 제2 디코딩부(304)는 하기 수학식 7에 따라 N채널의 출력 신호를 생성할 수 있다.
Figure pat00010
여기서, M(n)은 n개의 샘플 시간에서 M채널의 다운믹스 신호에 대해 업믹싱을 수행하기 위한 행렬을 의미한다. 이 때, M(n)은 하기 수학식 8로 정의될 수 있다.
Figure pat00011
수학식 8에서
Figure pat00012
은 2x2 영행렬이며,
Figure pat00013
는 2x2 행렬로서 하기 수학식 9와 같이 정의될 수 있다.
Figure pat00014
여기서,
Figure pat00015
의 구성요소인
Figure pat00016
은 인코더로부터 전송된 공간큐로부터 도출될 수 있다. 인코더로부터 실제로 전송되는 공간큐는 프레임 단위인 b 인덱스마다 결정될 수 있으며, 샘플 단위로 적용되는 은 서로 이웃한 프레임간의 보간(interpolation)에 의해 결정될 수 있다.
Figure pat00017
은 MPS 방법에 따라 하기 수학식 10에 의해 결정될 수 있다.
Figure pat00018
수학식 10에서,
Figure pat00019
은 CLD로부터 도출될 수 있다. 그리고,
Figure pat00020
와
Figure pat00021
는 CLD와 ICC로부터 도출될 수 있다. 수학식 10은 MPS에 정의된 공간큐의 처리 방식에 따라 도출될 수 있다.
그리고 수학식 7에서, 연산자
Figure pat00022
는 벡터들의 각 요소들을 인터레이스(interlace)하여 새로운 백터 열을 생성하기 위한 연산자를 나타낸다. 수학식 7에서 [m(n)
Figure pat00023
d(n)]은 하기 수학식 11에 따라 결정될 수 있다.
Figure pat00024
이러한 과정을 통해 수학식 7은 하기 수학식 12로 표현될 수 있다.
Figure pat00025
수학식 12에서, 입력 신호와 출력 신호의 처리 과정을 분명하게 나타내기 위해 { }가 사용되었다. 수학식 11에 의해서 M채널의 다운믹스 신호와 비상관된 신호는 서로 짝을 이루어서, 업믹싱 행렬인 수학식 12의 입력이 될 수 있다. 즉, 수학식 12에 의하면, M채널의 다운믹스 신호들 각각마다 비상관된 신호를 적용함으로써 업믹싱 과정에서의 음질의 왜곡이 최소화될 수 있고, 음장 효과도 최대한 원래 신호에 가깝게 생성될 수 있다.
위에서 설명한 수학식 12는 하기 수학식 13으로도 표현될 수 있다.
Figure pat00026
도 9는 일실시예에 따른 도 3의 제2 디코딩부의 세부 구성을 도시한 제2 도면이다.
도 9를 참고하면, 제2 디코딩부(304)는 제1 디코딩부(303)로부터 전달된 M채널의 다운믹스 신호를 디코딩하여 N채널의 출력 신호를 생성할 수 있다. M채널의 다운믹스 신호가 N’/2채널의 오디오 신호와 K채널의 오디오 신호로 구성되는 경우, 제2 디코딩부(304)도 인코더에서 처리한 결과를 반영하여 처리할 수 있다.
예를 들어서, 제2 디코딩부(304)에 입력되는 M채널의 다운믹스 신호가 수학식 4를 만족한다고 가정하면, 도 9와 같이 제2 디코딩부(304)는 복수의 지연부(903)들을 포함할 수 있다.
이 때, 수학식 4를 만족하는 M채널의 다운믹스 신호에 N’가 홀수인 경우, 제2 디코딩부(304)는 도 9와 같은 구조를 가질 수 있다. 만약, 수학식 4를 만족하는 M채널의 다운믹스 신호에 대해 N’가 짝수인 경우, 도 9의 제2 디코딩부(304)에서 업믹싱부(902) 아래에 위치한 1개의 지연부(903)가 제외될 수 있다.
도 10은 일실시예에 따른 도 3의 제2 디코딩부의 세부 구성을 도시한 제3 도면이다.
도 10을 참고하면, 제2 디코딩부(304)는 제1 디코딩부(303)로부터 전달된 M채널의 다운믹스 신호를 업믹싱함으로써 N채널의 출력 신호를 생성할 수 있다. 이 때, 도 10에 도시된 제2 디코딩부(304)에서 업믹싱부(1002)는 OTT(One-To-Two) 박스를 나타내는 복수의 신호 처리부(1003)들을 포함할 수 있다.
이 때, 복수의 신호 처리부(1003)들 각각은 M채널의 다운믹스 신호들 중 1채널의 다운믹스 신호와 비상관부(1001)에서 생성한 비상관된 신호를 이용하여 2채널의 출력 신호를 생성할 수 있다. 업믹싱부(1002)에서 병렬 구조로 배치된 복수의 신호 처리부(1003)들은 N-1채널의 출력 신호를 생성할 수 있다.
만약에, N이 짝수인 경우, 제2 디코딩부(304)에서 지연부(1004)는 제외될 수 있다. 그러면, 업믹싱부(1002)에서 병렬 구조로 배치된 복수의 신호 처리부(1003)들은 N채널의 출력 신호를 생성할 수 있다.
신호 처리부(1003)는 수학식 13에 따라 업믹싱할 수 있다. 그리고, 모든 신호 처리부(1003)에서 수행되는 업믹싱 과정은 수학식 12와 같은 하나의 업믹싱 행렬로 표현될 수 있다.
도 11은 일실시예에 따른 도 3을 구현한 예시를 도시한 도면이다.
도 11을 참고하면, 제1 인코딩부(301)는 TTO 박스의 복수의 다운믹싱부(1101)와 복수의 지연부(1102)를 포함할 수 있다. 그리고, 제2 인코딩부(302)는 복수의 USAC 인코더(1103)들을 포함할 수 있다. 한편, 제1 디코딩부(303)는 복수의 USAC 디코더(1106)를 포함할 수 있고, 제2 디코딩부(304)는 OTT 박스의 복수의 업믹싱부(304)와 복수의 지연부(1108)를 포함할 수 있다.
도 11을 참고하면, 제1 인코딩부(301)는 N채널의 입력 신호를 이용하여 M채널의 다운믹스 신호를 출력할 수 있다. 이 때, M채널의 다운믹스 신호는 제2 인코딩부(302)에 입력될 수 있다. 이 때, M채널의 다운믹스 신호들 중 TTO 박스의 다운믹싱부(1101)를 거친 1채널의 다운믹스 신호의 쌍들은 제2 인코딩부(302)에 포함된 USAC 인코더(1103)에서 스테레오 형태로 인코딩될 수 있다.
그리고, M채널의 다운믹스 신호들 중 TTO 박스의 다운믹싱부(1101)를 거치지 않고 지연부(1102)를 거친 다운믹스 신호는 USAC 인코더(1103)에서 모노 형태 또는 스테레오 형태로 인코딩될 수 있다. 다시 말해서, M채널의 다운믹스 신호들 중 지연부(1102)를 거친 1채널의 다운믹스 신호는 USAC 인코더(1103)에서 모노 형태로 인코딩될 수 있다. 그리고, M채널의 다운믹스 신호들 중 2개의 지연부(1102)를 거친 2개의 1채널의 다운믹스 신호는 USAC 인코더(1103)에서 스테레오 형태로 인코딩될 수 있다.
M개의 채널 신호는 제2 인코딩부(302)에서 인코딩되어 복수의 비트스트림들로 생성될 수 있다. 그리고, 복수의 비트스트림들은 다중화부(1104)를 통해 하나의 비트스트림으로 재포맷될 수 있다.
다중화부(1104)에서 생성된 비트스트림은 역다중화부(1104)에 전달되며, 역다중화부(1105)는 비트스트림을 제1 디코딩부(303)에 포함된 USAC 디코더(303)에 대응되는 복수의 비트스트림들로 역다중화할 수 있다.
역다중화된 복수의 비트스트림들은 제1 디코딩부(303)에 포함된 USAC 디코더(1106)에 각각 입력될 수 있다. 그리고, USAC 디코더(303)는 제2 인코딩부(302)에 포함된 USAC 인코더(1103)가 인코딩한 방식에 따라 디코딩할 수 있다. 그러면, 제1 디코딩부(303)는 복수의 비트스트림으로부터 M채널의 다운믹스 신호를 출력할 수 있다.
이후, 제2 디코딩부(304)는 M채널의 다운믹스 신호를 이용하여 N채널의 출력 신호를 생성할 수 있다. 이 때, 제2 디코딩부(304)는 OTT 박스의 업믹싱부(1107)를 이용하여 입력된 M채널의 다운믹스 신호의 일부를 업믹싱할 수 있다. 구체적으로, M채널의 다운믹스 신호들 중 1채널의 다운믹스 신호는 업믹싱부(1107)에 입력되고, 업믹싱부(1107)는 1채널의 다운믹스 신호와 비상관된 신호를 이용하여 2채널의 출력 신호를 생성할 수 있다. 일례로, 업믹싱부(1107)는 수학식 13을 이용하여 2채널의 출력 신호를 생성할 수 있다.
한편, 복수의 업믹싱부(1107)들 각각이 수학식 13에 대응하는 업믹싱 행렬을 이용하여 M번만큼 업믹싱을 수행함으로써, 제2 디코딩부(304)는 N채널의 출력 신호를 생성할 수 있다. 그래서, 수학식 12는 수학식 13에 따른 업믹싱을 M번만큼 수행하여야 도출되는 것이므로, 수학식 12의 M은 제2 디코딩부(304)에 포함된 업믹싱부(1107)의 개수와 동일할 수 있다.
그리고, N채널의 입력 신호들 중 제1 인코딩부(301)에서 TTO 박스의 다운믹싱부(1101)가 아닌 지연부(1102)를 통해 M채널의 다운믹스 신호에서 K채널의 오디오 신호가 포함된 경우, K채널의 오디오 신호는 제2 디코딩부(304)에서 OTT 박스의 업믹싱부(1107)가 아닌 지연부(1108)에서 처리될 수 있다. 이 경우, 업믹싱부(1107)을 통해 출력되는 출력 신호의 채널 개수는 N-K일 수 있다.
도 12는 일실시예에 따른 도 11을 간략하게 표현한 도면이다.
도 12를 참고하면, N채널의 입력 신호는 2채널씩 쌍을 이루어 제1 인코딩부(301)에 포함된 다운믹싱부(1201)에 입력될 수 있다. 다운믹싱부(1201)는 TTO 박스로 구성될 수 있으며, 2채널의 입력 신호를 다운믹싱하여 1채널의 다운믹스 신호를 생성할 수 있다. 제1 인코딩부(301)는 병렬적으로 배치된 복수의 다운믹싱부(1201)를 이용하여 N채널의 입력 신호로부터 M채널의 다운믹스 신호를 생성할 수 있다. 본 발명의 일실시예에 따르면, N은 M보다 큰 정수로서, M은 N/2가 될 수 있다.
그러면, 제2 인코딩부(302)에 포함된 스테레오 타입의 USAC 인코더(1202)는 2개의 다운믹싱부(1201)에서 출력된 2개의 1채널의 다운믹스 신호를 인코딩하여 비트스트림을 생성할 수 있다.
그리고, 제1 디코딩부(303)에 포함된 스테레오 타입의 USAC 디코더(1203)는 비트스트림으로부터 M채널의 다운믹스 신호에서 2개의 1채널의 다운믹스 신호를 복원할 수 있다. 2개의 1채널 다운믹스 신호들은 각각 제2 디코딩부(304)에 포함된 OTT 박스를 나타내는 2개의 업믹싱부(1204)에 입력될 수 있다. 그러면, 업믹싱부(1204)는 1채널의 다운믹스 신호와 비상관된 신호를 이용하여 N채널의 출력 신호를 구성하는 2채널의 출력 신호를 생성할 수 있다.
도 13은 일실시예에 따른 도 12의 제2 인코딩부와 제1 디코딩부의 세부 구성을 도시한 도면이다.
도 13에서 제2 인코딩부(302)에 포함된 USAC 인코더(1302)는 TTO 박스의 다운믹싱부(1303), SBR(Spectral Band Replication)부(1304) 및 코어 인코딩부(1305)를 포함할 수 있다.
제1 인코딩부(301)에 포함된 TTO 박스의 다운믹싱부(1301)는 N채널의 입력 신호들 중 2채널의 입력 신호를 다운믹싱하여 M채널의 다운믹스 신호를 구성하는 1채널의 다운믹스 신호를 생성할 수 있다. 다운믹싱부(1301)의 개수에 따라 M채널의 채널 개수가 결정될 수 있다.
그러면, 제1 인코딩부(301)에 포함된 2개의 다운믹싱부(1301)에서 출력되는 2개의 1채널의 다운믹스 신호는 USAC 인코더(1302)에 포함된 TTO 박스의 다운믹싱부(1303)에 입력될 수 있다. 다운믹싱부(1303)는 2개의 다운믹싱부(1301)에서 출력된 1채널의 다운믹스 신호의 쌍을 다운믹싱하여 1채널의 다운믹스 신호를 생성할 수 있다.
다운믹싱부(1303)에서 생성된 모노 신호의 고주파수 대역에 대한 파라미터 인코딩을 위해 SBR부(1304)는 모노 신호에서 고주파수 대역을 제외하고 저주파수 대역만 추출할 수 있다. 그러면, 코어 인코딩부(1305)는 코어 대역에 해당하는 저주파수 대역의 모노 신호를 인코딩하여 비트스트림을 생성할 수 있다.
결론적으로, 본 발명의 일실시예에 의하면, N채널의 입력 신호로부터 M채널의 다운믹스 신호를 포함하는 비트스트림을 생성하기 위해 TTO 형태의 다운믹싱 과정이 연속적으로 수행될 수 있다. 다시 말해서, TTO 박스의 다운믹싱부(1301)는 N채널의 입력 신호들 중 스테레오 형태인 2채널의 입력 신호를 다운믹싱할 수 있다. 그리고, 2개의 다운믹싱부(1301) 각각에서 출력된 결과는 M채널의 다운믹스 신호의 일부로서, TTO 박스의 다운믹싱부(1303)에 입력될 수 있다. 즉, N채널의 입력 신호들 중 4채널의 입력 신호는 연속적으로 TTO 형태의 다운믹싱을 통해 1채널의 다운믹스 신호로 출력될 수 있다.
그리고, 제2 인코딩부(302)에서 생성된 비트스트림은 제1 디코딩부(302)의 USAC 디코더(1306)에 입력될 수 있다. 도 13에서 제2 인코딩부(302)에 포함된 USAC 디코더(1306)는 코어 디코딩부(1307), SBR부(1308), OTT 박스의 업믹싱부(1309)를 포함할 수 있다.
코어 디코딩부(1307)는 비트스트림을 이용하여 저주파수 대역에 대응하는 코어 대역의 모노 신호를 출력할 수 있다. 그러면, SBR부(1308)는 모노 신호의 저주파수 대역을 복사하여 고주파수 대역을 복원할 수 있다. 업믹싱부(1309)는 SBR부(1308)에서 출력된 모노 신호를 업믹싱하여 M채널의 다운믹스 신호를 구성하는 스테레오 신호를 생성할 수 있다.
그러면, 제2 디코딩부(304)에 포함된 OTT 박스의 업믹싱부(1310)는 제1 디코딩부(302)에서 생성한 스테레오 신호에 포함된 모노 신호를 업믹싱하여 스테레오 신호를 생성할 수 있다.
결론적으로, 본 발명의 일실시예에 의하면, 비트스트림으로부터 N채널의 출력 신호를 복원하기 위해 OTT 형태의 업믹싱 과정이 병렬적으로 연속적으로 수행될 수 있다. 다시 말해서, OTT 박스의 업믹싱부(1309)는 모노 신호(1채널)를 업믹싱하여 스테레오 신호를 생성할 수 있다. 그리고, 업믹싱부(1309)의 출력 신호인 스테레오 신호를 구성하는 2개의 모노 신호는 OTT 박스의 업믹싱부(1310)에 입력될 수 있다. OTT 박스의 업믹싱부(1301)는 입력된 모노 신호를 업믹싱하여 스테레오 신호를 출력할 수 있다. 즉, 모노 신호를 연속적으로 OTT 형태의 업믹싱을 통해 4채널의 출력 신호를 생성할 수 있다.
도 14는 일실시예에 따른 도 11의 제1 인코딩부와 제2 인코딩부를 결합하고, 제1 디코딩부와 제2 디코딩부를 결합한 결과를 도시한 도면이다.
도 11의 제1 인코딩부와 제2 인코딩부가 결합되어 도 14에 도시된 바와 같이 하나의 인코딩부(1401)로 구현될 수 있다. 그리고, 도 11의 제1 디코딩부와 제2 디코딩부가 결합되어 도 14에 도시된 바와 같이 하나의 디코딩부(1402)로 구현된 결과를 나타낸다.
도 14의 인코딩부(1401)는 TTO 박스의 다운믹싱부(1405), SBR부(1406) 및 코어 인코딩부(1407)를 포함하는 USAC 인코더에 TTO 박스의 다운믹싱부(1404)를 추가로 포함하는 인코딩부(1403)를 포함할 수 있다. 이 때, 인코딩부(1401)는 병렬 구조로 배치된 복수의 인코딩부(1403)를 포함할 수 있다. 또는, 인코딩부(1403)는 TTO 박스의 다운믹싱부(1404)를 포함하는 USAC 인코더에 대응될 수 있다.
즉, 본 발명의 일실시예에 따르면, 인코딩부(1403)는 N채널의 입력 신호들 4채널의 입력 신호에 TTO 형태의 다운믹싱을 연속적으로 적용함으로써 1채널의 모노 신호를 생성할 수 있다.
동일한 방식으로, 도 14의 디코딩부(1402)는 코어 디코딩부(1411), SBR부(1412) 및 OTT 박스의 업믹싱부(1413)를 포함하는 USAC 디코더에 OTT 박스의 업믹싱부(1404)를 추가로 포함하는 디코딩부(1410)를 포함할 수 있다. 이 때, 디코딩부(1402)는 병렬 구조로 배치된 복수의 디코딩부(1410)를 포함할 수 있다. 또는, 디코딩부(1410)는 OTT 박스의 업믹싱부(1404)를 포함하는 USAC 디코더에 대응될 수 있다.
즉, 본 발명의 일실시예에 따르면, 디코딩부(1410)는 모노 신호에 OTT 형태의 업믹싱을 연속적으로 적용함으로써 N채널의 출력 신호들 중 4채널의 출력 신호를 생성할 수 있다.
도 15는 일실시예에 따른 도 14를 간략하게 표현한 도면이다.
도 15에서 인코딩부(1501)는 도 14의 인코딩부(1403)에 대응될 수 있다. 여기서, 인코딩부(1501)는 수정된 USAC 인코더에 대응될 수 있다. 즉, 수정된 USAC 인코더는 TTO 박스의 다운믹싱부(1504), SBR부(1505) 및 코어 인코딩부(1506)를 포함하는 원래의 USAC 인코더에 TTO 박스의 다운믹싱부(1503)를 추가적으로 포함함으로써 구현될 수 있다.
그리고, 도 15에서 디코딩부(1502)는 도 14의 디코딩부(1410)에 대응될 수 있다. 여기서, 디코딩부(1502)는 수정된 USAC 디코더에 대응될 수 있다. 즉, 수정된 USAC 디코더는 코어 디코딩부(1507), SBR부(1508) 및 OTT 박스의 업믹싱부(1509)를 포함하는 원래의 USAC 디코더에 OTT 박스의 업믹싱부(1510)를 추가적으로 포함함으로써 구현될 수 있다.
도 16은 일실시예에 따른 N-N/2-N 구조에 대한 오디오 처리 방식에 대한 도면이다.
도 16을 참고하면, MPEG SURROUND에 정의된 구조가 변경된 N-N/2-N 구조를 나타낸다. MPEG SURROUND의 경우, 표 1과 같이 디코더에서 공간적 합성(spatial synthesis)이 수행될 수 있다. 공간적 합성은 입력 신호들을 하이브리드 QMF 분석 뱅크(hybrid QMF(Quadrature Mirror Filter) analysis bank)를 통해 시간 도메인에서 비규칙적인(non-uniform) 서브밴드 도메인으로 변환할 수 있다. 여기서, 비규칙적이라는 의미는 하이브리드에 대응한다.
그러면, 디코더는 하이브리드 서브밴드에서 동작한다. 디코더는 인코더에서 전달된 공간 파라미터들(spatial parameter)에 기초하여 공간적인 합성을 수행함으로써 입력 신호들로부터 출력 신호를 생성할 수 있다. 그런 후, 디코더는 하이브리드 QMF 합성 뱅크(hybrid QMF synthesis bank)를 이용하여 출력 신호들을 하이브리드 서브밴드에서 시간 도메인으로 역변환할 수 있다.
Figure pat00027
도 16은 디코더가 수행하는 공간적인 합성을 혼합된 매트릭스를 통해 다채널 오디오 신호를 처리하는 과정을 설명한다. 기본적으로 MPEG SURROUND는 5-1-5 구조, 5-2-5 구조, 7-2-7 구조, 7-5-7 구조를 정의하고 있지만, 본 발명은 N-N/2-N구조를 제안한다.
N-N/2-N 구조의 경우, N채널의 입력 신호가 N/2 채널의 다운믹스 신호로 변환된 후, N/2 채널의 다운믹스 신호로부터 N채널의 출력 신호가 생성되는 과정을 나타낸다. 본 발명의 일실시예에 따른 디코더는 N/2채널의 다운믹스 신호를 업믹싱하여 N채널의 출력 신호를 생성할 수 있다. 기본적으로, 본 발명의 N-N/2-N 구조에서 N채널의 개수는 제한이 없다. 즉, N-N/2-N 구조는 MPS에서 지원하는 채널 구조 뿐만 아니라, MPS에서 지원하지 않는 다채널 오디오 신호의 채널 구조까지 지원할 수 있다.
도 16에서 NumInCh는 다운믹스 신호의 채널 개수를 의미하고, NumOutCh는 출력 신호의 채널 개수를 의미한다. 즉, NumInCh는 N/2개이고, NumOutCh는 N개이다.
도 16에서 N/2채널의 다운믹스 신호 (X0~XNumInch-1)와 잔차 신호들이 입력 벡터 X를 구성한다. 도 16에서 NumInCh는 N/2이므로, X0부터 XNumInCh-1는 N/2 채널의 다운믹스 신호를 의미한다. OTT(One-To-Two) 박스의 개수가 N/2개 이므로, N/2 채널의 다운믹스 신호를 처리하기 위해 출력 신호의 채널 개수인 N은 짝수이어야 한다.
매트릭스 M1에 대응하는 벡터
Figure pat00028
와 곱해지는 입력 벡터 X는 N/2 채널의 다운믹스 신호를 포함하는 벡터를 의미한다. N채널의 출력 신호에 LFE 채널이 포함되지 않는 경우, N/2개의 비상관기(decorrelator)들이 최대로 사용될 수 있다. 그러나, 출력 신호의 채널 개수인 N이 20을 초과하는 경우, 비상관기의 필터들이 재사용될 수 있다.
비상관기의 출력 신호들의 직교성(orthogonality)을 보장하기 위해 N이 20인 경우 활용가능한 비상관기의 개수가 특정 개수(ex. 10개)로 제한될 필요가 있기 때문에, 몇몇의 비상관기의 인덱스들이 반복될 수 있다. 그래서, 본 발명의 바람직한 실시예에 의하면, N-N/2-N구조에서 출력 신호의 채널 개수인 N은 제한된 특정 개수의 2배(ex. N<20)보다 적을 필요가 있다. 만약, 출력 신호에 LFE 채널이 포함된 경우, N채널은 LFE 채널의 개수를 고려하여 특정 개수의 2배보다 좀더 많은 채널보다 작은 개수의 채널(ex. N<24)로 구성될 필요가 있다.
그리고, 비상관기들의 출력 결과는 비트스트림에 의존하여 특정 주파수 영역에 대한 잔차 신호로 대체될 수 있다. LFE 채널이 OTT 박스의 출력 중 하나인 경우, 업믹스에 기초한 OTT 박스에 대해 비상관기가 사용되지 않는다.
도 16에서 1부터 M(ex. NumInCh-NumLfe)로 라벨링된 비상관기들, 비상관기의 출력 결과(비상관된 신호), 잔차 신호들은 서로 다른 OTT 박스들에 대응한다. d1~dM은 비상관기(D1~DM)의 출력 결과인 비상관된 신호를 의미하고, res1~resM은 비상관기(D1~DM)의 출력 결과인 잔차 신호를 의미한다. 그리고, 비상관기 D1~DM은 서로 다른 OTT박스들 각각에 대응한다.
이하에서는, N-N/2-N 구조에서 사용되는 벡터와 매트릭스에 대해 정의된다. N-2/N-N 구조에서 비상관기들에 입력되는 입력 신호는 벡터 로 정의된다.
벡터
Figure pat00029
는 시간적인 쉐이핑 툴(termporal shaping tool)이 사용되는지 또는 사용되지 않는지에 따라 다르게 결정될 수 있다.
(1) 시간적인 쉐이핑 툴(termporal shaping tool)이 사용되지 않는 경우
시간적인 쉐이핑 툴이 사용되지 않는 경우, 벡터
Figure pat00030
는 수학식 14에 따라 벡터
Figure pat00031
와 매트릭스 M1에 대응하는
Figure pat00032
에 의해 도출된다. 그리고,
Figure pat00033
은 N번째 행에 1번째 열의 매트릭스를 의미한다.
Figure pat00034
이 때, 수학식 14에서 벡터
Figure pat00035
의 엘리먼트 중에서
Figure pat00036
내지
Figure pat00037
는 N/2개의 OTT 박스들에 대응하는 N/2개의 비상관기에 입력되지 않고 직접적으로 매트릭스 M2에 입력될 수 있다. 그래서,
Figure pat00038
내지
Figure pat00039
는 다이렉트 신호(direct signal)로 정의될 수 있다. 그리고, 벡터
Figure pat00040
의 엘리먼트 중에서
Figure pat00041
내지
Figure pat00042
를 제외한 나머지 신호들(
Figure pat00043
내지
Figure pat00044
)는 N/2개의 OTT 박스들에 대응하는 N/2개의 비상관기들에 입력될 수 있다.
벡터 는 다이렉트 신호, 비상관기들로부터 출력된 비상관된 신호들(decorrelated signals)인 d1~dM 및 비상관기들로부터 출력된 잔차 신호들인 res1~resM로 구성된다. 벡터
Figure pat00045
는 하기 수학식 15에 의해 결정될 수 있다.
Figure pat00046
수학식 15에서
Figure pat00047
로 정의되고,
Figure pat00048
는
Figure pat00049
를 만족하는 모든 k의 집합을 의미한다. 그리고,
Figure pat00050
는 신호
Figure pat00051
가 비상관기
Figure pat00052
에 입력되었을 때, 비상관기로부터 출력되는 비상관된 신호를 의미한다. 특히,
Figure pat00053
는 OTT 박스가 OTTx이고, 잔차 신호가
Figure pat00054
인 경우에 비상관기로부터 출력되는 신호를 의미한다.
출력 신호의 서브 밴드는 모든 타임 슬롯 n과 모든 하이브리드 서브밴드 k에 대해 종속적으로 정의될 수 있다. 출력 신호
Figure pat00055
는 벡터 w와 매트릭스 M2를 통해 하기 수학식 16에 의해 결정될 수 있다.
Figure pat00056
여기서,
Figure pat00057
는 NumOutCh 행과 NumInCh-NumLfe 열로 구성된 매트릭스 M2를 의미한다.
Figure pat00058
는
Figure pat00059
에 대해 하기 수학식 17에 의해 정의될 수 있다.
Figure pat00060
여기서,
Figure pat00061
로 정의된다. 그리고,
Figure pat00062
는 하기 수학식 18에 따라 스무딩될 수 있다.
Figure pat00063
여기서,
Figure pat00064
는 첫번째 행이 하이브리드 밴드 k이고, 두번째 행이 대응하는 프로세싱 밴드인 함수를 의미한다.
Figure pat00065
는 이전 프레임의 마지막 파라미터 셋트에 대응한다.
한편,
Figure pat00066
에 의해 하이브리드 합성 필터뱅크를 통해 시간 도메인으로 합성될 수 있는 하이브리드 서브밴드 신호들을 의미한다. 여기서, 하이브리드 합성 필터뱅크는 나이퀴스트 합성 뱅크(Nyquist synthesis banks)를 거쳐 QMF 합성 뱅크(QMF synthesis bank)를 조합한 것으로,
Figure pat00067
는 하이브리드 합성 필터뱅크를 통해 하이브리드 서브밴드 도메인에서 시간 도메인으로 변환될 수 있다.
(2) 시간적인 쉐이핑 툴이 사용되는 경우
만약 시간적인 쉐이핑 툴이 사용되는 경우, 벡터
Figure pat00068
는 앞서 설명한 것과 동일하나, 벡터
Figure pat00069
는 하기 수학식 19, 수학식 20과 같이 2가지의 벡터로 구분될 수 있다.
Figure pat00070
Figure pat00071
Figure pat00072
는 비상관기들을 거치지 않고 직접 매트릭스 M2로 입력되는 다이렉트 신호와 비상관기로부터 출력된 잔차 신호들을 의미하고,
Figure pat00073
는 비상관기로부터 출력된 비상관된 신호를 의미한다. 그리고,
Figure pat00074
로 정의되며,
Figure pat00075
는
Figure pat00076
를 만족하는 모든 k의 집합을 의미한다. 또한, 비상관기
Figure pat00077
에 입력 신호
Figure pat00078
가 입력되는 경우,
Figure pat00079
는 비상관기
Figure pat00080
로부터 출력되는 비상관된 신호를 의미한다.
수학식 19, 수학식 20에 정의된
Figure pat00081
와
Figure pat00082
로 인해 최종적으로 출력되는 신호는
Figure pat00083
와
Figure pat00084
로 구분될 수 있다.
Figure pat00085
는 다이렉트 신호(direct signal)를 포함하고,
Figure pat00086
는 확산 신호(diffuse signal)를 포함한다. 즉,
Figure pat00087
는 비상관기를 통과하지 않고 매트릭스 M2에 직접 입력된 다이렉트 신호로부터 도출된 결과이고,
Figure pat00088
는 비상관기에서 출력되어 매트릭스 M2에 입력된 확산 신호로부터 도출된 결과이다.
만약, 서브밴드 도메인 시간 프로세싱(Subband Domain Temporal Processing: STP)가 N-N/2-N 구조에 사용되는 경우, 가이드된 포락선 쉐이핑(Guided Envelope Shaping: GES)이 N-N/2-N 구조에 사용되는 경우로 구분되어
Figure pat00089
와
Figure pat00090
가 도출된다. 이 때,
Figure pat00091
와
Figure pat00092
는 데이터스트림 엘리먼트인 bsTempShapeConfig로 식별된다.
<STP가 사용되는 경우>
출력 신호의 채널들 간의 비상관 정도를 합성하기 위해, 공간적인 합성을 위한 비상관기를 통해 확산 신호가 생성된다. 이 때, 생성된 확산 신호는 다이렉트 신호와 믹싱될 수 있다. 일반적으로 확산 신호의 시간적인 포락선은 다이렉트 신호의 포락선과 매칭되지 않는다
이 때, 서브밴드 도메인 시간 프로세싱은 출력 신호의 각각의 확산 신호 부분의 포락선을 인코더로부터 전송된 다운믹스 신호의 시간적인 모양(termpoal shape)에 매칭되도록 쉐이핑하기 위해 사용된다. 이러한 프로세싱은 다이렉트 신호와 확산 신호에 대해 포락선 비율 계산 또는 확산 신호의 상위 스펙트럼 부분의 쉐이핑과 같은 포락선 추정으로 구현될 수 있다.
즉, 업믹싱을 통해 생성된 출력 신호에서 다이렉트 신호에 해당하는 부분과 확산 신호에 대응하는 부분에 대한 시간적인 에너지 포락선이 추정될 수 있다. 쉐이핑 펙터는 다이렉트 신호에 해당하는 부분과 확산 신호에 대응하는 부분에 대한 시간적인 에너지 포락선 간의 비율로 계산될 수 있다.
STP는
Figure pat00093
로 시그널링될 수 있다. 만약,
Figure pat00094
인 경우, 업믹싱을 통해 생성된 출력 신호의 확산 신호 부분이 STP를 통해 처리될 수 있다.
한편, 출력 신호를 생성하기 위한 공간적인 업믹스에 대해 전송된 원본 다운믹스 신호의 지연 정렬(delay alignment)의 필요성을 줄이기 위해, 공간적인 업믹스의 다운믹스는 전송된 원본 다운믹스 신호의 근사값(approximation)으로 계산될 수 있다.
N-N/2-N 구조에 대해, (NumInCh-NumLfe)에 대한 다이렉트 다운믹스 신호는 하기 수학식 21에 의해 정의될 수 있다.
Figure pat00095
여기서,
Figure pat00096
는 N-N/2-N 구조에 대해 출력 신호의 채널 d에 대응하는 출력 신호의 쌍(pair-wise)을 포함한다.
Figure pat00097
는 N-N/2-N 구조에 대해 하기 표 2와 같이 정의될 수 있다.
Figure pat00098
다운믹스의 브로드밴드 포락선들과 각각의 업믹스 채널의 확산 신호 부분에 대한 포락선은 정규화된 다이렉트 에너지를 이용하여 하기 수학식 22에 따라 추정될 수 있다.
Figure pat00099
여기서,
Figure pat00100
는 밴드패스 팩터(bandpass factor)를 의미하고,
Figure pat00101
는 스펙트럴 플랫터링 팩터(spectral flattering factor)를 의미한다.
N-N/2-N 구조에서 NumInCh-NumLfe에 대한 다이렉트 신호가 존재하므로,
Figure pat00102
를 만족하는 다이렉트 신호의 에너지인
Figure pat00103
는 MPEG Surround에서 정의하는 5-1-5 구조와 동일한 방식으로 획득될 수 있다. 최종 포락선 처리에 대한 스케일 팩터는 하기 수학식 23과 같이 정의될 수 있다.
Figure pat00104
수학식 23에서 스케일 팩터는 N-N/2-N 구조에 대해
Figure pat00105
인 경우에 정의될 수 있다. 그러면, 출력 신호의 확산 신호 부분에 스케일 팩터가 적용됨으로써 출력 신호의 시간적인 포락선이 실질적으로 다운믹스 신호의 시간적인 포락선에 매핑한다. 그러면, N채널의 출력 신호들의 각각의 채널에서 스케일 펙터로 처리된 확산 신호 부분은 다이렉트 신호 부분과 믹싱될 수 있다. 그러면, 출력 신호의 채널별로 확장 신호 부분이 스케일 팩터로 처리되었는지 여부가 시그널링될 수 있다. (
Figure pat00106
인 경우, 확장 신호 부분이 스케일 팩터로 처리되었다는 것을 나타냄)
<GES가 사용되는 경우 >
앞서 설명한 출력 신호의 확장 신호 부분에 시간적인 쉐이핑을 수행하는 경우, 특징적인 왜곡이 발생될 가능성이 있다. 그래서, 가이드된 포락선 쉐이핑 (Guided Envelope Shaping :GES)은 왜곡 문제를 해결하면서 시간적/공간적인 품질을 향상시킬 수 있다. 디코더에서 출력 신호의 다이렉트 신호 부분과 확장 신호 부분을 개별적으로 처리하는데, GES가 적용되면 업믹싱된 출력 신호의 다이렉트 신호 부분만 변경될 수 있다.
GES는 합성된 출력 신호의 브로드밴드 포락선을 복원할 수 있다. GES는 출력 신호의 각 채널별로 다이렉트 신호 부분에 대해 포락선을 평편화(flatterning)하고 리쉐이핑(reshaping)하는 과정 이후에 수정된 업믹싱 과정을 포함한다.
리쉐이핑에 대해, 비트스트림에 포함된 파라메트릭 브로드밴드 포락선(parametric broadband envelop)의 부가 정보가 사용될 수 있다. 부가 정보는 원본 입력 신호의 포락선과 다운믹스 신호의 포락선에 대한 포락선 비율을 포함한다. 디코더에서 포락선 비율은 출력 신호의 채널별로 프레임에 포함된 각각의 타임 슬롯의 다이렉트 신호 부분에 적용될 수 있다. GES로 인해 출력 신호의 채널별로 확산 신호 부분은 변경(alter)되지 않는다.
만약,
Figure pat00107
인 경우, GES 과정이 진행될 수 있다. 만약, GES가 사용가능하다면, 출력 신호의 확장 신호와 다이렉트 신호는 하기 수학식 24에 따라 하이브리드 서브밴드 도메인에서 수정된 포스트 믹싱 매트릭스(M2)을 이용하여 각각 합성될 수 있다.
Figure pat00108
수학식 24에서 출력 신호 y에 대한 다이렉트 신호 부분은 다이렉트 신호와 잔차 신호를 제공하고, 출력 신호 y에 대한 확장 신호 부분은 확장 신호를 제공한다. 전체적으로, GES에 의해 다이렉트 신호만 처리될 수 있다.
GES가 처리된 결과는 하기 수학식 25에 따라 결정될 수 있다.
Figure pat00109
GES는 트리 구조에 의존하여 LFE 채널을 제외한 공간적인 합성을 수행하는 다운믹스 신호 및 디코더에 의해 다운믹스 신호로부터 업믹싱된 출력 신호의 특정 채널에 대해 포락선을 추출할 수 있다.
N-N/2-N 구조에서 출력 신호
Figure pat00110
는 하기 표 3과 같이 정의될 수 있다.
Figure pat00111
그리고, N-N/2-N 구조에서 입력 신호
Figure pat00112
는 하기 표 4와 같이 정의될 수 있다.
Figure pat00113
또한, N-N/2-N 구조에서 다운믹스 신호
Figure pat00114
는 하기 표 5와 같이 정의될 수 있다.
Figure pat00115
이하에서는, 모든 타임 슬롯 n과 모든 하이브리드 서브밴드 k에 대해 정의된 매트릭스 M1 (
Figure pat00116
)과 매트릭스 M2(
Figure pat00117
)에 대해 설명하기로 한다. 이들 매트릭스들은 파라미터 타임 슬롯과 프로세싱 밴드에 유효한 CLD, ICC, CPC 파라미터들에 기초하여 주어진 파라미터 타임 슬롯 ｌ과 주어진 프로세싱 밴드 ｍ에 대해 정의된
Figure pat00118
및
Figure pat00119
의 보간된 버전이다.
<매트릭스 M1 (Pre-Matrix)의 정의>
도 16의 N-N/2-N 구조에서 매트릭스 M1에 대응하는
Figure pat00120
는 디코더에서 사용되는 비상관기들에 다운믹스 신호가 어떻게 입력되는지를 설명한다. 매트릭스 M1은 프리 매트릭스로 표현될 수 있다.
매트릭스 M1의 크기는 매트릭스 M1에 입력되는 다운믹스 신호의 채널 개수와 디코더에서 사용되는 비상관기의 개수에 의존한다. 반면에 매트릭스 M1의 엘리먼트들은 CLD 및/또는 CPC 파라미터들로부터 도출될 수 있다. M1은 이하 수학식 26에 의해 정의될 수 있다.
Figure pat00121
이 때,
Figure pat00122
로 정의된다.
한편,
Figure pat00123
는 하기 수학식 27에 의해 스무딩될 수 있다.
Figure pat00124
여기서,
Figure pat00125
와
Figure pat00126
에서 첫번째 행은 하이브리드 서브밴드
Figure pat00127
이고, 두번째 행은 프로세싱 밴드이고, 세번째 행은 특정 하이브리드 서브밴드
Figure pat00128
에 대해 의 복소 컨주게이션(complex conjugation)인
Figure pat00129
이다. 그리고,
Figure pat00130
는 이전 프레임의 마지막 파라미터 셋트를 의미한다.
매트릭스 M1을 위한 매트릭스
Figure pat00131
은 아래와 같이 정의될 수 있다.
(1) 매트릭스 R1
매트릭스
Figure pat00132
은 비상관기들에 입력되는 신호의 개수를 제어할 수 있다. 이것은 비상관된 신호를 추가하지 않기 때문에, 오직 CLD와 CPC의 함수로 표현될 수 있다.
매트릭스
Figure pat00133
은 채널 구조에 따라 다르게 정의될 수 있다. N-N/2-N 구조에서, OTT 박스들이 캐스케이드되지 않도록 하기 위해, OTT 박스에 입력 신호의 모든 채널이 2채널씩 쌍이 되어 입력될 수 있다. 그래서, N-N/2-N 구조의 경우, OTT 박스의 개수는 N/2이다.
이 경우, 매트릭스
Figure pat00134
는 입력 신호를 포함하는 벡터
Figure pat00135
의 열 사이즈(column size)와 동일한 OTT 박스의 개수에 의존한다. 그렇지만, OTT 박스에 기초한 Lfe 업믹스는 비상관기가 필요하지 않기 때문에, N-N/2-N 구조에서는 고려되지 않는다. 매트릭스
Figure pat00136
의 모든 엘리먼트는 1 또는 0 중 어느 하나일 수 있다.
N-N/2-N 구조에서
Figure pat00137
는 하기 수학식 28에 의해 정의될 수 있다.
Figure pat00138
N-N/2-N 구조에서 모든 OTT 박스들은 케스케이드가 아닌 병렬적인 프로세싱 스테이지(parallele processing satge)를 표현한다. 그러므로, N-N/2-N 구조에서 모든 OTT 박스들은 어떤 다른 OTT 박스들과 연결되지 않는다. 그래서, 매트릭스 는 단위 매트릭스
Figure pat00139
와 단위 매트릭스
Figure pat00140
로 구성될 수 있다. 이 때, 단위 매트릭스
Figure pat00141
는 N*N 크기의 단위 매트릭스일 수 있다.
(2) 매트릭스 G1
MPEG Surround 디코딩 이전에 다운믹스 신호 또는 외부에서 공급된 다운믹스 신호를 핸들링하기 위해, 교정 팩터(correction factors)에 의해 제어된 데이터스트림이 적용될 수 있다. 교정 팩터는 매트릭스
Figure pat00142
에 의해 다운믹스 신호 또는 외부에서 공급된 다운믹스 신호에 적용될 수 있다.
매트릭스
Figure pat00143
는 파라미터가 표현하는 특정 타임/주파수 타일(time frequency tile)에 대한 다운믹스 신호의 레벨이 인코더에서 공간적인 파라미터가 추정될 때 획득되는 다운믹스 신호의 레벨과 동일하도록 보장할 수 있다.
이는 3가지 경우로 구분되며, (i) 외부 다운믹스 보상이 없는 경우(
Figure pat00144
), (ii) 파라미터화된 외부 다운믹스 보상이 있는 경우(
Figure pat00145
) 및 (iii) 외부 다운믹스 보상에 기초한 잔차 코딩을 수행하는 경우(
Figure pat00146
)로 구분될 수 있다. 만약,
Figure pat00147
인 경우, 디코더는 외부 다운믹스 보상에 기초한 잔차 코딩을 지원하지 않는다.
그리고, 만약, N-N/2-N 구조에서 외부의 다운믹스 보상(external downmix compensation)이 적용되지 않는 경우(
Figure pat00148
), N-N/2-N 구조에서 매트릭스
Figure pat00149
는 하기 수학식 29에 의해 정의될 수 있다.
Figure pat00150
여기서,
Figure pat00151
는 NumInch* NumInCh사이즈를 나타내는 단위 매트릭스를 의미하고,
Figure pat00152
는 NumInch* NumInCh사이즈를 나타내는 제로 매트릭스를 의미한다.
이와 달리, 만약 N-N/2-N 구조에서 외부의 다운믹스 보상(external downmix compensation)이 적용되는 경우(
Figure pat00153
), N-N/2-N 구조에 대해
Figure pat00154
는 하기 수학식 30에 의해 정의될 수 있다.
Figure pat00155
여기서,
Figure pat00156
로 정의된다.
한편, N-N/2-N 구조에서 외부의 다운믹스 보상에 기초한 잔차 코딩(residual coding)이 적용되는 경우(
Figure pat00157
),
Figure pat00158
는 하기 수학식 31에 의해 정의될 수 있다.
Figure pat00159
여기서,
Figure pat00160
로 정의될 수 있다. 그리고,
Figure pat00161
는 업데이트될 수 있다.
(3) 매트릭스 H1
N-N/2-N 구조에서, 다운믹스 신호의 채널 개수는 5개보다 많을 수 있다. 그래서, 인버스(inverse) 매트릭스 H는 모든 파라미터 셋트와 프로세싱 밴드에 대해 입력 신호의 벡터
Figure pat00162
의 열의 개수와 동일한 사이즈를 가지는 단위 매트릭스일 수 있다.
<매트릭스 M2(post-matrix)의 정의>
N-N/2-N 구조에서, 매트릭스 M2인
Figure pat00163
는 다채널의 출력 신호를 재생성하기 위해 다이렉트 신호와 비상관된 신호를 어떻게 조합할 것인지를 정의한다.
Figure pat00164
는 하기 수학식 32에 의해 정의될 수 있다.
Figure pat00165
여기서,
Figure pat00166
로 정의된다.
한편,
Figure pat00167
는 하기 수학식 33에 의해 스무딩될 수 있다.
Figure pat00168
여기서,
Figure pat00169
와
Figure pat00170
에서 첫번째 행은 하이브리드 서브밴드
Figure pat00171
이고, 두번째 행은 프로세싱 밴드이고, 세번째 행은 특정 하이브리드 서브밴드
Figure pat00172
에 대해
Figure pat00173
의 복소 컨주게이션(complex conjugation)인
Figure pat00174
이다. 그리고,
Figure pat00175
는 이전 프레임의 마지막 파라미터 셋트를 의미한다.
매트릭스 M2를 위한 매트릭스
Figure pat00176
의 엘리먼트는 OTT 박스의 등가 모델(equivalent model)로부터 계산될 수 있다. OTT 박스는 비상관기와 믹싱부를 포함한다. OTT 박스에 입력되는 모노 형태의 입력 신호는 비상관기와 믹싱부에 각각 전달된다. 믹싱부는 모노 형태의 입력 신호와 비상관기를 통해 출력된 비상관된 신호 및 CLD, ICC 파라미터를 이용하여 스테레오 형태의 출력 신호를 생성할 수 있다. 여기서, CLD는 스테레오 필드에서 로컬라이제이션(localization)을 제어하고, ICC는 출력 신호의 스테레오 폭(wideness)를 제어한다.
그러면, 임의의 OTT 박스로부터 출력되는 결과는 하기 수학식 34에 의해 정의될 수 있다.
Figure pat00177
OTT 박스는
Figure pat00178
로 라벨링(
Figure pat00179
)되고,
Figure pat00180
는 OTT 박스에 대해 타임 슬롯
Figure pat00181
과 파라미터 밴드
Figure pat00182
에서 임의의 매트릭스(Arbitrary matrix)의 엘리먼트를 의미한다.
이 때, 포스트 게인 매트릭스는 하기 수학식 35과 같이 정의될 수 있다.
Figure pat00183
여기서,
Figure pat00184
,및
Figure pat00185
,이고,
Figure pat00186
및
Figure pat00187
로 정의된다.
한편,
Figure pat00188
(
Figure pat00189
for
Figure pat00190
)로 정의될 수 있다.
그리고,
Figure pat00191
로 정의된다.
이 때, N-N/2-N 구조에서,
Figure pat00192
는 하기 수학식 35에 의해 정의될 수 있다.
Figure pat00193
여기서, CLD와 ICC는 하기 수학식 37에 의해 정의될 수 있다.
Figure pat00194
이 때,
Figure pat00195
로 정의될 수 있다.
<비상관기의 정의>
N-N/2-N 구조에서, 비상관기들은 QMF 서브밴드 도메인에서 잔향 필터(reverberation filter)에 의해 수행될 수 있다. 잔향 필터는 모든 하이브리드 서브밴드에서 현재 어떤 하이브리드 서브밴드에 해당하는지에 기초하여 서로 다른 필터 특징을 나타낸다.
잔향 필터는 IIR 격자 필터이다. 상호적으로 비상관된 직교 신호들을 생성하기 위해 서로 다른 비상관기에 대해 IIR 격자 필터들은 서로 다른 필터 계수를 가진다.
비상관기에 의해 수행되는 비상관 과정은 여러 과정으로 진행된다. 먼저, 매트릭스 M1의 출력인
Figure pat00196
는 전역 통과(all-pass) 비상관 필터의 셋트로 입력된다. 그러면, 필터링된 신호들은 에너지 쉐이핑될 수 있다. 여기서, 에너지 쉐이핑은 비상관된 신호들을 보다 입력 신호에 가깝게 매칭되도록 스펙트럴 또는 시간적인 포락선을 쉐이핑하는 것이다.
임의의 비상관기에 입력되는 입력 신호
Figure pat00197
는 벡터
Figure pat00198
의 일부분이다. 복수의 비상관기들을 통해 도출된 비상관된 신호들 간의 직교성을 보장하기 위해, 복수의 비상관기들마다 서로 다른 필터 계수를 가진다.
비상관 필터는 고정된 주파수 의존 딜레이(constant frequency-dependent delay)에 의해 선행하는 복수의 전역 통과(All-pass(IIR)) 영역으로 구성된다. 주파수 축은 QMF 분할 주파수에 대응되도록 서로 다른 영역으로 분할될 수 있다. 각 영역마다 딜레이의 길이와 필터 계수 벡터들의 길이는 서로 동일하다. 그리고, 추가적인 위상 회전(additional phase rotation) 때문에 부분적인 딜레이(fractional delay)를 가지는 비상관기의 필터 계수는 하이브리드 서브밴드 인덱스에 의존한다.
앞서 살펴본 바와 같이, 비상관기들로부터 출력된 비상관된 신호들 간의 직교성을 보장하기 위해 비상관기의 필터들은 서로 다른 필터 계수를 가진다. N-N/2-N 구조에서, N/2개의 비상관기들이 요구된다. 이 때, N-N/2-N 구조에서, 비상관기들의 개수는 10개로 제한될 수 있다. Lfe 모드가 존재하지 않는 N-N/2-N 구조에서, OTT 박스의 개수인 N/2가 10을 초과하는 경우, 10 기본 모듈로 연산(basis modulo operation)에 따라 비상관기들은 10을 초과하는 OTT 박스의 개수에 대응하여 재사용될 수 있다.
하기 표 6는, N-N/2-N 구조의 디코더에서 비상관기의 인덱스를 나타낸다. 표 6을 참고하면, N/2개의 비상관기들은 10 단위로 인덱스가 반복된다. 즉, 0번째 비상관기와 10번째 비상관기는
Figure pat00199
로 동일한 인덱스를 가진다.
Figure pat00200
N-N/2-N 구조의 경우, 하기 표 7의 신택스에 의해 구현될 수 있다.
Figure pat00201

Figure pat00202

Figure pat00203
이 때, bsTreeConfig는 하기 표 8에 의해 구현될 수 있다.
Figure pat00204
그리고, N-N/2-N 구조에서 다운믹스 신호의 채널 개수인 bsNumInCh는 하기 표 9와 같이 구현될 수 있다.
Figure pat00205
그리고, N-N/2-N 구조에서, 출력 신호들 중 LFE 채널의 개수인
Figure pat00206
는 하기 표 10과 같이 구현될 수 있다.
Figure pat00207
그리고, N-N/2-N 구조에서, 출력 신호의 채널 순서는 출력 신호의 채널 개수 및 LFE 채널의 개수에 따라 표 11과 같이 구현될 수 있다.
Figure pat00208
표 7에서 bsHasSpeakerConfig는 실제로 재생하고자 하는 출력 신호의 레이아웃이 표 11에서 구체화된 채널 순서와 다른 레이아웃인지 여부를 나타내는 플래그이다. 만약, bsHasSpeakerConfig == 1인 경우, 실제 재생할 때의 라우드스피커의 레이아웃인 audioChannelLayout가 렌더링을 위해 사용될 수 있다.
그리고, audioChannelLayout 는 실제 재생할 때의 라우드스피커의 레이아웃을 나타낸다. 만약, 라우드스피커가 LFE 채널을 포함하는 경우, LFE 채널들은 LFE 채널이 아닌 것과 함께 하나의 OTT 박스를 이용하여 처리되어야 하고, 채널 리스트에서 마지막에 위치할 수 있다. 예를 들면, LFE 채널은 채널 리스트인 L,Lv,R,Rv,Ls,Lss,Rs,Rss,C,LFE,Cvr,LFE2에서 맨 마지막에 위치한다.
도 17은 일실시예에 따른 N-N/2-N 구조를 트리 형태로 표현한 도면이다.
도 16에 도시된 N-N/2-N구조는 도 17과 같이 트리 형태로 표현될 수 있다. 도 17에서 모든 OTT 박스들은 CLD, ICC, 잔차 신호 및 입력 신호에 기초하여 2개 채널의 출력 신호를 재생성할 수 있다. OTT 박스와 이에 대응하는 CLD, ICC, 잔차 신호 및 입력 신호는 비트스트림에 나타나는 순서에 따라 번호가 매겨질 수 있다.
도 17에 의하면, 복수의 OTT 박스들은 N/2개가 존재한다. 이 때, 다채널 오디오 신호 처리 장치인 디코더는 N/2개의 OTT 박스를 이용하여 N/2채널의 다운믹스 신호로부터 N채널의 출력 신호를 생성할 수 있다. 여기서, N/2개의 OTT 박스들은 복수의 계층을 통해 구현되지 않는다. 즉, OTT 박스들은 N/2 채널의 다운믹스 신호의 각 채널별로 병렬적으로 업믹싱을 수행할 수 있다. 다시 말해서, 어느 하나의 OTT 박스는 다른 OTT 박스와 연결되지 않는다.
한편, 도 17에서 왼쪽 도면은 N채널의 출력 신호에 LFE 채널이 포함되지 않는 경우이고, 오른쪽 도면은 N채널의 출력 신호에 LFE 채널이 포함된 경우를 나타낸다.
이 때, N채널의 출력 신호에 LFE 채널이 포함되지 않는 경우, N/2개의 OTT박스들은 잔차 신호(res)와 다운믹스 신호(M)를 이용하여 N채널의 출력 신호를 생성할 수 있다. 하지만, N채널의 출력 신호에 LFE 채널이 포함된 경우, N/2개의 OTT 박스들 중 LFE 채널이 출력되는 OTT 박스는 잔차 신호를 제외한 다운믹스 신호만 이용할 수 있다.
뿐만 아니라, N채널의 출력 신호에 LFE 채널이 포함된 경우, N/2개의 OTT 박스들 중 LFE 채널이 출력되지 않는 OTT 박스는 CLD와 ICC를 이용하여 다운믹스 신호를 업믹싱하지만, LFE 채널이 출력되는 OTT 박스는 CLD만 이용하여 다운믹스 신호를 업믹싱할 수 있다.
그리고, N채널의 출력 신호에 LFE 채널이 포함된 경우, N/2개의 OTT 박스들 중 LFE 채널이 출력되지 않는 OTT 박스는 비상관기를 통해 비상관된 신호를 생성하지만, LFE 채널이 출력되는 OTT 박스는 비상관 과정을 수행하지 않으므로 비상관된 신호를 생성하지 않는다.
도 18은 일실시예에 따른 FCE 구조에 대한 인코더와 디코더를 도시한 도면이다.
도 18을 참고하면, FCE(Four Channel Element)는 4개 채널의 입력 신호를 다운믹싱하여 1개 채널의 출력 신호를 생성하거나 또는 1개 채널의 입력 신호를 업믹싱하여 4개 채널의 출력 신호를 생성하는 장치에 대응한다.
FCE 인코더(1801)는 2개의 TTO 박스(1803, 1804)와 USAC 인코더(1805)를 이용하여 4개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. TTO 박스(1803, 1804)는 각각 2개 채널의 입력 신호를 다운믹싱하여 4개 채널의 입력 신호로부터 1개 채널의 다운믹스 신호를 생성할 수 있다. USC 인코더(1805)는 다운믹스 신호의 코어 대역에서 인코딩을 수행할 수 있다.
그리고, FCE 디코더(1802)는 FCE 인코더(1801)가 수행하는 동작의 역으로 수행한다. FCE 디코더(1802)는 USAC 디코더(1806)와 2개의 OTT 박스(1807, 1808)를 이용하여 1개 채널의 입력 신호로부터 4개 채널의 출력 신호를 생성할 수 있다. OTT 박스(1807, 1808)는 USAC 디코더(1806)에 의해 디코딩된 1개 채널의 입력 신호를 각각 업믹싱하여 4개 채널의 출력 신호를 생성할 수 있다. USC 디코더(1806)는 FCE 다운믹스 신호의 코어 대역에서 인코딩을 수행할 수 있다.
FCE 디코더(1802)는 CLD, IPD, ICC와 같은 공간 큐(spatial cue)를 이용하여 파라메트릭 모드로 동작하기 위해, 낮은 비트레이트에서 코딩을 수행할 수 있다. 동작 비트레이트와 입력 신호의 전체 채널 개수, 파라미터의 해상도 및 양자화 레벨 중 적어도 하나에 기초하여 파라메트릭 타입이 변경될 수 있다. FCE 인코더(1801)와 FCE 디코더(1802)는 128kbps에서 48kbps까지 광범위하게 사용될 수 있다.
FCE 디코더(1802)의 출력 신호의 채널 개수(4개)는 FCE 인코더(1801)에 입력된 입력 신호의 채널 개수(4개)와 동일하다.
도 19는 일실시예에 따른 TCE 구조에 대한 인코더와 디코더를 도시한 도면이다.
도 19을 참고하면, TCE(Three Channel Element)는 3개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성하거나 또는 1개 채널의 입력 신호로부터 3개 채널의 출력 신호를 생성하는 장치에 대응한다.
TCE 인코더(1901)는 1개의 TTO 박스(1903)와 1개의 QMF 변환기(1904) 및 1개의 USAC 인코더(1905)를 포함할 수 있다. 여기서, QMF 변환기는 하이브리드 분석/합성기를 포함할 수 있다. 이 때, 2개 채널의 입력 신호가 TTO 박스(1903)에 입력되고, 1개 채널의 입력 신호가 QMF 변환기(1904)에 입력될 수 있다. TTO 박스(1903)는 2개 채널의 입력 신호를 다운믹싱하여 1개 채널의 다운믹스 신호를 생성할 수 있다. QMF 변환기(1904)는 1개 채널의 입력 신호를 QMF 도메인으로 변환할 수 있다.
TTO 박스(1903)의 출력 결과와 QMF 변환기(1904)의 출력 결과는 USAC 인코더(1905)에 입력될 수 있다. USAC 인코더(1905)는 TTO 박스(1903)의 출력 결과와 QMF 변환기(1904)의 출력 결과로 입력된 2개 채널의 신호의 코어 대역을 인코딩할 수 있다.
도 19에 의하면, 입력 신호의 채널 개수가 3개로서 홀수이기 때문에 2개 채널의 입력 신호만 TTO 박스(1903)에 입력되고, 나머지 1개 채널의 입력 신호는 TTO 박스(1903)를 바이패스하여 USAC 인코더(1905)에 입력될 수 있다. 이 때, TTO 박스(1903)는 파라메트릭 모드로 동작하므로, TCE 인코더(1901)는 입력 신호의 채널 개수가 11.1이거나 9.0인 경우에 주로 적용될 수 있다.
TCE 디코더(1902)는 1개의 USAC 디코더(1906), 1개의 OTT 박스(1907)와 1개의 QMF 역변환기(1904)를 포함할 수 있다. 이 때, TCE 인코더(1901)로부터 입력된 1개 채널의 입력 신호는 USAC 디코더(1906)를 통해 디코딩된다. 이 때, USAC 디코더(1906)는 1개 채널의 입력 신호에서 코어 대역에 대해 디코딩할 수 있다.
USAC 디코더(1906)를 통해 출력된 2개 채널의 입력 신호는 각각 채널별로 OTT 박스(1907)와 QMF 역변환기(1908)에 입력될 수 있다. QMF 역변환기(1908)는 하이브리드 분석/합성기를 포함할 수 있다. OTT 박스(1907)는 1개 채널의 입력 신호를 업믹싱하여 2개 채널의 출력 신호를 생성할 수 있다. 그리고, QMF 역변환기(1908)는 USAC 디코더(1906)를 통해 출력된 2개 채널의 입력 신호 중 나머지 1개 채널의 입력 신호를 QMF 도메인에서 시간 도메인 또는 주파수 도메인으로 역변환할 수 있다.
TCE 디코더(1902)의 출력 신호의 채널 개수(3개)는 TCE 인코더(1901)에 입력된 입력 신호의 채널 개수(3개)와 동일하다.
도 20은 일실시예에 따른 ECE 구조에 대한 인코더와 디코더를 도시한 도면이다.
도 20을 참고하면, ECE(Eight Channel Element)는 8개 채널의 입력 신호를 다운믹싱하여 1개 채널의 출력 신호를 생성하거나 또는 1개 채널의 입력 신호를 업믹싱하여 8개 채널의 출력 신호를 생성하는 장치에 대응한다.
ECE 인코더(2001)는 6개의 TTO박스(2003~2008)와 USAC 인코더(2009)를 이용하여 8개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 먼저, 8개 채널의 입력 신호는 4개의 TTO 박스(2003~2006)에 의해 각각 2개 채널의 입력 신호로 입력된다. 그러면, 4개의 TTO 박스(2003~2006) 각각은 2개 채널의 입력 신호를 다운믹싱하여 1개 채널의 출력 신호를 생성할 수 있다. 4개의 TTO 박스(2003~2006)의 출력 결과는 4개의 TTO 박스(2003~2006)에 연결된 2개의 TTO 박스(2007, 2008)에 입력된다.
2개의 TTO 박스(2007, 2008)는 4개의 TTO 박스(2003~2006)의 출력 신호들 중 각각 2개 채널의 출력 신호를 다운믹싱하여 1개 채널의 출력 신호를 생성할 수 있다. 그러면, 2개의 TTO 박스(2007, 2008)의 출력 결과는 2개의 TTO 박스(2007, 2008)에 연결된 USAC 인코더(2009)에 입력된다. USAC 인코더(2009)는 2개 채널의 입력 신호를 인코딩하여 1개 채널의 출력 신호를 생성할 수 있다.
결론적으로, ECE 인코더(2001)는 2단계의 트리 형태로 연결된 TTO 박스들을 이용하여 8개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 다시 말해서, 4개의 TTO 박스(2003~2006)와 2개의 TTO 박스(2007, 2008)는 서로 캐스케이드 형태로 연결되어 2개 계층의 트리로 구성될 수 있다. ECE 인코더(2001)는 입력 신호의 채널 구조가 22.2이거나 또는 14.0인 경우에 대해 48kbps 모드, 또는 64kbps 모드에서 사용될 수 있다.
ECE 디코더(2002)는 6개의 OTT박스(2011~2016)와 USAC 디코더(2010)를 이용하여 1개 채널의 입력 신호로부터 8개 채널의 출력 신호를 생성할 수 있다. 먼저, ECE 인코더(2001)에서 생성된 1개 채널의 입력 신호는 ECE 디코더(2002)에 포함된 USAC 디코더(2010)에 입력될 수 있다. 그러면, USAC 디코더(2010)는 1개 채널의 입력 신호의 코어 대역을 디코딩하여 2개 채널의 출력 신호를 생성할 수 있다. USAC 디코더(2010)로부터 출력된 2개 채널의 출력 신호는 각각의 채널별로 OTT 박스(2011)와 OTT 박스(2012)에 입력될 수 있다. OTT 박스(2011)는 1개 채널의 입력 신호를 업믹싱하여 2개 채널의 출력 신호를 생성할 수 있다. 마찬가지로, OTT 박스(2012)는 1개 채널의 입력 신호를 업믹싱하여 2개 채널의 출력 신호를 생성할 수 있다.
그러면, OTT 박스(2011, 2012)의 출력 결과는 OTT 박스(2011, 2012)와 연결된 OTT 박스 (2013~2016)에 각각 입력될 수 있다. OTT 박스(2013~2016) 각각은 OTT 박스(2011, 2012)의 출력 결과인 2개 채널의 출력 신호들 중 1개 채널의 출력 신호를 입력으로 받아서 업믹싱할 수 있다. 즉, OTT 박스(2013~2016) 각각은 1개 채널의 입력 신호를 업믹싱하여 2개 채널의 출력 신호를 생성할 수 있다. 그러면, 4개의 OTT 박스(2013~2016) 각각으로부터 생성된 출력 신호의 채널 개수는 9개이다.
결론적으로, ECE 디코더(2002)는 2단계의 트리 형태로 연결된 OTT 박스들을 이용하여 1개 채널의 입력 신호로부터 8개 채널의 출력 신호를 생성할 수 있다. 다시 말해서, 4개의 OTT 박스(2013~2016)와 2개의 OTT 박스(2011, 2012)는 서로 캐스케이드 형태로 연결되어 2개 계층의 트리로 구성될 수 있다.
ECE 디코더(2002)의 출력 신호의 채널 개수(8개)는 ECE 인코더(2001)에 입력된 입력 신호의 채널 개수(8개)와 동일하다.
도 21은 일실시예에 따른 SiCE 구조에 대한 인코더와 디코더를 도시한 도면이다.
도 21을 참고하면, SICE(Six Channel Element)는 6개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성하거나 또는 1개 채널의 입력 신호로부터 6개 채널의 출력 신호를 생성하는 장치에 대응한다.
SICE 인코더(2101)는 4개의 TTO 박스(2103~2106) 및 1개의 USAC 인코더(2107)를 포함할 수 있다. 이 때, 6개 채널의 입력 신호가 3개의 TTO 박스(2103~2106)에 입력될 수 있다. 그러면, 3개의 TTO 박스(2103~2106) 각각은 6개 채널의 입력 신호들 중 2개 채널의 입력 신호를 다운믹싱하여 1개 채널의 출력 신호를 생성할 수 있다. 3개 TTO 박스(2103~2106)들 중 2개의 TTO 박스가 다른 하나의 TTO 박스와 연결될 수 있다. 도 21의 경우, TTO 박스(2103, 2104)가 TTO 박스(2106)와 연결될 수 있다.
TTO 박스(2103, 2104)의 출력 결과는 TTO 박스(2106)에 입력될 수 있다. 도 21에 도시된 바와 같이, TTO 박스(2106)는 2개 채널의 입력 신호를 다운믹싱하여 1개 채널의 출력 신호를 생성할 수 있다. 한편, TTO 박스(2105)의 출력 결과는 TTO 박스(2106)에 입력되지 않는다. 즉, TTO 박스(2105)의 출력 결과는 TTO 박스(2106)를 바이패스하여 USAC 인코더(2107)에 입력된다.
USAC 인코더(2107)는 TTO 박스(2105)와 TTO 박스(2106)의 출력 결과인 2개 채널의 입력 신호의 코어 대역을 인코딩하여 1개 채널의 출력 신호를 생성할 수 있다.
SiCE 인코더(2101)는 3개의 TTO 박스(2103~2105)와 1개의 TTO 박스(2106)가 서로 다른 계층을 구성한다. 다만, ECE 인코더(2001)와 달리, SiCE 인코더(2101)는 3개의 TTO 박스(2103~2105)들 중 2개의 TTO 박스(2103~2104)가 1개의 TTO 박스(2106)와 연결되고, 나머지 1개의 TTO 박스(2105)는 TTO 박스(2106)를 바이패스한다. SiCE 인코더(2101)는 48kbps, 64kbps에서 14.0 채널 구조의 입력 신호를 처리할 수 있다.
SiCE 디코더(2102)는 1개의 USAC 디코더(2108), 4개의 OTT 박스(2109~2112)를 포함할 수 있다.
SiCE 인코더(2101)에서 생성된 1개 채널의 출력 신호는 SiCE 디코더(2102)에 입력될 수 있다. 그러면, SiCE 디코더(2102)의 USAC 디코더(2108)는 1개 채널의 입력 신호의 코어 대역을 디코딩하여 2개 채널의 출력 신호를 생성할 수 있다. 그러면, USAC 디코더(2108)로부터 생성된 2개 채널의 출력 신호들 중 1개 채널의 출력 신호는 OTT 박스(2109)에 입력되고, 나머지 1개 채널의 출력 신호는 OTT 박스(2109)를 바이패스하여 직접 OTT 박스(2112)에 입력된다.
그러면, OTT 박스(2109)는 USAC 디코더(2108)로부터 전달된 1개 채널의 입력 신호를 업믹싱하여 2개 채널의 출력 신호를 생성할 수 있다. 그러면, OTT 박스(2109)로부터 생성된 2개 채널의 출력 신호들 중 1개 채널의 출력 신호는 OTT 박스(2110)에 입력되고, 나머지 1개 채널의 출력 신호는 OTT 박스(2111)에 입력될 수 있다. 이 후, OTT 박스(2110~2112)는 1개 채널의 입력 신호를 업믹싱하여 2개 채널의 출력 신호를 생성할 수 있다.
이상에서 도 18 내지 도 21에서 설명한 FCE 구조, TCE 구조, ECE 구조, SiCE 구조의 인코더는 복수의 TTO 박스들을 이용하여 N채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 이 때, FCE 구조, TCE 구조, ECE 구조, SiCE 구조의 인코더에 포함된 USAC 인코더의 내부에도 TTO 박스가 1개 존재할 수 있다.
한편, ECE 구조, SiCE 구조의 인코더는 2개 계층의 TTO 박스로 구성될 수 있다. 또한, TCE 구조, SiCE 구조와 같이 입력 신호의 채널 개수가 홀수인 경우, TTO 박스를 바이패스하는 경우가 존재한다.
그리고, FCE 구조, TCE 구조, ECE 구조, SiCE 구조의 디코더는 복수의 OTT 박스들을 이용하여 1개 채널의 입력 신호로부터 N채널의 출력 신호를 생성할 수 있다. 이 때, FCE 구조, TCE 구조, ECE 구조, SiCE 구조의 디코더에 포함된 USAC 디코더의 내부에도 OTT 박스가 1개 존재할 수 있다.
한편, ECE 구조, SiCE 구조의 디코더는 2개 계층의 OTT 박스로 구성될 수 있다. 또한, TCE 구조, SiCE 구조와 같이 입력 신호의 채널 개수가 홀수인 경우, OTT 박스를 바이패스하는 경우가 존재한다.
도 22는 일실시예에 따른 FCE 구조에 따라 24채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
구체적으로, 도 22의 경우 22.2 채널 구조로서 128kbps와 96kbps에서 동작할 수 있다. 도 22를 참고하면, 24개 채널의 입력 신호가 6개의 FCE 인코더(2201)에 각각 4개 채널씩 입력될 수 있다. 그러면, 도 18에서 설명한 바와 같이, FCE 인코더(2201)는 4개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 그러면, 도 22에 도시된 6개의 FCE 인코더(2201) 각각으로부터 출력된 1개 채널의 출력 신호를 비트스트림 포맷터를 통해 비트스트림 형태로 출력될 수 있다. 즉, 비트스트림은 6개의 출력 신호를 포함할 수 있다.
그런 후, 비트스트림 디포맷터는 비트스트림으로부터 6개의 출력 신호를 도출할 수 있다. 6개의 출력 신호는 6개의 FCE 디코더(2202)에 각각 입력될 수 있다. 그러면, 도 18에서 설명한 바와 같이, FCE 디코더(2202)는 1개 채널의 입력 신호로부터 4개 채널의 출력 신호를 생성할 수 있다. 6개의 FCE 디코더(2202)를 통해 총 24개 채널의 출력 신호가 생성될 수 있다.
도 23은 일실시예에 따른 ECE 구조에 따라 24채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 23은 도 22에서 설명한 22.2 채널 구조와 같이 24개 채널의 입력 신호가 입력되는 경우를 가정한다. 하지만, 도 23의 동작 모드는 도 22보다는 좀더 낮은 비트레이트인 48kbps, 64kbps에서 동작하는 것으로 가정한다.
도 23을 참고하면, 24개 채널의 입력 신호가 3개의 ECE 인코더(2301)에 각각 8개 채널씩 입력될 수 있다. 그러면, 도 20에서 설명한 바와 같이, ECE 인코더(2301)는 8개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 그러면, 도 23에 도시된 3개의 ECE 인코더(2301) 각각으로부터 출력된 1개 채널의 출력 신호를 비트스트림 포맷터를 통해 비트스트림 형태로 출력될 수 있다. 즉, 비트스트림은 3개의 출력 신호를 포함할 수 있다.
그런 후, 비트스트림 디포맷터는 비트스트림으로부터 3개의 출력 신호를 도출할 수 있다. 3개의 출력 신호는 3개의 ECE 디코더(2302)에 각각 입력될 수 있다. 그러면, 도 20에서 설명한 바와 같이, ECE 디코더(2302)는 1개 채널의 입력 신호로부터 8개 채널의 출력 신호를 생성할 수 있다. 3개의 FCE 디코더(2302)를 통해 총 24개 채널의 출력 신호가 생성될 수 있다.
도 24는 일실시예에 따른 FCE 구조에 따라 14채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 24는 14개 채널의 입력 신호를 3개의 FCE 인코더(2401)와 1개의 CPE 인코더(2402)를 통해 4개 채널의 출력 신호를 생성하는 과정을 나타낸다. 이 때, 도 24는 128kbps, 96kbps와 같이 상대적으로 높은 비트레이트에서 동작하는 경우를 나타낸다.
3개의 FCE 인코더(2401)는 각각 4개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 그리고, 1개의 CPE 인코더(2402)는 2개 채널의 입력 신호를 다운믹스하여 1개 채널의 출력 신호를 생성할 수 있다. 그러면, 비트스트림 포맷터는 3개의 FCE 인코더(2401)의 출력 결과와 1개의 CPE 인코더(2402)의 출력 결과로부터 4개의 출력 신호를 포함하는 비트스트림을 생성할 수 있다.
한편, 비트스트림 디포맷터는 비트스트림으로부터 4개의 출력 신호를 추출한 후, 3개의 출력 신호는 3개의 FCE 디코더(2403)에 전달하고, 나머지 1개의 출력 신호는 1개의 CPE 디코더(2404)에 전달할 수 있다. 그러면, 3개의 FCE 디코더(2403)들 각각은 1개 채널의 입력 신호로부터 4개 채널의 출력 신호를 생성할 수 있다. 그리고, 1개의 CPE 디코더(2404)는 1개 채널의 입력 신호로부터 2개 채널의 출력 신호를 생성할 수 있다. 즉, 3개의 FCE 디코더(2403)과 1개의 CPE 디코더(2404)를 통해 총 14개의 출력 신호가 생성될 수 있다.
도 25는 일실시예에 따른 ECE 구조와 SiCE 구조에 따라 14채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 25를 참고하면, 14개 채널의 입력 신호를 ECE 인코더(2501)와 SiCE 인코더(2502)가 처리하는 것을 나타낸다. 도 25는 도 24와 달리 상대적으로 낮은 비트레이트인 경우(ex. 48kbps, 96kbps)에 적용된다.
ECE 인코더(2501)는 14개 채널의 입력 신호 중 8개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 그리고, SiCE 인코더(2502)는 14개 채널의 입력 신호 중 6개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 비트스트림 포맷터는 ECE 인코더(2501)와 SiCE 인코더(2502)의 출력 결과는 2개의 출력 신호를 이용하여 비트스트림을 생성할 수 있다.
한편, 비트스트림 디포맷터는 비트스트림으로부터 2개의 출력 신호를 추출할 수 있다. 그러면, 2개의 출력 신호는 각각 ECE 디코더(2503)와 SiCE 디코더(2504)에 입력될 수 있다. ECE 디코더(2503)는 1개 채널의 입력 신호를 이용하여 8개 채널의 출력 신호를 생성하고, SiCE 디코더(2504)는 1개 채널의 입력 신호를 이용하여 6개 채널의 출력 신호를 생성할 수 있다. 즉, 각각 ECE 디코더(2503)와 SiCE 디코더(2504)를 통해 총 14개의 출력 신호가 생성될 수 있다.
도 26은 일실시예에 따른 TCE 구조에 따라 11.1채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 26을 참고하면, 4개의 CPE 인코더(2601)와 1개의 TCE 인코더(2602)는 11.1 채널의 입력 신호로부터 5개 채널의 출력 신호를 생성할 수 있다. 도 26의 경우, 128kbps, 96kbps와 같이 상대적으로 높은 비트레이트에서 오디오 신호가 처리될 수 있다.
4개의 CPE 인코더(2601) 각각은 2개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 한편, 1개의 TCE 인코더(2602)는 3개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 4개의 CPE 인코더(2601)와 1개의 TCE 인코더(2602)의 출력 결과는 비트스트림 포맷터에 입력되어 비트스트림으로 출력될 수 있다. 즉, 비트스트림은 5개 채널의 출력 신호를 포함할 수 있다.
한편, 비트스트림 디포맷터는 비트스트림으로부터 5개 채널의 출력 신호를 추출할 수 있다. 그러면, 5개의 출력 신호는 4개의 CPE 디코더(2603)와 1개의 TCE 디코더(2604)에 입력될 수 있다. 그러면, 4개의 CPE 디코더(2603)는 각각 1개 채널의 입력 신호로부터 2개 채널의 출력 신호를 생성할 수 있다. 한편, TCE 디코더(2604)는 1개 채널의 입력 신호로부터 3개 채널의 출력 신호를 생성할 수 있다. 그러면 최종적으로, 4개의 CPE 디코더(2603)와 1개의 TCE 디코더(2604)를 통해 11개 채널의 출력 신호가 출력될 수 있다.
도 27은 일실시예에 따른 FCE 구조에 따라 11.1채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 27은 도 26과 달리 상대적으로 낮은 비트레이트에서 동작할 수 있다(ex. 64kbps, 48kbps). 도 27을 참고하면, 3개의 FCE 인코더(2701)를 통해 12개 채널의 입력 신호로부터 3개 채널의 출력 신호를 생성할 수 있다. 구체적으로, 3개의 FCE 인코더(2701) 각각은 12개 채널의 입력 신호들 중 4개 채널의 입력 신호들로부터 1개 채널의 출력 신호를 생성할 수 있다. 그러면, 비트스트림 포맷터는 3개의 FCE 인코더(2701)로부터 출력된 3개 채널의 출력 신호를 이용하여 비트스트림을 생성할 수 있다.
한편, 비트스트림 디포맷터는 비트스트림으로부터 3개 채널의 출력 신호를 출력할 수 있다. 그러면, 3개 채널의 출력 신호는 각각 3개의 FCE 디코더(2702)에 입력될 수 있다. 이 후, FCE 디코더(2702)는 1개 채널의 입력 신호를 이용하여 3개 채널의 출력 신호를 생성할 수 있다. 그러면, 3개의 FCE 디코더(2702)를 통해 12개 채널의 출력 신호가 생성될 수 있다.
도 28은 일실시예에 따른 TCE 구조에 따라 9.0채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 28을 참고하면, 9개 채널의 입력 신호를 처리하는 과정이 도시된다. 도 28은 상대적으로 높은 비트레이트(ex. 128kbps, 96kbps)에서 9개 채널의 입력 신호를 처리할 수 있다. 이 때, 3개의 CPE 인코더(2801)와 1개의 TCE 인코더(2802)에 기초하여 9개 채널의 입력 신호가 처리될 수 있다. 3개의 CPE 인코더(2801) 각각은 2개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 한편, 1개의 TCE 인코더(2802)는 3개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 그러면, 총 4개 채널의 출력 신호가 비트스트림 포맷터에 입력되어 비트스트림으로 출력될 수 있다.
비트스트림 디포맷터는 비트스트림에 포함된 4개 채널의 출력 신호를 추출할 수 있다. 그러면, 4개 채널의 출력 신호는 3개의 CPE 디코더(2803)와 1개의 TCE 디코더(2804)에 입력될 수 있다. 3개의 CPE 디코더(2803) 각각은 1개 채널의 입력 신호로부터 2개 채널의 출력 신호를 생성할 수 있다. 한편, 1개의 TCE 디코더(2804)는 1개 채널의 입력 신호로부터 3개 채널의 출력 신호를 생성할 수 있다. 그러면, 총 9개 채널의 출력 신호가 생성될 수 있다.
도 29는 일실시예에 따른 FCE 구조에 따라 9.0채널의 오디오 신호를 처리하는 과정을 도시한 도면이다.
도 29를 참고하면, 9개 채널의 입력 신호를 처리하는 과정이 도시된다. 도 29는 상대적으로 낮은 비트레이트(64kbps, 48kbps)에서 9개 채널의 입력 신호를 처리할 수 있다. 이 때, 2개의 FCE 인코더(2901)와 1개의 SCE 인코더(2902)에 기초하여 9개 채널의 입력 신호가 처리될 수 있다. 2개의 FCE 인코더(2901) 각각은 4개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 한편, 1개의 SCE 인코더(2902)는 1개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 그러면, 총 3개 채널의 출력 신호가 비트스트림 포맷터에 입력되어 비트스트림으로 출력될 수 있다.
비트스트림 디포맷터는 비트스트림에 포함된 3개 채널의 출력 신호를 추출할 수 있다. 그러면, 3개 채널의 출력 신호는 2개의 FCE 디코더(2903)와 1개의 SCE 디코더(2904)에 입력될 수 있다. 2개의 FCE 디코더(2903) 각각은 1개 채널의 입력 신호로부터 4개 채널의 출력 신호를 생성할 수 있다. 한편, 1개의 SCE 디코더(2904)는 1개 채널의 입력 신호로부터 1개 채널의 출력 신호를 생성할 수 있다. 그러면, 총 9개 채널의 출력 신호가 생성될 수 있다.
이하의 표 12 공간적인 코딩(spatial coding)이 수행될 때 입력 신호의 채널 개수에 따른 파라미터 셋트의 구성을 나타낸다. 여기서, bsFreqRes는 USAC 인코더의 개수와 동일한 분석 밴드(analysis 밴드)의 개수를 의미한다.
Figure pat00209
USAC 인코더는 입력 신호의 코어 대역을 인코딩할 수 있다. USAC 인코더는 채널 엘리먼트(CPEs, SCEs)와 오브젝트들과 렌더링된 채널 신호들 간의 관계 정보를 나타내는 메타데이터에 기초한 채널과 오브젝트 간 매핑 정보를 이용하여 입력 신호의 개수에 따라 복수의 인코더를 제어할 수 있다. 아래 표 13은 USAC 인코더에서 사용되는 비트레이트와 샘플링 레이트를 나타낸다. 표 13의 샘플링 레이트에 따라 SBR(spectral band replication)의 인코딩 파라미터가 적절하게 조절될 수 있다.
Figure pat00210
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. N채널의 입력 신호로부터 생성된 N/2 채널의 다운믹스 신호와 잔차 신호를 식별하는 단계;
    상기 N/2 채널의 다운믹스 신호와 잔차 신호를 제1 매트릭스에 적용하는 단계;
    상기 제1 매트릭스를 통해 N/2개의 OTT 박스들에 대응하는 N/2개의 비상관기에 입력되는 제1 신호 및 N/2개의 비상관기에 입력되지 않고 제2 매트릭스에 전달되는 제2 신호를 출력하는 단계;
    상기 N/2개의 비상관기를 통해 제1 신호로부터 비상관된 신호를 출력하는 단계;
    상기 비상관된 신호와 제2 신호를 제2 매트릭스에 적용하는 단계; 및
    상기 제2 매트릭스를 통해 N채널의 출력 신호를 생성하는 단계
    를 포함하는 다채널 오디오 신호 처리 방법.
  2. 제1항에 있어서,
    상기 N채널의 출력 신호에 LFE 채널이 포함되지 않는 경우, 상기 N/2개의 OTT 박스들에 N/2개의 비상관기가 대응하는 다채널 오디오 신호 처리 방법.
  3. 제1항에 있어서,
    상기 비상관기의 개수가 모듈로 연산의 기준값을 초과하는 경우, 상기 비상관기의 인덱스는 기준값에 따라 반복적으로 재사용되는 다채널 오디오 신호 처리 방법.
  4. 제1항에 있어서,
    상기 N채널의 출력 신호에 LFE 채널이 포함되는 경우, 상기 비상관기는, N/2개에서 LFE 채널 개수를 제외한 나머지 개수가 사용되고,
    상기 LFE 채널은, OTT 박스의 비상관기를 사용하지 않는 다채널 오디오 신호 처리 방법.
  5. 제1항에 있어서,
    시간적인 쉐이핑 툴이 사용되지 않는 경우, 상기 제2 매트릭스는,
    상기 제2 신호, 상기 비상관기로부터 도출된 비상관된 신호 및 상기 비상관기로부터 도출된 잔차 신호를 포함하는 하나의 벡터가 입력되는 다채널 오디오 신호 처리 방법.
  6. 제1항에 있어서,
    시간적인 쉐이핑 툴이 사용되는 경우, 상기 제2 매트릭스는,
    상기 제2 신호 및 상기 비상관기로부터 도출된 잔차 신호로 구성된 다이렉트 신호에 대응하는 벡터와 상기 비상관기로부터 도출된 비상관된 신호로 구성된 확산 신호에 대응하는 벡터가 입력되는 다채널 오디오 신호 처리 방법.
  7. 제6항에 있어서,
    상기 N채널의 출력 신호를 생성하는 단계는,
    서브밴드 도메인 시간 프로세싱(STP)가 사용되는 경우, 확산 신호와 다이렉트 신호에 기초한 스케일 팩터를 출력 신호의 확산 신호 부분에 적용하여 출력 신호의 시간적인 포락선을 쉐이핑하는 다채널 오디오 신호 처리 방법.
  8. 제6항에 있어서,
    상기 N채널의 출력 신호를 생성하는 단계는,
    가이드된 포락선 쉐이핑(GES)가 사용되는 경우, N채널의 출력 신호의 채널별로 다이렉트 신호 부분에 대한 포락선을 평편화하고 리쉐이핑하는 다채널 오디오 신호 처리 방법.
  9. 제1항에 있어서,
    상기 제1 매트릭스의 크기는,
    상기 제1 매트릭스를 적용하는 다운믹스 신호의 채널 개수와 비상관기의 개수에 따라 결정되고,
    상기 제1 매트릭스의 엘리먼트는,
    CLD 파라미터 또는 CPC 파라미터에 의해 결정되는 다채널 오디오 신호 처리 방법.
  10. N/2채널의 다운믹스 신호와 N/2 채널의 잔차 신호를 식별하는 단계;
    N/2채널의 다운믹스 신호와 N/2 채널의 잔차 신호를 N/2개의 OTT 박스에 입력하여 N채널의 출력 신호를 생성하는 단계
    를 포함하고,
    상기 N/2개의 OTT 박스들은 서로 연결되지 않고 병렬적으로 배치되며,
    상기 N/2개의 OTT 박스들 중 LFE 채널을 출력하는 OTT 박스는,
    (1) 잔차 신호를 제외한 다운믹스 신호만 입력받고,
    (2) CLD 파라미터와 ICC 파라미터 중 CLD 파라미터를 이용하며,
    (3) 비상관기를 통해 비상관된 신호를 출력하지 않는 다채널 오디오 신호 처리 방법.
  11. 다채널 오디오 신호 처리 장치에 있어서,
    다채널 오디오 신호 처리 방법을 수행하는 프로세서를 포함하고,
    상기 다채널 오디오 신호 처리 방법은,
    N채널의 입력 신호로부터 생성된 N/2 채널의 다운믹스 신호와 잔차 신호를 식별하는 단계;
    상기 N/2 채널의 다운믹스 신호와 잔차 신호를 제1 매트릭스에 적용하는 단계;
    상기 제1 매트릭스를 통해 N/2개의 OTT 박스들에 대응하는 N/2개의 비상관기에 입력되는 제1 신호 및 N/2개의 비상관기에 입력되지 않고 제2 매트릭스에 전달되는 제2 신호를 출력하는 단계;
    상기 N/2개의 비상관기를 통해 제1 신호로부터 비상관된 신호를 출력하는 단계;
    상기 비상관된 신호와 제2 신호를 제2 매트릭스에 적용하는 단계; 및
    상기 제2 매트릭스를 통해 N채널의 출력 신호를 생성하는 단계
    를 포함하는 다채널 오디오 신호 처리 장치.
  12. 제11항에 있어서,
    상기 N채널의 출력 신호에 LFE 채널이 포함되지 않는 경우, 상기 N/2개의 OTT 박스들에 N/2개의 비상관기가 대응하는 다채널 다채널 오디오 신호 처리 장치.
  13. 제11항에 있어서,
    상기 비상관기의 개수가 모듈로 연산의 기준값을 초과하는 경우, 상기 비상관기의 인덱스는 기준값에 따라 반복적으로 재사용되는 다채널 오디오 신호 처리 장치.
  14. 제11항에 있어서,
    상기 N채널의 출력 신호에 LFE 채널이 포함되는 경우, 상기 비상관기는, N/2개에서 LFE 채널 개수를 제외한 나머지 개수가 사용되고,
    상기 LFE 채널은, OTT 박스의 비상관기를 사용하지 않는 다채널 오디오 신호 처리 장치.
  15. 제11항에 있어서,
    시간적인 쉐이핑 툴이 사용되지 않는 경우, 상기 제2 매트릭스는,
    상기 제2 신호, 상기 비상관기로부터 도출된 비상관된 신호 및 상기 비상관기로부터 도출된 잔차 신호를 포함하는 하나의 벡터가 입력되는 다채널 오디오 신호 처리 장치.
  16. 제11항에 있어서,
    시간적인 쉐이핑 툴이 사용되는 경우, 상기 제2 매트릭스는,
    상기 제2 신호 및 상기 비상관기로부터 도출된 잔차 신호로 구성된 다이렉트 신호에 대응하는 벡터와 상기 비상관기로부터 도출된 비상관된 신호로 구성된 확산 신호에 대응하는 벡터가 입력되는 다채널 오디오 신호 처리 장치.
  17. 제16항에 있어서,
    상기 N채널의 출력 신호를 생성하는 단계는,
    서브밴드 도메인 시간 프로세싱(STP)가 사용되는 경우, 확산 신호와 다이렉트 신호에 기초한 스케일 팩터를 출력 신호의 확산 신호 부분에 적용하여 출력 신호의 시간적인 포락선을 쉐이핑하는 다채널 오디오 신호 처리 장치.
  18. 제16항에 있어서,
    상기 N채널의 출력 신호를 생성하는 단계는,
    가이드된 포락선 쉐이핑(GES)가 사용되는 경우, N채널의 출력 신호의 채널별로 다이렉트 신호 부분에 대한 포락선을 평편화하고 리쉐이핑하는 다채널 오디오 신호 처리 장치.
  19. 제11항에 있어서,
    상기 제1 매트릭스의 크기는,
    상기 제1 매트릭스를 적용하는 다운믹스 신호의 채널 개수와 비상관기의 개수에 따라 결정되고,
    상기 제1 매트릭스의 엘리먼트는,
    CLD 파라미터 또는 CPC 파라미터에 의해 결정되는 다채널 오디오 신호 처리 장치.
  20. 다채널 오디오 신호 처리 장치에 있어서,
    다채널 오디오 신호 처리 방법을 수행하는 프로세서를 포함하고,
    상기 다채널 오디오 신호 처리 방법은,
    N/2채널의 다운믹스 신호와 N/2 채널의 잔차 신호를 식별하는 단계;
    N/2채널의 다운믹스 신호와 N/2 채널의 잔차 신호를 N/2개의 OTT 박스에 입력하여 N채널의 출력 신호를 생성하는 단계
    를 포함하고,
    상기 N/2개의 OTT 박스들은 서로 연결되지 않고 병렬적으로 배치되며,
    상기 N/2개의 OTT 박스들 중 LFE 채널을 출력하는 OTT 박스는,
    (1) 잔차 신호를 제외한 다운믹스 신호만 입력받고,
    (2) CLD 파라미터와 ICC 파라미터 중 CLD 파라미터를 이용하며,
    (3) 비상관기를 통해 비상관된 신호를 출력하지 않는 다채널 오디오 신호 처리 장치.
KR1020150094195A 2014-07-01 2015-07-01 다채널 오디오 신호 처리 방법 및 장치 KR102144332B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/KR2015/006788 WO2016003206A1 (ko) 2014-07-01 2015-07-01 다채널 오디오 신호 처리 방법 및 장치
US15/323,028 US9883308B2 (en) 2014-07-01 2015-07-01 Multichannel audio signal processing method and device
DE112015003108.1T DE112015003108B4 (de) 2014-07-01 2015-07-01 Verfahren und Vorrichtung zur Verarbeitung eines Mehrkanal-Audiosignals
US15/870,700 US10264381B2 (en) 2014-07-01 2018-01-12 Multichannel audio signal processing method and device
US16/357,180 US10645515B2 (en) 2014-07-01 2019-03-18 Multichannel audio signal processing method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140082030 2014-07-01
KR20140082030 2014-07-01

Publications (2)

Publication Number Publication Date
KR20160003572A true KR20160003572A (ko) 2016-01-11
KR102144332B1 KR102144332B1 (ko) 2020-08-13

Family

ID=55169676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150094195A KR102144332B1 (ko) 2014-07-01 2015-07-01 다채널 오디오 신호 처리 방법 및 장치

Country Status (4)

Country Link
US (3) US9883308B2 (ko)
KR (1) KR102144332B1 (ko)
CN (4) CN110992964B (ko)
DE (1) DE112015003108B4 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102144332B1 (ko) 2014-07-01 2020-08-13 한국전자통신연구원 다채널 오디오 신호 처리 방법 및 장치
EP3067885A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
US10008214B2 (en) * 2015-09-11 2018-06-26 Electronics And Telecommunications Research Institute USAC audio signal encoding/decoding apparatus and method for digital radio services
KR102230668B1 (ko) * 2016-01-22 2021-03-22 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 미드/사이드 결정이 개선된 전역 ild를 갖는 mdct m/s 스테레오의 장치 및 방법
KR20190069192A (ko) 2017-12-11 2019-06-19 한국전자통신연구원 오디오 신호의 채널 파라미터 예측 방법 및 장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101200776B1 (ko) * 2003-04-17 2012-11-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호 합성
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US7272567B2 (en) * 2004-03-25 2007-09-18 Zoran Fejzo Scalable lossless audio codec and authoring tool
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
US7788107B2 (en) 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
CN101433099A (zh) * 2006-01-05 2009-05-13 艾利森电话股份有限公司 多声道环绕声的个性化解码
KR101218776B1 (ko) 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
JP4875142B2 (ja) 2006-03-28 2012-02-15 テレフオンアクチーボラゲット エル エム エリクソン（パブル） マルチチャネル・サラウンドサウンドのためのデコーダのための方法及び装置
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
WO2008039038A1 (en) 2006-09-29 2008-04-03 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi-object audio signal with various channel
CA2645915C (en) * 2007-02-14 2012-10-23 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
RU2452043C2 (ru) * 2007-10-17 2012-05-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Аудиокодирование с использованием понижающего микширования
KR101261677B1 (ko) 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
ES2434828T3 (es) * 2008-10-06 2013-12-17 Telefonaktiebolaget L M Ericsson (Publ) Método y aparato para el suministro de audio por multicanales alineados
KR101600352B1 (ko) 2008-10-30 2016-03-07 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
KR101388901B1 (ko) * 2009-06-24 2014-04-24 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 신호 디코더, 오디오 신호를 디코딩하는 방법 및 캐스케이드된 오디오 객체 처리 단계들을 이용한 컴퓨터 프로그램
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
WO2011050853A1 (en) * 2009-10-30 2011-05-05 Nokia Corporation Coding of multi-channel signals
BR112012026324B1 (pt) * 2010-04-13 2021-08-17 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E. V Codificador de aúdio ou vídeo, decodificador de aúdio ou vídeo e métodos relacionados para o processamento do sinal de aúdio ou vídeo de múltiplos canais usando uma direção de previsão variável
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
WO2016003206A1 (ko) 2014-07-01 2016-01-07 한국전자통신연구원 다채널 오디오 신호 처리 방법 및 장치
KR102144332B1 (ko) 2014-07-01 2020-08-13 한국전자통신연구원 다채널 오디오 신호 처리 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ISO/IEC CD 23008-3. Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio. ISO/IEC JTC 1/SC 29/WG 11. 2014.04.04.* *
ISO/IEC FDIS 23003-1:2006(E). Information technology - MPEG audio technologies Part 1: MPEG Surround. ISO/IEC JTC 1/SC 29/WG 11. 2006.07.21.* *
ISO/IEC FDIS 23003-3:2011(E), Information technology - MPEG audio technologies - Part 3: Unified speech and audio coding. ISO/IEC JTC 1/SC 29/WG 11. 2011.09.20.* *

Also Published As

Publication number Publication date
DE112015003108T5 (de) 2017-04-13
KR102144332B1 (ko) 2020-08-13
US10264381B2 (en) 2019-04-16
CN110970041A (zh) 2020-04-07
CN106471575B (zh) 2019-12-10
US10645515B2 (en) 2020-05-05
CN106471575A (zh) 2017-03-01
CN110992964B (zh) 2023-10-13
US20180139555A1 (en) 2018-05-17
US20190289413A1 (en) 2019-09-19
CN110895943B (zh) 2023-10-20
CN110895943A (zh) 2020-03-20
US9883308B2 (en) 2018-01-30
US20170134873A1 (en) 2017-05-11
CN110992964A (zh) 2020-04-10
CN110970041B (zh) 2023-10-20
DE112015003108B4 (de) 2021-03-04

Similar Documents

Publication Publication Date Title
KR101303441B1 (ko) 다운믹스를 이용한 오디오 코딩
EP1902443B1 (en) Audio encoding and decoding
TWI508578B (zh) 音訊編碼及解碼
US11056122B2 (en) Encoder and encoding method for multi-channel signal, and decoder and decoding method for multi-channel signal
NO340450B1 (no) Forbedret koding og parameterfremstilling av flerkanals nedblandet objektkoding
JP2011030228A (ja) レベル・パラメータを生成する装置と方法、及びマルチチャネル表示を生成する装置と方法
US10645515B2 (en) Multichannel audio signal processing method and device
JP4988717B2 (ja) オーディオ信号のデコーディング方法及び装置
US8626503B2 (en) Audio encoding and decoding
KR20180125475A (ko) 멀티 채널 코딩
US10638243B2 (en) Multichannel signal processing method, and multichannel signal processing apparatus for performing the method
TW202322102A (zh) 音訊編碼器、降混訊號產生方法及非暫時性儲存單元
Dubey et al. New Enhancements to Immersive Sound Field Rendition (ISR) System
KR20140122990A (ko) 다채널 오디오 신호 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right