KR20060132867A - 멀티채널 출력 신호를 구성하고 다운믹스 신호를 생성하기위한 장치 및 방법 - Google Patents

멀티채널 출력 신호를 구성하고 다운믹스 신호를 생성하기위한 장치 및 방법 Download PDF

Info

Publication number
KR20060132867A
KR20060132867A KR1020067014353A KR20067014353A KR20060132867A KR 20060132867 A KR20060132867 A KR 20060132867A KR 1020067014353 A KR1020067014353 A KR 1020067014353A KR 20067014353 A KR20067014353 A KR 20067014353A KR 20060132867 A KR20060132867 A KR 20060132867A
Authority
KR
South Korea
Prior art keywords
channel
channels
original
signal
input
Prior art date
Application number
KR1020067014353A
Other languages
English (en)
Other versions
KR100803344B1 (ko
Inventor
주르겐 헤르
크리스토프 폴러
Original Assignee
프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
에이저 시스템즈 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34750329&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20060132867(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우., 에이저 시스템즈 인크 filed Critical 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Publication of KR20060132867A publication Critical patent/KR20060132867A/ko
Application granted granted Critical
Publication of KR100803344B1 publication Critical patent/KR100803344B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Radio Relay Systems (AREA)
  • Logic Circuits (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

제1 입력 채널 및 원본 멀티채널 신호로부터 유도된 제2 입력 채널을 포함하는 입력 신호 및 상기 원본 멀티채널 신호의 원본 채널들 사이의 상호관계를 설명하는 파라미터 사이드 정보를 이용하여 멀티채널 출력 신호를 구성함에 있어서, 예상 청취자 위치의 일측에 위치한 서로 다른 제1 및 제2 출력 채널을 합성(324)하기 위한 기본 채널들을 이용하는 장치가 개시된다. 상기 기본 채널들은 코히어런스 수치로 인해 서로 상이하다. 상기 기본 채널들 사이(예를 들어 좌측 채널과 재구성된 좌측 서라운드 채널 사이)의 코히어런스는, 상기 코히어런스 수치에 의해 결정되는 상기 입력 채널들의 조합에 의해 상기 채널들 중 하나에 대한 기본 채널을 계산(322)함으로써 감소된다. 따라서, 원본 신호에서의 전방/후방 코히어런스를 근사화함으로써 높은 품질의 재구성된 신호를 얻을 수 있다.
IS, BCC, ICLD, ICTD, ICC, 멀티패널, 신호합성

Description

멀티채널 출력 신호를 구성하고 다운믹스 신호를 생성하기 위한 장치 및 방법{APPARATUS AND METHOD FOR CONSTRUCTING A MULTI-CHANNEL OUTPUT SIGNAL OR FOR GENERATING A DOWNMIX SIGNAL}
본 발명은 멀티채널의 오디오 신호를 처리하기 위한 장치 및 방법에 관한 것으로, 보다 구체적으로는 멀티채널의 오디오 신호를 스테레오 호환 방식으로 처리하기 위한 장치 및 방법에 관한 것이다.
최근, 멀티채널 오디오 복원 기술의 중요성이 높아지고 있다. 이것은 잘 알려진 MP3 기술 등의 오디오 압축 기술로 인해 오디오 레코드를 제한된 대역폭을 갖는 인터넷이나 다른 전송 채널을 통해 배포하는 것이 가능하게 되었기 때문일 것이다. MP3 코딩 기술에서는, 스테레오 형식, 즉 제1 또는 좌측 스테레오 채널(L)과 제2 또는 우측 스테레오 채널(R)을 포함하는 오디오 레코드의 디지털 표현으로 된 모든 레코드를 배포하는 것이 가능하기 때문에 각광을 받고 있다.
그러나, 통상의 2채널 사운드 시스템에는 기본적인 단점들이 존재한다. 그 결과, 서라운드(surround) 기술이 개발되었다. 권장되는 멀티채널 서라운드 표현은, 2개의 스테레오 채널, 즉 L과 R에 추가하여, 중앙 채널(C)과 2개의 서라운드 채널(Ls, Rs)을 포함한다. 이 기준 사운드 형식을 3/2-스테레오라고 하며, 이것은 3개의 프런트 채널과 2개의 서라운드 채널을 의미한다. 일반적으로 5개의 전송 채널이 필요하다. 재생 환경 면에서, 서로 다른 위치에 적절하게 놓여진 적어도 5개의 스피커가 각각의 스피커로부터 소정의 거리에서 스위트-스폿(sweet spot)을 갖도록 할 필요가 있다.
멀티채널 오디오 신호의 전송에 필요한 데이터 량을 감소시키기 위한 기술이 알려져 있다. 이러한 기술을 조인트 스테레오(joint stereo) 기술이라고 한다. 이하, 도 10에 도시된 조인트 스테레오 장치(60)를 참조하여 설명한다. 이 장치(60)는 예를 들어 강도 스테레오(IS: intensity stereo) 또는 바이노럴-큐-코딩(BCC: binaural cue coding)에 의해 구현된 장치일 수 있다. 이러한 장치는 적어도 2개의 채널(CH1, CH2, …, CHn)을 입력으로서 수신하여 단일 캐리어 채널과 파라미터 데이터를 출력한다. 이 파라미터 데이터는 디코더에서 그 원본 채널(CH1, CH2, …, CHn)의 근사치가 계산될 수 있도록 정해진다.
통상적으로, 캐리어 채널은 기저 신호에 대한 비교적 양호한 표현을 제공하는, 서브밴드 샘플, 스펙트럼 계수, 시간 도메인 샘플 등을 포함하나, 파라미터 데이터는 이러한 스펙트럼 계수들에 대한 샘플을 포함하지 않고 체배(multiplication), 시간 편이, 주파수 편이 등에 의한 가중(weighting)과 같은 소정의 재구성 알고리즘을 제어하기 위한 제어 파라미터를 포함한다. 따라서, 파라미터 데이터는 신호 또는 관련 채널에 대한 비교적 거칠은(coarse) 표현을 포함한다. 숫자로 표현하면, 캐리어 채널이 필요로 하는 데이터 량은 60 내지 70 kbit/s 정도이며, 하나의 채널에 대한 파라미터 사이드 정보에 필요한 데이터 량은 1.5 내지 2.5 kbit/s 정도이다. 파라미터 데이터의 예로는, 후술하는 바와 같이, 잘 알려져 있는 스케일링 팩터, 강도 스테레오(IS) 정보 또는 바이노럴-큐(binaural-cue) 파라미터가 있다.
강도 스테레오 코딩에 대해서는 "Intensity Stereo Coding" (J. Herre, K. H. Brandenburg, D. Lederer, AES preprint 3799, February 1994, Amsterdam)에 기술되어 있다. 일반적으로, 강도 스테레오 개념은 입체음향(stereophonic) 오디오 채널의 양방의 데이터의 주축을 변환하는 것에 기초한다. 만약, 대부분의 데이터 지점이 제1 주축의 주위에 집중되어 있다면, 코딩을 실시하기 전에 양방의 신호를 소정의 각도로 회전시킴으로써 코딩 이득을 실현할 수 있다. 그러나, 실제 입체음향 생성 기술에서는 항상 그렇게 되지는 않는다. 따라서, 이 기술은 비트스트림으로 전송할 때 제2 직교 성분을 제거하는 방향으로 수정되고 있다. 그 결과, 좌측 채널과 우측 채널을 재구성한 신호는 동일한 전송 신호에 대하여 서로 다른 가중화 또는 스케일링을 실시한 신호로 구성된다. 그럼에도 불구하고, 재구성된 신호는 그 크기가 서로 다르지만 그 위상 정보는 동일하다. 그러나, 전형적으로 주파수 선택적 방식으로 동작하는 선택적 스케일링 연산에 의해, 양방의 원본 오디오 채널의 에너지-시간 관계 그래프의 포락선(envelop)은 유지된다. 이는 고주파수대에서 인간의 음성 인식과 합치하는데, 여기서는 에너지 포락선에 의해 지배적 공간 큐가 정해진다.
또한, 실제 구현에 있어서, 전송된 신호, 즉 캐리어 채널은 좌측 채널과 우측 채널 양방의 성분을 회전시키는 대신, 좌측 채널과 우측 채널의 합 신호로부터 생성된다. 또한, 이러한 처리, 즉 스케일링 연산을 수행하기 위한 강도 스테레오 파라미터를 생성하는 처리는, 주파수 선택적으로, 즉 각 스케일링 팩터 밴드(즉, 인코더 주파수 파티션)와는 독립적으로 수행된다. 바람직하기로는, 양 채널은 결합되어 합성 채널 또는 "캐리어" 채널을 형성하며, 이 합성 채널에 추가하여, 강도 스테레오 정보가 제1 채널의 에너지, 제2 채널의 에너지, 또는 합성 채널의 에너지에 따라서 결정된다.
전술한 BCC 기술에 대해서는 "Binaural cue coding applied to stereo and multi-channel audio compression" (C. Faller, F. Baumgarte, AES convention paper 5574, May 2002, Munich)에 기술되어 있다. BCC 인코딩에 있어서, 다수의 오디오 입력 채널은 중첩 윈도(overlapping window)에 의한 DFT(Discrete Fourier Transform) 방식의 변환을 이용하여 스펙트럼 표현으로 변환된다. 그 결과로서의 균일한 스펙트럼은 각각 인덱스를 갖는 비중첩 파티션으로 분할된다. 각 파티션은 ERB(Equivalent Rectangular Bandwidth)에 비례하는 대역폭을 갖는다. ICLD(inter-channel level differences) 및 ICTD(inter-channel time differences)는 각 프레임(k)에 대하여 매 파티션마다 계산된다. ICLD 및 ICTD는 양자화 및 코딩을 거쳐 BCC 비트스트림이 된다. ICLD 및 ICTD는 기준 채널에 대하여 각 채널마다 주어진다. 다음으로, 처리되게 될 신호의 소정의 파티션마다 파라미터가 지정된 수식에 따라 계산된다.
디코더 측에서는, 모노 신호와 BCC 비트스트림이 수신된다. 모노 신호는 주파수 영역으로 변환되어 공간합성 블록에 입력되며, 공간합성 블록에는 또한 디 코딩된 ICLD 및 ICTD 값이 입력된다. 공간합성 블록에서, BCC 파라미터(ICLD 및 ICTD) 값은 멀티채널 신호를 합성하기 위한 모노 신호를 가중 연산하는데 이용되며, 합성된 멀티채널 신호는 주파수/시간 변환 후 원본 멀티채널 오디오 신호의 재구성 버전을 나타낸다.
BCC의 경우, 조인트 스테레오 모듈(60)은 파라미터 채널 데이터가 양자화되고 인코딩된 ICLD 또는 ICTD 파라미터가 되도록 채널 사이드 정보를 출력하며, 여기서 원본 채널 중 하나는 채널 사이드 정보를 코딩하기 위한 기준 채널로서 이용된다.
통상적으로, 캐리어 채널은 참여한 원본 채널들의 합으로 구성된다.
여기서, 전술한 기술은 캐리어 채널만을 처리할 수 있을 뿐 하나이상의 입력 채널에 대한 하나 이상의 근사치를 생성하기 위한 파라미터 데이터를 처리할 수는 없는 디코더에 대한 모노 표현만을 제공한다.
BCC로 알려져 있는 오디오 코딩 기술에 대해서는 미국특허출원공보 2003/0219130 A1, 2003/0026441 A1, 및 2003/0035553 A1에 기술되어 있다. 또한, "Binaural Cue Coding. Part II: Schemes and Applications" (C. Faller and F. Baumgarte, IEEE Trans. On Audio and Speech Proc., Vol. 11, No. 6, Nov. 2993)에도 기술되어 있다. 앞서 인용한 미국특허출원공보와 Faller 및 Baumgarte가 저술한 BCC 기술에 관한 저술은 그 전체가 본 명세서에서 참조로서 포함된다.
이하, 도 11 내지 도 13을 참조하여 멀티채널 코딩을 위한 일반적인 BCC 기 술에 대해 보다 구체적으로 설명한다. 도 11은 멀티채널 오디오 신호의 코딩 및 전송을 위한 일반적인 BCC 기술을 도시한 것이다. BCC 인코더(112)의 입력(110)측의 멀티채널 입력 신호는 다운믹스 블록(114)에서 다운믹스된다. 본 예에서, 입력(110)측의 원본 멀티채널 신호는 전방 좌측 채널, 전방 우측 채널, 좌측 서라운드 채널, 우측 서라운드 채널, 및 중앙 채널을 갖는 5-채널 서라운드 신호이다. 본 발명의 바람직한 실시예에서, 다운믹스 블록(114)은 이들 5개 채널을 단순히 모노 신호로 합산함으로써 합신호를 생성한다. 본 기술분야에는 멀티채널 입력 신호를 이용하여 하나의 채널을 갖는 다운믹스 신호를 획득하는, 다른 다운믹스 기술도 알려져 있다. 이 단일 채널은 합신호 라인(115)에서 출력된다. BCC 분석 블록(116)에 의해 취득된 사이드 정보는 사이드 정보 라인(117)에서 출력된다. BCC 분석 블록(116)에서, ICLD 및 ICTD는 전술한 바와 같이 계산된다. 최근, BCC 분석 블록(116)은 ICC(inter-channel correlation) 값도 계산할 수 있도록 개선되었다. 합신호 및 사이드 정보는 바람직하기로는 양자화되고 인코딩된 형태로 BCC 디코더(120)에 전송된다. BCC 디코더(120)는 전송된 합신호를 다수의 서브밴드로 분해한 후, 스케일링, 지연, 및 그 밖의 처리를 실시하여, 출력된 멀티채널 오디오 신호의 서브밴드들을 생성한다. 이 처리는 출력(121)측의 재구성된 멀티채널 신호의 ICLD, ICTD, 및 ICC 파라미터들(큐)이 BCC 인코더(112)의 입력(110)측의 원본 멀티채널 신호의 큐와 유사하게 되도록 수행된다. 이를 위해, BCC 디코더(120)는 BCC 합성 블록(122) 및 사이드 정보 처리 블록(123)을 포함한다.
이하, 도 12를 참조하여 BCC 합성 블록(122)의 내부 구성을 설명한다. 라인(115) 상의 합신호는 시간/주파수 변환부 또는 오디오 필터 뱅크(FB: 125)에 입력된다. 오디오 필터 뱅크(125)가 일대일 변환, 즉 복수(N)개의 도메인 샘플로부터 N개의 스펙트럼 계수를 생성하는 변환을 수행하는 경우, 오디오 필터 블록(125)의 출력측에는 N개의 서브밴드 신호가 존재하거나 극단적인 경우에는 일군의 스펙트럼 계수가 존재할 수 있다.
BCC 합성 블록(122)은 지연단(126), 레벨수정단(127), 상관처리단(128), 및 역필터 뱅크단(IFB: 129)을 더 구비한다. 역필터 뱅크단(129)의 출력측에서는, 예를 들어 5채널 서라운드 시스템의 경우 5개의 채널을 갖는 재구성된 멀티채널 오디오 신호가 도 11에 도시된 바와 같이 일군의 스피커(124)에 출력될 수 있다.
도 12에 도시된 바와 같이, 입력 신호(s(n))는 오디오필터 뱅크(125)에 의해 주파수 영역 또는 필터 뱅크 영역으로 변환된다. 오디오필터 뱅크(125)에 의해 출력된 신호는 체배 노드(130)에 예시된 바와 같이 동일 신호의 여러 가지 버전이 얻어지도록 체배된다. 원본 신호의 버전의 수는 재구성되게 될 출력 신호의 출력 채널의 수와 동일하다. 일반적으로, 노드(130)에서의 원본 신호의 각 버전은 소정의 지연(d1, d2, …, di, …, dN)을 겪게 된다. 지연 파라미터는 도 11의 사이드 정보 처리 블록(123)에 의해 계산되며, BCC 분석 블록(116)에 의해 결정된 ICTD로부터 유도된다.
체배 파라미터(a1, a2, …, ai, …, aN)도 마찬가지로 처리되는데, 이들은 BCC 분석 블록(116)에 의해 계산된 ICLD에 기초하여 사이드 정보 처리 블록(123)에 의해 계산된다.
BCC 분석 블록(116)에 의해 계산된 ICC 파라미터는 상관처리단(128)의 출력측에서 지연되고 레벨이 수정된 신호들 사이에 소정의 상관관계가 얻어지도록 상관처리단(128)의 기능을 제어하는데 이용된다. 여기서, 각 단들(126, 127, 128)의 순서는 도 12에 도시된 것과 다를 수도 있다.
또한, 오디오 신호를 프레임 단위로 처리함에 있어서, BCC 분석은 프레임 단위(즉 시변적) 및 주파수 단위로 수행된다. 이것은 각 스펙트럼 밴드마다 BCC 파라미터가 얻어짐을 의미한다. 이것은 오디오 필터 뱅크(125)가 입력 신호를 예를 들어 32개의 밴드 패스 신호로 분해하는 경우, BCC 분석 블록(116)이 32개 밴드 각각에 대하여 일군의 BCC 파라미터를 얻게 됨을 의미한다. 따라서, 도 12에 상세히 도시되어 있는 BCC 합성 블록(122)(도 11)은 본 예에서는 32개 밴드에 기초하여 재구성을 수행한다.
이하, 도 13을 참조하여 소정의 BCC 파라미터를 결정하기 위한 설정을 설명한다. 통상적으로, ICLD, ICTD, 및 ICC 파라미터는 채널들의 쌍들 사이에서 규정될 수 있다. 그러나, ICLD 및 ICTD 파라미터는 기준 채널과 다른 각 채널과의 사이에서 정하는 것이 바람직하다. 이것은 도 13A에 예시되어 있다.
ICC 파라미터는 다른 방식으로 규정될 수 있다. 가장 일반적으로는, 도 13B에 도시된 바와 같이 모든 가능한 채널 쌍들 사이의 인코더에서 ICC 파라미터를 추정할 수 있다. 이 경우, 디코더는 모든 가능한 채널 쌍들 사이의 원본 멀티채 널 신호에서와 거의 동일하게 되도록 ICC 파라미터를 합성한다. 그러나, 그 때마다 가장 강한 2개의 채널 사이의 ICC 파라미터만을 추정할 것을 제안하고 있다. 이러한 방식의 예는 도 13C에 예시되어 있는데, 여기서는 한 시점에서는 채널 1과 채널 2 사이에서 ICC 파라미터를 추정하고, 다른 시점에서는 채널 1과 채널 5 사이에서 ICC 파라미터를 추정하고 있다. 그러면, 디코더는 가장 강한 채널 사이의 ICC 파라미터를 합성하고 나머지 채널 쌍들에 대해서는 ICC 파라미터를 연산 및 합성하기 위하여 소정의 발견적 해석법을 실시한다.
예를 들어, 전송된 ICLD 파라미터에 기초한 체배 파라미터들(a1, …, aN)의 계산에 관해서는, 앞서 인용한 AES convention paper 5574에 기술되어 있다. ICLD 파라미터는 원본 멀티채널 신호에서의 에너지 분포를 나타낸다. 보편적으로, 도 13A에서는 전방 좌측 채널과 그 밖의 모든 채널들과의 사이에 에너지 차이를 나타내는 4개의 ICLD 파라미터를 도시하고 있다. 사이드 정보 처리 블록(123)에서, 체배 파라미터들(a1, …, aN)은 재구성된 모든 출력 채널들의 총 에너지가 전송된 합신호의 에너지와 동일(또는 그것에 비례)하도록 ICLD 파라미터로부터 유도된다. 이들 파라미터는 2단계 프로세스에 의해 간단하게 구해질 수 있는데, 첫 번째 단계에서는 전방 좌측 채널의 체배 팩터를 1로 설정하는 한편 도 13A의 다른 채널들에 대한 체배 팩터를 전송된 ICLD 값으로 설정한다. 그런 다음, 두 번째 단계에서, 5개의 모든 채널의 에너지를 계산하고 전송된 합신호의 에너지와 비교한다. 그런 다음, 모든 채널에 대하여 동등한 다운스케일링 팩터를 이용 하여 다운-스케일링하는데, 여기서 다운스케일링 팩터는 재구성된 모든 출력 채널의 총 에너지가, 다운스케일링 후, 전송된 합신호의 총 에너지와 동등해지도록 선택된다.
물론, 2단계의 프로세스를 따르지 않고 1단계의 프로세스에 의해 체배 팩터를 계산하는 방법도 존재한다.
여기서, 지연 파라미터와 관련해서는, 전방 좌측 채널의 지연 파라미터(d1)가 0으로 설정된 경우에는 BCC 인코더로부터 전송되는 지연 파라미터 ICTD를 그대로 사용할 수 있다. 이 경우 지연에 의해 신호의 에너지가 변하지 않으므로 다시 스케일링을 실시할 필요가 없다.
여기서, BCC 인코더로부터 BCC 디코더로 전송되는 ICC 수치와 관련해서는, 모든 서브밴드의 가중 팩터를 20log10(-6) 내지 20log10(6) 사이의 값을 갖는 난수에 의해 체배하는 등의 방법에 의해 체배 팩터(a1, …, an)를 수정함으로써 상관성을 조정할 수 있다. 이러한 의사난수 시퀀스는 모든 임계 밴드에 대하여 변수가 거의 일정하고 각 임계 밴드 내에서 평균이 0이 되도록 선택되는 것이 바람직하다. 이러한 의사난수 시퀀스는 각각의 서로 다른 프레임에 대한 스펙트럼 계수에도 적용된다. 따라서, 의사난수 시퀀스의 변수를 수정함으로써 청각 이미지 폭이 제어된다. 변수가 클수록 이미지 폭이 커진다. 변수의 수정은 임계 밴드의 폭인 개별 밴드에서 수행될 수 있다. 이것에 의해 청각 장면 내에 서로 다른 이미지 폭을 갖는 복수의 오브젝트가 동시에 공존할 수 있게 된다. 의사난수 시퀀스 의 진폭을 분산시키는 적절한 방법은 미국특허출원공보 2003/0219130 A1에 기술되어 있는 바와 같은 로그 스케일로 균일하게 분산시키는 것이다. 그러나, 모든 BCC 합성 처리는 도 1에 도시된 바와 같이 BCC 인코더로부터 BCC 디코더로 합신호로서 전송된 단일 입력 채널에 대한 것이다.
5개의 채널을 호환 방식, 즉 통상의 스테레오 디코더가 이해할 수 있는 비트스트림 형식으로 전송하기 위하여, 소위 매트릭싱 기술을 이용하는데, 이것에 대해서는 "MUSICAM surround: a universal multi-channel coding system compatible with ISO 11172-3" (G. Theile and G. Stoll, AES preprint 3403, October 1992, San Francisco)에 기술되어 있다. 5개의 입력 채널(L, R, C, Ls, 및 Rs)이 매트릭싱 장치에 공급되면, 매트릭싱 장치는 매트릭싱 연산을 수행하여 이들 5개의 입력 채널로부터 기본 또는 호환 스테레오 채널(Lo, Ro)을 계산한다. 특히, 이들 기본 스테레오 채널(Lo/Ro)은 아래와 같이 계산된다.
Lo = L + xC + yLs
Ro = R + xC + yRs
여기서, x, y는 상수이다. 다른 3개의 채널(C, Ls, Rs)은 기본 스테레오 층에 추가하여 기본 스테레오 신호(Lo/Ro)의 인코딩된 버전을 포함하는 확장 층으로 그대로 전송된다. 이 비트스트림에 대하여, Lo/Ro 기본 스테레오 층은 헤더, 스케일링 팩터 등의 정보, 및 서브밴드 샘플을 포함한다. 멀티채널 확장 층, 즉 중앙 채널 및 2개의 서라운드 채널은 보조 데이터 필드라고도 하는 멀티채널 확장필드에 포함된다.
디코더 측에서는, 기본 스테레오 채널(Lo, Ro)과 3개의 추가 채널을 이용한 5개의 채널 표현 내에서 좌측 채널과 우측 채널의 재구성을 형성하기 위하여 역매트릭싱 연산이 수행된다. 또한, 원본 멀티채널 오디오 신호에 대한 디코딩된 5개 채널 또는 서라운드 표현을 얻기 위하여 보조 정보로부터 3개의 추가 채널이 디코딩된다.
"Improved MPEG-2 audio multi-channel encoding" (B. Grill, J. Herre, K. H. Brandenburg, E. Eberlein, J. Koller, J. Mueller, AES preprint 3865, February 1994, Amsterdam)에는 또 다른 멀티채널 인코딩 방법이 기술되어 있는데, 이 방법에서는 하위 호환성을 얻기 위하여 하위 호환 모드를 고려하고 있다. 이를 위해, 호환성 매트릭싱을 이용하여 원본 5개 입력 채널로부터 소위 2개의 다운믹스 채널(Lc, Rc)을 얻는다. 또한, 보조 데이터로서 전송된 3개의 보조 채널을 동적으로 선택하는 것도 가능하다.
스테레오 부적절성(stereo irrelevancy)을 이용하기 위하여, 조인트 스테레오 기술이 예를 들어 3개의 전방 채널, 즉 좌측 채널, 우측 채널, 및 중앙 채널의 그룹에 적용된다. 이를 위해, 이들 3개의 채널은 합성하여 합성 채널을 얻는다. 합성 채널은 양자화된 후 비트스트림에 채워진다. 그런 다음, 이 합성 채널을 해당 조인트 스테레오 정보와 함께 조인트 스테레오 디코딩 모듈에 입력하여, 디코딩된 조인트 스테레오 채널, 즉 디코딩된 조인트 스테레오 좌측 채널, 디코딩된 조인트 스테레오 우측 채널, 및 디코딩된 조인트 스테레오 중앙 채널을 얻는다. 이들 디코딩된 조인트 스테레오 채널들은 좌측 서라운드 채널과 우측 서라운드 채 널과 함께 호환성 매트릭싱 블록에 입력되어 제1 및 제2 다운믹스 채널(Lc, Rc)을 형성하게 된다. 그런 다음, 양방의 다운믹스 채널의 양자화된 버전과 합성 채널의 양자화된 버전이 조인트 스테레오 코딩 파라미터와 함께 비트스트림에 채워진다.
따라서, 강도 스테레오 코딩을 이용하여, 개개의 원본 채널 신호의 그룹이 "캐리어" 데이터의 단일 부분에 전송된다. 그러면, 디코더가 관련 신호를 동일한 데이터로서 재구성한 후 그들의 원래의 에너지-시간 포락선에 다라서 다시 스케일링한다. 그 결과, 전송된 채널의 선형 조합은 원본 다운믹스와는 상당히 다른 결과를 가져올 것이다. 이것은 강도 스테레오 개념에 기초한 모든 종류의 조인트 스테레오 코딩에 적용된다. 호환 매트릭싱 채널을 제공하는 코딩 시스템의 경우, 앞서 인용한 공보에 기술되어 있는 바와 같이 디매트릭싱에 의한 재구성은 불완전한 재구성에 의한 인공물을 갖게 된다는 필연적 결과가 존재한다. 인코더에서 매트릭싱을 수행하기에 앞서, 좌측 채널, 우측 채널, 및 중앙 채널에 대하여 조인트 스테레오 코딩을 수행하는, 소위 조인트 스테레오 전치왜곡(predistortion) 방법을 이용함으로써 이 문제를 완화할 수 있다. 이와 같이, 재구성을 위한 디매트릭싱 방법은, 인코더 측에서, 디코딩된 조인트 스테레오 신호가 다운믹스 채널을 생성하는데 사용되기 때문에, 보다 적은 인공물을 야기한다. 따라서, 불완전한 재구성 프로세스는 호환 다운믹스 채널(Lc, Rc)에 전가되며, 여기서는 오디오 신호 자체에 의해 마스킹되기가 훨씬 쉽다.
이러한 시스템에서는 디코더 측에서의 디매트릭싱에 의해 보다 적은 인공물 이 생기기는 하지만, 여전히 단점을 갖는다. 즉, 스테레오 호환 다운믹스 채널(Lc, Rc)이 원본 채널로부터 유도된 것이 아니라 원본 채널의 강도 스테레오 코딩/디코딩 버전으로부터 유도되었다는 것이다. 따라서, 강도 스테레오 코딩 시스템에 의한 데이터 손실이 호환 다운믹스 채널에 포함되게 된다. 따라서, 이러한 증강된 강도 스테레오 인코딩된 채널들을 디코딩하는 것이 아니라 호환 채널들만을 디코딩하는 스테레오-단독 디코더는 강도 스테레오에 의해 유도된 데이터 손실에 의해 영향을 받는 출력 신호를 제공한다.
또한, 2개의 다운믹스 채널 외에도 완전한 추가 채널을 전송해야 한다. 이 채널은 좌측 채널, 우측 채널, 및 중앙 채널을 조인트 스테레오 코딩에 의해 형성한 합성 채널이다. 또한, 합성 채널로부터 원본 채널(L, R, C)을 재구성하기 위한 강도 스테레오 정보도 디코더에 전송되어야 한다. 디코더 측에서는, 2개의 다운믹스 채널로부터 서라운드 채널을 유도하기 위하여, 역매트릭싱, 즉 디매트릭싱 연산이 수행된다. 또한, 원래의 좌측, 우측, 및 중앙 채널들이 전송된 합성 채널과 조인트 스테레오 파라미터를 이용하여 조인트 스테레오 디코딩에 의해 근사화된다. 여기서, 원래의 좌측, 우측, 및 중앙 채널은 합성 채널을 조인트 스테레오 디코딩하여 유도된다.
강도 스테레오 기술의 경우, 멀티채널 신호와 함께 사용되는 경우, 동일한 기본 채널에 기초한 완전히 유사한(coherent) 출력 신호만 생성되는 것이 발견되었다.
BCC 기술에서는, 가중 팩터에 영향을 주기 위한 의사난수 발생기가 필요하기 때문에, 재구성된 멀티채널 출력 신호에서의 ICC를 줄이는 것은 상당히 비용이 든다. 또한, 체배 팩터나 시간 지연 팩터를 무작위적으로 수정하는 것에 의한 인공물은 소정의 환경하에서 청각적으로 인식될 수 있기 때문에, 재구성된 멀티채널 출력 신호의 품질을 악화시키게 된다는 점에서 이러한 처리는 문제점을 갖고 있다.
따라서, 본 발명의 목적은 비트 효율적이며 인공물을 줄인 멀티채널 오디오 신호의 처리 또는 그 역처리 개념을 제공하는 것이다.
본 발명의 일면에 따르면, 상기 목적은 입력 신호 및 파라미터 사이드 정보를 이용하여 멀티채널 출력 신호를 구성하기 위한 장치로서, 상기 입력 신호는 제1 입력 채널(Lc) 및 원본 멀티채널 신호로부터 유도된 제2 입력 채널(lc')을 포함하며, 상기 원본 멀티채널 신호는 복수의 채널을 가지며, 상기 복수의 채널은 예상 청취자 위치의 일측에 위치한 것으로 규정된 적어도 2개의 원본 채널을 포함하며, 제1 원본 채널은 상기 적어도 2개의 원본 채널 중 하나이며, 제2 원본 채널은 상기 적어도 2개의 원본 채널 중 다른 하나이며, 상기 파라미터 사이드 정보는 상기 원본 멀티채널 신호의 원본 채널들 사이의 상호관계를 설명하며, 상기 장치는, 상기 제1 및 제2 입력 채널 중 하나 또는 상기 제1 및 제2 입력 채널의 조합을 선택함으로써 제1 기본 채널을 결정하고, 상기 제1 및 제2 입력 채널 중 다른 하나 또는 상기 제1 및 제2 입력 채널의 다른 조합을 선택함으로써 제2 기본 채널을 결정하되, 상기 제1 기본 채널과 상기 제2 기본 채널이 서로 다르게 결정하는 수단(322); 및 상기 제1 기본 채널 및 상기 파라미터 사이드 정보를 이용하여 제1 출력 채널을 합성함으로써 상기 예상 청취자 위치의 일측에 위치한 상기 제1 원본 채널의 복원 버전인 제1 합성 출력 채널을 얻고, 상기 제2 기본 채널 및 상기 파라미터 사이드 정보를 이용하여 제2 출력 채널을 합성함으로써 상기 예상 청취자 위치의 동일 측에 위치한 상기 제2 원본 채널의 복원 버전인 제2 합성 출력 채널을 얻는 합성수단(324)을 포함하는 장치에 의해 실현된다.
본 발명의 다른 일면에 따르면, 상기 목적은 입력 신호 및 파라미터 사이드 정보를 이용하여 멀티채널 출력 신호를 구성하는 방법으로서, 상기 입력 신호는 제1 입력 채널 및 원본 멀티채널 신호로부터 유도된 제2 입력 채널을 포함하며, 상기 원본 멀티채널 신호는 복수의 채널을 가지며, 상기 복수의 채널은 예상 청취자 위치의 일측에 위치한 것으로 규정된 적어도 2개의 원본 채널을 포함하며, 제1 원본 채널은 상기 적어도 2개의 원본 채널 중 하나이며, 제2 원본 채널은 상기 적어도 2개의 원본 채널 중 다른 하나이며, 상기 파라미터 사이드 정보는 상기 원본 멀티채널 신호의 원본 채널들 사이의 상호관계를 설명하며, 상기 방법은, 상기 제1 및 제2 입력 채널 중 하나 또는 상기 제1 및 제2 입력 채널의 조합을 선택함으로써 제1 기본 채널을 결정하고, 상기 제1 및 제2 입력 채널 중 다른 하나 또는 상기 제1 및 제2 입력 채널의 다른 조합을 선택함으로써 제2 기본 채널을 결정하되, 상기 제1 기본 채널과 상기 제2 기본 채널이 서로 다르게 결정하는 단계(322); 및 상기 제1 기본 채널 및 상기 파라미터 사이드 정보를 이용하여 제1 출력 채널을 합성함으로써 상기 예상 청취자 위치의 일측에 위치한 상기 제1 원본 채널의 복원 버전인 제1 합성 출력 채널을 얻고, 상기 제2 기본 채널 및 상기 파라미터 사이드 정보를 이용하여 제2 출력 채널을 합성함으로써 상기 예상 청취자 위치의 동일 측에 위치한 상기 제2 원본 채널의 복원 버전인 제2 합성 출력 채널을 얻는 단계(324)를 포함하는 방법에 의해 실현된다.
본 발명의 또 다른 일면에 따르면, 상기 목적은 멀티채널 원본 신호로부터 원본 채널의 수보다 적은 수의 채널을 갖는 다운믹스 신호를 생성하기 위한 장치로서, 다운믹스 규칙을 이용하여 제1 다운믹스 채널 및 제2 다운믹스 채널을 계산하기 위한 수단(12); 상기 멀티채널 원본 신호내의 각 채널들 사이의 에너지 분포를 나타내는 파라미터 레벨 정보를 계산하기 위한 수단(14); 예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 코히어런스 수치를 결정하기 위한 수단(142); 및 상기 제1 및 제2 다운믹스 채널, 상기 파라미터 레벨 정보, 및 상기 예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 적어도 하나의 코히어런스 수치 또는 상기 적어도 하나의 코히어런스 수치로부터 유도된 값만을 이용하되, 상기 예상 청취자 위치의 일측과 다른 측에 위치한 채널들 사이의 코히어런스 수치는 이용하지 않고 출력 신호를 형성하기 위한 수단(18)을 포함하는 장치에 의해 실현된다.
본 발명의 또 다른 일면에 따르면, 상기 목적은 멀티채널 원본 신호로부터 원본 채널의 수보다 적은 수의 채널을 갖는 다운믹스 신호를 생성하는 방법으로서, 다운믹스 규칙을 이용하여 제1 다운믹스 채널 및 제2 다운믹스 채널을 계산하는 단계(12); 상기 멀티채널 원본 신호내의 각 채널들 사이의 에너지 분포를 나타내는 파라미터 레벨 정보를 계산하는 단계(14); 예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 코히어런스 수치를 결정하는 단계(142); 및 상기 제1 및 제2 다운믹스 채널, 상기 파라미터 레벨 정보, 및 상기 예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 적어도 하나의 코히어런스 수치 또는 상기 적어도 하나의 코히어런스 수치로부터 유도된 값만을 이용하되, 상기 예상 청취자 위치의 일측과 다른 측에 위치한 채널들 사이의 코히어런스 수치는 이용하지 않고 출력 신호를 형성하는 단계(18)를 포함하는 방법에 의해 실현된다.
본 발명의 또 다른 일면에 따르면, 상기 목적은 멀티채널 구성 방법 또는 다운믹스 신호를 생성하는 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램에 의해 실현된다.
본 발명은 인코더로부터 디코더로 전송된 2개 이상의 채널(바람직하기로는 좌측 채널과 우측 스테레오 채널)이 존재하는 경우 이들 채널이 소정의 인코히어런스(incoherence; 완전히 유사하거나 완전히 상관되어 있지 않음)를 나타내는 경우, 인공물이 감소된 멀티채널 출력 신호를 효과적으로 재구성할 수 있다는 사실에 기초하고 있다. 아마, 그 이유는, 멀티채널 신호를 다운믹싱하여 얻어진 좌측 채널과 우측 스테레오 채널, 또는 좌측 채널과 우측 호환 스테레오 채널은 일반적으로 소정의 인코히어런스를 나타내기 때문일 것이다.
본 발명에 따르면, 멀티채널 출력 신호의 재구성된 출력 채널이 서로 다른 출력 채널들에 대해 서로 다른 기본 채널을 결정하도록 함으로써 서로 역상관 관계에 있도록 하며, 서로 다른 기본 채널들은 서로 상관되지 않은 전송 채널들의 정도를 가변시킴으로써 얻어진다.
즉, 예를 들어 좌측 전송 입력 채널을 기본 채널로서 갖는 재구성된 출력 채널은, BCC 서브밴드 도메인에서, 추가의 "상관 합성"이 없다고 가정한 경우 기본 채널과 동일한 또 다른 재구성 출력 채널(예컨대, 좌측채널)과 완전히 상관되게 된다. 이러한 관점에서, 이들 채널 사이의 코히어런스는 결정된 지연 및 레벨 설정에 의해 감소되지 않는다. 본 발명에 따르면, 상기 예에서 100%인 이들 채널 사이의 코히어런스는 상기 제1 출력 채널의 구성을 위한 제1 기본 채널과 상기 제2 출력 채널의 구성을 위한 제2 기본 채널을 이용함으로써 소정의 코히어런스 정도 또는 코히어런스 수치로 감소되는데, 상기 제1 및 제2 기본 채널은 상기 2개의 전송(역상관) 채널의 서로 다른 부분을 갖는다. 이것은, 제1 채널에 의해 덜 영향을 받는, 즉 제2 전송 채널에 보다 영향을 받는 제2 기본 채널과 비교하여, 제1 기본 채널이 제1 전송 채널에 의해 보다 강한 영향을 받거나 제1 전송 채널과 동일함을 의미한다.
본 발명에 따르면, 전송된 채널들 사이의 고유의 역상관을 이용하여 멀티채널 출력 신호에 역상관된 채널을 제공한다.
바람직한 실시예에서, 전방 좌측 채널과 좌측 서라운드 채널 또는 전방 우측 채널과 우측 서라운드 채널과 같은 각 채널 쌍 사이의 코히어런스 수치는 인코더에서 시간 및 주파수에 종속하는 방식으로 결정되며, 사이드 정보로서 디코더에 전송됨에 있어서, 기본 채널이 동적으로 결정되고 따라서 재구성된 출력 채널들 사이의 코히어런스를 동적으로 조정할 수 있도록 한다.
가장 강한 2개의 채널에 대한 ICC 큐만을 전송하는 전술한 종래예와 비교하여, 본 발명의 시스템에서는 인코더 또는 디코더 측에서 가장 강한 채널을 결정할 필요도 없고, 코히어런스 수치는 각 채널 쌍이 가장 강한 채널을 포함하는지에 무관하게 해당 채널 쌍에 항상 관련되기 때문에, 보다 우수한 품질의 재구성을 손쉽게 제어 및 제공할 수 있다. 종래예에 비해 높은 품질을 얻을 수 있는 것은, 인코더로부터 2개의 다운믹스 채널이 디코더 측으로 전송될 때 좌측/우측 코히어런스 관계가 자동적으로 전송되므로 좌측/우측 코히어런스에 대한 추가의 정보가 불필요하기 때문이다.
본 발명의 또 다른 장점은, 통상적인 역상관 처리의 부하가 경감 또는 완전히 배제될 수 있기 때문에 디코더 측의 연산 처리 부하를 줄일 수 있다는 사실에서 찾을 수 있다.
바람직하기로는, 하나 또는 그 이상의 원본 채널의 파라미터 채널 사이드 정보는 종래 예에서와 같이 추가의 "합성" 조인트 스테레오 신호가 아니라 다운믹스 채널들 중 하나에 관련되도록 유도된다. 이것은 디코더 측에서 채널 재구성기가 채널 사이드 정보 및 다운믹스 채널들 중 하나, 또는 다운믹스 채널들의 조합을 이용하여 상기 채널 사이드 정보가 할당되는 원본 오디오 채널의 근사화를 재구성하도록 파라미터 채널 사이드 정보가 계산되는 것을 의미한다.
이러한 개념은 멀티채널 오디오 신호를 디코더 측에서 재생할 수 있도록 비트 효율적인 멀티채널 확장을 제공한다는 점에서 유리하다.
또한, 2채널 처리에 적합한 하위 스케일 디코더는 확장 정보, 즉 채널 사이드 정보를 단순히 무시하면 되기 때문에 상기 개념은 하위 호환적이다. 하위 스케일 디코더는 2개의 다운믹스 채널을 재생하여 원본 멀티채널 오디오 신호의 스테레오 표현을 얻을 수 있다. 그러나, 멀티채널 동작이 가능한 상위 스케일 디코더는 전송된 채널 사이드 정보를 이용하여 원본 채널의 근사화를 재구성할 수 있다.
본 실시예의 장점은 종래예에 비하여 제1 및 제2 다운믹스 채널(Lc, Rc) 외에 추가의 캐리어 채널을 필요로 하지 않으므로 비트 면에서 효율적이라는 것이다. 단, 채널 사이드 정보는 다운믹스 채널 중 하나 또는 양방과 관련되어 있다. 이것은, 다운믹스 채널들은 그 자체로서 원본 오디오 채널을 재구성하도록 결합될 수 있는 캐리어 채널로 기능함을 의미한다. 이것은, 채널 사이드 정보가 바람직하기로는 파라미터 사이드 정보, 즉 어떠한 서브밴드 샘플이나 스펙트럼 계수도 포함하지 않는 정보임을 의미한다. 단, 파라미터 사이드 정보는 각각의 다운믹스 채널 또는 다운믹스 채널들의 조합을 가중(시간 및/또는 주파수에서)하여 선택 원본 채널의 재구성된 버전을 얻는데 이용되는 정보이다.
본 발명의 바람직한 실시예에서, 호환 스테레오 신호에 기초한 멀티채널 신호의 하위 호환 코딩이 얻어진다. 바람직하기로는, 상기 호환 스테레오 신호(다운믹스 신호)는 멀티채널 오디오 신호의 원본 채널들의 다운믹싱을 이용하여 생성된다.
바람직하기로는, 선택된 원본 채널의 채널 사이드 정보는 강도 스테레오 코딩 또는 BCC 코딩과 같은 조인트 스테레오 기술에 기초하여 얻어진다. 따라서, 디코더 측에서 디매트릭싱 연산을 수행할 필요가 없다. 역매트릭싱과 관련한 문제점, 즉 역매트릭싱 연산에서의 양자화 잡음의 원하지 않는 분포와 관련한 소정의 인공물을 피할 수 있다. 이것은, 디코더 측에서 다운믹스 채널들 중 하나 또는 다운믹스 채널들의 조합 및 전송된 채널 사이드 정보를 이용하여 원본 신호를 재구성하는 채널 재구성기를 이용한다는 사실에 기인한다.
바람직하기로는, 본 발명의 개념은 5채널로 된 멀티채널 오디오 신호에 적용된다. 이들 5개 채널은 좌측 채널(L), 우측 채널(R), 중앙 채널(C), 좌측 서라운드 채널(Ls), 및 우측 서라운드 채널(Rs)이다. 바람직하기로는, 다운믹스 채널들은 원본 멀티채널 오디오 신호의 스테레오 표현을 제공하는 스테레오 호환 다운믹스 채널들(Ls, Rs)이다.
본 발명의 바람직한 실시예에 따르면, 각 원본 채널에 대하여, 인코더 측에서 채널 사이드 정보가 계산되어 출력 데이터에 채워진다. 원본 좌측 채널의 채널 사이드 정보는 좌측 다운믹스 채널을 이용하여 유도된다. 원본 좌측 서라운드 채널의 채널 사이드 정보는 좌측 다운믹스 채널을 이용하여 유도된다. 원본 우측 채널의 채널 사이드 정보는 우측 다운믹스 채널을 이용하여 유도된다. 원본 우측 서라운드 채널의 채널 사이드 정보는 우측 다운믹스 채널을 이용하여 유도된다.
본 발명의 바람직한 실시예에 따르면, 원본 중심 채널의 채널 정보는 제1 다운믹스 채널뿐만 아니라 제2 다운믹스 채널을 이용하여, 즉 2개의 다운믹스 채널의 조합을 이용하여 유도된다. 바람직하기로, 이 조합은 합산이다.
따라서, 채널 사이드 정보와 캐리어 신호, 즉 선택된 원본 채널의 채널 사이드 정보를 제공하기 위해 사용된 다운믹스 채널의 관계, 즉 분류는, 최적의 품질을 위해, 채널 사이드 정보에 의해 표현되는 각각의 원본 멀티채널 신호를 상대적으로 가장 많이 담고 있는 소정의 다운믹스 채널이 선택되도록 정해진다. 이러한 조인트 스테레오 캐리어 신호로서, 제1 및 제2 다운믹스 채널이 이용된다. 바람직하기로는, 제1 및 제2 다운믹스 채널의 합도 이용될 수 있다. 물론, 제1 및 제2 다운믹스 채널의 합은 원본 채널들 각각에 대한 채널 사이드 정보를 계산하는 데에도 이용될 수 있다. 그러나, 바람직하기로는, 다운믹스 채널들의 합은 5채널 서라운드, 7채널 서라운드, 5.1채널 서라운드 또는 7.1채널 서라운드와 같은 서라운드 환경에서 원본 중앙 채널의 채널 사이드 정보를 계산하는데 이용된다. 제1 및 제2 다운믹스 채널의 합을 이용하면, 추가의 전송 오버헤드를 수행하지 않아도 되므로 특히 유리하다. 이것은, 양방의 다운믹스 채널들이 이미 디코더 측에 존재하므로 이들 다운믹스 채널의 합산은 추가의 전송 비트를 필요로 하지 않고도 디코더 측에서 쉽게 수행될 수 있다는 사실에 기인한다.
바람직하기로는, 멀티채널 확장을 형성하는 채널 사이드 정보는 하위 스케일 디코더는 이 멀티채널 확장 데이터를 무시하고 멀티채널 오디오 신호의 스테레오 표현만을 제공하도록 호환적인 방식으로 출력 데이터 비트스트림에 입력된다. 그러나, 상위 스케일 디코더는 2개의 다운믹스 채널뿐만 아니라 채널 사이드 정보를 이용하여 원본 오디오 신호의 완전한 멀티채널 표현을 재구성한다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 설명한다:
도 1A는 본 발명의 바람직한 실시예에 따른 인코더를 도시한 블록도이다;
도 1B는 본 발명에 따른 각 입력 채널 쌍에 대한 코히어런스 수치를 제공하기 위한 인코더를 도시한 블록도이다;
도 2A는 본 발명의 바람직한 실시예에 따른 디코더를 도시한 블록도이다;
도 2B는 본 발명에 따른 서로 다른 출력 채널에 대해 서로 다른 기본 채널을 갖는 디코더를 도시한 블록도이다;
도 2C는 도 2B의 합성수단에 대한 바람직한 실시예를 도시한 블록도이다;
도 2D는 5채널 서라운드 시스템에서 도 2C에 도시된 장치의 바람직한 실시예를 도시한 블록도이다;
도 2E는 본 발명에 따른 인코더에서 코히어런스 수치를 결정하기 위한 수단을 개략적으로 도시한 도면이다;
도 2F는 또 다른 기본 채널에 대하여 소정의 코히어런스 수치를 갖는 기본 채널을 계산하기 위한 가중 팩터를 결정하기 위한 바람직한 예를 개략적으로 도시한 도면이다;
도 2G는 도 2F에 도시된 방식에 의해 계산된 소정의 가중 팩터에 기초하여 재구성된 출력 채널을 얻기 위한 바람직한 방법을 개략적으로 도시한 도면이다;
도 3A는 주파수 선택적 채널 사이드 정보를 얻기 위한 계산수단의 바람직한 구현예를 도시한 블록도이다;
도 3B는 강도 코딩 또는 BCC(binaural cue coding)과 같은 조인트 스테레오 처리를 구현한 계산기의 바람직한 실시예를 도시한 도면이다;
도 4는 이득 팩터로서의 채널 사이드 정보를 계산하기 위한 수단의 또 다른 바람직한 실시예를 도시한 도면이다;
도 5는 인코더를 도 4에서와 같이 구현한 경우 디코더의 바람직한 구현예를 도시한 도면이다;
도 6은 다운믹스 채널을 제공하기 위한 수단의 바람직한 구현예를 도시한 도면이다;
도 7은 각각의 원본 채널에 대하여 채널 사이드 정보를 계산하기 위한 원본 및 다운믹스 채널의 분류를 예시한 도면이다;
도 8은 본 발명에 따른 인코더의 또 다른 바람직한 실시예를 도시한 도면이다;
도 9는 본 발명에 따른 디코더의 또 다른 구현예를 도시한 도면이다;
도 10은 종래의 조인트 스테레오 인코더를 도시한 도면이다;
도 11은 종래의 BCC 인코더/디코더 체인을 도시한 블록도이다;
도 12는 도 11의 BCC 합성 블록의 종래의 구현예를 도시한 블록도이다;
도 13은 ICLD, ICTD 및 ICC 파라미터를 결정하기 위한 공지의 방식을 도시한 도면이다;
도 14A는 서로 다른 출력 채널들을 복원하기 위한 서로 다른 기본 채널들을 할당하는 방식을 개략적으로 도시한 도면이다;
도 14B는 ICC 및 ICTD 파라미터를 결정하는데 필요한 채널 쌍을 도시한 도면이다;
도 15A는 5채널 출력 신호를 구성하기 위한 기본 채널들의 제1 선택을 개략적으로 도시한 도면이다; 및
도 15B는 도 15A는 5채널 출력 신호를 구성하기 위한 기본 채널들의 제2 선택을 개략적으로 도시한 도면이다.
도 1A는 적어도 3개의 원본 채널, 예컨대 R, L, 및 C를 갖는 멀티채널 오디오 신호(10)를 처리하기 위한 장치를 도시한 것이다. 바람직하기로는, 원본 오디오 신호는 도 1A에 예시된 바와 같이, 3개 이상의 채널, 예컨대 서라운드 환경에서 5개의 채널을 갖는다. 5개의 채널은, 좌측 채널(L), 우측 채널(R), 중앙 채널(C), 좌측 서라운드 채널(Ls), 및 우측 서라운드 채널(Rs)이다. 상기 장치는 원본 채널로부터 유도된 제1 다운믹스 채널(Lc) 및 제2 다운믹스 채널(Rc)을 제공하기 위한 수단(12)을 포함한다. 원본 채널로부터 다운믹스 채널을 유도하기 위하여, 여러 가지 가능한 방법들이 존재한다. 한가지 방법은 도 6에 예시된 바와 같은 매트릭싱 연산을 이용하여 원본 채널을 매트릭싱에 의해 다운믹스 채널(Lc, Rc)을 유도하는 것이다. 이 매트릭싱 연산은 시간 도메인에서 수행된다.
매트릭싱 파라미터(a, b, t)는 1 이하의 값으로 선택된다. 바람직하기로는, a와 b는 0.7 또는 0.5이다. 전체 가중 파라미터(t)는 채널 잘림(clipping)을 회피할 수 있도록 선택되는 것이 바람직하다.
대안적으로, 도 1A에 도시된 바와 같이, 다운믹스 채널(Lc, Rc)은 외부에서 공급될 수도 있다. 이 경우는 다운믹스 채널(Lc, Rc)이 "핸드믹싱(hand mixing)" 연산의 결과인 경우이다. 상기 시나리오에서, 다운믹스 채널은 자동화된 매트릭싱 연산에 의하지 않고 음향 엔지니어에 의해 믹싱된다. 음향 엔지니어는 원본 멀티채널 오디오 신호의 가장 적합한 스테레오 표현을 제공하는 최적의 다운믹스 채널(Lc, Rc)이 얻어지도록 믹싱을 수행한다.
다운믹스 채널을 외부에서 공급하는 경우, 상기 제공 수단(12)는 매트릭싱 연산을 수행하지 않고 외부에서 공급된 다운믹스 채널을 후속하는 계산 수단(14)에 단순히 전달하기만 한다.
계산 수단(14)은 L, Ls, R 또는 Rs 과 같이 선택된 원본 채널 각각에 대하여 li, lsi, ri 또는 rsi 등의 채널 사이드 정보를 계산한다. 특히, 계산 수단(14)은 채널 사이드 정보를 계산함에 있어서, 그 채널 사이드 정보를 이용하여 다운믹스 채널을 가중한 경우 선택된 원본 채널의 근사화가 되도록 한다.
대안적으로 또는 선택적으로, 채널 사이드 정보를 계산하기 위한 수단은 또한 선택된 원본 채널의 채널 사이드 정보를 계산함에 있어서, 계산된 채널 사이드 정보를 이용하여 가중된 경우 제1 및 제2 다운믹스 채널의 조합을 포함하는 결합 다운믹스 채널이 선택된 원본 채널의 근사화가 되도록 한다. 이러한 특징을 도면에 나타내기 위하여, 합산이기(14a) 및 결합 채널 사이드 정보 계산기(14b)가 도시되어 있다.
본 기술분야의 전문가라면 이들 구성요소는 특정한 구성요소로서 구성될 필요가 없다는 것을 이해할 것이다. 대신, 상기 블록(14, 14a, 14b)의 기능은 범용 프로세서 또는 필요한 기능을 수행하기 위한 다른 임의의 수단일 수 있는 소정 의 프로세서에 의해 구현될 수 있다.
또한, 여기서 서브밴드 샘플인 채널 신호 또는 주파수 도메인 값들은 대문자로 표기한다. 채널 사이드 정보는 채널들과 대조적으로 소문자로 표기한다. 따라서, 채널 사이드 정보(ci)는 원본 중앙 채널(C)에 대한 채널 사이드 정보를 나타낸다.
다운믹스 채널(Lc, Rc) 또는 오디오 인코더(16)에 의해 생성된 그 인코딩된 버전(Lc', Rc')뿐만 아니라 채널 사이드 정보는 출력 데이터 포맷터(18)에 입력된다. 일반적으로, 출력 데이터 포맷터(18)는 출력 데이터를 생성하기 위한 수단으로서 기능하며, 그 출력된 데이터는 적어도 하나의 원본 채널의 채널 사이드 정보, 제1 다운믹스 채널 또는 그로부터 유도된 신호(그 인코딩된 버전), 및 제2 다운믹스 채널 또는 그로부터 유도된 신호(그 인코딩된 버전)를 포함한다.
출력 데이터 또는 출력 비트스트림(20)은 비트스트림 디코더에 전송되거나 저장 또는 분산될 수 있다. 출력 비트스트림(20)은 멀티채널 확장 능력을 갖지 않는 하위 스케일 디코더가 판독할 수 있는 호환 비트스트림인 것이 바람직하다. 통상의 최신 MP3 디코더에 존재하는 이러한 하위 스케일 인코더는 멀티채널 확장 데이터, 즉 채널 사이드 정보를 단순히 무시할 것이다. 이들은 단지 제1 및 제2 다운믹스 채널을 디코딩하여 스테레오 출력을 생성할 것이다. 상위 스케일 디코더, 예를 들어 멀티채널 대응(enabled) 디코더는 채널 사이드 정보를 판독한 후, 원본 오디오 채널의 근사(근사화된 것)를 생성하여 멀티채널 오디오 임프레션(impression)을 얻을 것이다.
도 8은 본 발명의 바람직한 실시예에 따른 5채널 서라운드 MP3 환경을 예시한 것이다. 여기서, 표준 MP3 비트스트림 신택스의 보조 데이터 필드 내에 서라운드 증강 데이터를 기록하여 "MP3 서라운드" 비트스트림이 얻어지도록 하는 것이 바람직하다.
도 1B는 도 1A의 구성요소(14)를 보다 구체적으로 도시한 것이다. 본 발명의 바람직한 실시예에 따르면, 계산기(14)는 도 1A의 10에 도시한 멀티채널 원본 신호내의 채널들 사이에서의 에너지 분포를 나타내는 파라미터 레벨 정보를 계산하기 위한 수단(141)을 포함한다. 따라서 구성요소(141)은 모든 원본 신호에 대한 출력 레벨 정보를 생성할 수 있다. 바람직한 실시예에서, 이 레벨 정보는 도 10 내지 도 13에서 설명한 바 있는 통상의 BCC 합성에 의해 얻어진 ICLD 파라미터를 포함한다.
구성요소(14)는 또한 예상 청취자 위치의 일측에 위치한 2개의 채널들 사이의 코히어런스 수치를 결정하기 위한 수단(142)을 포함한다. 도 1A에 도시한 5채널 서라운드 예에서, 이러한 채널 쌍은 우측 채널(R)과 우측 서라운드 채널(Rs) 또는, 대안적으로 또는 추가적으로, 좌측 채널(L)과 좌측 서라운드 채널(Ls)을 포함한다. 대안적으로, 구성요소(14)는 또한 이 채널 쌍, 즉 예상 청취자 위치의 일측에 위치한 채널 쌍에 대한 시간차를 계산하기 위한 수단(143)을 포함한다.
도 1A의 출력 데이터 포맷터(18)는 데이터스트림 20에 멀티채널 원본 신호내의 채널들 사이에서의 에너지 분포를 나타내는 레벨 정보, 및 좌측 채널과 좌측 서 라운드 채널 쌍 및/또는 우측 채널과 우측 서라운드 채널 쌍에 대한 코히어런스 수치를 입력한다. 그러나, 출력 데이터 포맷터(18)는 모든 가능한 채널 쌍들에 대한 ICC 큐를 전송하는 종래기술의 방법과 비교하여 사이드 정보의 양이 줄어들도록 그 밖의 코히어런스 수치나 선택적으로 시간차는 출력 신호에 포함시키지 않는다.
도 14A 및 도 14B를 참조하여 도 1B에 도시된 인코더를 보다 구체적으로 설명한다. 도 14A에서, 예를 들어 5채널 시스템의 채널 스피커 구성을 예상 청취자 위치에 대하여 부여하고 있는데, 청취자는 각각의 스피커가 놓여진 원의 중심에 위치한다. 전술한 바와 같이, 5채널 시스템은 좌측 서라운드 채널, 좌측 채널, 중앙 채널, 우측 채널, 및 우측 서라운드 채널을 포함한다. 물론, 도 14에 도시하지는 않았지만, 상기 시스템은 서브우퍼(subwoofer) 채널을 포함할 수도 있다.
여기서, 좌측 서라운드 채널을 "후방(rear) 좌측 채널"이라고 하기도 한다. 우측 서라운드 채널도 마찬가지로 부를 수 있다. 이 채널은 후방 우측 채널이라고 하기도 한다.
동일한 기본 채널, 즉 도 11에 도시된 바와 같이 전송된 모노 신호를 이용하여 N개의 각 출력 채널을 생성하는, 단일 전송 채널을 구비한 최신의 BCC 시스템과 대조적으로, 본 발명에 따른 시스템은 전송된 N개의 채널 중 하나 또는 N개의 채널들의 선형 조합을 N개의 각 출력 채널을 생성하기 위한 기본 채널로서 이용한다.
따라서, 도 14는 N개의 원본 채널을 2개의 다운믹스 채널로 다운믹싱하는 N대M 방식을 예시하고 있다. 도 14의 예에서, N은 5이며, M은 2이다. 특히, 전방 좌측 채널의 재구성 시, 전송된 좌측 채널(Lc)을 이용한다. 마찬가지로, 전 방 우측 채널의 재구성 시, 제2 전송 채널(Lc)을 기본 채널로서 이용한다. 또한, Lc 및 Rc의 동등한 조합이 중앙 채널의 재구성을 위한 기본 채널로서 이용된다. 본 발명의 실시예에 따르면, 상관성 수치가 인코더로부터 디코더로 추가적으로 전송된다. 따라서, 좌측 서라운드 채널에 대하여, 전송된 좌측 채널(Lc)뿐만 아니라 전송된 채널 (Lc + α1Rc)도 이용하는데, 이 때 좌측 서라운드 채널을 재구성하기 위한 기본 채널이 전방 좌측 채널을 재구성하기 위한 기본 채널에 대하여 완전히 유사하지 않도록 한다. 마찬가지로, 우측(예상 청취자 위치에 대하여 우측)에 대해서도 마찬가지의 절차가 수행되는데, 이 경우 우측 서라운드 채널의 재구성을 위한 기본 채널은 전방 우측 채널의 재구성을 위한 기본 채널과 다르며, 그 차이는 인코더로부터 디코더로 사이드 정보로서 바람직하게 전송되는 코히어런스 수치(α2)에 의존한다.
따라서, 본 발명의 프로세스는 선호되는 각 출력 채널의 재구성을 위해, 서로 다른 기본 채널이 이용되는데, 이 때 기본 채널은 전송된 채널이거나 전송된 채널들의 선형 조합과 동등하다. 이러한 선형 조합은 그 등급이 다른 전송된 기본 채널에 따라 달라지는데, 그 등급은 원본 멀티채널 신호에 종속하는 코히어런스 수치에 의존한다.
주어진 M개의 전송 채널로부터 N개의 기본 채널을 획득하는 처리를 "업믹싱(upmixing)"이라고 한다. 업믹싱은 전송 채널을 NxM 매트릭스에 의해 벡터곱하여 N개의 기본 채널을 생성함으로써 구현될 수 있다. 이렇게 함으로써, 전송 된 신호 채널의 선형 조합이 형성되어 출력 채널 신호에 대한 기본 신호가 생성된다. 도 14A는 업믹싱의 특수한 예를 도시하고 있는데, 여기서는 5대2 방식을 적용하여 2채널 스테레오 전송에 의해 5채널의 서라운드 출력 신호를 생성한다. 추가의 서브우퍼 출력 채널에 대한 기본 채널은 중앙 채널(L+R)과 동일한 것이 바람직하다. 본 발명의 바람직한 실시예에서, 시변적 및 선택적으로 주파수 가변 코히어런스 측정이 제공되는데, 시간 적응성 및 선택적으로 주파수 선택성 업믹싱 매트릭스가 얻어진다.
이하, 도 1B에 예시한 인코더 구현을 위한 배경을 도시하고 있는 도 14B를 참조하여 설명한다. 여기서, 좌측 채널과 우측 채널 및 좌측 서라운드 채널과 우측 서라운드 채널 사이의 ICC 및 ICTD 큐는 전송된 스테레오 신호에서와 동일하다. 따라서, 본 발명에 따르면, 출력 신호를 합성 또는 재구성하는 경우, 좌측 채널과 우측 채널 및 좌측 서라운드 채널과 우측 서라운드 채널 사이의 ICC 및 ICTD 큐를 이용할 필요가 없다. 좌측 채널과 우측 채널 및 좌측 서라운드 채널과 우측 서라운드 채널 사이의 ICC 및 ICTD 큐를 합성하지 않는 이유는 최대의 신호 품질을 유지하기 위해서는 기본 채널을 가능한 한 수정하지 않아야 하기 때문이다. 신호를 수정하게 되면 결국 인공물이나 부자연스러움을 야기할 수 있기 때문이다.
따라서, 본 발명에 따르면, ICLD 를 제공함으로써 얻어지는 원본 멀티채널 신호의 레벨 표현만을 제공하며, ICC 및 ICTD 파라미터는 예상 청취자 위치의 일측에 위치한 채널 쌍에 대해서만 계산되며 전송된다. 이것은 도 14B의 좌측 점 선(144)과 우측 점선(145)에 예시되어 있다. ICC 및 ICTD 와 대조적으로, ICLD 합성은 서브밴드 신호의 스케일링에만 연관되므로 인공물 및 부자연스러움과 관련하여 크게 문제되지 않는다. 따라서, ICLD 는 통상의 BCC 에서 일반적으로 행해지는 바와 같이 기준 채널과 그 밖의 모든 채널과의 사이에서 합성된다. 일반적으로, N대M 방식에서, ICLD는 통상의 BCC에서와 마찬가지로 채널 쌍들 사이에서 합성된다. 그러나, 본 발명에 따르면, ICC 및 ICTD 큐는 예상 청취자 위치에 대해 동일한 측에 있는 채널 쌍들 사이, 즉 전방 좌측 채널과 좌측 서라운드 채널을 포함하는 채널 쌍의 사이 또는 전방 우측 채널과 우측 서라운드 채널을 포함하는 채널 쌍의 사이에서만 합성된다.
좌측에 3개의 채널이 존재하고 우측에 3개의 채널이 존재하는 7채널 이상의 서라운드 시스템의 경우에도 마찬가지의 방식이 적용될 수 있는데, 이 경우 좌측 또는 우측의 가능한 채널 쌍들에 대해서만, 예상 청취자 위치의 일측에 위치한 서로 다른 출력 채널을 재구성하기 위한 서로 다른 기본 채널을 제공하기 위하여 코히어런스 파라미터가 전송된다. 따라서, 도 1A 및 도 1B에 도시된 본 발명에 따른 N대M 인코더는, 입력 신호가 하나의 채널로 다운믹싱되지 않고 M개의 채널로 다운믹싱되고 필요한 채널 쌍들 사이에서만 ICTD 및 ICC 큐를 추정하여 전송한다는 점에 특징이 있다.
도 14b에 도시된 5채널 서라운드 시스템으로부터 알 수 있는 바와 같이, 좌측 채널과 좌측 서라운드 채널 사이의 적어도 하나의 코히어런스 수치가 전송되어야 한다. 이 코히어런스 수치는 또한 우측 채널과 우측 서라운드 채널 사이의 역상관(decorrelation)을 제공하는데도 이용될 수 있다. 이것은 하측 사이드 정보 구현예이다. 한쪽 채널의 가용 채널 용량이 더 크다면, 우측 채널과 우측 서라운드 채널 사이에서 코히어런스 수치를 생성 및 전송하면, 본 발명에 따른 디코더에서는, 좌측과 우측에서 서로 다른 정도의 역상관을 얻을 수 있다.
도 2A는 입력 데이터 포트(22)에 수신되는 입력 신호를 역처리하기 위한 장치로서 기능하는 본 발명에 따른 디코더를 예시하고 있다. 입력 데이터 포트(22)에 수신되는 데이터는 도 1A의 출력 데이터 포트(20)에 출력되는 데이터와 동일하다. 대안적으로, 데이터가 유선 채널이 아니라 무선 채널을 통해 전송되는 경우, 데이터 입력 포트(22)에 수신되는 데이터는 인코더에 의해 생성된 원본 데이터로부터 유도된 데이터이다.
디코더 입력 데이터는 이 입력 데이터를 판독하기 위한 데이터스트림 판독기(24)에 입력되며, 최종적으로 채널 사이드 정보(26), 좌측 다운믹스 채널(28) 및 우측 다운믹스 채널(30)이 얻어진다. 입력 데이터가 다운믹스 채널의 인코딩 버전을 포함하는 경우, 즉 도 1A의 오디오 인코더(16)가 존재하는 경우, 데이터스트림 판독기(24)는 다운믹스 채널을 인코딩하는데 이용되는 오디오 인코더에 적합한 오디오 디코더를 포함한다. 이 경우, 오디오 디코더는 데이터스트림 판독기(24)의 한 부분을 구성하며, 제1 다운믹스 채널(Lc) 및 제2 다운믹스 채널(Rc), 즉 보다 구체적으로 이들 채널의 디코딩된 버전을 생성한다. 설명의 편의상, 신호와 디코딩된 버전은 명시적으로 언급되지 않는 한 차이가 없다.
데이터스트림 판독기(24)로부터 출력된 채널 사이드 정보(26) 및 좌측 및 우 측 다운믹스 채널(28, 30)은, 멀티채널 재생기(36)에 의해 재생될 수 있는, 원본 오디오 신호의 재구성된 버전을 제공하기 위한 멀티채널 재구성기(32)에 공급된다. 멀티채널 재구성기(32)가 주파수 도메인에서 동작하는 경우, 멀티채널 재생기(36)는 주파수 도메인의 입력 데이터를 수신하게 될 것이며 이것을 재생하기 전에 시간 도메인으로 변환하는 등의 소정의 방식으로 디코딩되어야 한다. 이를 위해, 멀티채널 재생기(36)는 디코딩을 위한 수단을 더 포함할 수도 있다.
여기서, 하위 스케일 디코더는 좌측 및 우측 다운믹스 채널(28, 30)만을 스테레오 출력(38)에 출력하는 데이터스트림 판독기(24)를 구비할 것이다. 그러나, 본 발명에 따른 증강된 디코더는 채널 사이드 정보(26)를 추출하고, 멀티채널 재구성기(32)를 이용하여 원본 채널의 재구성된 버전(34)을 재구성하기 위하여 이 사이드 정보와 다운믹스 채널(28, 30)을 이용할 것이다.
도 2B는 도 2A의 멀티채널 재구성기(32)의 구성을 도시한 것이다. 도 2B는 입력 신호와 파라미터 사이드 정보를 이용하여 멀티채널 출력 신호를 재구성하기 위한 장치를 도시하고 있는데, 여기서 입력 신호는 제1 입력 채널과 원본 멀티채널 신호로부터 유도된 제2 입력 채널을 포함하며, 파라미터 사이드 정보는 멀티채널 원본 신호의 각 채널들 사이의 상관관계를 설명한다. 도 2B에 도시된 장치는 원본 멀티채널 신호에 포함되어 있는 제1 원본 채널과 제2 원본 채널에 따라서 코히어런스 수치를 제공하기 위한 수단(320)을 포함한다. 파라미터 사이드 정보에 코히어런스 수치가 포함되어 있는 경우에는, 도 2B에 예시된 바와 같이, 파라미터 사이드 정보가 수단(320)에 입력된다. 수단(320)에 의해 제공되는 파라미터 수치는 기본 채널을 결정하기 위한 수단(322)에 입력된다. 특히, 수단(322)은 제1 및 제2 입력 채널 중 하나를 선택하거나 제1 및 제2 입력 채널의 미리 정해진 조합에 의해 제1 기본 채널을 결정한다. 수단(322)은 또한 코히어런스 수치를 이용하여 제2 기본 채널을 결정하는데, 제2 기본 채널은 코히어런스 수치 때문에 제1 기본 채널과 상이하도록 결정된다. 5채널 서라운드 시스템에 관련된 도 2B에 도시된 예에서, 제1 입력 채널은 좌측의 호환 스테레오 채널(Lc)이며, 제2 입력 채널은 우측의 호환 스테레오 채널(Rc)이다. 수단(322)은 도 14A와 관련하여 전술한 바와 같이 기본 채널을 결정한다. 따라서, 수단(322)의 출력측에는, 재구성된 출력 채널 각각의 기본 채널이 얻어지는데, 바람직하기로는, 수단(322)에 의해 출력된 기본 채널은 서로 다른 것이다: 즉, 서로 코히어런스 값을 가지며, 그 값은 각 쌍마다 상이하다.
수단(322)에 의해 출력된 기본 채널 및 ICLD, ICTD 또는 강도 스테레오 정보는 수단(324)에 입력되는데, 수단(324)은 파라미터 사이드 정보 및 제1 기본 채널을 이용하여 제1 출력 채널(예컨대 L)을 합성하여 대응하는 제1 원본 채널의 복원된 버전인 제1 합성 출력 채널(L)을 얻고, 파라미터 사이드 정보 및 제2 기본 채널을 이용하여 제2 원본 채널의 복원된 버전인 제2 출력 채널(예컨대 Ls)을 합성한다. 또한, 합성 수단(324)은 다른 기본 채널 쌍을 이용하여 우측 채널(R) 및 우측 서라운드 채널(Rs)을 복원하는데, 이 다른 쌍의 기본 채널은 코히어런스 수치 또는 우측 채널과 우측 서라운드 채널 쌍에 대하여 유도된 추가의 코히어런스 수치 로 인해 서로 다르다.
도 2C는 본 발명의 디코더를 보다 구체적으로 도시한 것이다. 도 2C에 도시된 바람직한 실시예에서 알 수 있는 바와 같이, 전체적인 구조는 도 12와 관련하여 전술한 최신의 종래예의 BCC 디코더의 구조와 마찬가지이다. 도 12에서와 달리, 도 2C에 도시된 본 발명의 디코더는 2개의 오디오 필터 뱅크, 즉 각 입력 신호마다 하나의 필터 뱅크를 포함한다. 물론, 하나의 필터 뱅크로도 충분하다. 이 경우, 하나의 필터 뱅크에 입력 신호를 순차적으로 입력하기 위한 제어가 필요하다. 필터 뱅크는 블록 319a 및 319b로 예시되어 있다. 도 2B에 예시된 구성요소 320 및 322의 기능은 도 2C의 업믹싱 블록(323)에 포함된다.
업믹싱 블록(323)의 출력측에서는 서로 다른 기본 채널이 얻어진다. 이것은 도 12의 노드 130에서 동일한 기본 채널이 얻어지는 것과 대조적이다. 도 2B에 도시된 합성 수단(324)은 지연단(324a), 레벨 수정단(324b), 및 경우에 따라서, 추가의 처리 작업을 수행하기 위한 단(324c)과 각각의 역 오디오 필터 뱅크(324d)를 포함하는 것이 바람직하다. 일 실시예에서, 이들 구성요소(324a, 324b, 324c 및 324d)의 기능은 도 12와 관련하여 설명한 종래기술의 장치와 동일하다.
도 2D는 5채널 서라운드 구성에 대한 도 2C의 보다 구체적인 예를 도시하고 있는데, 2개의 입력 채널(y1 및 y2)이 입력되고 5개의 재구성된 출력 채널이 얻어진다. 도 2C와 대조적으로 업믹싱 블록(323)의 구성을 보다 구체적으로 도시하고 있다. 특히, 중심 출력 채널을 재구성하기 위한 기본 채널을 제공하는 합산장치(330)가 도시되어 있다. 또한, 도 2D에는 "W"로 표시된 2개의 블록(331, 332) 이 도시되어 있다. 이들 블록은 코히어런스 수치 입력부(334)에 입력되는 코히어런스 수치(K)에 기초하여 2개의 입력 채널의 가중 조합을 수행한다. 바람직하기로는, 가중블록(331 또는 332)은 후술하는 시간 및 주파수 도메인에서의 평활화(smoothing)과 같은 기본 채널에 대한 후처리 연산을 수행한다. 즉, 도 2C는 도 2D의 일반적인 경우를 나타낸 것으로, 디코더의 M개 입력 신호에 대하여 N개의 출력 채널을 생성하는 방법을 예시하고 있다. 전송된 신호는 서브밴드 도메인으로 변환된다.
각 출력 채널에 대한 기본 채널을 산출하는 처리는 각 기본 채널이 바람직하기로는 전송된 채널들의 선형 조합이기 때문에 그 처리를 업믹싱이라고 한다. 업믹싱은 시간 도메인, 또는 서브밴드, 또는 주파수 도메인에서 수행될 수 있다.
각 기본 채널을 산출함에 있어서, 전송된 채널이 동위상이거나 이위상인 경우 상쇄/증폭 효과를 줄이기 위하여 소정의 처리가 실시될 수 있다. ICTD 는 서브밴드 신호에 지연을 가함으로써 합성되며, ICLD 는 서브밴드 신호를 스케일링함으로써 합성된다. ICC 합성의 경우에는 가중 팩터를 조정하거나 난수 시퀀스에 의해 지연을 조작하는 등의 방법을 이용할 수 있다. 그러나, 각 출력 채널마다 서로 다른 기본 채널을 정하는 것 외에는 출력 채널들 사이에 코히어런스/상관 처리를 실시하지 않는 것이 바람직하다. 따라서, 본 발명의 바람직한 실시예에 따른 장치는 기본 채널을 재구성하기 위하여 인코더로부터 수신된 ICC 큐와 이미 구성된 기본 채널을 조작하기 위하여 인코더로부터 수신된 ICTD 및 ICLD 큐를 가공한다. 따라서, ICC 큐 또는 보다 일반적으로 코히어런스 수치는 기본 채널을 조작 하는 데에는 이용되지 않으며 단지 추후에 조작되게 될 기본 채널을 구성하는데 이용된다.
도 2D에 도시된 특정 예에서, 5채널 서라운드 신호는 2채널 스테레오 전송으로부터 디코딩된다. 전송된 2채널 스테레오 신호는 서브밴드 도메인으로 변환된다. 그런 다음, 업믹싱에 의해 5개의 선호하는 서로 다른 기본 채널을 생성한다. ICTD 큐는 도 14B와 관련하여 전술한 바와 같이 지연(di (k))을 적용함으로써 좌측 채널과 좌측 서라운드 채널 사이 및 우측 채널과 우측 서라운드 채널 사이에서만 합성된다. 또한, 코히어런스 수치는 블록(324c)에서의 후처리에 이용되지 않고 도 2D의 기본 채널의 구성(블록 331 및 332)에 이용된다.
독창적으로, 좌측 채널과 우측 채널 사이 및 좌측 서라운드 채널과 우측 서라운드 채널 사이의 ICC 및 ICTD 큐는 전송된 스테레오 신호에서와 마찬가지로 유지된다. 따라서, 하나의 ICC 큐 및 하나의 ICTD 큐 파라미터로 충분하며, 인코더로부터 디코더로 전송되는 것은 이들 뿐이다.
또 다른 실시예에서, 양측의 ICC 큐 및 ICTD 큐는 인코더에서 계산될 수 있다. 이들 2개의 값이 인코더로부터 디코더로 전송될 수 있다. 대안적으로, 인코더는 2개의 코히어런스 수치로부터 결과 값을 유도하기 위한 평균 함수 등의 수학 함수에 양측의 큐를 입력함으로써 결과 ICC 또는 ICTD 큐를 산출할 수 있다.
이하, 도 15A 및 도 15B를 참조하여 본 발명의 개념을 간단하게 구현한 예를 설명한다. 복잡한 구현예의 경우에는 적어도 예상 청취자 위치의 일측에 위치한 채널 쌍 사이의 코히어런스 수치를 인코더 측에서 판정하여 이 코히어런스 수치를 바람직하기로는 양자화 및 엔트로피 인코딩된 형태로 전송하는 것이 필요하지만, 간단한 구현예의 경우에는 인코더 측에서 코히어런스 수치를 판정할 필요도 없고 이러한 정보를 인코더로부터 디코더로 전송할 필요도 없다. 그러나, 우수한 품질의 재구성된 멀티채널 출력 신호를 얻기 위해서는, 미리 정해진 코히어런스 수치 또는 달리 말하면 미리 정해진 가중 팩터 등을 이용하여 전송된 입력 채널의 가중화된 조합을 결정하기 위한 미리 정해진 가중화 팩터가 도 2D의 수단(324)에 의해 제공된다. 재구성된 출력 채널의 기본 채널에서의 코히어런스를 줄이기 위한 여러 가지 방법이 존재한다. 본 발명의 독창적인 방법을 이용하지 않은 경우에는, 각 출력 채널은 ICC 및 ICTD의 인코딩 및 전송을 포함하지 않는 기본적인 구현 시 완전히 유사할 것이다. 따라서, 미리 정해진 코히어런스 수치를 이용한 경우에는, 재구성된 출력 신호에서의 코히어런스가 줄어들게 될 것이며, 이 경우 복원된 출력 신호는 대응하는 원본 신호를 보다 우수하게 근사화한 것이 될 것이다.
그러므로, 기본 채널이 완전히 유사하게 되는 것을 방지하기 위하여, 하나의 대안으로서 도 15A에 도시된 바와 같은(또 다른 대안으로서 도 15B에 도시된 바와 같은) 업믹싱이 수행된다. 즉, 전송된 스테레오 신호가 완전히 유사하지 않더라도, 5개의 기본 채널은 완전히 유사하지 않도록 산출된다. 그 결과, 좌측 채널과 우측 채널 사이의 채널간 코히어런스가 줄어들면, 좌측 채널과 좌측 서라운드 채널 사이 또는 우측 채널과 좌측 서라운드 채널 사이의 채널간 코히어런스가 자동적으로 줄어들게 된다. 예를 들어, 모든 채널 사이에서 독립한 어플로즈(applause) 신호와 같은 오디오 신호의 경우, 이러한 업믹싱은 좌측 채널과 좌측 서라운드 채널 사이 및 우측 채널과 우측 서라운드 채널 사이에서 소정의 독립성이 채널간 코히어런스를 합성(및 인코딩)할 필요없이 명확하게 발생된다는 점에서 유리하다. 물론, 이러한 2번째 방식의 업믹싱은 ICC 및 ICTD를 합성하는 방식에도 결합될 수 있다.
도 15A는 전방 좌측과 전방 우측에 대하여 최적화된 업믹싱을 도시한 것으로, 전방 좌측과 전방 우측 사이에 대부분의 독립성이 유지되고 있다.
도 15B는 일측의 전방 좌측 채널과 전방 우측 채널 및 타측의 좌측 서라운드 채널과 우측의 서라운드 채널이 전방 채널과 후방 채널의 독립성 정도가 동일하게 되도록 동일한 방식으로 취급되는 다른 예를 도시하고 있다. 이것은 도 15B에서 전방 좌측 채널과 우측 채널 사이의 각도가 좌측 서라운드 채널과 우측 서라운드 채널 사이의 각도와 동일하다는 사실로부터 알 수 있다.
본 발명의 바람직한 실시예에 따르면, 정적 선택이 아니라 동적 업믹싱을 이용한다. 이 때문에, 본 발명에서는 동적 성능을 최적화하기 위하여 업믹싱 매트릭스를 동적으로 적응할 수 있는 증강된 알고리즘을 채용한다. 아래의 예에서, 전방과 후방의 코히어런스를 최적으로 복원할 수 있도록 후방 채널들에 대하여 업믹싱 매트릭스가 선택될 수 있다. 본 발명의 알고리즘은 하기의 단계를 포함한다.
전방 채널에 대하여, 도 14A 또는 도 15A에 도시된 바와 같이 기본 채널들에 대한 단순 할당을 이용한다. 이러한 단순 선택에 의해, 좌측/우측 축을 따른 채널들의 코히어런스가 보존된다.
인코더에서는, 좌측 채널과 좌측 서라운드 채널 사이 및 바람직하기로는 우측 채널과 우측 서라운드 채널 쌍의 사이에서의 ICC 큐 등의 전방-후방 코히어런스 값들이 측정된다.
디코더에서는, 좌측 후방 및 우측 후방 채널들에 대한 기본 채널들이 전송된 채널 신호들, 즉 전송된 좌측 채널 및 전송된 우측 채널에 대한 선형 조합을 형성함으로써 결정된다. 구체적으로, 좌측 채널과 좌측 서라운드 채널 사이 및 우측 채널과 우측 서라운드 채널 사이의 실제 코히어런스가 인코더에서 측정된 값을 실현하도록 업믹싱 계수가 결정된다. 실용적인 면에서, 이것은 전송된 채널 신호들이 통상의 5채널 시나리오에서와 같이 충분한 비상관성(decorrelation)을 나타내는 경우에 실현된다.
동적 업믹싱에 대한 바람직한 실시예에서, 본 발명을 실현하기 위한 최적으로 모드로서 간주되는 구현예는 인코더 구현에 있어서는 도 2E에 제시되고 있으며 디코더 구현에 있어서는 도 2F 및 도 2G에 제시되고 있다. 도 2E는 좌측 채널과 좌측 서라운드 채널 사이 또는 우측 채널과 우측 서라운드 채널 사이, 즉 예상 청취자 위치에 대하여 일측에 위치한 채널 쌍 사이의 전방/후방 코히어런스 값(ICC 값)을 측정하는 일례를 도시한 것이다.
도 2E의 박스에 도시된 방정식은 제1 채널(x)과 제2 채널(y) 사이의 코히어런스 수치(cc)을 제공한다. 어떤 경우에는 제1 채널(x)이 좌측 채널이고 제2 채널(y)은 좌측 서라운드 채널이다. 또 다른 경우에는 제1 채널(x)이 우측 채널이고 제2 채널(y)은 우측 서라운드 채널이다. 여기서, xi 는 시각 i에서의 채널(x) 의 샘플을 나타내며, yi 는 시각 i에서의 다른 원본 채널(y)의 샘플을 나타낸다. 여기서, 코히어런스 수치는 시간 도메인에서 완전히 계산될 수 있다. 이 경우, 합산 인덱스(i)는 하한으로부터 상한 사이의 값이며, 상한은 통상 프레임 단위로 처리하는 경우 한 프레임 내의 샘플 수와 동일하다.
대안적으로, 코히어런스 수치는 밴드 패스 신호들, 즉 원본 오디오 신호에 비해 대역폭이 줄어든 신호들 사이에서 계산될 수도 있다. 이 경우, 코히어런스 수치는 시간 종속적일 뿐만 아니라 주파수에 대해서도 종속적이다. 그 결과로서의 전방/후방 ICC 큐, 즉 좌측 전방/후방 코히어런스 CCl 및 우측 전방/후방 코히어런스 CCr 는 파라미터 사이드 정보로서, 바람직하기로는, 양자화되고 인코딩된 형태로 디코더에 전송된다.
이하, 도 2F를 참조하여 바람직한 디코더 업믹싱 방식을 설명한다. 도시된 예에서, 전송된 좌측 채널은 좌측 출력 채널의 기본 채널로서 유지된다. 좌측 후방 출력 채널의 기본 채널을 유도하기 위하여, 좌측(l) 및 우측(r)의 전송 채널 사이의 선형 조합, 즉 l + αr 을 구한다. 가중 팩터(α)는 l 와 l + αr 사이의 상호상관이 좌측에 대해서는 소망 값(CCl)과 동등해지고 우측에 대해서는 소망 값(CCr)과 동등해지도록 하거나 일반적으로 코히어런스 수치(k)이 되도록 정해진다.
근사 α값의 계산에 대해서는 도 2F에 설명되어 있다. 특히, 2개의 신호 l과 r에 대한 정규화 상호상관은 도 2E의 블록 내의 방정식에 도시된 바와 같이 규정된다.
주어진 2개의 전송 신호 l과 r에 대하여, 가중 팩터(α)는 신호 l과 l + αr 사이의 정규화된 상호상관이 원하는 값(k), 즉 코히어런스 수치와 동일해지도록 정해져야 한다. 이 수치는 -1과 +1 사이로 정해진다.
2개의 채널에 대한 상호상관 정의를 이용하여, 값 k에 대하여 도 2F에 주어진 방정식을 얻을 수 있다. 도 2F의 하단에 주어진 몇 가지 약칭을 이용함으로써, k에 대한 조건을 2차 방정식으로서 재 기술할 수 있는데, 그 해는 가중 팩터(α)를 제공한다.
상기 방정식은 항상 실수 값의 해를 가지며, 그 판별식은 네가티브 값이 아님을 보증한다.
신호 l과 r의 기본 상호상관 및 원하는 상호상관 k에 따라서, 양방의 얻어진 해 중 하나는 실제로 원하는 상호상관 값의 음의 표현일 수 있는데, 이것은 향후의 계산에서 폐기된다.
신호 l과 r의 선형 조합으로서 기본 채널 신호를 계산한 다음, 결과 신호를 전송된 l 또는 r 채널 신호의 원본 신호 에너지로 정규화(재-스케일링)한다.
마찬가지로, 좌측 출력 채널에 대한 기본 채널 신호도 좌측 채널과 우측 채널의 역할을 스와핑(swapping)함으로써, 즉 r과 α+l 사이의 상호상관을 고려함으로써 유도할 수 있다.
실제로, 최대 신호 품질을 얻기 위하여 시간 및 주파수에 걸쳐서 α값에 대한 계산 처리 결과를 평활화 처리하는 것이 바람직하다. 또한, 신호 품질을 보다 최대화하기 위하여 좌측 채널과 좌측 후방 채널 및 우측 채널과 우측 후방 채널 이 아니라 전방과 후방의 상관 수치를 이용할 수도 있다.
다음으로, 도 2G를 참조하여, 도 2A의 멀티채널 재구성기(32)에 의해 수행되는 기능을 단계적으로 설명한다.
바람직하기로는, 인코더로부터 디코더로 제공되는 동적 코히어런스 수치 또는 도 15A 및 도 15B와 관련하여 설명한 바 있는 정적으로 제공되는 코히어런스 수치에 기초하여 가중 팩터(α)를 계산한다(단계 200). 그런 다음, 시간 및/또는 주파수에 걸쳐서 가중 팩터를 평활화 처리하여(단계 202) 평활화된 가중 팩터(α)를 얻는다. 그런 다음, 기본 채널(b)을 계산한다(예컨대, l+αr)(단계 204). 이 기본 채널(b)은 다른 기본 채널들과 함께 미가공(raw) 출력 신호를 계산하는데 이용된다.
박스(206)에서 알 수 있는 바와 같이, 미가공 출력 신호를 계산하는 데에는 지연 표현(ICTD)뿐만 아니라 레벨 표현(ICLD)도 필요하다. 이 미가공 출력 신호는 좌측 입력 채널과 우측 입력 채널 각각의 에너지의 합과 동등한 에너지를 갖도록 스케일링된다. 즉, 미가공 출력 신호는 스케일링된 미가공 출력 신호 각각의 에너지가 전송된 좌측 입력 채널과 우측 입력 채널 각각의 에너지의 합과 동등해지도록 스케일링 팩터에 의해 스케일링된다.
대안적으로, 좌측과 우측 전송 채널의 합을 계산하여 그 결과 신호의 에너지를 이용할 수도 있다. 또한, 미가공 출력 신호를 샘플 단위로 합산하여 그 합 신호를 계산하고 그 결과 신호의 에너지를 스케일링용으로 이용할 수도 있다.
다음으로, 박스(208)의 출력측에서, 재구성된 출력 채널이 얻어지는데, 여기 서 재구성된 출력 채널들은 다른 재구성된 출력 채널들 중 어느 것과도 완전히 유사하지 않고 최대 품질의 출력 신호가 얻어진다는 점에 특징이 있다.
다시 말하면, 본 발명은 임의의 수(M)의 전송 채널과 임의의 수(N)의 출력 채널을 이용할 수 있다는 점에 특징이 있다.
또한, 전송된 채널들과 출력 채널들의 기본 채널들 사이의 변환은 동적 업믹싱을 통해 수행되는 것이 바람직하다.
중요 실시예에서, 업믹싱은 업믹싱 매트릭스에 의한 체배, 즉 전송된 채널들의 선형 조합을 형성하는 것에 의해 이루어지는데, 이 때 전방 채널들은 해당하는 전송 기본 채널들을 기본 채널로 이용하여 합성되는 것이 바람직하며, 후방 채널들은 전송된 채널들의 선형 조합으로 이루어지되, 그 선형 조합의 정도는 코히어런스 수치에 의존한다.
또한, 이러한 업믹싱 프로세스는 시변 방식으로 신호 적응적으로 수행되는 것이 바람직하다. 구체적으로, 업믹싱 프로세스는 BCC 인코더로부터 전송된, 전방/후방 코히어런스에 대한 채널간 코히어런스 큐와 같은 사이드 정보에 따라 정해지는 것이 바람직하다.
각 출력 채널의 기본 채널에 대하여, 통상의 BCC와 동일한 처리를 실시하여 공간 큐를 합성한다: 즉 서브밴드에 스케일링 및 지연을 가하고 채널들 사이의 코히어런스를 줄이기 위한 기술을 적용하는데, 전방/후방 코히어런스를 최적으로 복원하기 위하여 각각의 기본 채널을 구성하는데 ICC 큐가 추가적으로 또는 대안적으로 이용된다.
도 3A는 본 발명의 실시예에 따른 채널 사이드 정보를 계산하기 위한 계산기(14)를 도시한 것으로, 일측의 오디오 인코더와 타측의 채널 사이드 정보 계산기는 멀티채널 신호의 동일한 스펙트럼 표현에서 동작한다. 한편, 도 1은 또 다른 대안적 구성을 도시한 것으로, 일측의 오디오 인코더와 타측의 채널 사이드 정보 계산기가 멀티채널 신호의 상이한 스펙트럼 표현에서 동작한다. 연산 자원이 오디오 품질만큼 중요하지 않은 경우에는, 오디오 인코딩 및 사이드 정보 계산에 각각 최적화된 필터 뱅크를 이용할 수 있기 때문에 도 1A의 대안적 구성이 선호된다. 그러나, 연산 자원이 중요한 경우에는, 구성요소들을 공유함으로써 보다 적은 연산능력이 요구되기 때문에 도 3A의 대안적 구성이 선호된다.
도 3A 에 도시된 장치는 2개의 채널(A, B)을 수신한다. 도 3A의 장치는 채널 B에 대한 사이드 정보를 계산하는데, 선택된 원본 채널(B)에 대한 채널 사이드 정보를 이용함으로써, 채널 B의 재구성 버전이 채널 신호 A로부터 계산될 수 있도록 하고 있다. 또한, 도 3A의 장치는 스펙트럼 값 또는 서브밴드 샘플을 (예컨대, BCC 코딩에서와 같이 체배 또는 시간 처리에 의해) 가중화를 위한 파라미터와 같은 주파수 도메인 채널 사이드 정보를 형성한다. 이를 위해, 본 발명의 계산기는 출력부(140b)에서 채널 A에 대한 주파수 도메인 표현을 얻거나 출력부(140c)에서 채널 B에 대한 주파수 도메인 표현을 얻는 윈도잉 및 시간/주파수 변환 수단(140a)을 포함한다.
바람직한 실시예에서, (사이드 정보 결정 수단(140f)에 의한) 사이드 정보 결정은 양자화된 스펙트럼 값을 이용하여 수행된다. 또한, 양자화기(140d)도 구 비하며, 이것은 음향심리 모델 제어입력부(140e)를 가지며 음향심리 모델을 이용하여 제어되는 것이 바람직하다. 그러나, 사이드 정보 결정 수단(140c)이 채널 B에 대한 채널 사이드 정보를 결정함에 있어서 채널 A에 대한 비양자화 표현을 이용하는 경우에는 양자화기는 불필요하다.
채널 B에 대한 채널 사이드 정보가 채널 A에 대한 주파수 도메인 표현과 채널 B에 대한 주파수 도메인 표현에 의해 계산되는 경우, 윈도잉 및 시간/주파수 변환 수단(140a)은 필터 뱅크-기반 오디오 인코더에 사용된 것과 동일한 것일 수 있다. 이 경우, AAC (ISO/IEC 13818-3)에 따르면, 변환 수단(140a)은 50%의 오버랩-애드(overlap and add) 성능을 갖는 MDCT(modified discrete cosine transform) 필터 뱅크로서 구현될 수 있다.
이러한 경우, 양자화기(140d)는 MP3 또는 AAC 인코딩된 오디오 신호를 생성하는 경우에 사용되는 것과 마찬가지로 반복적(iterative) 양자화기이다. 그러면, 채널 A에 대한 주파수 도메인 표현(바람직하기로는 이미 양자화되어 있음)은 엔트로피 인코더(140g)를 이용한 엔트로피 인코딩에 바로 이용될 수 있으며, 이 경우 엔트로피 인코더(140g)는 Huffman-계 인코더 또는 산술적 인코딩에 의해 구현된 엔트로피 인코더일 수 있다.
도 1과 비교하면, 도 3A의 장치는 하나의 원본 채널에 대하여 li 와 같은 사이드 정보를 출력한다(장치(140f)의 출력부의 채널 B에 대한 사이드 정보에 대응함). 채널 A에 대한 엔트로피 인코딩된 비트스트림은 예컨대 도 1의 블록(16)의 출력측의 인코딩된 좌측 다운믹스 채널(Lc')에 대응한다. 도 3A로부터, 구성요 소(14)(도 1), 즉 채널 사이드 정보를 계산하기 위한 계산기, 및 오디오 인코더(16)(도 1)는 별개의 수단으로서 구현될 수도 있고, 양방의 장치가 MDCT 필터 뱅크(140a), 양자화기(140e), 및 엔트로피 인코더(140g)와 같은 수개의 구성요소를 공유하는 공유된 버전으로서 구현될 수도 있다. 물론, 채널 사이드 정보를 결정하기 위한 다른 형태를 필요로 하는 경우에는, 인코더(16) 및 계산기(14)(도 1)는 양 구성요소가 필터 뱅크 등을 공유하지 않고 다른 장치에 구현될 것이다.
일반적으로, 사이드 정보를 계산하기 위한 실제의 결정 수단(또는 넓은 의미로는 계산기(14))은 도 3B에 도시된 바와 같이 조인트 스테레오 모듈로서 구현되는데, 이것은 강도 스테레오 코딩 또는 BCC 코딩과 같은 임의의 조인트 스테레오 기술에 따라서 동작한다.
종래의 강도 스테레오 인코더와 대조적으로, 본 발명의 결정 수단(140f)은 합성 채널을 계산할 필요가 없다. "합성채널" 또는 캐리어 채널은 이미 존재하며, 이것은 좌측 호환 다운믹스 채널(Lc), 우측 호환 다운믹스 채널(Rc), 또는 이들 다운믹스 채널의 합성 버전, 즉 Lc + Rc이다. 따라서, 본 발명의 장치(140f)는, 다운믹스 채널이 스케일일 정보 또는 강도 방향성 정보를 이용하여 가중화되는 경우, 각각의 선택된 원본 채널의 에너지/시간 포락선이 얻어지도록, 각각의 다운믹스 채널의 스케일링을 위한 스케일링 정보를 계산하기만 하면 된다.
따라서, 도 3B의 조인트 스테레오 모듈(140f)은 입력으로서 "합성" 채널 A 및 원본 선택 채널을 수신하는 것으로 도시되고 있는데, 여기서 채널 A는 제1 또는 제2 다운믹스 채널이거나 다운믹스 채널들의 조합일 수 있다. 물론, 이 모 듈(140f)은 "합성" 채널 A 와 채널 사이드 정보로서의 조인트 스테레오 파라미터를 출력하는데, 이 합성 채널 A와 조인트 스테레오 파라미터를 이용하여 원본 선택 채널 B의 근사치가 계산될 수 있다.
대안적으로, 조인트 스테레오 모듈(140f)은 BCC 코딩을 수행하도록 구현될 수도 있다.
BCC 의 경우, 조인트 스테레오 모듈(140f)은 채널 사이드 정보를 출력하는데, 이 채널 사이드 정보는 양자화되고 인코딩된 ICLD 또는 ICTD 파라미터이며, 선택된 원본 채널은 실제로 처리되는 채널이며, 상기 채널 사이드 정보를 계산하는데 이용되는 각각의 다운믹스 채널, 즉 제1 또는 제2 다운믹스 채널 또는 제1 및 제2 다운믹스 채널들의 조합은 BCC 코딩/디코딩 기술에서의 기준 채널로서 이용된다.
도 4는 구성요소(140f)의 간단한 에너지 측면에서의 구현예이다. 본 장치는 채널 A 및 채널 B로부터 대응 주파수 밴드를 선택하기 위한 주파수 밴드 선택기(44)를 포함한다. 양 주파수 밴드에서, 각 밴드마다의 에너지 계산기(42)에 의해 에너지가 계산된다. 에너지 계산기(42)의 구체적인 구현은 블록(40)으로부터의 출력 신호가 서브밴드 신호인지 주파수 계수인지에 따라서 달라진다. 각 스케일링 팩터 밴드마다 스케일링 팩터를 계산하는 다른 구현예에서, 제1 및 제2 채널(A 및 B)의 스케일링 팩터를 에너지 값(EA 및 EB) 또는 적어도 에너지 예측치로서 이용할 수 있다. 이득 팩터 계산장치(44)에서, 선택된 주파수 밴드에 대한 이득 팩터(gB)는 도 4의 블록(44)에 예시한 이득 결정 규칙과 같은 소정의 규칙에 기초하여 정해진다. 여기서, 이득 팩터(gB)는 곧바로 시간 도메인 샘플 또는 주파수 계수를 가중화하는데 이용될 수 있는데, 이것에 대해서는 도 5에서 설명한다. 이를 위해, 선택된 주파수 밴드에서 유효한 이득 팩터(gB)가 선택된 원본 채널인 채널 B에 대한 채널 사이드 정보로서 이용된다. 이 선택된 원본 채널 B는 디코더에 전송되지 않고 도 1의 계산기(14)에 의해 계산된 파라미터 채널 사이드 정보로써 표현될 것이다.
여기서, 이득 값을 채널 사이드 정보로서 전송할 필요는 없다. 선택된 원본 채널의 절대 에너지에 관련된 주파수 종속적인 값을 전송하는 것으로 충분할 수 있다. 이 경우, 디코더는 다운믹스 채널의 에너지와 채널 B에 대한 전송된 에너지에 기초하여 실제 다운믹스 채널의 에너지와 이득 팩터를 계산해야 한다.
도 5는 변환에 기초한 개념적 오디오 디코더와 관련한 디코더 구성의 가능한 구현예를 도시한 것이다. 도 2와 비교하여, 엔트로피 디코더 및 역양자화기(50)(도 5)의 기능들은 도 2의 블록(24)에 포함된다. 그러나, 주파수/시간 변환 수단(52a, 52b)은 도 2의 블록(36)에 구현된다. 도 5의 구성요소(50)는 제1 또는 제2 다운믹스 신호의 인코딩된 버전(Lc' 또는 Rc')을 수신한다. 구성요소(50)의 출력측에는, 제1 및 제2 다운믹스 채널의 적어도 부분적으로 디코딩된 버전이 존재하는데 이것을 앞으로 채널 A라고 한다. 채널 A는 그로부터 소정의 주파수 밴드를 선택하기 위한 주파수 밴드 선택기(54)에 입력된다. 이 선택된 주파수 밴드는 체배기(56)를 이용하여 다중화된다. 체배기(56)는 체배를 위해, 인 코더 측의 도 4의 주파수 밴드 선택기(40)에 해당하는 주파수 밴드 선택기(54)에 의해 선택된 선택 주파수 밴드에 부여된 소정의 이득 팩터(gB)를 수신한다. 주파수 시간 변환기(52a)의 입력측에는, 다른 밴드들과 함께 채널 A의 주파수 도메인 표현도 존재한다. 체배기(56)의 출력측, 특히 주파수/시간 변환 수단(52b)의 입력측에는 채널 B의 재구성된 주파수 도메인 표현이 존재한다. 따라서, 구성요소(52a)의 출력측에는 채널 A의 시간 도메인 표현이 존재하고, 구성요소(52b)의 출력측에는 재구성된 채널 B의 시간 도메인 표현이 존재한다.
여기서, 구현예에 따라서는, 디코딩된 다운믹스 채널(Lc 또는 Rc)은 멀티채널 증강 디코더에서 재생되지 않는다. 이러한 멀티채널 증강 디코더에서, 디코딩된 다운믹스 채널들은 원본 채널을 재구성하는 데에만 이용된다. 디코딩된 다운믹스 채널들은 하위 스케일 스테레오-단독 디코더에서만 재생된다.
이를 위해, 도 9를 참조하면, 본 발명의 바람직한 구현예에 따른 서라운드/MP3 환경을 도시하고 있다. MP3 증강 서라운드 비트스트림은 표준 MP3 디코더(24)에 입력되며, 디코더(24)는 원본 다운믹스 채널의 디코딩된 버전을 출력한다. 이들 다운믹스 채널들은 하위레벨 디코더에 의해 직접 재생될 수 있다. 대안적으로, 이들 2개 채널은 멀티채널 확장 데이터를 수신하는 개선된 조인트 스테레오 디코딩 장치(32)에 입력되며, 이들은 또한 바람직하기로는 MP3 호환 비트스트림의 보조 데이터 필드에 입력된다.
다음으로, 도 7을 참조하면, 선택된 원본 채널과 각각의 다운믹스 채널 또는 합성된 다운믹스 채널의 분류를 도시하고 있다. 이러한 관점에서, 도 7의 표에 서 우측 열은 도 3A, 도 3B, 도 4 및 도 5의 채널 A에 해당하며 중앙 열은 이들 도면에서 채널 B에 해당한다. 도 7의 좌측 열은 각 채널의 사이드 정보이다. 도 7의 표에 따라서, 원본 좌측 채널(L)의 채널 사이드 정보(li)는 좌측 다운믹스 채널(Lc)을 이용하여 계산된다. 좌측 서라운드 채널 사이드 정보(lsi)는 선택된 원본 좌측 서라운드 채널(Ls)에 의해 결정되며, 좌측 다운믹스 채널(Lc)은 캐리어이다. 원본 우측 채널(R)에 대한 우측 채널 사이드 정보(ri)는 우측 다운믹스 채널(Rc)을 이용하여 결정된다. 또한, 우측 서라운드 채널(Rs)의 채널 사이드 정보는 캐리어로서의 우측 다운믹스 채널(Rc)을 이용하여 결정된다. 마지막으로, 중앙채널(C)의 채널 사이드 정보(ci)는 제1 및 제2 다운믹스 채널의 조합에 의해 얻어진 합성 다운믹스 채널을 이용하여 결정되는데, 이는 인코더 및 디코더 모두에서 쉽게 계산될 수 있으며 전송을 위한 어떠한 추가의 비트를 필요치 않는다.
물론, 디코더 측에서 가중 파라미터를 알고 있거나 이것을 수신할 수 있다면, 합성 다운믹스 채널 또는 제1 및 제2 다운믹스 채널에 가중치를 부여하여 합산함으로써(0.7Lc + 0.3Rc) 얻어진 다운믹스 채널에 기초하여, 예를 들어 좌측 채널의 채널 사이드 정보를 계산할 수도 있다. 그러나, 대부분의 응용에 있어서는, 합성 다운믹스 채널, 즉 제1 및 제2 다운믹스 채널의 조합으로부터 중앙채널의 채널 사이드 정보를 유도하는 것이 바람직할 것이다.
본 발명의 비트 절감 가능성을 설명하기 위하여 아래의 전형적인 예를 개시한다. 5채널 오디오 신호의 경우, 통상의 인코더는 각 채널당 64kbit/s의 비트 전송율이 필요하며 전체 5개 채널 신호에 대해서 총 320kbit/s의 비트 전송율이 필요하다. 좌측 및 우측 스테레오 신호에 대해서는 128kbit/s 의 비트 전송율이 필요하다. 한 채널에 대한 채널 사이드 정보에 대해서는 1.5 내지 2kbit/s가 필요하다. 따라서, 5개 채널 각각에 대한 채널 사이드 정보를 전송하는 경우에는 추가 데이터에 대해 단지 7.5 내지 10kbit/s가 추가될 뿐이다. 그러므로, 본 발명에 따르면, 디코더 측에서 문제가 많은 디매트릭싱 연산을 하지 않기 때문에, 138kbit/s (통상의 경우 320kbit/s)로 5채널 오디오 신호를 우수한 품질로 전송할 수 있게 된다. 또한, 보다 중요한 점은, 현존하는 MP3 재생기는 제1 다운믹스 채널 및 제2 다운믹스 채널을 재생하여 통상의 스테레오 출력을 생성할 수 있기 때문에, 본 발명의 개념은 완전하게 하위 호환적이라는 것이다.
응용 환경에 따라서, 본 발명의 구성 또는 생성 방법은 하드웨어 또는 소프트웨어로 구현될 수도 있다. 본 발명은 프로그램가능한 컴퓨터 시스템과 협동하여 본 발명의 방법을 실현할 수 있는 전자적으로 판독가능한 제어 신호를 갖고 있는 디스크나 CD 등의 디지털 저장 매체의 형태로 구현될 수 있다. 따라서, 본 발명은 넓게는 기계에 의해 판독가능한 캐리어가 저장되어 있는 프로그램 코드를 갖는 컴퓨터 프로그램 제품도 포함하는데, 상기 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 기동되는 경우 본 발명의 방법을 수행하게 된다. 즉, 본 발명은 컴퓨터 프로그램이 컴퓨터 상에서 기동되는 경우 본 발명의 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램도 포함한다.

Claims (25)

  1. 입력 신호 및 파라미터 사이드 정보를 이용하여 멀티채널 출력 신호를 구성하기 위한 장치로서, 상기 입력 신호는 원본 멀티채널 신호로부터 유도된 제1 입력 채널(Lc) 및 제2 입력 채널(lc')을 포함하며, 상기 원본 멀티채널 신호는 복수의 채널을 가지며, 상기 복수의 채널은 예상 청취자 위치의 일측에 위치한 것으로 규정된 적어도 2개의 원본 채널을 포함하며, 제1 원본 채널은 상기 적어도 2개의 원본 채널 중 하나이며, 제2 원본 채널은 상기 적어도 2개의 원본 채널 중 다른 하나이며, 상기 파라미터 사이드 정보는 상기 원본 멀티채널 신호의 원본 채널들 사이의 상호관계를 설명하며, 상기 장치는,
    상기 제1 및 제2 입력 채널 중 하나 또는 상기 제1 및 제2 입력 채널의 조합을 선택함으로써 제1 기본 채널을 결정하고, 상기 제1 및 제2 입력 채널 중 다른 하나 또는 상기 제1 및 제2 입력 채널의 다른 조합을 선택함으로써 제2 기본 채널을 결정하되, 상기 제2 기본 채널이 상기 제1 기본 채널과 다르게 되도록 하는 결정 수단(322); 및
    상기 제1 기본 채널 및 상기 파라미터 사이드 정보를 이용하여 제1 출력 채널을 합성하여, 상기 예상 청취자 위치의 일측에 위치한 상기 제1 원본 채널의 복원 버전인 제1 합성 출력 채널을 얻고, 상기 제2 기본 채널 및 상기 파라미터 사이드 정보를 이용하여 제2 출력 채널을 합성하여 상기 예상 청취자 위치의 동일 측에 위치한 상기 제2 원본 채널의 복원 버전인 제2 합성 출력 채널을 얻는 합성수 단(324)을 포함하는 멀티채널 출력 신호 구성 장치.
  2. 제1항에 있어서,
    상기 원본 멀티채널 신호에 포함된 상기 제1 원본 채널과 상기 제2 원본 채널 사이의 코히어런스(coherence)에 의존하는 코히어런스 수치를 제공하기 위한 수단(320)을 더 구비하되,
    상기 결정 수단(322)은 상기 코히어런스 수치에 기초하여 상기 제1 및 제2 기본 채널이 서로 다르도록 결정하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  3. 제1항에 있어서,
    상기 적어도 2개의 원본 채널은 좌측 원본 채널 및 좌측 서라운드 원본 채널, 또는 우측 원본 채널 및 우측 서라운드 원본 채널을 포함하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  4. 제1항에 있어서,
    상기 제2 기본 채널로서 결정된 상기 제1 및 제2 입력 채널의 조합은 상기 2개의 입력 채널 중 하나가 다른 입력 채널들에 비해 상기 제2 기본 채널에 보다 많이 기여하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  5. 제2항에 있어서,
    상기 결정 수단(322)이 상기 제1 입력 채널과 상기 제2 입력 채널의 조합으로서 상기 제2 기본 채널을 결정함에 있어서, 그 조합이 시간에 따라 변하게 결정하도록, 상기 코히어런스 수치가 시변적인 것을 특징으로 하는 멀티채널 출력 신호 구성 장치
  6. 제1항에 있어서,
    상기 파라미터 사이드 정보는 상기 코히어런스 수치를 포함하고, 상기 코히어런스 수치는 상기 제1 원본 채널 및 상기 제2 원본 채널을 이용하여 결정되며, 상기 제공 수단(320)은 상기 파라미터 사이드 정보로부터 코히어런스 수치를 추출하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  7. 제6항에 있어서,
    상기 입력 신호는 일련의 프레임을 가지며, 상기 파라미터 사이드 정보는 상기 프레임들에 연관된 상기 코히어런스 수치를 포함하는 일련의 파라미터를 포함하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  8. 제1항에 있어서,
    상기 원본 신호는 중앙 채널(C)을 더 포함하며, 상기 결정 수단(322)은 동일한 부분에 있는 상기 제1 입력 채널 및 상기 제2 입력 채널을 이용하여 제3 기본 채널을 계산하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  9. 제1항에 있어서,
    상기 파라미터 사이드 정보는 주파수 의존적이며, 상기 합성 수단(324)은 주파수 종속적 합성을 수행하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  10. 제1항에 있어서,
    상기 파라미터 사이드 정보는 ICLD 파라미터 및 ICTD 파라미터를 포함하는 BCC 파라미터를 포함하며, 상기 합성 수단은 출력 채널을 합성할 때 상기 결정 수단에 의해 결정된 기본 채널을 이용하여 BCC 합성을 수행하는 것을 특징으로 하는 멀티채널 출력 신호 구성장치.
  11. 제1항에 있어서,
    상기 결정 수단(322)은 상기 제1 기본 채널을 상기 제1 및 제2 입력 채널들 중 하나로서 결정하고 상기 제2 기본 채널을 상기 코히어런스 수치에 의존하는 가중 팩터를 이용하여 상기 제1 및 제2 입력 채널들의 가중화된 조합으로서 결정하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  12. 제11항에 있어서,
    상기 가중 팩터는 아래와 같이 결정되며,
    Figure 112006050714287-PCT00001
    여기서, α는 가중 팩터이고, A, B, C 는 아래와 같이 결정되며,
    Figure 112006050714287-PCT00002
    여기서, k는 코히어런스 수치며, L, R, C 는 아래와 같이 결정되며,
    Figure 112006050714287-PCT00003
    여기서, l은 제1 입력 채널, r은 제2 입력 채널인 것을 특징으로 하는 멀티채널 출력 신호 구성장치.
  13. 제11항에 있어서,
    상기 코히어런스 수치는 주파수 밴드마다 주어지며, 상기 결정 수단은 상기 주파수 밴드에 대하여 상기 제2 기본 채널을 결정하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  14. 제11항에 있어서,
    상기 코히어런스 수치는 아래와 같이 결정되며,
    Figure 112006050714287-PCT00004
    여기서, cc(x,y)는 2개의 원본 채널 x, y 사이의 코히어런스 수치며, xi 는 시각 i에서의 상기 제1 원본 채널의 샘플을 나타내며, yi 는 시각 i에서의 상기 제2 원본 채널의 샘플을 나타내는 것이 특징인 멀티채널 출력 신호 구성 장치.
  15. 제1항에 있어서,
    상기 결정 수단(322)은 상기 파라미터 사이드 정보에 포함되어 전송된, 상기 원본 채널들로부터 유도된 전력 수치를 이용하여 상기 출력 채널들을 스케일링하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  16. 제11항에 있어서,
    상기 결정 수단(322)은 시간 및/또는 주파수에 걸쳐서 상기 가중 팩터를 평활화하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  17. 제1항에 있어서,
    상기 파라미터 사이드 정보는 상기 원본 신호에서의 상기 원본 채널의 에너지 분포를 나타내는 레벨 정보를 포함하며, 상기 합성 수단(324)은 상기 출력 채널 을 스케일링함에 있어서, 상기 출력 채널의 에너지가 상기 제1 입력 채널 및 상기 제2 입력 채널의 에너지의 합과 동일해지도록 하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  18. 제17항에 있어서,
    상기 합성 수단(324)은 상기 결정된 기본 채널 및 상기 레벨 정보에 기초하여 미가공(raw) 출력 채널을 계산하고, 상기 미가공 출력 채널을 스케일링하여 그 스케일링된 미가공 출력 채널의 총 에너지가 상기 제1 및 제2 입력 채널의 총 에너지와 동일해지도록 하는 것을 특징으로 하는 멀티채널 출력 신호 구성 장치.
  19. 제1항에 있어서,
    상기 입력 신호는 좌측 채널 및 우측 채널을 포함하며, 상기 원본 채널은 전방 좌측 채널, 좌측 서라운드 채널, 전방 우측 채널, 및 우측 서라운드 채널을 포함하며, 상기 결정 수단(322)은,
    상기 좌측 채널을 상기 전방 좌측 채널(L)의 합성을 위한 기본 채널로서 결정하고,
    상기 우측 채널을 상기 전방 우측 채널(R)의 합성을 위한 기본 채널로서 결정하고,
    상기 좌측 채널 및 상기 우측 채널의 조합을 상기 좌측 서라운드 채널(Ls) 및 상기 우측 서라운드 채널(Rs)에 대한 기본 채널로서 결정하는 것을 특징으로 하 는 멀티채널 출력 신호 구성 장치.
  20. 제1항에 있어서,
    상기 입력 신호는 좌측 채널 및 우측 채널을 포함하며, 상기 원본 채널은 전방 좌측 채널, 좌측 서라운드 채널, 전방 우측 채널, 및 우측 서라운드 채널을 포함하며, 상기 결정 수단(322)은,
    상기 좌측 채널을 상기 전방 좌측 채널의 합성을 위한 기본 채널로서 결정하고,
    상기 우측 채널을 상기 우측 서라운드 채널의 합성을 위한 기본 채널로서 결정하고,
    상기 제1 및 제2 입력 채널의 조합을 상기 전방 우측 채널 또는 상기 좌측 서라운드 채널의 합성을 위한 기본 채널로서 결정하는 장치.
  21. 입력 신호 및 파라미터 사이드 정보를 이용하여 멀티채널 출력 신호를 구성하는 방법으로서, 상기 입력 신호는 제1 입력 채널 및 원본 멀티채널 신호로부터 유도된 제2 입력 채널을 포함하며, 상기 원본 멀티채널 신호는 복수의 채널을 가지며, 상기 복수의 채널은 예상 청취자 위치의 일측에 위치한 것으로 규정된 적어도 2개의 원본 채널을 포함하며, 제1 원본 채널은 상기 적어도 2개의 원본 채널 중 하나이며, 제2 원본 채널은 상기 적어도 2개의 원본 채널 중 다른 하나이며, 상기 파라미터 사이드 정보는 상기 원본 멀티채널 신호의 원본 채널들 사이의 상호관계를 설명하며, 상기 방법은,
    상기 제1 및 제2 입력 채널 중 하나 또는 상기 제1 및 제2 입력 채널의 조합을 선택함으로써 제1 기본 채널을 결정하고, 상기 제1 및 제2 입력 채널 중 다른 하나 또는 상기 제1 및 제2 입력 채널의 다른 조합을 선택함으로써 제2 기본 채널을 결정하되, 상기 제1 기본 채널과 상기 제2 기본 채널이 서로 다르게 하는 결정단계(322); 및
    상기 제1 기본 채널 및 상기 파라미터 사이드 정보를 이용하여 제1 출력 채널을 합성함으로써 상기 예상 청취자 위치의 일측에 위치한 상기 제1 원본 채널의 복원 버전인 제1 합성 출력 채널을 얻고, 상기 제2 기본 채널 및 상기 파라미터 사이드 정보를 이용하여 제2 출력 채널을 합성함으로써 상기 예상 청취자 위치의 동일 측에 위치한 상기 제2 원본 채널의 복원 버전인 제2 합성 출력 채널을 얻는 단계(324)를 포함하는 멀티채널 출력 신호 구성 방법.
  22. 멀티채널 원본 신호로부터 원본 채널의 수보다 적은 수의 채널을 갖는 다운믹스 신호를 생성하기 위한 장치로서,
    다운믹스 규칙을 이용하여 제1 다운믹스 채널 및 제2 다운믹스 채널을 계산하기 위한 수단(12);
    상기 멀티채널 원본 신호내의 각 채널들 사이의 에너지 분포를 나타내는 파라미터 레벨 정보를 계산하기 위한 수단(14);
    예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 코히어런스 수 치를 결정하기 위한 수단(142); 및
    상기 제1 및 제2 다운믹스 채널, 상기 파라미터 레벨 정보, 및 상기 예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 적어도 하나의 코히어런스 수치 또는 상기 적어도 하나의 코히어런스 수치로부터 유도된 값만을 이용하되, 상기 예상 청취자 위치의 일측과 다른 측에 위치한 채널들 사이의 코히어런스 수치는 이용하지 않고 출력 신호를 형성하기 위한 수단(18)을 포함하는 다운믹스 신호 생성 장치.
  23. 제22항에 있어서,
    상기 예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 시간 지연 정보를 결정하기 위한 수단(143)을 더 구비하되,
    상기 형성 수단(18)은 상기 예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 시간 레벨 정보만을 포함하되, 상기 예상 청취자 위치의 일측과 다른 측에 위치한 2개의 원본 채널들 사이의 시간 레벨 정보는 포함하지 않는 것을 특징으로 하는 다운믹스 신호 생성 장치.
  24. 멀티채널 원본 신호로부터 원본 채널의 수보다 적은 수의 채널을 갖는 다운믹스 신호를 생성하는 방법으로서,
    다운믹스 규칙을 이용하여 제1 다운믹스 채널 및 제2 다운믹스 채널을 계산하는 단계(12);
    상기 멀티채널 원본 신호내의 각 채널들 사이의 에너지 분포를 나타내는 파라미터 레벨 정보를 계산하는 단계(14);
    예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 코히어런스 수치를 결정하는 단계(142); 및
    상기 제1 및 제2 다운믹스 채널, 상기 파라미터 레벨 정보, 및 상기 예상 청취자 위치의 일측에 위치한 2개의 원본 채널들 사이의 적어도 하나의 코히어런스 수치 또는 상기 적어도 하나의 코히어런스 수치로부터 유도된 값만을 이용하되, 상기 예상 청취자 위치의 일측과 다른 측에 위치한 채널들 사이의 코히어런스 수치는 이용하지 않고 출력 신호를 형성하는 단계(18)를 포함하는 다운믹스 신호 생성 방법.
  25. 제21항에 따른 멀티채널 구성 방법 또는 제24항에 따른 다운믹스 신호를 생성하는 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
KR1020067014353A 2004-01-20 2005-01-17 멀티채널 출력 신호를 구성하고 다운믹스 신호를 생성하기위한 장치 및 방법 KR100803344B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/762,100 US7394903B2 (en) 2004-01-20 2004-01-20 Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US10/762,100 2004-01-20

Publications (2)

Publication Number Publication Date
KR20060132867A true KR20060132867A (ko) 2006-12-22
KR100803344B1 KR100803344B1 (ko) 2008-02-13

Family

ID=34750329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067014353A KR100803344B1 (ko) 2004-01-20 2005-01-17 멀티채널 출력 신호를 구성하고 다운믹스 신호를 생성하기위한 장치 및 방법

Country Status (17)

Country Link
US (1) US7394903B2 (ko)
EP (1) EP1706865B1 (ko)
JP (1) JP4574626B2 (ko)
KR (1) KR100803344B1 (ko)
CN (1) CN1910655B (ko)
AT (1) ATE393950T1 (ko)
AU (1) AU2005204715B2 (ko)
BR (1) BRPI0506533B1 (ko)
CA (1) CA2554002C (ko)
DE (1) DE602005006385T2 (ko)
ES (1) ES2306076T3 (ko)
IL (1) IL176776A (ko)
MX (1) MXPA06008030A (ko)
NO (1) NO337395B1 (ko)
PT (1) PT1706865E (ko)
RU (1) RU2329548C2 (ko)
WO (1) WO2005069274A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8407059B2 (en) 2007-12-21 2013-03-26 Samsung Electronics Co., Ltd. Method and apparatus of audio matrix encoding/decoding

Families Citing this family (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454257B2 (en) * 2001-02-08 2008-11-18 Warner Music Group Apparatus and method for down converting multichannel programs to dual channel programs using a smart coefficient generator
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7447317B2 (en) 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7929708B2 (en) * 2004-01-12 2011-04-19 Dts, Inc. Audio spatial environment engine
US7460990B2 (en) 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
ATE430360T1 (de) 2004-03-01 2009-05-15 Dolby Lab Licensing Corp Mehrkanalige audiodekodierung
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US7646875B2 (en) * 2004-04-05 2010-01-12 Koninklijke Philips Electronics N.V. Stereo coding and decoding methods and apparatus thereof
CN1947172B (zh) * 2004-04-05 2011-08-03 皇家飞利浦电子股份有限公司 方法、装置、编码器设备、解码器设备以及音频系统
DE602005006777D1 (de) * 2004-04-05 2008-06-26 Koninkl Philips Electronics Nv Mehrkanal-codierer
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US20050273324A1 (en) * 2004-06-08 2005-12-08 Expamedia, Inc. System for providing audio data and providing method thereof
US8843378B2 (en) * 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
RU2391714C2 (ru) * 2004-07-14 2010-06-10 Конинклейке Филипс Электроникс Н.В. Преобразование аудиоканалов
US7508947B2 (en) * 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
TWI393120B (zh) * 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 用於音訊信號編碼及解碼之方法和系統、音訊信號編碼器、音訊信號解碼器、攜帶有位元流之電腦可讀取媒體、及儲存於電腦可讀取媒體上的電腦程式
JP4555299B2 (ja) * 2004-09-28 2010-09-29 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US20060106620A1 (en) * 2004-10-28 2006-05-18 Thompson Jeffrey K Audio spatial environment down-mixer
US7853022B2 (en) * 2004-10-28 2010-12-14 Thompson Jeffrey K Audio spatial environment engine
US20060093164A1 (en) * 2004-10-28 2006-05-04 Neural Audio, Inc. Audio spatial environment engine
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
WO2006048817A1 (en) * 2004-11-04 2006-05-11 Koninklijke Philips Electronics N.V. Encoding and decoding of multi-channel audio signals
JP2008519306A (ja) * 2004-11-04 2008-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号の組のエンコード及びデコード
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
WO2006060279A1 (en) * 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
JP5017121B2 (ja) * 2004-11-30 2012-09-05 アギア システムズ インコーポレーテッド 外部的に供給されるダウンミックスとの空間オーディオのパラメトリック・コーディングの同期化
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7903824B2 (en) * 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
DE102005010057A1 (de) * 2005-03-04 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms
KR101271069B1 (ko) * 2005-03-30 2013-06-04 돌비 인터네셔널 에이비 다중채널 오디오 인코더 및 디코더와, 인코딩 및 디코딩 방법
WO2006103586A1 (en) * 2005-03-30 2006-10-05 Koninklijke Philips Electronics N.V. Audio encoding and decoding
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
EP1876586B1 (en) * 2005-04-28 2010-01-06 Panasonic Corporation Audio encoding device and audio encoding method
US8917874B2 (en) * 2005-05-26 2014-12-23 Lg Electronics Inc. Method and apparatus for decoding an audio signal
EP1897084A2 (en) * 2005-05-26 2008-03-12 LG Electronics Inc. Method of encoding and decoding an audio signal
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
EP1927102A2 (en) * 2005-06-03 2008-06-04 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
WO2007004831A1 (en) * 2005-06-30 2007-01-11 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
US8494667B2 (en) * 2005-06-30 2013-07-23 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
WO2007004830A1 (en) * 2005-06-30 2007-01-11 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
WO2007010451A1 (en) * 2005-07-19 2007-01-25 Koninklijke Philips Electronics N.V. Generation of multi-channel audio signals
US20070055510A1 (en) 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
MX2008002760A (es) * 2005-08-30 2008-04-07 Lg Electronics Inc Metodo para decodificar una senal de audio.
US7788107B2 (en) * 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
JP4859925B2 (ja) * 2005-08-30 2012-01-25 エルジー エレクトロニクス インコーポレイティド オーディオ信号デコーディング方法及びその装置
EP1938662B1 (en) * 2005-08-30 2016-09-28 LG Electronics Inc. Method, apparatus, computer-readable medium for decoding an audio signal
CN101253556B (zh) * 2005-09-02 2011-06-22 松下电器产业株式会社 能量整形装置以及能量整形方法
EP1761110A1 (en) * 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
JP5108772B2 (ja) 2005-09-14 2012-12-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
TWI462086B (zh) * 2005-09-14 2014-11-21 Lg Electronics Inc 音頻訊號之解碼方法及其裝置
EP1943642A4 (en) * 2005-09-27 2009-07-01 Lg Electronics Inc METHOD AND DEVICE FOR CODING / DECODING A MULTI-CHANNEL AUDIO SIGNAL
TWI450603B (zh) * 2005-10-04 2014-08-21 Lg Electronics Inc 音頻訊號處理方法及其系統與電腦可讀取媒體
US7646319B2 (en) * 2005-10-05 2010-01-12 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US8068569B2 (en) * 2005-10-05 2011-11-29 Lg Electronics, Inc. Method and apparatus for signal processing and encoding and decoding
US7751485B2 (en) * 2005-10-05 2010-07-06 Lg Electronics Inc. Signal processing using pilot based coding
CN101283400B (zh) * 2005-10-05 2015-04-29 Lg电子株式会社 信号处理的方法和装置以及编码和解码方法及其装置
US7696907B2 (en) * 2005-10-05 2010-04-13 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
KR100857121B1 (ko) * 2005-10-05 2008-09-05 엘지전자 주식회사 신호 처리 방법 및 이의 장치, 그리고 인코딩 및 디코딩방법 및 이의 장치
US7672379B2 (en) * 2005-10-05 2010-03-02 Lg Electronics Inc. Audio signal processing, encoding, and decoding
JP4976304B2 (ja) * 2005-10-07 2012-07-18 パナソニック株式会社 音響信号処理装置、音響信号処理方法およびプログラム
US8019611B2 (en) * 2005-10-13 2011-09-13 Lg Electronics Inc. Method of processing a signal and apparatus for processing a signal
EP1946308A4 (en) * 2005-10-13 2010-01-06 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A SIGNAL
US20080255859A1 (en) * 2005-10-20 2008-10-16 Lg Electronics, Inc. Method for Encoding and Decoding Multi-Channel Audio Signal and Apparatus Thereof
US7761289B2 (en) * 2005-10-24 2010-07-20 Lg Electronics Inc. Removing time delays in signal paths
JP2009514008A (ja) * 2005-10-26 2009-04-02 エルジー エレクトロニクス インコーポレイティド マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
US8027485B2 (en) * 2005-11-21 2011-09-27 Broadcom Corporation Multiple channel audio system supporting data channel replacement
KR100644715B1 (ko) * 2005-12-19 2006-11-10 삼성전자주식회사 능동적 오디오 매트릭스 디코딩 방법 및 장치
US8111830B2 (en) * 2005-12-19 2012-02-07 Samsung Electronics Co., Ltd. Method and apparatus to provide active audio matrix decoding based on the positions of speakers and a listener
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR100803212B1 (ko) * 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
KR100953643B1 (ko) * 2006-01-19 2010-04-20 엘지전자 주식회사 미디어 신호 처리 방법 및 장치
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
EP1989704B1 (en) * 2006-02-03 2013-10-16 Electronics and Telecommunications Research Institute Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue
KR100878816B1 (ko) * 2006-02-07 2009-01-14 엘지전자 주식회사 부호화/복호화 장치 및 방법
ATE456261T1 (de) * 2006-02-21 2010-02-15 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
JP5254808B2 (ja) * 2006-02-23 2013-08-07 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
KR100773560B1 (ko) * 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR100773562B1 (ko) * 2006-03-06 2007-11-07 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
EP2000001B1 (en) * 2006-03-28 2011-12-21 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for a decoder for multi-channel surround sound
US7965848B2 (en) * 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
US20090313029A1 (en) * 2006-07-14 2009-12-17 Anyka (Guangzhou) Software Technologiy Co., Ltd. Method And System For Backward Compatible Multi Channel Audio Encoding and Decoding with the Maximum Entropy
KR100763920B1 (ko) * 2006-08-09 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2채널의 바이노럴 신호로 복호화하는 방법 및 장치
RU2454825C2 (ru) * 2006-09-14 2012-06-27 Конинклейке Филипс Электроникс Н.В. Манипулирование зоной наилучшего восприятия для многоканального сигнала
KR100891666B1 (ko) 2006-09-29 2009-04-02 엘지전자 주식회사 믹스 신호의 처리 방법 및 장치
CN101652810B (zh) * 2006-09-29 2012-04-11 Lg电子株式会社 用于处理混合信号的装置及其方法
US8504376B2 (en) * 2006-09-29 2013-08-06 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
CN101529898B (zh) * 2006-10-12 2014-09-17 Lg电子株式会社 用于处理混合信号的装置及其方法
CN101692703B (zh) * 2006-10-30 2012-09-26 深圳创维数字技术股份有限公司 一种实现数字电视中图文电子节目指南信息的方法及装置
EP2092516A4 (en) * 2006-11-15 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR AUDIO SIGNAL DECODING
CN101632117A (zh) * 2006-12-07 2010-01-20 Lg电子株式会社 用于解码音频信号的方法和装置
JP5209637B2 (ja) * 2006-12-07 2013-06-12 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
US20100121470A1 (en) * 2007-02-13 2010-05-13 Lg Electronics Inc. Method and an apparatus for processing an audio signal
WO2008100067A1 (en) * 2007-02-13 2008-08-21 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8571852B2 (en) * 2007-03-02 2013-10-29 Telefonaktiebolaget L M Ericsson (Publ) Postfilter for layered codecs
US7933372B2 (en) * 2007-03-08 2011-04-26 Freescale Semiconductor, Inc. Successive interference cancellation based on the number of retransmissions
JP5213339B2 (ja) * 2007-03-12 2013-06-19 アルパイン株式会社 オーディオ装置
GB0705328D0 (en) * 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
EP2158587A4 (en) * 2007-06-08 2010-06-02 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AUDIO SIGNAL
CN101681625B (zh) * 2007-06-08 2012-11-07 杜比实验室特许公司 用于从两个输入的音频信号获得两个环绕声音频通道的方法和设备
US8046214B2 (en) * 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
US8170218B2 (en) * 2007-10-04 2012-05-01 Hurtado-Huyssen Antoine-Victor Multi-channel audio treatment system and method
EP2046076B1 (en) * 2007-10-04 2010-03-03 Antoine-Victor Hurtado-Huyssen Multi-channel audio treatment system and method
US8249883B2 (en) * 2007-10-26 2012-08-21 Microsoft Corporation Channel extension coding for multi-channel source
KR101438389B1 (ko) * 2007-11-15 2014-09-05 삼성전자주식회사 오디오 매트릭스 디코딩 방법 및 장치
EP2212883B1 (en) * 2007-11-27 2012-06-06 Nokia Corporation An encoder
EP2238589B1 (en) * 2007-12-09 2017-10-25 LG Electronics Inc. A method and an apparatus for processing a signal
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
ATE557387T1 (de) * 2008-07-30 2012-05-15 France Telecom Rekonstruktion von mehrkanal-audiodaten
KR101366997B1 (ko) * 2008-07-31 2014-02-24 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 바이노럴 신호를 위한 신호생성
AU2015207815B2 (en) * 2008-07-31 2016-10-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Signal generation for binaural signals
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
TWI559786B (zh) 2008-09-03 2016-11-21 杜比實驗室特許公司 增進多聲道之再生
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
JP5522920B2 (ja) * 2008-10-23 2014-06-18 アルパイン株式会社 オーディオ装置及びオーディオ処理方法
ES2963744T3 (es) * 2008-10-29 2024-04-01 Dolby Int Ab Protección de recorte de señal usando metadatos de ganancia de audio preexistentes
EP2214162A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
EP2394268B1 (en) * 2009-04-08 2014-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing
US20120045065A1 (en) * 2009-04-17 2012-02-23 Pioneer Corporation Surround signal generating device, surround signal generating method and surround signal generating program
JP2011002574A (ja) * 2009-06-17 2011-01-06 Nippon Hoso Kyokai <Nhk> ３次元音響符号化装置、３次元音響復号装置、符号化プログラム及び復号プログラム
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
WO2011000409A1 (en) * 2009-06-30 2011-01-06 Nokia Corporation Positional disambiguation in spatial audio
KR101615262B1 (ko) * 2009-08-12 2016-04-26 삼성전자주식회사 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치
US8396576B2 (en) * 2009-08-14 2013-03-12 Dts Llc System for adaptively streaming audio objects
JP2011048101A (ja) * 2009-08-26 2011-03-10 Renesas Electronics Corp 画素回路および表示装置
JP5345024B2 (ja) * 2009-08-28 2013-11-20 日本放送協会 ３次元音響符号化装置、３次元音響復号装置、符号化プログラム及び復号プログラム
EP2309781A3 (en) * 2009-09-23 2013-12-18 Iosono GmbH Apparatus and method for calculating filter coefficients for a predefined loudspeaker arrangement
US8774417B1 (en) 2009-10-05 2014-07-08 Xfrm Incorporated Surround audio compatibility assessment
TWI413110B (zh) * 2009-10-06 2013-10-21 Dolby Int Ab 以選擇性通道解碼的有效多通道信號處理
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
US9305550B2 (en) * 2009-12-07 2016-04-05 J. Carl Cooper Dialogue detector and correction
FR2954640B1 (fr) 2009-12-23 2012-01-20 Arkamys Procede d'optimisation de la reception stereo pour radio analogique et recepteur de radio analogique associe
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
US20120155650A1 (en) * 2010-12-15 2012-06-21 Harman International Industries, Incorporated Speaker array for virtual surround rendering
WO2012093352A1 (en) * 2011-01-05 2012-07-12 Koninklijke Philips Electronics N.V. An audio system and method of operation therefor
US9026450B2 (en) 2011-03-09 2015-05-05 Dts Llc System for dynamically creating and rendering audio objects
EP2523472A1 (en) * 2011-05-13 2012-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method and computer program for generating a stereo output signal for providing additional output channels
BR112013033362B1 (pt) 2011-07-04 2021-10-26 Huawei Technologies Co., Ltd Módulo de frequência de rádio que suporta múltiplas portadoras, estação de base e método de distribuição de portadoras
JP5737077B2 (ja) * 2011-08-30 2015-06-17 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
KR101842257B1 (ko) * 2011-09-14 2018-05-15 삼성전자주식회사 신호 처리 방법, 그에 따른 엔코딩 장치, 및 그에 따른 디코딩 장치
US9183842B2 (en) * 2011-11-08 2015-11-10 Vixs Systems Inc. Transcoder with dynamic audio channel changing
WO2013073810A1 (ko) * 2011-11-14 2013-05-23 한국전자통신연구원 스케일러블 다채널 오디오 신호를 지원하는 부호화 장치 및 복호화 장치, 상기 장치가 수행하는 방법
US8711013B2 (en) * 2012-01-17 2014-04-29 Lsi Corporation Coding circuitry for difference-based data transformation
US9131313B1 (en) * 2012-02-07 2015-09-08 Star Co. System and method for audio reproduction
US9622014B2 (en) 2012-06-19 2017-04-11 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US9363603B1 (en) 2013-02-26 2016-06-07 Xfrm Incorporated Surround audio dialog balance assessment
EP2981956B1 (en) 2013-04-05 2022-11-30 Dolby International AB Audio processing system
US9613660B2 (en) 2013-04-05 2017-04-04 Dts, Inc. Layered audio reconstruction system
US8804971B1 (en) 2013-04-30 2014-08-12 Dolby International Ab Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio
US9666198B2 (en) 2013-05-24 2017-05-30 Dolby International Ab Reconstruction of audio scenes from a downmix
KR101761569B1 (ko) 2013-05-24 2017-07-27 돌비 인터네셔널 에이비 오디오 현장의 코딩
EP3005353B1 (en) 2013-05-24 2017-08-16 Dolby International AB Efficient coding of audio scenes comprising audio objects
CN110223702B (zh) 2013-05-24 2023-04-11 杜比国际公司 音频解码系统和重构方法
WO2014187990A1 (en) 2013-05-24 2014-11-27 Dolby International Ab Efficient coding of audio scenes comprising audio objects
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2830053A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2830335A3 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
EP2854133A1 (en) * 2013-09-27 2015-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation of a downmix signal
AU2014331094A1 (en) * 2013-10-02 2016-05-19 Stormingswiss Gmbh Method and apparatus for downmixing a multichannel signal and for upmixing a downmix signal
BR112016008426B1 (pt) 2013-10-21 2022-09-27 Dolby International Ab Método para reconstrução de uma pluralidade de sinais de áudio, sistema de decodificação de áudio, método para codificação de uma pluralidade de sinais de áudio, sistema de codificação de áudio, e mídia legível por computador
CN105981100B (zh) * 2014-01-08 2020-02-28 杜比国际公司 用于改善对声场的高阶高保真度立体声响复制表示进行编码所需的边信息的编码的方法和装置
EP3095117B1 (en) * 2014-01-13 2018-08-22 Nokia Technologies Oy Multi-channel audio signal classifier
WO2015150384A1 (en) 2014-04-01 2015-10-08 Dolby International Ab Efficient coding of audio scenes comprising audio objects
EP2980789A1 (en) * 2014-07-30 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhancing an audio signal, sound enhancing system
JP6640849B2 (ja) * 2014-10-31 2020-02-05 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ信号のパラメトリック・エンコードおよびデコード
US9830927B2 (en) * 2014-12-16 2017-11-28 Psyx Research, Inc. System and method for decorrelating audio data
EP3107097B1 (en) * 2015-06-17 2017-11-15 Nxp B.V. Improved speech intelligilibility
EP3369257B1 (en) * 2015-10-27 2021-08-18 Ambidio, Inc. Apparatus and method for sound stage enhancement
CN117238300A (zh) * 2016-01-22 2023-12-15 弗劳恩霍夫应用研究促进协会 使用帧控制同步来编码或解码多声道音频信号的装置和方法
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
GB201718341D0 (en) * 2017-11-06 2017-12-20 Nokia Technologies Oy Determination of targeted spatial audio parameters and associated spatial audio playback
GB2572650A (en) 2018-04-06 2019-10-09 Nokia Technologies Oy Spatial audio parameters and associated spatial audio playback
GB2574239A (en) 2018-05-31 2019-12-04 Nokia Technologies Oy Signalling of spatial audio parameters
DE102018127071B3 (de) * 2018-10-30 2020-01-09 Harman Becker Automotive Systems Gmbh Audiosignalverarbeitung mit akustischer Echounterdrückung
US11356791B2 (en) * 2018-12-27 2022-06-07 Gilberto Torres Ayala Vector audio panning and playback system
CN111615044B (zh) * 2019-02-25 2021-09-14 宏碁股份有限公司 声音信号的能量分布修正方法及其系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2165370T3 (es) * 1993-06-22 2002-03-16 Thomson Brandt Gmbh Metodo para obtener una matriz decodificadora multicanal.
DE4409368A1 (de) * 1994-03-18 1995-09-21 Fraunhofer Ges Forschung Verfahren zum Codieren mehrerer Audiosignale
US5912976A (en) * 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
JP4478220B2 (ja) * 1997-05-29 2010-06-09 ソニー株式会社 音場補正回路
JP3657120B2 (ja) * 1998-07-30 2005-06-08 株式会社アーニス・サウンド・テクノロジーズ 左，右両耳用のオーディオ信号を音像定位させるための処理方法
JP2000214887A (ja) * 1998-11-16 2000-08-04 Victor Co Of Japan Ltd 音声符号化装置、光記録媒体、音声復号装置、音声伝送方法及び伝送媒体
JP2002175097A (ja) * 2000-12-06 2002-06-21 Yamaha Corp 音声信号のエンコード／圧縮装置およびデコード／伸長装置
KR100904985B1 (ko) * 2001-02-07 2009-06-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 채널 변환
US7006636B2 (en) * 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
KR100752482B1 (ko) * 2001-07-07 2007-08-28 엘지전자 주식회사 멀티채널 스트림 기록 재생장치 및 방법
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
TW569551B (en) * 2001-09-25 2004-01-01 Roger Wallace Dressler Method and apparatus for multichannel logic matrix decoding
CN1647156B (zh) 2002-04-22 2010-05-26 皇家飞利浦电子股份有限公司 参数编码方法、参数编码器、用于提供音频信号的设备、解码方法、解码器、用于提供解码后的多声道音频信号的设备
EP2879299B1 (en) * 2002-05-03 2017-07-26 Harman International Industries, Incorporated Multi-channel downmixing device
JP2003333699A (ja) * 2002-05-10 2003-11-21 Pioneer Electronic Corp マトリックス・サラウンドデコード装置
KR20040043743A (ko) * 2002-11-19 2004-05-27 주식회사 디지털앤디지털 멀티채널 검색장치와 방법
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8407059B2 (en) 2007-12-21 2013-03-26 Samsung Electronics Co., Ltd. Method and apparatus of audio matrix encoding/decoding

Also Published As

Publication number Publication date
CN1910655A (zh) 2007-02-07
JP2007519349A (ja) 2007-07-12
EP1706865B1 (en) 2008-04-30
PT1706865E (pt) 2008-08-12
KR100803344B1 (ko) 2008-02-13
US7394903B2 (en) 2008-07-01
ES2306076T3 (es) 2008-11-01
MXPA06008030A (es) 2007-03-07
WO2005069274A1 (en) 2005-07-28
NO20063722L (no) 2006-10-19
BRPI0506533B1 (pt) 2018-11-06
BRPI0506533A (pt) 2007-02-27
AU2005204715A1 (en) 2005-07-28
US20050157883A1 (en) 2005-07-21
DE602005006385T2 (de) 2009-05-28
CA2554002C (en) 2013-12-03
RU2329548C2 (ru) 2008-07-20
CN1910655B (zh) 2010-11-10
AU2005204715B2 (en) 2008-08-21
CA2554002A1 (en) 2005-07-28
DE602005006385D1 (de) 2008-06-12
ATE393950T1 (de) 2008-05-15
IL176776A0 (en) 2008-03-20
RU2006129940A (ru) 2008-02-27
NO337395B1 (no) 2016-04-04
IL176776A (en) 2010-11-30
EP1706865A1 (en) 2006-10-04
JP4574626B2 (ja) 2010-11-04

Similar Documents

Publication Publication Date Title
KR100803344B1 (ko) 멀티채널 출력 신호를 구성하고 다운믹스 신호를 생성하기위한 장치 및 방법
RU2361185C2 (ru) Устройство и способ для формирования многоканального выходного сигнала
KR101215872B1 (ko) 송신되는 채널들에 기초한 큐들을 갖는 공간 오디오의파라메트릭 코딩
KR101236259B1 (ko) 오디오 채널들을 인코딩하는 방법 및 장치
KR101215868B1 (ko) 오디오 채널들을 인코딩 및 디코딩하는 방법, 및 오디오 채널들을 인코딩 및 디코딩하는 장치
KR100737302B1 (ko) 호환성 다중-채널 코딩/디코딩
KR100913987B1 (ko) 다중-채널 출력 신호를 발생시키기 위한 다중-채널합성장치 및 방법
KR100928311B1 (ko) 오디오 피스 또는 오디오 데이터스트림의 인코딩된스테레오 신호를 생성하는 장치 및 방법
RU2409912C9 (ru) Декодирование бинауральных аудиосигналов

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140203

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180131

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 13