KR101732338B1 - 매개변수 인코딩 및 디코딩 - Google Patents

매개변수 인코딩 및 디코딩 Download PDF

Info

Publication number
KR101732338B1
KR101732338B1 KR1020127014839A KR20127014839A KR101732338B1 KR 101732338 B1 KR101732338 B1 KR 101732338B1 KR 1020127014839 A KR1020127014839 A KR 1020127014839A KR 20127014839 A KR20127014839 A KR 20127014839A KR 101732338 B1 KR101732338 B1 KR 101732338B1
Authority
KR
South Korea
Prior art keywords
weight
mix
channel
signal
parameter data
Prior art date
Application number
KR1020127014839A
Other languages
English (en)
Other versions
KR20120089335A (ko
Inventor
알베르튀스 코르넬리스 덴 브린케르
에릭 호사이뉘스 페트뤼스 스하이에르
아르놀뒤스 베르네르 요하네스 오멘
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20120089335A publication Critical patent/KR20120089335A/ko
Application granted granted Critical
Publication of KR101732338B1 publication Critical patent/KR101732338B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Abstract

멀티-채널 오디오 신호에 대한 인코더는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는 제 1 및 제 2 가중치 각각에 의해 가중된 적어도 제 1 및 제 2 채널 신호의 조합으로서 다운-믹스를 생성하기 위한 다운-믹서(201, 203, 205)를 포함한다. 또한, 회로(201, 203, 209)는 가중치들을 특징지을 뿐만 아니라 채널 신호들 간의 관계를 특징짓는 업-믹스 매개변수 데이터를 생성한다. 회로는 업-믹스 매개변수 데이터로부터 인코더 가중치들에 대한 가중치 추정들을 생성하고; 업-믹스 매개변수 데이터, 제 1 가중치 추정, 및 제 2 가중치 추정에 응답하여 다운-믹스를 업-믹싱하여 멀티-채널 오디오 신호를 재생성하는 업-믹서(407)를 포함한다. 업-믹싱은 가중치 추정(들)의 적어도 하나의 진폭에 따른다.

Description

매개변수 인코딩 및 디코딩{PARAMETRIC ENCODING AND DECODING}
본 발명은 매개변수 인코딩 및 디코딩에 관한 것이고, 특히, 다운-믹스(down-mix) 및 매개변수 업-믹스 데이터를 이용하는 멀티-채널 신호들의 매개변수 인코딩 및 디코딩에 관한 것이다.
디지털 신호 표현 및 통신이 아날로그 표현 및 통신을 점차적으로 대신하면서, 다양한 소스 신호들의 디지털 인코딩은 지난 십수년 동안 점차적으로 중요해졌다. 예를 들면, 비디오 및 음악과 같은 미디어 콘텐트의 분배는 점차적으로 디지털 콘텐트 인코딩에 기초하고 있다.
멀티-채널 신호들의 인코딩은 멀티-채널 신호를 몇 개 안되는 채널들로 다운-믹싱히고 이 채널들을 인코딩 및 송신함으로써 실행될 수 있다. 예를 들면, 스테레오 신호가 모노 신호(mono signal)로 다운-믹싱되고, 다운-믹스싱된 모노 신호는 그 후 인코딩된다. 매개변수 멀티-채널 인코딩에서는, 본래의 멀티-채널 신호의 (근사치들의) 재생성을 위해 다운-믹스의 업-믹싱을 지원하는 매개변수 데이터가 더 생성된다. 다운-믹싱/업-믹싱 및 연관된 매개변수 데이터를 이용하는 멀티-채널 시스템들의 예들에는 매개변수 스테레오(Parametric Stereo; PS) 표준 및 멀티-채널 매개변수 코딩으로의 그것의 확장(예를 들면, MPEG 서라운드(MPEG Surround); MPS)으로 알려진 기술이 포함된다.
그것의 가장 간단한 형태에서, 스테레오 신호의 모노 신호로의 다운-믹싱은 2개의 스테레오 신호들의 평균을 생성함으로써, 즉, 간단히 중간 또는 합산 신호를 생성함으로써 간단히 실행될 수 있다. 이 모노 신호는 그 후 분배되고 직접적으로 모노-신호로서 더욱 이용될 수 있다. 매개변수 스테레오에 의해 이용되는 것과 같은 인코딩 방식들에서, 다운-믹스 신호 이외에 스테레오 큐들(stereo cues)이 제공된다. 구체적으로, 채널-내 레벨차들, 시간 또는 위상차들, 및 코히런스(coherence) 또는 상관 매개변수들이 (주파수 축들의 바크(Bark) 또는 ERB 대역 분할 및 시간 축들의 고정된 고유한 세그먼트에 전형적으로 대응하는) 시간-주파수 타일(time-frequency tile) 마다 결정된다. 이 데이터는 전형적으로 다운-믹스 신호와 함께 분배되고, 매개변수들에 종속적인 업-믹싱에 의해 본래의 스테레오 신호들dl 올바르게 재생되도록 허용한다.
그러나, 중간 신호를 생성하는 것은 전형적으로 다소 흐릿한 신호들, 즉, 감소된 밝기/고-주파수 콘텐트를 갖는 다소 흐릿한 신호들을 결과로 발생한다는 것은 잘 알려져 있다. 그것은, 전형적인 오디오 신호들에 대하여, 상이한 채널들이 고주파수들에 대하여는 아니고, 저주파수들에 대하여 공평하게 상관되는 경향이 있기 때문이다. 2개의 스테레오 신호들을 바로 합산하는 것은 비-정렬 신호 구성요소들을 효율적으로 억제한다. 실제로, 좌측 및 우측 신호들이 완전히 역위상인 주파수 하위대역들에 대하여, 결과의 중간 신호는 영(zero)이다.
제안된 해결법은, 합산이 실행되기 전에, 채널들의 위상 정렬을 이용하는 것이다. 따라서, 이상적으로 좌측 및 우측 신호들은 서로 합산되기 전에 (시간 도메인 내의 시간차에 대응하는) 주파수 도메인 내의 임의의 위상차에 대하여 보상된다. 그러나, 이러한 방식은 복잡한 경향이 있고 알고리즘적 지연을 도입할 수 있다. 또한, 실제로, 이 방식은 최적의 품질을 제공하지 않을 경향이 있다. 예를 들면, 채널-내 위상차가 측정되면, 우측 채널에 대한 좌측 채널의 또는 그 반대의 위상을 정렬할지가 애매모호해진다. 또한, 양 채널들의 위상을 동일하게 편이하고자 하면 애매모호함이 발생한다. 또한, 위상차는, 상관관계가 낮을 때, 수치적으로 상태가 좋지 않고, 그 결과 시스템이 부정확해지고 강력하지 않게 된다. 전체적인 이들 쟁점들은 위상-정렬에 의해 다운-믹스를 생성할 때 감지가능한 아티팩트들(artifacts)을 유도하는 경향이 있다. 전형적으로, 톤 구성요소들(tonal components) 상의 변조들은 이 방식으부터 발생한다.
그 결과, 가장 실질적인 시스템들은 단순히 좌측 및 우측 신호들의 수단으로서 생성된 소위 수동 다운-믹스를 이용하는 경향이 있다. 유감스럽게도, 수동 다운-믹싱은 몇몇의 연관된 단점들을 갖고 있다. 이들 단점들 중 하나는, 역위상 신호들에 대하여, 음향 에너지가 실질적으로 감소 및 심지어 완전히 손실될 수 있다는 것이다. 이것을 처리하기 위해 제안된 방법은 소위 능동 다운-믹싱을 이용하는 것인데, 여기서 다운-믹스는 본래의 신호들과 같은 에너지를 같도록 다시 스케일링된다(rescaled). 다른 제안된 해결법은 디코더-측 에너지 보상을 제공하는 것이다. 그러나, 이러한 보상들은 보다 글로벌한 레벨 상에 있는 경향이 있고 (보상이 필요한) 톤 구성요소들과 (보상이 불필요한) 잡음 사이를 구별하지 않는다. 또한, 수동 및 능동 다운-믹스 방식들 모두에서, 역위상으로 접근하는 신호들에 대한 문제점들이 발생한다. 실제로, 역위상 구성요소들은 다운-믹스 신호들에서 완벽하게 빠진다.
따라서, 멀티-채널 매개변수 인코딩/디코딩에 대한 개선된 시스템이 유익할 것이고, 특히, 증가된 유연성, 촉진된 동작, 촉진된 구현, 감소된 복잡성, 개선된 강력함, 역위상 신호 구성요소들의 개선된 인코딩, 감소된 데이터율 대 품질 비율, 및/또는 개선된 실행을 허용하는 시스템이 유익할 것이다.
따라서, 본 발명은 앞서 언급된 단점들의 하나 이상을 단독으로 또는 임의적으로 조합하여 바람직하게 완화, 경감, 또는 제거하고자 한다.
본 발명의 한 양태에 따라, 멀티-채널 오디오 신호를 생성하기 위한 디코더가 제공되고, 이 디코더는 적어도 제 1 가중치에 의해 가중된 제 1 채널 신호 및 제 2 가중치에 의해 가중된 제 2 채널 신호의 조합인 다운-믹스를 수신하기 위한 제 1 수신기로서, 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는, 상기 제 1 수신기; 제 1 채널 신호와 제 2 채널 신호 간의 관계를 특징짓는 업-믹스 매개변수 데이터를 수신하기 위한 제 2 수신기; 업-믹스 매개변수 데이터로부터 제 1 가중치에 대한 제 1 가중치 추정 및 제 2 가중치에 대한 제 2 가중치 추정을 생성하기 위한 회로; 및 업-믹스 매개변수 데이터, 제 1 가중치 추정, 및 제 2 가중치 추정에 응답하여 다운-믹스를 업-믹싱함으로써 멀티-채널 오디오 신호를 생성하기 위한 업-믹서로서, 업-믹싱은 제 1 가중치 추정 및 제 2 가중치 추정 중 적어도 하나의 진폭에 따르는, 상기 업-믹서를 포함한다.
본 발명은 많은 시나리오들에서 개선된 및/또는 촉진된 동작을 허용할 수 있다. 이 방식은 전형적으로 역위상 문제점들 및/또는 정렬 인코딩의 단점들을 완화할 수 있다. 이 방식은 종종 증가된 데이터율을 필요로 하지 않으면서 개선된 오디오 품질을 허용할 수 있다. 보다 강력한 인코딩/디코딩 시스템이 종종 달성될 수 있고, 특히 이 인코딩/디코딩은 특정 신호 상태들에 덜 민감할 수 있다. 이 방식은 낮은 복잡도의 구현을 허용할 수 있고/있거나 낮은 연산 자원 요구사항(low computational resource requirement)을 가질 수 있다.
이 처리는 하위대역에 기초할 수 있다. 이 인코딩 및 디코딩은 주파수 하위대역들 및 시간 간격들 내에서 실행될 수 있다. 특히, 제 1 가중치 및 제 2 가중치는 다운-믹스 신호 값과 함께 각각의 주파수 하위대역 및 각각의 (시간) 세그먼트에 대하여 제공될 수 있다. 다운-믹스는 하위대역에 대한 가중치들에 의해 가중된 제 1 및 제 2 채널 신호들의 주파수 하위대역 값들을 조합하여 각각의 하위대역에서 개별적으로 생성될 수 있다. 하위대역에 대한 가중치들(및 그에 따라 가중치 추정들)은 제 1 및 제 2 채널 신호들의 적어도 몇몇의 값들에 대하여 상이한 진폭들(및 그에 따라 에너지들)을 갖는다. 각각의 시간-주파수 간격은 구체적으로 인코딩/디코딩 시간 세그먼트 및 주파수 하위대역에 대응할 수 있다.
업-믹스 매개변수 데이터는 다운-믹스로부터 본래의 다운-믹스된 멀티-채널 신호에 대응하는 업-믹스를 생성하기 위해 이용될 수 있는 매개변수들을 포함한다. 업-믹스 매개변수 데이터는 구체적으로 채널간 레벨차(Interchannel Level Difference ; ILD), 채널간 코히런스/상관관계(IC/ICC), 채널간 위상차(IPD), 및/또는 채널간 시간차(ITD) 매개변수들을 포함할 수 있다. 이 매개변수들은 주파수 하위대역들에 대하여 및 적합한 갱신 간격으로 제공될 수 있다. 특히, 한 매개변수 세트는 각각의 인코딩/디코딩 시간 시그먼트에 대한 복수의 주파수 대역들 각각에 대해 제공될 수 있다. 매개변수 데이터에 대하여 이용되는 주파수 대역들 및/또는 시간 세그먼트들은 다운-믹스에 대하여 이용되는 것들과 동일할 수 있지만, 반드시 그럴 필요는 없다. 예를 들면, 보다 낮은 주파수들에 대하여 같은 주파수 하위대역들이 이용될 수 있지만, 보다 높은 주파수들에 대하여는 그렇지 않을 수 있다. 따라서, 업-믹스 매개변수 데이터의 매개변수들과 제 1 및 제 2 가중치들에 대한 시간-주파수 해상도(time-frequency resolution)는 같을 필요가 없다.
하나의 하위대역 내에서, 제 1 및 제 2 가중치들(및 그에 따라 대응하는 가중치 추정들) 중 하나는 몇몇의 신호 값들에 대하여 영(zero)일 수 있다. 제 1 및 제 2 채널 신호들의 조합은, 구체적으로, 각각의 신호가 합산 전에 대응하는 가중치에 의해 스케일링되는, 선형 합산과 같은 선형 조합일 수 있다.
멀티-채널 신호는 2개 이상의 채널들을 포함한다. 구체적으로, 멀티-채널 신호는 2개-채널 (스테레오) 신호일 수 있다.
이 방식은 특히, 낮은 복잡도 및 낮은 데이터율을 유지하는 동시에, 보다 강력한 시스템을 제공하기 위해, 역위상 문제점들을 완화할 수 있다. 구체적으로, 이 방식은 추가 데이터들이 송신되는 것을 요구하지 않으면서, (상이한 진폭들을 갖는) 상이한 가중치들이 결정되도록 허용할 수 있다. 따라서, 증가된 데이터율을 필요로 하지 않으면서, 개선된 오디오 품질이 달성될 수 있다.
제 1 및/또는 제 2 가중치 추정들의 결정은 인코더에서 제 1 및/또는 제 2 가중치들을 결정하기 위해 이용되는 (이용된다고 가정되는) 것과 같은 방식을 이용할 수 있다. 많은 실시예들에서, 하나 또는 모든 가중치들/가중치 추정들은 업-믹스 매개변수 데이터의 매개변수들로부터 가중치/가중치 추정을 결정하기 위해 가정된 함수에 기초하여 결정될 수 있다.
인코더는 수신된 신호의 정확한 특성들에 대한 명백한 정보를 갖지 않을 수 있지만, 다운-믹스가 적어도 제 1 가중치에 의해 가중된 제 1 채널 신호와 제 2 가중치에 의해 가중된 제 2 채널 신호의 조합이라고 가정함으로써 간단히 동작할 수 있는데, 여기서, 제 1 가중치와 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는다. 시간-주파수 간격은 시간 간격, 주파수 간격, 또는, 예를 들면, 시간 세그먼트 내의 주파수 하위대역과 같은 시간 간격과 주파수 간격의 조합에 대응할 수 있다.
본 발명의 선택적인 특징에 따라, 회로는 적어도 몇몇의 시간-주파수 간격들에 대하여 매개변수 데이터의 적어도 몇몇의 매개변수들에 대해 상이한 관계들을 갖는 제 1 가중치 추정 및 제 2 가중치 추정을 생성하도록 구성된다.
이것은 개선된 인코딩/디코딩 시스템을 허용할 수 있고, 특히, 보다 강력한 시스템을 제공하기 위해 역위상 문제점들을 완화할 수 있다. 같은 매개변수들이 상이한 진폭들을 갖는 가중치 추정들을 결과로 생성하도록, 매개변수들로부터 가중치 추정들을 결정하기 위한 함수들은 따라서 2개의 가중치들에 대하여 상이할 수 있다.
따라서 인코더는 적어도 몇 개의 시간-주파수 간격들에 대하여 매개변수 데이터의 적어도 몇몇의 매개변수들에 대해 상이한 관계들을 갖는 제 1 가중치 및 제 2 가중치를 결정하도록 구성될 수 있다.
시간-주파수 간격은 시간 간격, 주파수 간격, 또는, 예를 들면, 시간 세그먼트 내의 주파수 하위대역과 같은 시간 간격과 주파수 간격의 조합에 대응할 수 있다.
본 발명의 선택적인 특징에 따라, 업-믹서는 업-믹스 매개변수 데이터의 에너지 매개변수의 함수로서 제 1 가중치 추정 및 제 2 가중치 추정 중 적어도 하나를 결정하도록 구성되고, 에너지 매개변수는 제 1 채널 신호와 제 2 채널 신호에 대한 상대적인 에너지 특성을 나타낸다.
이것은 개선된 실행 및/또는 촉진된 동작 및/또는 구현을 제공할 수 있다. 에너지는 특히 적합한 가중치들의 결정에 관련하여 고려될 수 있으며, 따라서 이들은 업-믹스 매개변수 데이터의 에너지 매개변수들을 더욱 적합하게 나타내고 그것에 상관될 수 있다. 따라서, 가중치들/가중치 추정들을 결정하는데 에너지 매개변수들을 이용함으로써, 상이한 진폭들을 갖는 가중치들/가중치 추정들이 결정되도록 허용하는 정보의 효율적인 통신이 허용된다. 특히, 가중치들/가중치 추정들을 결정하는데 에너지 매개변수들을 이용함으로써, 단순히 가중치들의 위상보다는 오히려 가중치들의 진폭을 효율적으로 결정하는 것이 허용된다. 에너지 매개변수들은 구체적으로 제 1 채널 신호, 제 2 채널 신호, 또는 그들 간의 차의 에너지 (또는 등가의 전력) 특성들 또는 (교차-전력 특징과 같은) 조합된 신호의 에너지의 에너지에 대한 정보를 제공할 수 있다.
본 발명의 선택적인 특징에 따라, 에너지 매개변수는 채널간 강도차(Interchannel Intensity Difference; IID) 매개변수; 채널간 레벨차(Interchannel Level Difference; ILD) 매개변수; 및 채널간 코히런스/상관관계(IC/ICC) 매개변수 중 적어도 하나이다.
이것은 특히 유익한 실행을 제공할 수 있으며 개선된 역방향 호환성을 제공할 수 있다.
본 발명의 선택적인 특징에 따라, 업-믹스 매개변수 데이터는 제 1 가중치와 제 2 가중치와 업-믹스 매개변수 데이터 간의 관계에 대한 정확도 표시를 포함하고, 디코더는 그 정확도 표시에 응답하여 제 1 가중치 추정 및 제 2 가중치 추정 중 적어도 하나를 생성하도록 구성된다.
이것은 많은 시나리오들에서 개선된 실행을 제공할 수 있으며, 특히, 상이한 신호 조건들에 대한 보다 정확한 가중치 추정들의 개선된 결정을 허용할 수 있다.
정확도 표시는 매개변수 데이터로부터 이것을 계산할 때 가중치 추정에 대하여 얻어질 수 있는 정확도를 나타낼 수 있다. 정확도 표시는 구체적으로 달성가능한 정확도가 정확도 기준을 만족하는지 아닌지를 나타낼 수 있다. 예를 들면, 정확도 표시는 단순히 매개변수 데이터가 이용될 수 있는지 없는지를 나타내는 이진 표시일 수 있다. 정확도 표시는 각각의 하위대역에 대한 개별적인 값을 포함할 수 있거나, 복수의 또는 심지어 모든 하위대역들에 적용가능한 하나 이상의 표시들을 포함할 수 있다.
디코더는, 정확도 표시가 충분한 정확도를 나타낼 때만, 매개변수 데이터로부터 가중치 추정들을 추정하도록 구성될 수 있다.
본 발명의 선택적인 특징에 따라, 적어도 하나의 주파수 간격에 대한 제 1 가중치 및 제 2 가중치 중 적어도 하나는 업-믹스 매개변수 데이터의 대응하는 매개변수보다 세밀한 주파수-시간 해상도(frequency-temporal resolution)를 갖는다.
이것은, 데이터율을 낮게 유지하는 것을 허용하는 동시에, 보다 정확한 가중치들이 다운-믹스를 생성하기 위해 이용될 수 있기 때문에, 많은 시나리오들에서 개선된 실행을 제공한다.
마찬가지로, 적어도 하나의 주파수 간격에 대한 제 1 가중치 추정 및 제 2 가중치 추정 중 적어도 하나는 업-믹스 매개변수 데이터의 대응하는 매개변수보다 세밀한 주파수-시간 해상도를 가질 수 있다.
대응하는 매개변수는 같은 시간 주파수 간격을 포함하는 매개변수다. 많은 실시예들에서, 디코더는 대응하는 매개변수에 기초하여 제 1 및/또는 제 2 가중치에 대한 추정을 생성하도록 진행할 수 있다. 따라서, 매개변수가 긴 시간 및/또는 주파수 간격에 대한 신호 특성들을 나타낼 수 있더라도, 그것은 여전히 가중치의 그 시간 및/또는 주파수 간격에 대한 대략으로서 이용될 수 있다.
본 발명의 선택적인 특징에 따라, 업-믹서는 매개변수 데이터에 응답하여 전위상차 값(Overall Phase Difference value)을 생성하고 전위상차 값에 응답하여 업-믹싱을 실행하도록 구성되는데, 여기서 전위상차 값은 제 1 가중치 추정 및 제 2 가중치 추정에 따른다.
이것은 고품질의 효율적인 디코딩을 허용할 수 있다. 그것은, 몇몇의 시나리오들에서, 개선된 역방향 호환성을 제공할 수 있다. OPD는 (그것의 진폭들을 포함하는) 제 1 및 제 2 가중치 추정들 모두에 개별적으로 따르고, 구체적으로 가중치들의 함수로서 규정될 수 있는데, 즉, OPD=f(w1, w2)이다.
예를 들면, 업-믹스는 실질적으로 다음과 같이 생성될 수 있으며:
Figure 112012045651143-pct00001
여기서, s는 다운-믹스 신호이고, sd는 다운-믹스 신호에 대한 디코더 생성 비상관 신호이다. c1 및 c2는 좌측 및 우측 출력 채널들 간의 올바른 레벨차를 회복하기 위해 이용되는 게인 매개변수들(gain parameters)이고, α및 β는 업-믹스 매개변수 데이터로부터 생성될 수 있는 값들이다.
OPD 값은, 예를 들면, 실질적으로 다음과 같이 생성될 수 있거나:
Figure 112012045651143-pct00002
또는, 예를 들면, 실질적으로 다음과 같이 생성될 수 있는데:
Figure 112012045651143-pct00003
여기서, w1 및 w2는 각각 제 1 및 제 2 가중치들이고, 다운-믹스 신호는 s = w1·l + w2·r에 의해 생성된다.
본 발명의 선택적인 특징에 따라, 업-믹싱은 전위상차 값을 제외하고 제 1 가중치 추정 및 제 2 가중치 추정 중 적어도 하나의 진폭에 따르지 않는다.
이것은 개선된 실행 및/또는 동작을 허용할 수 있다.
본 발명의 선택적인 특징에 따라, 업-믹서는 다운-믹스로부터 다운-믹스에 비상관하는 비상관 신호를 생성하고; 다운-믹스와 비상관 신호에 행렬 곱(matrix multiplication)을 적용하여 다운-믹스를 업-믹싱하도록 구성되는데, 여기서, 행렬 곱의 계수들은 제 1 가중치 추정 및 제 2 가중치 추정에 따른다.
이것은 고품질의 효율적인 디코딩을 허용할 수 있다. 그것은, 몇몇의 시나리오들에서, 개선된 역방향 호환성을 제공할 수 있다.
행렬 곱은 다운-믹스 신호로부터 차 신호(difference signal)에 대한 예측을 나타내는 예측 계수를 포함할 수 있다. 예측 계수는 가중치들로부터 결정될 수 있다. 행렬 곱은 비상관 신호로부터의 차 신호에 대한 몫을 나타내는 비상관 스케일링 인자를 포함할 수 있다. 비상관 스케일링 인자는 가중치들로부터 결정될 수 있다.
행렬 곱의 계수들은 추정된 가중치들로부터 결정될 수 있다. 상이한 계수들은 제 1 및 제 2 가중치들에 대하여 상이한 의존도를 가질 수 있으며, 제 1 및 제 2 가중치들은 각각의 계수에 상이하게 영향을 줄 수 있다.
구체적으로 업-믹스는 실질적으로 다음과 같이 실행될 수 있는데:
Figure 112012045651143-pct00004
여기서, α는 예측 인자이고, β는 비상관 스케일링 인자이고, s는 다운-믹스이고, sd는 디코성 생성 비상관 신호이고, w1 및 w2는 각각 제 1 및 제 2 가중치들이고, *는 복소 공액(complex conjugation)을 나타낸다.
α 및/또는 β는, 예를 들면, 실질적으로 다음과 같이, 추정된 가중치들 및 매개변수 데이터로부터 결정될 수 있다:
Figure 112012045651143-pct00005
Figure 112012045651143-pct00006
본 발명의 선택적인 특징에 따라, 업-믹서는 업-믹스 매개변수 데이터에 응답하여 제 1 채널 신호 및 제 2 채널 신호에 대한 비-위상 정렬 조합(non-phase aligned combination)의 에너지를 나타내는 제 1 에너지 측정을 결정하고; 업-믹스 매개변수 데이터에 응답하여 제 1 채널 및 제 2 채널의 위상 정렬 조합(phase aligned combination)의 에너지를 나타내는 제 2 에너지 측정을 결정하고; 제 2 에너지 측정에 관한 제 1 에너지 측정의 제 1 측정을 결정하고; 제 1 측정에 응답하여 제 1 가중치 추정을 결정함으로써 제 1 가중치 추정를 결정하도록 구성된다.
이것은 제 1 가중치 추정에 대한 매우 유익한 결정을 제공할 수 있다. 이 특징은 개선된 실행 및/또는 촉진된 동작을 제공할 수 있다.
제 1 에너지 측정은 제 1 채널 신호 및 제 2 채널 신호의 합산의 에너지의 표시일 수 있다. 제 2 에너지 측정은 제 1 채널 신호 및 제 2 채널 신호의 코히런트 합산의 에너지의 표시일 수 있다. 제 1 측정은 제 1 채널 신호와 제 2 채널 신호 간의 위상 상쇄(phase cancellation)의 정도의 표시를 나타낼 수 있다. 제 1 및/또는 제 2 에너지 측정은 에너지에 대한 임의의 표시일 수 있으며, 구체적으로 에너지 표준화된 측정들에 관련될, 예를 들면, 제 1 및/또는 제 2 채널 신호의 에너지에 관련될 수 있다.
제 1 측정은, 예를 들면, 제 1 에너지 측정과 제 2 에너지 측정 간의 비율로서 결정될 수 있다. 예를 들면, 제 1 측정은 실질적으로 다음과 같이 결정될 수 있다:
Figure 112012045651143-pct00007
제 1 가중치는 제 1 측정의 비-선형 및/또는 단조 함수로서 결정될 수 있다. 제 2 가중치는, 예를 들면, 제 1 가중치로부터 결정될 수 있는데, 예를 들면, 따라서, 2개의 가중치들의 진폭의 합산이 미리 결정된 값을 갖게 된다. 몇몇의 실시예들에서, 제 1 및/또는 제 2 가중치의 생성은 다운-믹스의 에너지의 표준화를 포함할 수 있다. 예를 들면, 가중치들은 실질적으로 좌측 채널 신호의 에너지와 우측 채널 신호의 에너지의 합산과 같은 에너지를 갖는 다운-믹스를 결과로 생성하도록 스케일링될 수 있다.
구체적으로 가중치들은 실질적으로 다음과 같이 생성될 수 있는데:
Figure 112012045651143-pct00008
또는
Figure 112012045651143-pct00009
은
Figure 112012045651143-pct00010
과 조합하여,
Figure 112012045651143-pct00011
을 결과로 생성하며, 여기서, c는 원하는 에너지 표준화를 제공하도록 선택된다.
인코더는 인코더를 참조하여 설명된 것과 같은 동작들 및 제 1 가중치의 (및 가능하면 제 2 가중치의) 도출을 실행할 수 있다.
본 발명의 선택적인 특징에 따라, 업-믹서는, 제 1 가중치 및 제 2 가중치의 미리 결정된 값들의 복수의 쌍들 각각에 대하여, 매개변수 데이터에 응답하여 미리 결정된 값들의 쌍들에 대응하는 다운-믹스의 에너지를 나타내는 에너지 측정을 결정하고; 미리 결정된 값들의 쌍들 및 에너지 측정들에 응답하여 제 1 가중치를 결정함으로써, 제 1 가중치 추정을 결정하도록 구성된다.
이것은 제 1 가중치 추정에 대한 매우 유익한 결정을 제공할 수 있다. 이 특징은 개선된 실행 및/또는 촉진된 동작을 제공할 수 있다.
디코더는 이 다운-믹스가 미리 결정된 고정 가중치들을 이용하는 복수의 다운-믹스들의 조합이라고 가정할 수 있는데, 여기서, 상기 조합은 각각의 다운-믹스의 신호 에너지에 따른다. 따라서, 제 1 가중치 추정(및/또는 제 2 가중치 추정)은 미리 결정된 가중치들의 조합에 대응하게 결정될 수 있으며, 여기서, 개개의 미리 결정된 가중치들의 조합은 각각의 다운-믹스들의 추정된 에너지(또는 등가로 전력)에 응답하여 결정된다. 각각의 다운-믹스에 대해 추정된 에너지는 업-믹스 매개변수 데이터에 기초하여 결정될 수 있다.
구체적으로, 제 1 가중치 추정은 미리 결정된 값들의 쌍들을 조합하여 결정될 수 있는데, 여기서, 미리 결정된 값들의 각각의 쌍을 가중하는 것은 미리 결정된 값들의 쌍들에 대한 에너지 측정에 따른다.
구체적으로, 미리 결정된 값들의 쌍에 대한 에너지 측정은 실질적으로 다음과 같이 결정될 수 있고:
Figure 112012045651143-pct00012
여기서, m은 미리 결정된 가중치들의 쌍들에 대한 색인이고, M(m,k)은 미리 결정된 가중치들의 m번째 쌍의 k번째 가중치를 나타낸다.
몇몇의 실시예들에서, 가중치들의 쌍들 중 하나 이상을 향한 바이어스(bias)가 도입될 수 있다. 예를 들면, 에너지 측정은 다음과 같이 결정될 수 있고:
Figure 112012045651143-pct00013
여기서, b(m)는 하나 이상의 다운-믹스들에 대하여 추가 바이어스를 도입할 수 있는 바이어싱 함수이다. 바이어싱 함수는 업-믹스 매개변수 데이터의 함수일 수 있다.
본 발명의 양태에 따라, 적어도 제 1 채널 및 제 2 채널을 포함하는 멀티-채널 오디오 신호의 인코딩된 표현을 생성하기 위한 인코더가 제공되고, 이 인코더는, 적어도 제 1 가중치에 의해 가중된 제 1 채널의 제 1 채널 신호 및 제 2 가중치에 의해 가중된 제 2 채널의 제 2 채널 신호의 조합으로서 다운-믹스를 생성하기 위한 다운-믹서로서, 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는, 상기 다운-믹서; 제 1 채널 신호와 제 2 채널 신호 간의 관계를 특징짓는 업-믹스 매개변수 데이터를 생성하기 위한 회로로서, 상기 업-믹스 매개변수 데이터는 또한 제 1 가중치 및 제 2 가중치를 특징짓는, 상기 회로; 및 다운-믹스 및 업-믹스 매개변수 데이터를 포함하도록 인코딩된 표현을 생성하기 위한 회로를 포함한다.
이것은 앞서 설명된 디코더와 호환가능한 특히 유익한 인코딩을 제공할 수 있다. 디코더를 참조하여 제공되는 설명들의 대부분이 적절하게 인코더에 동일하게 적용된다는 것이 명확해질 것이다.
제 1 및 제 2 가중치들은 업-믹스 매개변수 데이터에 포함되지 않을 수 있거나, 실제로 인코더에 의해 전달 또는 분배되지 않을 수 있다. 다운-믹스는 임의의 적절한 인코딩 알고리즘에 따라 인코딩될 수 있다.
본 발명의 선택적인 특징에 따라, 다운-믹서는, 제 1 채널 신호 및 제 2 채널 신호에 대한 비-위상 정렬 조합의 에너지를 나타내는 제 1 에너지 측정을 결정하고; 제 1 채널 신호 및 제 2 채널 신호의 위상 정렬 조합의 에너지를 나타내는 제 2 에너지 측정을 결정하고; 제 2 에너지 측정에 관한 제 1 에너지 측정의 제 1 측정을 결정하고; 제 1 측정에 응답하여 제 1 가중치 및 제 2 가중치를 결정하도록 구성된다.
이것은 특히 유익한 인코딩을 제공할 수 있다.
본 발명의 선택적인 특징에 따라, 다운-믹서는, 제 1 가중치 및 제 2 가중치의 미리 결정된 값들의 복수의 쌍들 각각에 대하여, 다운-믹스를 생성하고; 다운-믹스들 각각에 대하여 다운-믹스의 에너지를 나타내는 에너지 측정을 결정하고; 에너지 측정들에 응답하여 다운-믹스들을 조합함으로써 다운-믹스를 생성하도록 구성된다.
이것은 특히 유익한 인코딩을 제공할 수 있다.
본 발명의 양태에 따라, 멀티-채널 오디오 신호를 생성하는 방법이 제공되고, 이 방법은, 적어도 제 1 가중치에 의해 가중된 제 1 채널 신호 및 제 2 가중치에 의해 가중된 제 2 채널 신호의 조합인 다운-믹스를 수신하는 단계로서, 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는, 상기 다운-믹스를 수신하는 단계; 제 1 채널 신호와 제 2 채널 신호 간의 관계를 특징짓는 업-믹스 매개변수 데이터를 수신하는 단계; 업-믹스 매개변수 데이터로부터 제 1 가중치에 대한 제 1 가중치 추정 및 제 2 가중치에 대한 제 2 가중치 추정을 생성하는 단계; 및 업-믹스 매개변수 데이터, 제 1 가중치 추정, 및 제 2 가중치 추정에 응답하여 다운-믹스를 업-믹싱함으로써 멀티-채널 오디오 신호를 생성하는 단계로서, 상기 업-믹싱은 제 1 가중치 추정 및 제 2 가중치 추정 중 적어도 하나의 진폭에 따른, 상기 멀티-채널 오디오 신호를 생성하는 단계를 포함한다.
본 발명의 양태에 따라, 적어도 제 1 채널 및 제 2 채널을 포함하는 멀티-채널 오디오 신호의 인코딩된 표현을 생성하는 방법이 제공되고, 이 방법은, 적어도 제 1 가중치에 의해 가중된 제 1 채널의 제 1 채널 신호 및 제 2 가중치에 의해 가중된 제 2 채널의 제 2 채널 신호의 조합으로서 다운-믹스를 생성하는 단계로서, 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는, 상기 다운-믹스를 생성하는 단계; 제 1 채널 신호와 제 2 채널 신호 간의 관계를 특징짓는 업-믹스 매개변수 데이터를 생성하는 단계로서, 상기 업-믹스 매개변수 데이터는 또한 제 1 가중치 및 제 2 가중치를 특징짓는, 상기 업-믹스 매개변수 데이터를 생성하는 단계; 및 다운-믹스 및 업-믹스 매개변수 데이터를 포함하도록 인코딩된 표현을 생성하는 단계를 포함한다.
본 발명의 양태에 따라, 적어도 제 1 가중치에 의해 가중된 제 1 채널 신호 및 제 2 가중치에 의해 가중된 제 2 채널 신호의 조합인 다운-믹스로서, 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는, 상기 다운-믹스; 및 제 1 채널 신호와 제 2 채널 신호 간의 관계를 특징짓는 업-믹스 매개변수 데이터로서, 상기 업-믹스 매개변수 데이터는 또한 제 1 가중치 및 제 2 가중치를 특징짓는, 상기 업-믹스 매개변수 데이터를 포함하는, 멀티-채널 오디오 신호에 대한 오디오 비트-스트림이 제공된다. 제 1 및 제 2 가중치들은 비트-스트림에 포함되지 않을 수도 있다.
본 발명의 이들 및 다른 양태들, 특징들, 및 이점들은 이하 설명된 실시예(들)로부터 명확해지고 그들을 참조하여 설명될 것이다.
본 발명의 실시예들은, 단지 예시적인 방법으로서, 도면들을 참조하여 설명될 것이다.
도 1은 본 발명의 몇몇의 실시예들에 따른 오디오 분배 시스템을 나타내는 도면.
도 2는 본 발명의 몇몇의 실시예들에 따른 오디오 인코더의 요소들을 나타내는 도면.
도 3은 본 발명의 몇몇의 실시예들에 따른 오디오 인코더의 요소들을 나타내는 도면.
도 4는 본 발명의 몇몇의 실시예들에 따른 오디오 디코더의 요소들을 나타내는 도면.
다음의 설명은 2개의 채널들(즉, 스테레오 신호)을 가진 멀티-채널 신호의 인코딩 및 디코딩에 적용가능한 본 발명의 실시예들에 초점을 맞추었다. 구체적으로, 이 설명은 스테레오 신호의 모노 다운-믹스 및 연관된 매개변수들로의 다운-믹싱 및 그 연관된 업-믹싱에 초점을 맞추었다. 그러나, 본 발명이 이 응용에 제한되는 것은 아니고, 예를 들면, HE-AAC v2에서와 같은 매개변수 스테레오 및 MPEG 서라운드와 같은 많은 다른 (스테레오를 포함하는) 멀티-채널에 적용될 수 있다는 것이 명확해질 것이다.
도 1은 본 발명의 몇몇의 실시예들에 따른 오디오 신호의 전달을 위한 송신 시스템(100)을 나타낸다. 송신 시스템(100)은 구체적으로 인터넷일 수 있는 네트워크(105)를 통해 수신기(103)에 연결된 송신기(101)를 포함한다.
이 구체적인 예에서, 송신기(101)는 신호 기록 장치이고, 수신기(103)는 신호 재생 장치이지만, 다른 실시예들에서는, 송신기 및 수신기가 다른 응용들로 및 다른 목적들을 위해 이용될 수 있다는 것이 명확해질 것이다. 예를 들면, 송신기(101) 및/또는 수신기(103)는 트랜스코딩 기능(transcoding functionality)의 부분일 수 있고, 예를 들면, 다른 신호 소스들 또는 목적들과의 접속(interfacing)을 제공할 수 있다.
신호 기록 기능이 제공되는 이 특정 예에서, 송신기(101)는 샘플링 또는 아날로그-대-디지털 변환에 의해 디지털 PCM (Pulse Code Modulated) 멀티-채널 신호로 변환되는 아날로그 신호를 수신하는 디지타이저(digitizer; 107)를 포함한다.
디지타이저(107)는 인코딩 알고리즘에 따라 멀티-채널 PCM 신호를 인코딩하는, 도 1의 인코더(109)에 연결된다. 인코더(109)는 인코딩된 신호를 수신하고 인터넷(105)과 접속하는 네트워크 송신기(111)에 연결된다. 네트워크 송신기는 인코딩된 신호를 네트워크(105)를 통해 수신기(103)에 송신할 수 있다.
수신기(103)는 인터넷(105)에 접속하고 송신기(101)로부터 인코딩된 신호를 수신하도록 구성된 네트워크 수신기(113)를 포함한다.
네트워크 수신기(113)는 디코더(115)에 연결된다. 디코더(115)는 인코딩된 신호를 수신하고 그것을 디코딩 알고리즘에 따라 디코딩한다.
신호 재생 기능이 지원되는 이 특정 예에서, 수신기(103)는 디코더(115)로부터 디코딩된 오디오 신호를 수신하고 이것을 이용자에게 표현하는 신호 재생기(117)를 추가로 포함한다. 구체적으로, 신호 재생기(117)는 디코딩된 멀티-채널 오디오 신호를 출력하기 위해 요구되는 디지털-대-아날로그 변환기, 증폭기들, 및 스피커들을 포함할 수 있다.
도 2는 인코더(109)를 더욱 상세하게 나타낸다. 수신된 좌측 및 우측 신호들은 우선 주파수 도메인으로 변환된다. 이 특정 예에서, 우측 신호는 우측 신호를 복수의 주파수 하위대역들로 변환하는 제 1 주파수 하위대역 변환기(201)로 공급된다. 마찬가지로, 좌측 신호는 좌측 신호를 복수의 주파수 하위대역들로 변환하는 제 2 주파수 하위대역 변환기(203)에 공급된다.
이 하위대역 좌측 및 우측 신호들은, 다음에 더욱 자세하게 설명되는 바와 같이, 스테레오 신호들의 다운-믹스를 생성하도록 구성된 다운-믹스 처리기(205)에 공급된다. 이 특정 예에서, 다운-믹스는 주파수 도메인 하위대역 다운-믹스 모노 신호를 생성하기 위해 좌측 및 우측 신호들의 개개의 하위대역들을 조합하여 생성되는 모노 신호이다. 따라서, 다운-믹싱은 하위대역 기반으로 실행된다. 다운-믹스 처리기(205)는 다운-믹스 모노 신호를 수신하여 그것을 적합한 인코딩 알고리즘에 따라 인코딩하는 다운-믹스 인코더(207)에 연결된다. 다운-믹스 인코더(207)에 송신된 다운-믹스 모노 신호는 주파수 도메인 하위대역 신호일 수 있거나, 그것은 먼저 시간 도메인으로 다시 변형될 수 있다.
인코더(109)는 다운-믹스를 멀티-채널 신호로 업-믹싱하기 위해 디코더(115)에 의해 이용될 수 있는 매개변수 공간 데이터를 생성하는 매개변수 처리기(209)를 추가로 포함한다.
구체적으로, 매개변수 처리기(209)는 스테레오 큐들이 추출되도록 주파수 하위대역들을 바크(Bark) 또는 ERB 하위대역들로 그룹화할 수 있다. 매개변수 처리기(209)는 구체적으로 매개변수 데이터를 생성하기 위해 표준 방식을 이용할 수 있다. 특히, 매개변수 스테레오 및 MPEG 서라운드 기술들로부터 알려진 알고리즘들이 이용될 수 있다. 따라서, 매개변수 처리기(209)는, 당업자에게 알려진 바와 같이, 각각의 매개변수 하위대역에 대한 채널간 레벨차(ILD), 채널간 코히런스/상관(IC/ICC), 채널간 위상차(IPD), 또는 채널간 시간차(ITD)를 생성할 수 있다.
매개변수 처리기(209) 및 다운-믹스 인코더(207)는 구체적으로 비트-스트림일 수 있는 콤팩트한(compact) 인코딩된 데이터 신호를 생성하기 위해 인코딩된 다운-믹스 데이터 및 매개변수 데이터를 다중화(multiplex)하는 데이터 출력 처리기(211)에 연결된다.
도 3은 인코더(109)의 다운-믹스 생성의 원리를 나타내고, 다음 설명에서 이용될 수 있는 참조들을 나타낸다. 나타낸 바와 같이, 좌즉(l) 및 우측(r) 입력 신호들은 제 1 및 제 2 주파수 하위대역 변환기들(201, 203)에 개별적으로 입력된다. 그 출력들은 각각 다운-믹스 처리기(205)에 공급되는 K개의 주파수 하위대역 신호들(l1, ... , lK 및 r1 , ... , rK)이다. 다운-믹스 처리기(205)는 좌측 및 우측 하위대역 신호들(l1, ... , lK 및 r1 , ... , rK)로부터 다운-믹스(d1, ..., dK)를 생성하고, 이 다운-믹스(d1, ..., dK)는 시간 도메인 다운-믹스 신호(d)를 생성하기 위해 다운-믹스 인코더(207)에 공급되고, 그 후 이 시간 도메인 다운-믹스 신호(d)는 인코딩될 수 있다(몇몇의 실시예들에서는, 하위대역 다운-믹스가 바로 인코딩된다).
종래의 시스템들에서, 다운-믹싱은 각각의 하위대역에서 좌측 및 우측 신호들이 선형 합산됨으로써 실행된다. 전형적으로, 수동 다운-믹스는 좌측 신호 및 우측 신호를 단순히 합산 또는 평균화함으로써 실행된다. 그러나, 이러한 방식은 좌측 및 우측 신호들이 서로 역위상에 가까우면 상당한 문제점들을 발생시키는데, 이는, 결과의 합산 신호가 상당히 감소되고 완벽한 역위상 신호들에 대해서는 심지어 영으로 줄어들 수 있기 때문이다. 몇몇의 종래의 시스템들에서, 합산된 신호들은 입력 신호들에 대응하는 에너지를 갖는 다운-믹스 신호를 결과로 생성하도록 스케일링될 수 있다. 그러나, 이것도 여전히 문제점이 있는데, 생성된 다운-믹스 샘플의 상대적인 에러 및 불명확성이 낮은 값들에 대하여 보다 두드러지기 때문이다. 에너지 표준화는 다운-믹스뿐만아니라 이 연관된 에러 신호도 스케일링할 것이다. 실제로, 완벽한 역위상 신호들에 대하여, 결과의 합산 또는 평균 신호는 영이고, 따라서 스케일링되지 못한다.
몇몇의 시스템들에서, 가중된 합산이 이용되며, 여기서, 가중치들은 단순한 단위(unit) 또는 스케일러 값들이 아니고, 추가로 좌측 및 우측 신호들에 위상 편이를 도입한다. 이 방식은, 좌측 및 우측 신호들의 합산이 위상에서 실행되도록 위상 정렬을 제공하는데 이용되는데, 즉, 그것은 코히런트 합산에 대하여 신호들을 위상 정렬하는데 이용된다. 그러나, 이러한 위상 정렬된 다운-믹스의 생성은 여러 단점들을 갖는다. 특히, 그것은 오디오 품질을 떨어트리는 복잡한 및 불명확한 동작일 경향이 있다.
그러나, 이러한 방식들과 반대로, 도 1-3의 시스템의 다운-믹스는 상이한 위상들을 가질 뿐만 아니라 상이한 진폭들을 가질 수 있는 가중치들을 이용하여 생성된다. 따라서, 2개의 채널들에 대한 가중치들의 진폭은, 적어도 몇몇의 신호 특성들에 대하여, 상이한 값들을 가질 수 있다. 따라서, 생성된 다운-믹스에서, 2개의 스테레오 채널들의 가중화는 상이하다.
또한, 좌측 및 우측 하위대역 신호들의 다운-믹스 하위대역으로의 조합에 대하여 적용된 하위대역 가중치들은 또한 신호 종속적이고, 좌측 및 우측 신호들에 대한 신호 특성들의 함수로서 가변한다. 구체적으로, 각각의 하위대역에서, 가중치들은 하위대역 내의 신호 특성들에 따라 결정된다. 따라서, 위상 및 진폭 모두가 신호 종속적이고 가변할 수 있다. 따라서, 가중치들의 진폭은 시간 가변적일 것이다.
구체적으로, 가중치들에 대한 상이한 진폭들에 향한 바이어스가 서로 점차적으로 역위상인 좌측 및 우측 신호들에 대하여 도입되도록, 가중치들은 수정될 수 있다. 예를 들면, 가중치들 간의 진폭차는 좌측 및 우측 신호들에 대하여 교차-전력 측정에 따를 수 있다. 교차-전력 측정은 좌측 및 우측 신호들의 교차-상관일 수 있다. 교차-전력 측정은 좌측 및 우측 채널들 중 적어도 하나에서 에너지에 관한 표준화된 측정일 수 있다.
따라서, 이 특정 예에서, 가중치들, 및 구체적으로 위상 및 진폭 모두는 좌측 신호와 우측 신호 간의 (예를 들면, 교차-전력 측정에 의해 표현되는 것과 같은) 상관뿐만 아니라 그들에 대한 에너지 측정들에 따른다.
가중치들은 좌측 및 우측 신호들의 신호 특성들로부터 결정되고, 구체적으로 매개변수 처리기(209)에 의해 생성되는 매개변수 데이터를 고려하지 않고 결정될 수 있다. 그러나, 다음에 나타내질 바와 같이, 생성된 매개변수 데이터는 또한 신호 에너지들에 따르고, 이것은 디코더로 하여금 매개변수 데이터로부터 다운-믹스에서 이용된 가중치들을 재생성하도록 허용할 수 있다. 따라서, 상이한 진폭들을 갖는 가변적인 가중치들이 이용되지만, 이들 가중치들은 디코더에 명백하게 전달될 필요는 없지만 수신된 매개변수 데이터에 기초하여 추정될 수 있다. 따라서, 예상들과는 반대로, 상이한 진폭들을 갖는 가중치들을 지원하기 위해 어떠한 추가 데이터 오버헤드도 전달될 필요가 없다.
또한, 상이한 가중치들의 이용은 위상 정렬을 실행할 필요 없이, 그리고 따라서 그에 연관된 단점들이 도입되지 않으면서, 종래의 고정된 합산에 연관된 역위상 문제점들을 피하거나 완화시키는데 이용될 수 있다.
예를 들면, 좌측 및 우측 신호들의 조합된 전력에 관한 좌측 및 우측 신호들의 비-위상 정렬 조합의 전력을 나타내는 측정이 생성될 수 있다. 구체적으로, 좌측 및 우측 신호들에 대한 합산 신호의 전력/에너지는 결정되고 좌측 신호의 전력/에너지와 우측 신호의 전력/에너지의 합산에 관련될 수 있다. 보다 높은 값의 이 측정은 좌측 및 우측 신호들이 역위상이 아니고 따라서 대칭적인 (심지어 에너지) 가중치들이 다운-믹스에 대하여 이용될 수 있다는 것을 나타낼 것이다. 그러나, 점차적으로 역위상인 신호들에 대하여, (합산 신호의) 제 1 전력은 영을 향해 줄어들고, 따라서, 보다 낮은 값의 이 측정은 좌측 및 우측 신호들이 점차적으로 역위상이고 따라서 간단한 합산이 다운-믹스 신호로서 유익하지 않을 것이라는 것을 나타낼 것이다. 따라서, 가중치들은 점차적으로 비대칭적일 것이고, 그 결과 다운-믹스 내에서 하나의 채널로부터의 몫이 다른 채널보다 더 크고, 그에 따라, 다른 신호에 의한 하나의 신호의 상쇄가 줄어들 수 있다. 실제로, 역위상 신호들에 대하여, 다운-믹스는, 예를 들면, 좌측 및 우측 신호들 중 하나로서 간단히 결정될 수 있는데, 즉, 하나의 가중치의 에너지는 영일 수 있다.
보다 구체적인 예로서, 좌측 및 우측 신호들의 합산의 에너지와 위상-정렬된 좌측 및 우측 신호들 (즉, 좌측 및 우측 신호들의 위상 추가의 코히런트를 따르는 에너지) 간의 비율을 반영하는 측정(r)이 결정될 수 있으며:
Figure 112012045651143-pct00014
여기서, ipd는 (또한 매개변수 처리기(209)에 의해 결정되는 매개변수들 중 하나인) 좌측 및 우측 신호들 간의 위상차이고, <.>는 내적(inner product)이고, E{.}는 기대 동작자(expectation operator)이다.
따라서 상기 상대 값이 좌측 및 우측 신호들의 합산에 대한 에너지 측정과 좌측 및 우측 신호들의 위상 정렬된 조합의 에너지를 나타내는 에너지 측정 간의 상대적인 관계를 반영하도록 생성된다. 가중치들은 그 후 이 상대 값으로부터 결정된다.
비율(r)은 2개의 신호들이 얼마나 역위상인지 나타낸다. 특히, 완벽하게 역위상인 신호들에 대하여, 그 비율은 0과 같고, 완벽하게 동위상인 신호들에 대하여, 그 비율은 1과 같다. 따라서, 비율은 좌측 및 우측 신호들 간의 위상차들로 인해 에너지가 얼마나 줄어드는지에 대한 표준화된([0,1]) 측정을 제공한다.
그것은 다음과 같이 보여질 수 있고:
Figure 112012045651143-pct00015
여기서, El 및 Er은 좌측 및 우측 신호들의 에너지들이고, Elr은 좌측 신호와 우측 신호 간의 교차-상관이다.
그 후,
Figure 112012045651143-pct00016
을 이용하여(여기서, iid은 채널간 강도차이고, icc는 채널간 코히런스임), 다음이 유도된다고 보여질 수 있다:
Figure 112012045651143-pct00017
따라서, 나타낸 바와 같이, 신호들이 얼마나 역위상인지 나타내는 측정(r)은 매개변수 데이터로부터 도출될 수 있고, 따라서, 어떠한 추가 데이터도 전달되는 것을 요구하지 않으면서 디코더(115)에 의해 결정될 수 있다.
이 비율은 다운-믹스 신호들에 대한 가중치들을 생성하기 위해 이용될 수 있다. 구체적으로, 다운-믹스 신호는 각각의 하위대역에서 다음과 같이 생성될 수 있다:
Figure 112012045651143-pct00018
가중치들은, r이 영으로 접근할수록 비대칭(에너지차)이 증가하도록, 비율(r)로부터 생성될 수 있다. 예를 들면, 중간 값은 다음과 같이 생성될 수 있다:
Figure 112012045651143-pct00019
중간 값(q)을 이용하여, 2개의 게인들(gains)이 다음과 같이 계산된다:
Figure 112012045651143-pct00020
가중치들은 그 후 선택적인 에너지 표준화에 의해 결정될 수 있고:
Figure 112012045651143-pct00021
여기서, c는 원하는 표준화를 제공하도록 선택된다. 구체적으로, c는 결과의 다운-믹스의 에너지가 좌측 신호의 전력과 우측 신호의 전력의 합과 같도록 선택될 수 있다.
다른 예로서, 중간 값은 다음과 같이 생성될 수 있고:
Figure 112012045651143-pct00022
이것은 신호 조건들이 점차 가변하는 것에 대하여 일정한(완벽하게 대칭이거나 완벽하게 비대칭) 가중치들을 제공하는 경향이 있을 것이다.
따라서, 이러한 실시예에서, 인코더(109)는 유연한 및 동적인 다운-믹스를 이용하는데, 여기서, 고정된 또는 위상 정렬된 다운-믹싱에 연관된 단점들이 피해지거나 완화될 수 있도록, 가중치들은 특정 신호 조건들에 자동으로 적응된다. 실제로, 이 방식은 두 채널들 모두를 동일하게 처리하는 완벽히 대칭인 다운-믹스에서 하나의 채널이 완벽하게 무시되는 완벽히 비대칭인 다운-믹스로 점차적으로 및 자동으로 적응할 수 있다. 이 적응은 바로 이용될 수 있는 다운-믹스 신호(즉, 그것은 모노-신호로서 이용될 수 있다)를 생성하는 동시에, 다운-믹스로하여금 업-믹스에 기초하는 개선된 신호를 제공하도록 허용할 수 있다. 또한, 설명된 예는 에너지차의 매우 점차적인 및 자연스러운 전이를 제공하고, 이에 따라, 개선된 청취 경험을 제공한다.
또한, 나중에 나타낼 바와 같이, 이 개선된 실행은 어떠한 추가 데이터도 선택된 가중치들의 정보를 제공하기 위해 분배되도록 요구하지 않으면서 달성될 수 있다. 구체적으로, 앞서 나타낸 바와 같이, 가중치들은 송신된 매개변수 데이터로부터 결정될 수 있고, 나중에 나타낼 바와 같이, 동일한 다운-믹스 가중치들의 가정들에 기초한 업-믹싱에 대한 종래의 방식들은 상이한 에너지들(또는 동일하게 다른 진폭들 및 전력들)을 갖는 가중치들에 대한 업-믹싱을 허용하도록 수정 및 확장될 수 있다.
다음에, 상이한 다운-믹스 가중치들을 이용하는 인코딩 방식의 다른 예가 설명될 것이다. 몇몇의 시나리오들에서, 다운-믹스는 매개변수 데이터를 이용하지 않으면서 생성될 수 있다. 다른 시나리오들 또는 실시예들에서, 매개변수 데이터는 또한 디코더에서 가중치들을 결정하기 위해 이용될 수 있다. 이 방식은 (구체적으로, 에너지 대칭적일 수 있는, 즉, 같은 에너지를 가질 수 있고, 예를 들면, 위상 오프셋을 도입할 수 있는) 미리 결정된 가중치들을 이용하여 복수의 중간 다운-믹스들을 결정하는 것에 기초한다. 중간 다운-믹스들을 그 후 단일 다운-믹스에 조합될 수 있는데, 여기서, 각각의 중간 다운-믹스들은 중간 다운-믹스의 에너지에 따라 가중된다. 따라서, 상당히 역위상인 신호들의 조합으로부터 생성되었기 때문에 낮은 에너지를 갖는 중간 다운-믹스들은 보다 코히런트한 조합들로부터 생성되었기 때문에 높은 에너지를 갖는 중간 다운-믹스들보다 낮게 가중된다. 결과의 다운-믹스는 그 후 입력 신호들에 관하여 에너지 표준화될 수 있다.
보다 상세하게, 상이한 연역적(a priori) (중간) 하위대역 다운-믹스들의 세트
Figure 112012045651143-pct00023
가 다음과 같이 생성된다:
Figure 112012045651143-pct00024
전형적으로, 중간 다운-믹스들의 수가 낮게 유지될 수 있으므로, 그 결과 복잡도가 낮아지고 연산적 요구사항들이 줄어든다. 특히, 중간 하위대역 다운-믹스들의 수는 10 이하이고, 복잡도와 실행 간의 특히 유익한 균형(trade-off)이 4개의 중간 다운-믹스들에 대하여 발견된다.
특정 예에서, 4개의(P=4) 연역적 (미리 결정되고 고정된) 중간 다운-믹스들이 특정 가중치들과 함께 이용될 수 있는데:
p wp ,1 wp ,2
1 1 1
2 q q*
3 q* q
4 1 -1
여기서,
Figure 112012045651143-pct00025
이고, *는 공액(conjugation)을 나타낸다. 가중치들은 또한 다음 행렬 형태로 표현될 수 있다:
Figure 112012045651143-pct00026
좌측 및 우측 신호들의 진폭이 같고, 0, 90, 180 또는 270도 역위상인 경우들에 대하여, 이들 연역적 다운-믹스들은 최적의 다운-믹스들에 대응한다. 이와 달리, 오직 2개의 연역적 다운-믹스들의 세트가 이용될 수 있는데, 예를 들면, p=1 및 p=4이다.
다음으로, 이들 옵션들의 각각의 에너지들(Ep ,k(n))이 다음에 의해 결정되고,
Figure 112012045651143-pct00027
여기서, w는 샘플 색인(n) 주변에서 센터링된 선택적인 윈도우이다. 하위대역 다운-믹스들은 다음에 의해 새로운 하위대역 다운-믹스
Figure 112012045651143-pct00028
를 형성하도록 조합되고,
Figure 112012045651143-pct00029
여기서, 가중치들(αp,k)은 다운-믹스들의 상대적인 강도로부터 결정된다. 따라서, 상이한 중간 믹스들이 그들 각각을 그들의 상태적인 강도에 따라 가중함으로써 단일 다운-믹스로 조합된다.
이 상대적인 강도는, 예를 들면, 다음과 같이 에너지에 기초할 수 있고,
Figure 112012045651143-pct00030
여기서, ε는 영에 의해 나눠지는 것을 방지하기 위한 작은 양의 상수이다. 엔벌롭 측정들(envelope measures)과 같은 다른 측정들이 물론 또한 이용될 수 있다.
최종 다운-믹스(dk)는 에너지 표준화에 의해
Figure 112012045651143-pct00031
로부터 생성된다. 구체적으로,
Figure 112012045651143-pct00032
의 에너지가 결정될 수 있고 이 에너지를 좌측 및 우측 신호의 에너지들의 합산의 에너지와 같아지도록 조정하기 위해 요구되는 스케일링이 실행될 수 있다.
특정 예로서, 각각의 다운-믹스에 대하여, 바이어싱된 합산 에너지-비율이 다음과 같이 계산될 수 있으며:
Figure 112012045651143-pct00033
여기서, b(m)는 다음에 따라 디폴트 다운-믹스에 추가 바이어스를 도입할 수 있는 바이어싱 함수이다:
Figure 112012045651143-pct00034
그 후, 2개의 게인들이 다음과 같이 계산되고:
Figure 112012045651143-pct00035
최종 가중치들이 다음과 같이 에너지 표준화에 의해 결정되며:
Figure 112012045651143-pct00036
여기서, c는 결과의 다운-믹스의 에너지가 좌측 채널의 전력과 우측 채널의 전력의 합과 같도록 선택된다.
이들 방식들은, 가중치들로 하여금 수신된 매개변수 데이터를 이용하여 디코더(115)에 의해 생성되도록 허용하고 어떠한 추가 정보도 송신되는 것을 요구하지 않는다는 것이 주의되야 한다.
설명된 방식은 위상 정렬을 이용하지 않으면서 역위상 신호들에 연관된 수동 및 능동 (고정된) 다운-믹싱의 단점들 및 그에 연관된 단점들 모두를 피하거나 완화한다.
설명된 방식의 이점은, 복수의 상이한 중간 다운-믹스들의 선형 조합이 추가적 강력함을 제공한다는 것인데, 이는 역위상 문제점들이 단 하나의 다운-믹스 또는 아마도 2개의 다운-믹스들에 제한될 수 있기 때문이다. 또한, 오직 4개의 중간 다운-믹스들을 이용함으로써, 효율적이고 낮은 연산 자원이 요구될 수 있다.
결국, 다운-믹스 신호
Figure 112012045651143-pct00037
는 단지 좌측 및 우측 신호들의 선형 조합임이, 즉,
Figure 112012045651143-pct00038
가 또한 중요하며, 여기서, 각각의 βk,i, i=1, 2는 Ep ,k 및 선택된 wp ,q에 따른다.
또한, Ep ,k가 좌측 및 우측의 에너지들과 교차-에너지에 따른다는 것도 또한 중요하다. 특히, 그것은 다음과 같이 보여질 수 있으며:
Figure 112012045651143-pct00039
여기서,
Figure 112012045651143-pct00040
은 복소수의 실수부를 나타낸다. 이것은, 중간 다운-믹스 에너지들이 측정될 필요가 없고 실제로 중간 다운-믹스들이 명시적으로 생성될 필요가 없기 때문에, 연산적으로 간단한 방법을 허용한다. 오히려, αp,k값들이 선택된 연역적 다운-믹스 가중치들(wp ,q)과 에너지(Ep ,k)로부터 도출될 수 있으며, 여기서, 후자는, 앞서 나타낸 바와 같이, 본래의 신호들의 교차-에너지 및 측정된 에너지들을 바로 따른다.
그 결과, βk,i 는 선택된 wp ,i 및 측정된 에너지들 및 교차-에너지를 따르는데, 이는
Figure 112012045651143-pct00041
이기 때문이다.
또한 에너지 보상은 용이하게 입력 에너지들 및 βk,i를 따른다.
설명된 방식은, 좌측 및 우측 신호들의 상관이 낮거나 좌측 및 우측 신호의 에너지들이 상당히 상이한 시나리오들에 대하여 덜 효율적일 수 있다. 그러나, 이들 경우들에서, 좌측 및 우측 신호의 간단한 합산에 의해 양호한 다운-믹스가 제공된다.
이것은 이 방식을 다음과 같이 수정하는데 고려될 수 있다. 우선, 변조 색인(μ)은 다음과 같이 규정되며,
Figure 112012045651143-pct00042
여기서, E 1, E 2, 및 E 12는 각각 좌측 신호, 우측 신호, 및 교차-에너지의 에너지들이다. 0≤μ≤1임을 주의하자.
μ가 낮으면, α의 계산은 이제, 예를 들면, 다음과 같이 다운-믹스 p=1을 선호하도록 적응될 수 있다(이 예에서, 이것은 중간 신호에 대응한다고 가정됨):
Figure 112012045651143-pct00043
Figure 112012045651143-pct00044
에 대해서,
Figure 112012045651143-pct00045
이다.
이것은 수치적 강력함을 생성하지만 또한 아직 역위상 구성요소들을 다운-믹스에 포함시킨다.
또한, 중간의 고정된 다운-믹스들을 이용하는 다운-믹스 생성은 실제로 신호 종속적인 다운-믹스 매개변수들에 기초한다는 것이 주의되야 한다. 그러나, 결과의 다운-믹스 가중치들의 종속성은 오직 에너지들(E 1, E 2) 및 교차-에너지(E 12)에 따른다. 또한, 이것은 매개변수 데이터(예를 들면, 생성된 ILD, IPD, 및 IC)에 대한 경우에서도 그러하기 때문에, 디코더(115)는 제공된 가중치들을 송신된 매개변수 데이터로부터 도출해낼 수 있다. 구체적으로, 가중치들은 인코더(109)를 참조하여 앞서 설명된 것과 같은 함수들을 평가하는 디코더에 의해 발견될 수 있다.
보다 상세하게, 주어진 다운-믹스 신호에 대한 가중치는 다음과 같은 μ를 우선 고려하여 매개변수들로부터 발견될 수 있다:
Figure 112012045651143-pct00046
그후, 다음 관계를 이용하여, 모든 p에 대하여 αp,k(n)가 계산될 수 있다:
Figure 112012045651143-pct00047
이로부터, βk,i는 다음을 따른다:
Figure 112012045651143-pct00048
앞에서, 보다 강력하고 개선된 다운-믹스 신호를 제공하기 위해 (진폭 변형들을 포함하는) 다운-믹스 가중치들의 신호 종속적인 동적 변형들을 제공하는 다양한 인코더 방식들이 설명되었다. 이 방식들은 실행을 개선하기 위해 구체적으로 (잠재적으로 상이한 진폭들을 갖는) 비대칭적인 가중치들을 이용한다. 또한, 나타낸 바와 같이, 다운-믹스 가중치들은 가중치들로부터 도출될 수 있고, 그에 따라, 디코더에 의해 결정될 수 있으며, 따라서, 가중치들에 대하여 상이한 에너지들을 이용하는 인코더 방식에 대한 가정에 기초하여 업-믹싱을 실행하는 디코더 동작을 허용한다. 이 업-믹싱은 다운-믹스 및 공간 매개변수들에만 기초하고 어떠한 추가 정보도 요구하지 않는다. 따라서, 디코더 동작은 상이한 진폭들을 갖는 가중치들을 고려하도록 수정되었고, 이에 따라, 종래의 디코더들과 같이 동일한 진폭 다운-믹스 가중치들의 가정에 기초하지 않는다. 다음에, 이러한 디코더들에 대한 상이한 예들이 설명될 것이고, 그것은, 업-믹싱 방식들이 비대칭적 진폭 다운-믹스 가중치들과 동작하도록 수정될 수 있게 할 뿐만 아니라, 이것이 추가 데이터가 전달되는 것을 요구하지 않으면서 기존의 매개변수 데이터에 기초하여 달성될 수 있다는 것을 나타낼 것이다.
도 4는 본 발명의 몇몇의 실시예들에 따른 디코더의 예를 나타낸다.
디코더는 인코더(109)로부터 데이터 스트림을 수신하는 수신기(401)를 포함한다. 수신기(401)는 데이터 스트림으로부터 매개변수 데이터를 수신하는 매개변수 처리기(403)에 연결된다. 따라서, 매개변수 처리기(403)는 데이터 스트림으로부터 IID, IPD, 및 ICC 값들을 수신한다.
수신기(401)는 수신한 인코딩된 다운-믹스 신호를 디코딩하는 다운-믹스 디코더(405)에 또한 연결된다. 다운-믹스 디코더(405)는 인코더(109)의 다운-믹스 인코더(207)의 역함수를 실행하며, 따라서, 디코딩된 주파수 도메인 하위대역 신호(또는 후에 주파수 도메인 하위대역 신호로 변환되는 시간 도메인 신호)를 생성한다.
다운-믹스 디코더(405)는 매개변수 처리기(403)에 또한 연결된 업-믹스 처리기(407)에 또한 연결된다. 업-믹스 처리기(407)는 (특정 예에서, 스테레오 신호인) 멀티-채널 신호를 생성하도록 다운-믹스 신호를 업-믹싱한다. 이 특정 예에서, 모노 다운-믹스는 스테레오의 좌측 및 우측 채널들로 업-믹싱된다. 업-믹싱은 매개변수 데이터 및 매개변수 데이터로부터 생성될 수 있는 다운링크 가중치의 결정된 추정들에 기초하여 실행된다. 업-믹싱된 스테레오 채널은, 이 특정 예에서, 주파수 하위대역 도메인에서 시간 도메인으로의 변환을 포함할 수 있는 출력 회로(409)에 공급된다. 출력 회로(409)는 구체적으로 역 QMF 또는 FFT 변형을 포함할 수 있다.
도 4의 디코더에서, 매개변수 처리기(403)는 업-믹스 처리기에 더욱 연결된 가중치 처리기(411)에 연결된다. 가중치 처리기(411)는 수신한 매개변수 데이터로부터 다운-믹스 가중치들을 추정하도록 구성된다. 이 결정은 동일한 가중치들을 가정하는 것에 제한되는 것은 아니다. 오히려, 디코더(115)는 정확히 어떤 다운-믹스 가중치들이 인코더(109)에서 적용됐는지 반드시 알지 못할 수 있지만, 디코딩은 가중치들 간에 (진폭) 차를 갖는 잠재적으로 비대칭인 가중치들의 이용에 기초한다. 따라서, 수신된 매개변수들이 가중치들의 에너지/진폭 및/또는 각을 결정하는데 이용된다. 특히, 가중치들은 채널들 간의 에너지 관계들을 나타내는 매개변수들에 응답하여 결정된다. 구체적으로, 결정은 IPD의 위상 값에 제한되지 않지만 IID 및/또는 ICC 값들에 따른다.
적용된 가중치들을 결정하는 것은 구체적으로 인코더(115)에 대하여 앞서 설명된 것과 같은 방식을 이용한다. 따라서, 인코더(109)에 대하여 앞서 설명된 것과 같은 계산들이 대응하는 인코더(109)에 의해 이용된(또는 이용됐다고 가정되는) 가중치들(w1, w2)을 결정하도록 가중치 처리기(411)에 의해 실행될 수 있다.
종래의 디코더들에 의해 실행되는 업-믹싱은 2개의 채널들에 대하여 동일한 가중치들이 적용되거나 단지 위상값이 다르다는 가정에 기초한다. 그러나, 도 4의 디코더(115)에서, 업-믹싱은 또한 가중치들 간의 진폭차를 고려하며, 구체적으로, 매개변수 처리기(403)로부터 실제 추정된 가중치들(w1 및 w2)이 업-믹싱을 수정하는데 이용되도록 수정된다. 따라서, 종래의 업-믹스 방식들은, 수신된 매개변수 데이터로부터 추정들을 계산하기 위한 동적으로 가변하는 신호 종속적 가중치들을 더욱 고려하도록 수정된다.
다음에서, 상이한 에너지들을 가진 가중치들을 고려하도록 확장된 업-믹스 알고리즘들의 구체적인 예들이 제시될 것이다.
고정된 참조(전형적으로 좌측 채널)에 관한 하위대역 좌측 및 우측 채널들의 절대 (평균) 위상 오프셋을 나타내는 전위상차를 이용하는 업-믹스 방법들이 알려져 있다.
구체적으로, 매개변수 스테레오 표준은 다음의 업-믹스를 이용하며:
Figure 112012045651143-pct00049
여기서, s는 수신된 모노-다운-믹스이고, sd는 당업자에 의해 알려질, 디코더에 의해 생성되는 비상관 신호이고, c1 및 c2는 좌측 및 우측 신호들 간의 올바른 레벨차들을 보장하기 위한 게인들이다.
구체적으로, c1, c2, α, 및 β는 다음과 같이 결정될 수 있다:
Figure 112012045651143-pct00050
Figure 112012045651143-pct00051
이 수학식은, OPD 값이 적합하게 수정되면, 가중치들(w1 및 w2)이 상이한 에너지들을 갖는 시나리오에 대하여 여전히 유효하다. 따라서, 가중치들 간의 에너지차들을 허용하는 신호들의 디코딩에 대하여, 상기 수학식에 어떠한 수정도 필요하지 않다. 이것은, 업-믹스 매트릭스가 OPD에 독립적인 올바른 공간 큐들(IID, ICC, IPD)을 항상 회수하기 때문이다. OPD는 추가 자유도로서 보여질 수 있다.
OPD는 좌측 채널과 합산 신호 간의 각으로 규정되고, ss는 좌측 및 우측 신호들을 합산하여 생성된다:
Figure 112012045651143-pct00052
또한,
Figure 112012045651143-pct00053
및
Figure 112012045651143-pct00054
이고, 여기서, Pll은 좌측 신호의 전력이고, Plr은 좌측 및 우측 신호들의 교차-전력 또는 교차-상관이다.
따라서:
Figure 112012045651143-pct00055
이고, 여기서, Prr은 우측 신호의 전력이다.
따라서, 가중치들(w1 및 w2)이, 앞서 설명된 바와 같이, 매개변수 데이터에 기초하여 가중치 처리기(411)에 의해 우선 결정될 수 있고, 추정된 가중치들은 잠재적으로 비대칭인 가중화를 고려하는(즉, 가중치들 간의 차는 진폭 비대칭을 포함함) 전위상 값을 생성하기 위해 매개변수 데이터와 함께 이용될 수 있다. 생성된 전위상 값은 그 후 상관 신호 및 다운-믹스 신호로부터 업-믹싱된 신호를 생성하는데 이용될 수 있다.
몇몇의 실시예들에서, OPD 값은, 채널들이 상관된다는, 즉, icc 매개변수가 단위 값을 갖는다는 가정하에서 생성될 수 있다. 이것은 다음의 OPD 값을 유도한다:
Figure 112012045651143-pct00056
따라서, 인코더는 고정된 합산 또는 위상 정렬 다운-믹스 방식들에 연관된 전형적인 단점들과 같은 것에 영향을 받지 않는 업-믹싱된 신호를 생성할 수 있다. 또한, 이것은 추가 데이터가 송신되는 것을 요구하지 않으면서 달성된다.
다른 예로서, 업-믹싱은 다운-믹스 신호로부터의 비상관 신호의 예측에 기초할 수 있다. 다운-믹스는 다음과 같이 생성되며,
Figure 112012045651143-pct00057
여기서, w1 및 w2 모두는 컴플렉스할(complex) 수 있다. 따라서, 보조 신호가 스케일링된 컴플렉스 로테이션(scaled complex rotation)을 이용하여 구성될 수 있고, 그 결과 다음과 같은 전체 다운-믹스 행렬이 생성된다:
Figure 112012045651143-pct00058
따라서, 신호(d)는 좌측 및 우측 신호들에 대한 차 신호를 나타낸다. 결과의 이론적인 업-믹스 행렬은 다음과 같이 결정될 수 있다:
Figure 112012045651143-pct00059
이 차 신호는 다운-믹스 신호(s)로부터 예측될 수 있는 예측가능 구성요소 및 다운-믹스 신호(s)와 상관이 없는 예측불가능 구성요소에 의해 표현될 수 있다. 따라서, d는 다음과 같이 표현될 수 있으며:
Figure 112012045651143-pct00060
여기서, sd는 디코더 생성된 비-상관 합산 신호이고, α는 컴플렉스 예측 인자이고, β는 (실제값의) 비상관 스케일링 인자이다. 이것은 다음을 이끈다:
Figure 112012045651143-pct00061
따라서, 예측 인자(α) 및 비상관 스케일링 인자(β)가 결정될 수 있으면, 업-믹스가 이 방식에 의해 생성될 수 있다.
상이한 신호를 생성하기 위한 이전 수학식에서, β· sd의 두번째 항은 다운-믹스 신호(s)로부터 예측될 수 없는 차 신호 부분을 나타낸다. 낮은 데이터율을 유지하기 위해, 이 잔여 신호 구성요소는 전형적으로 디코더에 전달되지 않으며, 그에 따라, 업-믹스는 국부적으로 생성된 비상관 신호 및 비상관 스케일일 인자에 기초한다.
그러나, 몇몇의 경우들에서, 잔여 신호(β· sd)는 신호(dres)로서 인코딩되어 디코더에 전달된다. 이러한 경우들에서, 차 신호는 다음과 같이 주어질 수 있고:
Figure 112012045651143-pct00062
이것은 다음을 유도한다:
Figure 112012045651143-pct00063
또한, 예측 인자(α) 및 비상관 스케일링 인자(β) 모두는 다음과 같이 수신된 매개변수 데이터로부터 결정될 수 있다:
Figure 112012045651143-pct00064
따라서, 예측 기반 방식은, 비대칭 에너지 가중치들이 다운-믹스에 대하여 이용된다는 가정에 기초한 업-믹싱이 실행되도록 허용한다. 또한, 업-믹스 처리는 매개변수 데이터에 의해 제어되고, 어떠한 추가 정보도 인코더로부터 송신될 필요가 없다.
보다 상세하게, 컴플렉스 예측 인자(α) 및 비상관 스케일링 인자(β)는 다음을 고려하여 유도될 수 있다.
우선, 예측 인자(α)가 다음과 같이 주어지며:
Figure 112012045651143-pct00065
여기서,
Figure 112015107699215-pct00066
이다. 이것은 다음을 유도한다:
Figure 112012045651143-pct00067
그후, 다음의 매개변수 규정을 이용하여,
Figure 112012045651143-pct00068
이것은 다음을 생성한다:
Figure 112012045651143-pct00069
비상관 신호의 전력이 합산 신호의 전력과 매치한다는 가정을 이용하여, 비상관 스케일일 인자(β)가 다음과 같이 주어진다:
Figure 112012045651143-pct00070
Figure 112012045651143-pct00071
이고, 이는 다음을 따른다:
Figure 112012045651143-pct00072
앞의 예들은, 어떠한 추가 매개변수들이 전달되는 것을 요구하지 않으면서 (가중치들 간의 진폭 비대칭을 포함하는) 가변적이고 비대칭의 가중치들이 다운-믹스/업-믹스 시스템과 함께 이용되도록 허용하는 시스템을 설명했다. 오히려, 가중치들 및 업-믹스 동작은 매개변수 데이터에 기초할 수 있다.
이러한 방식은, 다운-믹스 및 업-믹스에 대하여 이용되는 하위대역들이, 매개변수들이 계산되는 분석 대역들에 상대적으로 가깝게 대응할 때 특히 유익하다.
이것은 종종, 보다 낮은 주파수들에 대하여, 다운-믹스 하위대역들 및 매개변수 분석 주파수 대역들이 일치하는 경향이 있는 경우일 수 있다. 그러나, 몇몇의 실시예들에서, 그것은, 예를 들면, 분석 주파수 대역들보다 세밀한 주파수 및/또는 시간 양자화를 갖는 다운-믹스 하위대역들을 갖는데 유익할 수 있는데, 이는, 이것이 몇몇의 시나리오들에서 개선된 오디오 품질을 결과로 낼 수 있기 때문이다. 이것은 특히 보다 높은 주파수들에 대한 경우일 수 있다.
따라서, 보다 높은 주파수 범위들에서, 매개변수 분석과 다운-믹스의 하위대역들 간의 상관이 상이할 수 있다. 개개의 다운-믹스 하위대역들에 대하여 가중치들이 상이할 수 있기 때문에, 각각의 하위대역에 대한 개개의 가중치들과 매개변수 데이터 간의 상관은 덜 정확할 수 있다. 그러나, 매개변수 데이터는 전형적으로 다운-믹스 가중치들의 보다 거친(coarser) 추정을 생성할 수 있고, 전형적으로 연관된 품질 저하가 수용가능할 수 있다.
구체적으로, 몇몇의 실시예들에서, 인코더는 각각의 하위대역에서 이용되는 실제 다운-믹스 가중치들과 보다 넓은 분석 대역의 매개변수 데이터에 기초하여 계산될 수 있는 것들 간의 차를 평가할 수 있다. 그 차이가 너무 커지면, 인코더는 이것에 대한 표시를 포함할 수 있다. 따라서, 인코더는, 적어도 하나의 주파수-시간 간격에 대한(예를 들면, 하나의 세그먼트의 다운-믹스 하위대역에 대한) 가중치들을 생성하기 위해 매개변수 데이터가 이용되야 하는지에 대한 표시를 포함할 수 있다. 그 표시가, 매개변수 데이터가 이용되지 않아야 한다는 것이면, 인코더는, 예를 들면, 다운-믹스가 단순한 합산이라는 가정 상의 업-믹스에 기초하는 것과 같은 다른 방식을 대신 이용할 수 있다.
몇몇의 실시예들에서, 인코더는, 매개변수 데이터가 가중치들을 추정하는데 불충분하다는 것을, 정확도 표시가 나타내는 하위대역들에 대하여 이용되는 다운-믹스 가중치들의 표시를 포함하도록 더욱 구성될 수 있다. 이러한 실시예들에서, 디코더(115)는 따라서 이들 가중치들을 직접 추출하고 그들을 적절한 하위대역들에 적용할 수 있다. 가중치들은 절대값들로서 전달될 수 있거나, 예를 들면, 실제 가중치들과 매개변수 데이터를 이용하여 계산되는 것들 간의 차와 같은 상대 값들로서 전달될 수 있다.
명확성을 위한 앞의 설명은 본 발명의 실시예들을 상이한 기능 회로들, 유닛들(units), 및 처리기들을 참조하여 설명됐다는 것이 명확해질 것이다. 그러나, 상이한 기능 회로들, 유닛들, 또는 처리기들 간의 임의의 적절한 기능 분배가 본 발명으로부터 벋어나지 않으면서 이용될 수 있다는 것이 명백해질 것이다. 예를 들면, 개별적인 처리기들 또는 제어기들에 의해 실행되는 것으로 나타내진 기능은 같은 처리기 또는 제어기들에 의해 실행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에의 참조는 단지 엄격한 논리적인 또는 물리적인 구조 또는 조직을 나타내기 보다는 설명된 기능을 제공하기에 적합한 수단들에의 참조로 보여진다.
본 발명은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함하는 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 적어도 부분적으로 하나 이상의 데이터 처리기들 및/또는 디지털 신호 처리기들 상에서 동작하는 컴퓨터 소프트웨어로서 구현될 수 있다. 본 발명의 실시예의 요소들 및 구성요소들은 임의의 적합한 방식으로 물리적으로, 기능적으로, 및 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛, 복수의 유닛들, 또는 다른 기능 유닛들의 부분으로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛에 구현되거나, 상이한 유닛들, 회로들, 및 처리기들 간에 물리적으로 및 기능적으로 분산될 수 있다.
본 발명은 몇몇의 실시예들에 관련하여 설명됐지만, 여기에 설명된 구체적인 형태로 제한되도록 의도된 것은 아니다. 오히려, 본 발명의 영역은 단지 첨부된 청구항들에 의해서만 제한된다. 이외에, 특징이 특정 실시예들에 관련하여 설명되는 것으로 나타날 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있다는 것을 인식할 것이다. 청구항들에서, 포함한다는 용어는 다은 요소들 또는 단계들의 존재를 배제하는 것은 아니다.
또한, 개별적으로 나열되었지만, 복수의 수단들, 요소들, 회로들, 또는 방법 단계들은, 예를 들면, 단일 회로, 유닛, 또는 처리기에 의해 구현될 수 있다. 이외에, 개개의 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 유익하게 조합될 수 있고, 상이한 청구항들에 포함되는 것이 특징들의 조합이 실현불가능하고/하거나 유익하지 않다는 것을 의미하는 것은 아니다. 또한, 특징들이 청구항들의 하나의 카테고리에 포함되는 것은 이 카테고리에만 제한되는 것을 의미하는 것이 아니라, 오히려 그 특징이 다른 청구항 카테고리들에 동일하게 적절히 적용가능하다는 것을 나타낸다. 또한, 청구항들 내에서의 특징들의 순서는 그 특징들이 작동해야만하는 임의의 구체적인 순서를 의미하는 것은 아니며, 특히, 방법 청구항에서 개개의 단계들의 순서는 그 단계들이 이 순서로 실행되어야만 한다는 것을 의미하는 것은 아니다. 오히려, 그 단계들은 임의의 적합한 순서로 실행될 수 있다. 이외에, 단수 참조들은 복수를 배제하는 것은 아니다. 따라서, "한", "하나의", "제 1", "제 2" 등은 복수를 불가능하게 하는 것은 아니다. 청구항들 내의 참조 부호들은 단지 명확화하는 예로서 제공된 것으로, 임의의 방식으로 청구항들의 범위를 제한하는 것으로 구성되지 말아야 한다.
100: 송신 시스템 101: 송신기
103: 수신기 105: 네트워크
115: 디코더

Claims (17)

  1. 멀티-채널 오디오 신호를 생성하기 위한 디코더(115)에 있어서:
    적어도 제 1 가중치에 의해 가중된 제 1 채널 신호 및 제 2 가중치에 의해 가중된 제 2 채널 신호의 조합인 다운-믹스(down-mix)를 수신하기 위한 제 1 수신기(401, 405)로서, 상기 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는, 상기 제 1 수신기(401, 405);
    상기 제 1 채널 신호와 상기 제 2 채널 신호 간의 관계를 특징짓는 업-믹스 매개변수 데이터를 수신하기 위한 제 2 수신기(401, 403);
    상기 업-믹스 매개변수 데이터로부터 제 1 가중치 추정 및 제 2 가중치 추정을 생성하기 위한 회로(411); 및
    상기 업-믹스 매개변수 데이터, 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정에 응답하여 상기 다운-믹스를 업-믹싱하여 상기 멀티-채널 오디오 신호를 생성하기 위한 업-믹서(407)로서, 상기 업-믹싱은 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정 중 적어도 하나의 진폭에 의존하는, 상기 업-믹서(407)를 포함하는, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  2. 제 1 항에 있어서,
    상기 회로(411)는 상기 적어도 몇몇의 시간-주파수 간격들에 대한 상기 매개변수 데이터 중 적어도 몇몇의 매개변수들에 대하여 상이한 관계들을 갖는 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정을 생성하도록 구성되는, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  3. 제 2 항에 있어서,
    상기 업-믹서(407)는 상기 업-믹스 매개변수 데이터의 에너지 매개변수의 함수로서 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정 중 적어도 하나를 결정하도록 구성되고, 상기 에너지 매개변수는 상기 제 1 채널 신호 및 상기 제 2 채널 신호에 대한 상대적인 에너지 특성을 나타내는, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  4. 제 3 항에 있어서,
    상기 에너지 매개변수는:
    채널간 강도차(Interchannel Intensity Difference; IID) 매개변수;
    채널간 레벨차(Interchannel Level Difference; ILD) 매개변수; 및
    채널간 코히런스/상관(Interchannel Coherence/Correlation; IC/ICC) 매개변수 중 적어도 하나인, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  5. 제 1 항에 있어서,
    상기 업-믹스 매개변수 데이터는 상기 제 1 가중치와 상기 제 2 가중치와 상기 업-믹스 매개변수 데이터 간의 관계에 대한 정확도 표시를 포함하고, 상기 디코더(115)는 상기 정확도 표시에 응답하여 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정 중 적어도 하나를 생성하도록 구성되는, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  6. 제 1 항에 있어서,
    적어도 하나의 주파수 간격에 대한 상기 제 1 가중치 및 상기 제 2 가중치 중 적어도 하나는 상기 업-믹스 매개변수 데이터의 대응하는 매개변수보다 세밀한 주파수-시간 해상도(frequency-temporal resolution)를 갖는, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  7. 제 1 항에 있어서,
    상기 업-믹서(407)는 상기 매개변수 데이터에 응답하여 전위상차 값(Overall Phase Difference value)을 생성하고 상기 전위상차 값에 응답하여 상기 업-믹싱을 실행하도록 구성되고, 상기 전위상차 값은 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정에 의존하는, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  8. 제 1 항에 있어서,
    상기 업-믹싱은 전위상차 값을 제외하고 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정 중 상기 적어도 하나의 진폭에 독립적인, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  9. 제 1 항에 있어서,
    상기 업-믹서(407)는:
    상기 다운-믹스와 상관이 없는 비상관 신호를 상기 다운-믹스로부터 생성하고;
    상기 다운-믹스 및 상기 비상관 신호에 행렬 곱을 적용하여 상기 다운-믹스를 업-믹싱하도록 구성되고,
    상기 행렬 곱의 계수들은 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정에 의존하는, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  10. 제 1 항에 있어서,
    상기 업-믹서(407)는:
    상기 업-믹스 매개변수 데이터에 응답하여 상기 제 1 채널 신호 및 상기 제 2 채널 신호에 대한 비-위상 정렬 조합(non-phase aligned combination)의 에너지를 나타내는 제 1 에너지 측정을 결정하고;
    상기 업-믹스 매개변수 데이터에 응답하여 상기 제 1 채널 및 상기 제 2 채널의 위상 정렬 조합의 에너지를 나타내는 제 2 에너지 측정을 결정하고;
    상기 제 2 에너지 측정에 관한 상기 제 1 에너지 측정의 제 1 측정을 결정하고;
    상기 제 1 측정에 응답하여 상기 제 1 가중치 추정을 결정함으로써, 상기 제 1 가중치 추정을 결정하도록 구성되는, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  11. 제 1 항에 있어서,
    상기 업-믹서(407)는:
    상기 제 1 가중치 및 상기 제 2 가중치의 미리 결정된 값들의 복수의 쌍들 각각에 대하여, 상기 매개변수 데이터에 응답하여 상기 미리 결정된 값들의 쌍들에 대응하는 다운-믹스의 에너지를 나타내는 에너지 측정을 결정하고;
    상기 에너지 측정들 및 상기 미리 결정된 값들의 쌍들에 응답하여 상기 제 1 가중치를 결정함으로써, 상기 제 1 가중치 추정을 결정하도록 구성되는, 멀티-채널 오디오 신호를 생성하기 위한 디코더(115).
  12. 적어도 제 1 채널 및 제 2 채널을 포함하는 멀티-채널 오디오 신호의 인코딩된 표현을 생성하기 위한 인코더(109)에 있어서:
    적어도 제 1 가중치에 의해 가중된 상기 제 1 채널의 제 1 채널 신호 및 제 2 가중치에 의해 가중된 상기 제 2 채널의 제 2 채널 신호의 조합으로서 다운-믹스를 생성하기 위한 다운-믹서(201, 203, 205)로서, 상기 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는, 상기 다운-믹서(201, 203, 205);
    상기 제 1 채널 신호와 상기 제 2 채널 신호 간의 관계를 특징짓는 업-믹스 매개변수 데이터를 생성하기 위한 회로(201, 203, 209)로서, 상기 업-믹스 매개변수 데이터는 또한 상기 제 1 가중치 및 상기 제 2 가중치를 특징짓는, 상기 회로(201, 203, 209); 및
    상기 다운-믹스 및 상기 업-믹스 매개변수 데이터를 포함하도록 상기 인코딩된 표현을 생성하기 위한 회로(207, 211)를 포함하고,
    상기 다운-믹서(201, 203, 205)는:
    상기 제 1 채널 신호 및 상기 제 2 채널 신호에 대한 비-위상 정렬 조합의 에너지를 나타내는 제 1 에너지 측정을 결정하고;
    상기 제 1 채널 신호 및 상기 제 2 채널 신호의 위상 정렬 조합의 에너지를 나타내는 제 2 에너지 측정을 결정하고;
    상기 제 2 에너지 측정에 관한 상기 제 1 에너지 측정의 제 1 측정을 결정하고;
    상기 제 1 측정에 응답하여 상기 제 1 가중치 및 상기 제 2 가중치를 결정하도록 구성되는, 멀티-채널 오디오 신호의 인코딩된 표현을 생성하기 위한 인코더(109).
  13. 멀티-채널 오디오 신호를 생성하는 방법에 있어서:
    적어도 제 1 가중치에 의해 가중된 제 1 채널 신호 및 제 2 가중치에 의해 가중된 제 2 채널 신호의 조합인 다운-믹스를 수신하는 단계로서, 상기 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는, 상기 다운-믹스를 수신하는 단계;
    상기 제 1 채널 신호와 상기 제 2 채널 신호 간의 관계를 특징짓는 업-믹스 매개변수 데이터를 수신하는 단계;
    상기 업-믹스 매개변수 데이터로부터 제 1 가중치 추정 및 제 2 가중치 추정을 생성하는 단계; 및
    상기 업-믹스 매개변수 데이터, 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정에 응답하여 상기 다운-믹스를 업-믹싱하여 상기 멀티-채널 오디오 신호를 생성하는 단계로서, 상기 업-믹싱은 상기 제 1 가중치 추정 및 상기 제 2 가중치 추정 중 적어도 하나의 진폭에 의존하는, 상기 멀티-채널 오디오 신호를 생성하는 단계를 포함하는, 멀티-채널 오디오 신호를 생성하는 방법.
  14. 적어도 제 1 채널 및 제 2 채널을 포함하는 멀티-채널 오디오 신호의 인코딩된 표현을 생성하는 방법에 있어서:
    적어도 제 1 가중치에 의해 가중된 상기 제 1 채널의 제 1 채널 신호 및 제 2 가중치에 의해 가중된 상기 제 2 채널의 제 2 채널 신호의 조합으로서 다운-믹스를 생성하는 단계로서, 상기 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖는, 상기 다운-믹스를 생성하는 단계;
    상기 제 1 채널 신호와 상기 제 2 채널 신호 간의 관계를 특징짓는 업-믹스 매개변수 데이터를 생성하는 단계로서, 상기 업-믹스 매개변수 데이터는 또한 상기 제 1 가중치 및 상기 제 2 가중치를 특징짓는, 상기 업-믹스 매개변수 데이터를 생성하는 단계; 및
    상기 다운-믹스 및 상기 업-믹스 매개변수 데이터를 포함하도록 상기 인코딩된 표현을 생성하는 단계를 포함하는, 멀티-채널 오디오 신호의 인코딩된 표현을 생성하는 방법.
  15. 제 13 항 또는 제 14 항의 방법을 실행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
  16. 삭제
  17. 적어도 제 1 가중치에 의해 가중된 제 1 채널 신호 및 제 2 가중치에 의해 가중된 제 2 채널 신호의 조합인 다운-믹스를 포함하는 멀티-채널 오디오 신호에 대한 오디오 비트-스트림이 저장된 저장 매체에 있어서,
    상기 제 1 가중치 및 제 2 가중치는 적어도 몇몇의 시간-주파수 간격들에 대하여 상이한 진폭들을 갖고; 업-믹스 매개변수 데이터는 상기 제 1 채널 신호와 상기 제 2 채널 신호 간의 관계를 특징짓고, 상기 업-믹스 매개변수 데이터는 또한 상기 제 1 가중치 및 상기 제 2 가중치를 특징짓는, 저장 매체.
KR1020127014839A 2009-11-12 2010-11-05 매개변수 인코딩 및 디코딩 KR101732338B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09175771.6 2009-11-12
EP09175771A EP2323130A1 (en) 2009-11-12 2009-11-12 Parametric encoding and decoding
PCT/IB2010/055025 WO2011058484A1 (en) 2009-11-12 2010-11-05 Parametric encoding and decoding

Publications (2)

Publication Number Publication Date
KR20120089335A KR20120089335A (ko) 2012-08-09
KR101732338B1 true KR101732338B1 (ko) 2017-05-04

Family

ID=42008564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127014839A KR101732338B1 (ko) 2009-11-12 2010-11-05 매개변수 인코딩 및 디코딩

Country Status (10)

Country Link
US (1) US9070358B2 (ko)
EP (2) EP2323130A1 (ko)
JP (1) JP5643834B2 (ko)
KR (1) KR101732338B1 (ko)
CN (1) CN102598122B (ko)
BR (1) BR112012011084B1 (ko)
MX (1) MX2012005414A (ko)
RU (1) RU2560790C2 (ko)
TW (1) TWI573130B (ko)
WO (1) WO2011058484A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571875B2 (en) * 2006-10-18 2013-10-29 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
EP2464146A1 (en) * 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a pre-calculated reference curve
CN103403801B (zh) * 2011-08-29 2015-11-25 华为技术有限公司 参数多通道编码器和解码器
WO2013120531A1 (en) * 2012-02-17 2013-08-22 Huawei Technologies Co., Ltd. Parametric encoder for encoding a multi-channel audio signal
KR101662682B1 (ko) 2012-04-05 2016-10-05 후아웨이 테크놀러지 컴퍼니 리미티드 채널간 차이 추정 방법 및 공간적 오디오 코딩 장치
KR20140016780A (ko) * 2012-07-31 2014-02-10 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
CA2881065C (en) * 2012-08-10 2020-03-10 Thorsten Kastner Encoder, decoder, system and method employing a residual concept for parametric audio object coding
EP2717261A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
US9774973B2 (en) 2012-12-04 2017-09-26 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
US8804971B1 (en) * 2013-04-30 2014-08-12 Dolby International Ab Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio
CN104299615B (zh) 2013-07-16 2017-11-17 华为技术有限公司 一种声道间电平差处理方法及装置
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
CN105336335B (zh) * 2014-07-25 2020-12-08 杜比实验室特许公司 利用子带对象概率估计的音频对象提取
EP2980789A1 (en) * 2014-07-30 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhancing an audio signal, sound enhancing system
MY186661A (en) 2015-09-25 2021-08-04 Voiceage Corp Method and system for time domain down mixing a stereo sound signal into primary and secondary channels using detecting an out-of-phase condition of the left and right channels
EP3301673A1 (en) * 2016-09-30 2018-04-04 Nxp B.V. Audio communication method and apparatus
US10224042B2 (en) * 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
CA3045847C (en) * 2016-11-08 2021-06-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder
BR112019009315A2 (pt) 2016-11-08 2019-07-30 Fraunhofer Ges Forschung aparelho e método para mixagem de redução ou mixagem de aumento de um sinal de múltiplos canais com o uso de compensação de fase
CN113782039A (zh) 2017-08-10 2021-12-10 华为技术有限公司 时域立体声编解码方法和相关产品
CN109389987B (zh) 2017-08-10 2022-05-10 华为技术有限公司 音频编解码模式确定方法和相关产品
CN114005455A (zh) 2017-08-10 2022-02-01 华为技术有限公司 时域立体声编解码方法和相关产品
US10580420B2 (en) 2017-10-05 2020-03-03 Qualcomm Incorporated Encoding or decoding of audio signals
EP3550561A1 (en) * 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
WO2020178321A1 (en) * 2019-03-06 2020-09-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer and method of downmixing
GB2582749A (en) * 2019-03-28 2020-10-07 Nokia Technologies Oy Determination of the significance of spatial audio parameters and associated encoding
US10904690B1 (en) * 2019-12-15 2021-01-26 Nuvoton Technology Corporation Energy and phase correlated audio channels mixer
US20220399026A1 (en) * 2021-06-11 2022-12-15 Nuance Communications, Inc. System and Method for Self-attention-based Combining of Multichannel Signals for Speech Processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050074127A1 (en) 2003-10-02 2005-04-07 Jurgen Herre Compatible multi-channel coding/decoding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
DE602004029872D1 (de) * 2003-03-17 2010-12-16 Koninkl Philips Electronics Nv Verarbeitung von mehrkanalsignalen
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7272567B2 (en) * 2004-03-25 2007-09-18 Zoran Fejzo Scalable lossless audio codec and authoring tool
RU2390857C2 (ru) 2004-04-05 2010-05-27 Конинклейке Филипс Электроникс Н.В. Многоканальный кодировщик
DE102004043521A1 (de) * 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
JP4892184B2 (ja) * 2004-10-14 2012-03-07 パナソニック株式会社 音響信号符号化装置及び音響信号復号装置
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
US7961890B2 (en) * 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
JP2006325162A (ja) * 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd バイノーラルキューを用いてマルチチャネル空間音声符号化を行うための装置
KR101356586B1 (ko) * 2005-07-19 2014-02-11 코닌클리케 필립스 엔.브이. 다중 채널 오디오 신호를 생성하기 위한 디코더, 수신기 및 방법
JP2009503574A (ja) 2005-07-29 2009-01-29 エルジー エレクトロニクス インコーポレイティド 分割情報のシグナリング方法
KR100866885B1 (ko) 2005-10-20 2008-11-04 엘지전자 주식회사 멀티채널 오디오 신호의 부호화 및 복호화 방법과 그 장치
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
EP1989920B1 (en) * 2006-02-21 2010-01-20 Koninklijke Philips Electronics N.V. Audio encoding and decoding
WO2007111568A2 (en) 2006-03-28 2007-10-04 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for a decoder for multi-channel surround sound
DE602007012730D1 (de) * 2006-09-18 2011-04-07 Koninkl Philips Electronics Nv Kodierung und dekodierung von audio-objekten
CN101529504B (zh) * 2006-10-16 2012-08-22 弗劳恩霍夫应用研究促进协会 多通道参数转换的装置和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050074127A1 (en) 2003-10-02 2005-04-07 Jurgen Herre Compatible multi-channel coding/decoding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FALLER, Christof. Parametric coding of spatial audio. 2004. PhD Thesis. ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE.
Jimmy Lapierre, et al. On improving parametric stereo audio coding. Audio Engineering Society Convention 120. 2006.05.23.
JungHoe Kim, et al. Enhanced stereo coding with phase parameters for MPEG unified speech and audio coding. Audio Engineering Society Convention 127. 2009.10.12.

Also Published As

Publication number Publication date
WO2011058484A1 (en) 2011-05-19
TW201145259A (en) 2011-12-16
EP2499638A1 (en) 2012-09-19
TWI573130B (zh) 2017-03-01
BR112012011084A2 (pt) 2017-09-19
CN102598122B (zh) 2014-10-29
JP2013511062A (ja) 2013-03-28
BR112012011084B1 (pt) 2020-12-08
JP5643834B2 (ja) 2014-12-17
RU2012123750A (ru) 2013-12-20
CN102598122A (zh) 2012-07-18
KR20120089335A (ko) 2012-08-09
MX2012005414A (es) 2012-06-14
EP2323130A1 (en) 2011-05-18
US9070358B2 (en) 2015-06-30
US20120224702A1 (en) 2012-09-06
EP2499638B1 (en) 2015-02-25
RU2560790C2 (ru) 2015-08-20

Similar Documents

Publication Publication Date Title
KR101732338B1 (ko) 매개변수 인코딩 및 디코딩
US11430453B2 (en) Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing
JP7156986B2 (ja) 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム
RU2763374C2 (ru) Способ и система с использованием разности долговременных корреляций между левым и правым каналами для понижающего микширования во временной области стереофонического звукового сигнала в первичный и вторичный каналы
KR100904542B1 (ko) 멀티채널 합성장치 제어 신호를 발생하기 위한 장치 및방법과 멀티채널 합성을 위한 장치 및 방법
US8433583B2 (en) Audio decoding
KR101613975B1 (ko) 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2019502966A (ja) チャネル間時間差を推定する装置及び方法
AU2013326516B2 (en) Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
WO2010097748A1 (en) Parametric stereo encoding and decoding
RU2491656C2 (ru) Устройство декодирования звукового сигнала и способ регулирования баланса устройства декодирования звукового сигнала
CN115917645A (zh) 多模式空间音频编码的舒适噪声生成

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant