KR102327767B1 - 위상 보상을 이용하여 멀티 채널 신호를 다운믹싱 또는 업믹싱하는 장치 및 방법 - Google Patents
위상 보상을 이용하여 멀티 채널 신호를 다운믹싱 또는 업믹싱하는 장치 및 방법 Download PDFInfo
- Publication number
- KR102327767B1 KR102327767B1 KR1020197016092A KR20197016092A KR102327767B1 KR 102327767 B1 KR102327767 B1 KR 102327767B1 KR 1020197016092 A KR1020197016092 A KR 1020197016092A KR 20197016092 A KR20197016092 A KR 20197016092A KR 102327767 B1 KR102327767 B1 KR 102327767B1
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- signal
- gain
- residual
- reconstructed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 62
- 230000003595 spectral effect Effects 0.000 claims description 17
- 238000001228 spectrum Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000013139 quantization Methods 0.000 description 48
- 238000004364 calculation method Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 208000024875 Infantile dystonia-parkinsonism Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 208000001543 infantile parkinsonism-dystonia Diseases 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Abstract
적어도 2 개의 채널을 포함하는 멀티-채널 신호를 다운믹싱하는 장치는, 멀티-채널 신호로부터 다운믹스 신호를 산출하는 다운믹서 및 출력 신호를 생성하기 위한 출력 인터페이스 (160)를 포함하고, 다운믹서는 절대 위상 보상을 이용하여 다운믹스를 산출하여, 적어도 두 개의 채널 중 에너지가 낮은 채널만을 다운믹스 신호(122)를 산출할 때 더 많은 에너지를 갖는 채널보다 회전시키거나 강하게 회전시키도록 구성되고, 출력 신호는 다운믹스 신호(122)에 대한 정보를 포함한다.
Description
본 발명은 오디오 부호화(audio encoding) 분야에 관한 것으로, 특히 스테레오 또는 멀티 채널 부호화/복호화(decoding) 분야에 관한 것이다.
낮은 비트율(bitrate)에서의 스테레오 신호들(stereo signals)의 손실이 있는 매개변수(parameter)의 부호화의 최신 방법은 MPEG-4 Part 3에서 표준화된 매개변수의 스테레오(parametric stereo)를 기반으로 한다. 복호화기(decoder)에 부 정보(side information)로서 전송되는 스테레오 매개변수를 추출한 후 두 개의 입력 채널로부터 다운믹스 신호(downmix signal)를 산출(calculate)함으로써 채널 수를 줄이는 것이 일반적이다. 이러한 스테레오 매개변수들은 일반적으로 서브밴드들(subbands)에서 산출되고 공간적인 이미지를 포착하는 채널 간 레벨 차(inter-channel-level-difference: ILD), 채널 간 위상차(inter-channel-phase-difference: IPD) 및 채널 간 간섭(inter-channel-coherence: ICC)이다.
복호화기는 모노 입력(mono input)의 업믹스(upmix)을 수행하여 ILD, IPD 및 ICC 릴레이션들(relations)을 충족시키는 두 개의 채널들을 생성한다. 이는 복호화기에서 생성된 신호의 역상관된 버전(decorrelated version)과 함께 입력 신호를 행렬화(matrixing)하여 수행된다.
예를 들어, 이러한 매개변수의 이용은 이러한 매개변수를 산출하고 처리하는 데 상당한 복잡도(complexity)를 초래한다. 특히, 특히 ILD 매개변수는 매우 작거나 큰 값을 가질 수 있기 때문에 문제가 되고, 값들의 거의 제한되지 않은 범위는 효율적인 산출, 양자화 등과 관련하여 문제를 발생시킨다.
복호화기는 모노 입력(mono input)의 업믹스(upmix)을 수행하여 ILD, IPD 및 ICC 릴레이션들(relations)을 충족시키는 두 개의 채널들을 생성한다. 이는 복호화기에서 생성된 신호의 역상관된 버전(decorrelated version)과 함께 입력 신호를 행렬화(matrixing)하여 수행된다.
예를 들어, 이러한 매개변수의 이용은 이러한 매개변수를 산출하고 처리하는 데 상당한 복잡도(complexity)를 초래한다. 특히, 특히 ILD 매개변수는 매우 작거나 큰 값을 가질 수 있기 때문에 문제가 되고, 값들의 거의 제한되지 않은 범위는 효율적인 산출, 양자화 등과 관련하여 문제를 발생시킨다.
본 발명의 목적은 멀티 채널 데이터를 처리하기 위한 개선된 개념을 제공하는 것이다.
이 목적은 청구항 1항에 따른 멀티 채널 신호를 다운믹싱하는 장치, 청구항 17 항에 따른 부호화된 멀티 채널 신호를 업믹스하는 장치, 청구항 33 항의 멀티 채널 신호를 다운믹싱하는 방법, 청구항 34 항의 부호화된 멀티 채널 신호를 업믹스하는 방법 또는 청구항 35 항의 컴퓨터 프로그램에 의해 달성된다.
제1 측면의 본 발명은, 종래 기술과 대조적으로, 두 개의 이득 매개변수들, 즉 부 이득(side gain) 매개변수 및 잔여 이득(residual gain) 매개변수에 의존하는 다른 매개변수 부호화 절차가 채택된다는 결과에 기초한다. 두 이득 매개변수들은 멀티 채널 신호의 적어도 두 개의 채널 중 제1 채널 및 멀티 채널 신호의 적어도 두 개의 채널 중 제2 채널로부터 산출된다. 두 이득 매개변수들, 즉 부 이득 및 잔여 이득 모두는 송신되거나 저장되거나, 일반적으로 다운믹서(downmixer)에 의해 멀티 채널 신호로부터 산출된 다운믹스 신호와 함께 출력된다.
제1 측면의 본 발명의 실시예들은, 새로운 중간/측면 접근법에 기초하며, 새로운 세트의 매개변수들을 유도한다. 부호화기(encoder)에서 중간/측면 변환이 입력 채널들에 적용되고, 입력 채널들은 두 개의 입력 채널의 전체 정보를 함께 캡쳐한다(capture). 중간 신호(mid signal)는 좌측과 우측 채널의 값 중 평균값이며, 가중치는 복잡하고 위상차를 보상하기 위해 선택된다. 따라서, 부 신호는 입력 채널의 가중 차에 해당한다. 부 신호는 매개변수에 의해 모델링되는 반면, 중간 신호만 부호화된 파형(waveform)이다. 부호화기는 스테레오 매개변수로서, IPD들과 두 개의 이득 매개변수들을 추출하는 서브밴드에서 동작합니다. 부 이득이라고 지칭되는 제1 이득은 중간 신호에 의한 부 신호의 예측에 기인하고, 잔여 이득이라고도 지칭되는 제2 이득은 중간 신호의 에너지에 비례하여 나머지 에너지를 점유한다. 그 다음, 중간 신호는 다운믹스 신호로서 기능하며, 이는 스테레오 매개변수들과 함께(alongside) 복호화기에 전송된다.
복호화기는 부 이득 및 잔여 이득에 기초하여 손실된 부 채널을 추정하고 나머지를 대체하여 두 개의 채널을 합성한다.
제1 측면의 본 발명은 부 이득과 잔여 이득이 작은 범위로 제한되는 이득인 점에서 유리하다. 특히, 바람직한 실시예들에서 부 이득은 -1 내지 +1의 범위로 제한되고, 잔여 이득은 0 및 1의 범위로 제한된다. 바람직한 실시예에서 더욱 유용한 것은, 잔여 이득이 부 이득에 의존하므로, 부 이득이 커질수록 잔여 이득이 가질 수 있는 값의 범위가 작아진다는 것이다.
특히, 부 이득은 제1 및 제2 채널들의 부 신호를 예측하기 위해 제1 및 제2 채널의 중간 신호에 적용 가능한 부 이득으로서 산출된다. 또한, 매개변수 산출기는, 중간 신호 및 부 이득에 의한 부 신호의 잔여 예측 신호의 에너지 또는 진폭을 나타내는 잔여 이득으로서 잔여 이득을 산출하도록 구성된다.
그러나 중요한 것은 부호화기 측에서 실제로 예측을 수행하거나 부호화기 측에서 부 신호를 실제로 부호화할 필요가 없다는 것이다. 대신, 부 이득 및 잔여 이득은 에너지들, 전력들 또는 좌우 채널의 진폭과 관련된 다른 특성과 같은 진폭 관련 수치들을 이용하여 산출될 수 있다. 또한, 부 이득 및 잔여 이득의 산출은 양 채널 간의 내적(inner product)과 관련이 있다. 즉, 다운믹스 채널 자체 또는 부 채널 자체와 같이, 좌측 채널 및 우측 채널로부터 떨어져 있는 임의의 다른 채널들은 실시예들에서 산출될 필요가 없다. 그러나, 다른 실시예들에서, 부 신호가 산출될 수 있고, 예측에 대한 다른 시도들이 산출될 수 있고, 잔여 이득은 잔여 신호 또는 나머지 신호의 최소 에너지와 같은 다른 테스트에서 미리 정의된 기준을 초래하는 임의의 부 이득 예측과 관련된 잔여 신호로부터 산출될 수 있다. 따라서, 한 쪽으로는 부 이득을 산출하고 다른 한 쪽에서는 잔여 이득을 산출하는 데 있어 높은 유연성 및 그럼에도 불구하고 낮은 복잡성이 존재한다.
ILD 및 ICC에 비해 이득 매개변수의 대표적인 두 가지 이점들이 있다. 첫째, ILD 매개 변수와는 달리 그들은 유한 간격([-1,1]의 부 이득 및 [0,1]의 잔여 이득)에 저절로 놓인다. ILD 매개 변수는 임의의 크거나 작은 값을 가질 수 있다. 둘째, ILD 및 ICC의 산출에는 두 가지가 포함되지만, 단 하나의 특별한 함수 측정만 포함하기 때문에 산출은 덜 복잡하다.
제1 측면의 바람직한 실시예들은 스펙트럼 도메인(domain) 에서의 매개변수 산출에 의존한다. 즉, 매개변수는 다른 주파수 빈(frequency bin)들에 대해, 보다 바람직하게는 각각의 서브밴드가 특정한 수의 주파수 빈들을 포함하는 다른 서브밴드에 대해 산출된다. 바람직한 실시예에서, 서브밴드 내에 포함된 주파수 빈들의 수는 인간 청취 지각의 특성을 모방하기 위해 낮은 서브밴드들에서 높은 서브밴드들로 증가한다. 즉 높은 밴드들은 높은 주파수 범위들 또는 대역폭들을 커버하고, 낮은 주파수 범위들 또는 대역폭들을 커버한다.
바람직한 실시예에서, 다운믹서는 절대 위상(absolute phase)이 보상 된 다운믹스 신호를 산출하고, IPD 매개변수에 기초하여 위상 회전이 좌측 및 우측 채널에 적용된다. 그러나 위상 보상은보다 많은 에너지를 갖는 채널이 보다 적은 에너지를 갖는 채널보다 덜 회전되는 방식으로 수행된다. 위상 보상을 제어하기 위해, 부 이득이 바람직하게 이용될 수 있지만, 다른 실시예들에서, 임의의 다른 다운믹스가 이용될 수 있고, 이것은 또한 부 신호의 매개변수 표현(parametric representation)인 본 발명의 특정한 이점이다. 즉, 한쪽 부 이득 및 원래의 제1 및 제2 채널에만 기초하여 잔여 이득이 산출되고, 송신된 다운믹스에 대한 임의의 정보는 요구되지 않는다. 따라서 모든 다운믹스는 부 이득과 잔여 이득으로 구성된 새로운 매개변수 표현과 함께 이용될 수 있다. 그러나, 본 발명은 또한 부 이득에 기초한 절대 위상 보상과 함께 적용되는 데에 특히 유용하다.
절대 위상 보상의 또 다른 실시예에서, 위상 보상 매개변수는 특히 특정한 미리 결정된(predetermined) 수에 기초하여 산출되어, 위상 보정 매개변수를 산출할 때 발생하는 역탄젠트 함수(arctangent function)(atan 또는 tan-1)의 특이점(singularity)은 중심에서 특정한 쪽의 위치로 이동한다. 특이점의 이러한 시프팅은 +/- 180 °의 위상 시프트 및 0에 가까운 이득 매개변수, 즉 상당히 유사한 에너지를 갖는 좌측 및 우측 채널에 대해 특이점으로 인한 문제점이 발생하지 않도록 한다. 이러한 신호들은 매우 자주 발생하는 것으로 밝혀졌지만, 예를 들어 3 내지 12dB 또는 6dB 주위의 서로 위상차가 있고 신호의 차가 있는 신호들은 자연 상태에서는 발생하지 않는다. 따라서 특이점은 단지 시프트되지만, 이러한 시프팅은 다운믹서의 전반적인 성능을 향상시킨다는 것을 발견했다. 왜냐하면 이 시프팅은 일반적인 상황에서 직선의 역탄젠트 함수가 특이점을 갖는 것보다 훨씬 적은 신호 정상도(signal constellation) 상황에서 특이점이 발생하도록 한다.
다른 실시예들은 효율적인 양자화 절차를 구현하기 위해 부 이득 및 잔여 이득의 의존성을 이용한다. 이를 위해, 제1 실시예에서, 부 이득이 먼저 양자화되고 부 이득의 값에 기초한 양자화 단계를 이용하여 잔여 이득이 양자화되도록 수행되는 조인트(joint) 양자화를 수행하는 것이 바람직하다.
그러나, 다른 실시예들은 두 매개변수들이 단일 코드로 양자화되는 조인트 양자화에 의존하고, 코드의 특정한 부분들은 부호화기에 의해 부호화된 두 채널들의 특정한 레벨 차 특성에 포함되는 양자화 포인트들의 특정한 그룹들에 의존한다.
제2 측면은 적어도 두 개의 채널들을 포함하는 멀티-채널 신호(multi-channel signal)를 산출하는 장치와 관련된다. 장치는 멀티-채널 신호로부터의 다운믹스 신호를 산출하는 다운믹서를 포함한다. 다운믹서는 절대 위상 보상을 이용하여 다운믹스를 산출하도록 구성되어, 적어도 두 개의 채널들 중에서 더 낮은 에너지를 갖는 채널은 오직 회전되거나 또는 더 큰 에너지를 갖는 채널보다 더 강하게 회전되고, 다운믹스 신호에 관한 정보를 포함하는 출력 신호(output signal)를 생성하기 위한 출력 인터페이스(output interface)를 포함한다.
오히려 회전은 마이너 채널상에서 수행되지만, 마이너 채널이 항상 메이저 채널보다 더 많이 회전되지는 않는 작은 에너지 차 상황에 있을 수 있다. 그러나 에너지 비율이 충분히 크거나 충분히 작으면 바람직한 실시예는 메이저 채널보다 마이너 채널을 회전시킨다. 따라서, 오히려, 마이너 채널은 에너지 차가 현저하거나 또는 1dB 또는 그 이상과 같은 미리 정의된 임계치(predefined threshold)보다 큰 경우에만 메이저 채널보다 더 많이 회전된다. 이것은 다운믹서뿐만 아니라 업믹서에도 적용된다.
본 발명의 바람직한 실시예는 첨부된 도면과 관련하여 후술된다.
이 목적은 청구항 1항에 따른 멀티 채널 신호를 다운믹싱하는 장치, 청구항 17 항에 따른 부호화된 멀티 채널 신호를 업믹스하는 장치, 청구항 33 항의 멀티 채널 신호를 다운믹싱하는 방법, 청구항 34 항의 부호화된 멀티 채널 신호를 업믹스하는 방법 또는 청구항 35 항의 컴퓨터 프로그램에 의해 달성된다.
제1 측면의 본 발명은, 종래 기술과 대조적으로, 두 개의 이득 매개변수들, 즉 부 이득(side gain) 매개변수 및 잔여 이득(residual gain) 매개변수에 의존하는 다른 매개변수 부호화 절차가 채택된다는 결과에 기초한다. 두 이득 매개변수들은 멀티 채널 신호의 적어도 두 개의 채널 중 제1 채널 및 멀티 채널 신호의 적어도 두 개의 채널 중 제2 채널로부터 산출된다. 두 이득 매개변수들, 즉 부 이득 및 잔여 이득 모두는 송신되거나 저장되거나, 일반적으로 다운믹서(downmixer)에 의해 멀티 채널 신호로부터 산출된 다운믹스 신호와 함께 출력된다.
제1 측면의 본 발명의 실시예들은, 새로운 중간/측면 접근법에 기초하며, 새로운 세트의 매개변수들을 유도한다. 부호화기(encoder)에서 중간/측면 변환이 입력 채널들에 적용되고, 입력 채널들은 두 개의 입력 채널의 전체 정보를 함께 캡쳐한다(capture). 중간 신호(mid signal)는 좌측과 우측 채널의 값 중 평균값이며, 가중치는 복잡하고 위상차를 보상하기 위해 선택된다. 따라서, 부 신호는 입력 채널의 가중 차에 해당한다. 부 신호는 매개변수에 의해 모델링되는 반면, 중간 신호만 부호화된 파형(waveform)이다. 부호화기는 스테레오 매개변수로서, IPD들과 두 개의 이득 매개변수들을 추출하는 서브밴드에서 동작합니다. 부 이득이라고 지칭되는 제1 이득은 중간 신호에 의한 부 신호의 예측에 기인하고, 잔여 이득이라고도 지칭되는 제2 이득은 중간 신호의 에너지에 비례하여 나머지 에너지를 점유한다. 그 다음, 중간 신호는 다운믹스 신호로서 기능하며, 이는 스테레오 매개변수들과 함께(alongside) 복호화기에 전송된다.
복호화기는 부 이득 및 잔여 이득에 기초하여 손실된 부 채널을 추정하고 나머지를 대체하여 두 개의 채널을 합성한다.
제1 측면의 본 발명은 부 이득과 잔여 이득이 작은 범위로 제한되는 이득인 점에서 유리하다. 특히, 바람직한 실시예들에서 부 이득은 -1 내지 +1의 범위로 제한되고, 잔여 이득은 0 및 1의 범위로 제한된다. 바람직한 실시예에서 더욱 유용한 것은, 잔여 이득이 부 이득에 의존하므로, 부 이득이 커질수록 잔여 이득이 가질 수 있는 값의 범위가 작아진다는 것이다.
특히, 부 이득은 제1 및 제2 채널들의 부 신호를 예측하기 위해 제1 및 제2 채널의 중간 신호에 적용 가능한 부 이득으로서 산출된다. 또한, 매개변수 산출기는, 중간 신호 및 부 이득에 의한 부 신호의 잔여 예측 신호의 에너지 또는 진폭을 나타내는 잔여 이득으로서 잔여 이득을 산출하도록 구성된다.
그러나 중요한 것은 부호화기 측에서 실제로 예측을 수행하거나 부호화기 측에서 부 신호를 실제로 부호화할 필요가 없다는 것이다. 대신, 부 이득 및 잔여 이득은 에너지들, 전력들 또는 좌우 채널의 진폭과 관련된 다른 특성과 같은 진폭 관련 수치들을 이용하여 산출될 수 있다. 또한, 부 이득 및 잔여 이득의 산출은 양 채널 간의 내적(inner product)과 관련이 있다. 즉, 다운믹스 채널 자체 또는 부 채널 자체와 같이, 좌측 채널 및 우측 채널로부터 떨어져 있는 임의의 다른 채널들은 실시예들에서 산출될 필요가 없다. 그러나, 다른 실시예들에서, 부 신호가 산출될 수 있고, 예측에 대한 다른 시도들이 산출될 수 있고, 잔여 이득은 잔여 신호 또는 나머지 신호의 최소 에너지와 같은 다른 테스트에서 미리 정의된 기준을 초래하는 임의의 부 이득 예측과 관련된 잔여 신호로부터 산출될 수 있다. 따라서, 한 쪽으로는 부 이득을 산출하고 다른 한 쪽에서는 잔여 이득을 산출하는 데 있어 높은 유연성 및 그럼에도 불구하고 낮은 복잡성이 존재한다.
ILD 및 ICC에 비해 이득 매개변수의 대표적인 두 가지 이점들이 있다. 첫째, ILD 매개 변수와는 달리 그들은 유한 간격([-1,1]의 부 이득 및 [0,1]의 잔여 이득)에 저절로 놓인다. ILD 매개 변수는 임의의 크거나 작은 값을 가질 수 있다. 둘째, ILD 및 ICC의 산출에는 두 가지가 포함되지만, 단 하나의 특별한 함수 측정만 포함하기 때문에 산출은 덜 복잡하다.
제1 측면의 바람직한 실시예들은 스펙트럼 도메인(domain) 에서의 매개변수 산출에 의존한다. 즉, 매개변수는 다른 주파수 빈(frequency bin)들에 대해, 보다 바람직하게는 각각의 서브밴드가 특정한 수의 주파수 빈들을 포함하는 다른 서브밴드에 대해 산출된다. 바람직한 실시예에서, 서브밴드 내에 포함된 주파수 빈들의 수는 인간 청취 지각의 특성을 모방하기 위해 낮은 서브밴드들에서 높은 서브밴드들로 증가한다. 즉 높은 밴드들은 높은 주파수 범위들 또는 대역폭들을 커버하고, 낮은 주파수 범위들 또는 대역폭들을 커버한다.
바람직한 실시예에서, 다운믹서는 절대 위상(absolute phase)이 보상 된 다운믹스 신호를 산출하고, IPD 매개변수에 기초하여 위상 회전이 좌측 및 우측 채널에 적용된다. 그러나 위상 보상은보다 많은 에너지를 갖는 채널이 보다 적은 에너지를 갖는 채널보다 덜 회전되는 방식으로 수행된다. 위상 보상을 제어하기 위해, 부 이득이 바람직하게 이용될 수 있지만, 다른 실시예들에서, 임의의 다른 다운믹스가 이용될 수 있고, 이것은 또한 부 신호의 매개변수 표현(parametric representation)인 본 발명의 특정한 이점이다. 즉, 한쪽 부 이득 및 원래의 제1 및 제2 채널에만 기초하여 잔여 이득이 산출되고, 송신된 다운믹스에 대한 임의의 정보는 요구되지 않는다. 따라서 모든 다운믹스는 부 이득과 잔여 이득으로 구성된 새로운 매개변수 표현과 함께 이용될 수 있다. 그러나, 본 발명은 또한 부 이득에 기초한 절대 위상 보상과 함께 적용되는 데에 특히 유용하다.
절대 위상 보상의 또 다른 실시예에서, 위상 보상 매개변수는 특히 특정한 미리 결정된(predetermined) 수에 기초하여 산출되어, 위상 보정 매개변수를 산출할 때 발생하는 역탄젠트 함수(arctangent function)(atan 또는 tan-1)의 특이점(singularity)은 중심에서 특정한 쪽의 위치로 이동한다. 특이점의 이러한 시프팅은 +/- 180 °의 위상 시프트 및 0에 가까운 이득 매개변수, 즉 상당히 유사한 에너지를 갖는 좌측 및 우측 채널에 대해 특이점으로 인한 문제점이 발생하지 않도록 한다. 이러한 신호들은 매우 자주 발생하는 것으로 밝혀졌지만, 예를 들어 3 내지 12dB 또는 6dB 주위의 서로 위상차가 있고 신호의 차가 있는 신호들은 자연 상태에서는 발생하지 않는다. 따라서 특이점은 단지 시프트되지만, 이러한 시프팅은 다운믹서의 전반적인 성능을 향상시킨다는 것을 발견했다. 왜냐하면 이 시프팅은 일반적인 상황에서 직선의 역탄젠트 함수가 특이점을 갖는 것보다 훨씬 적은 신호 정상도(signal constellation) 상황에서 특이점이 발생하도록 한다.
다른 실시예들은 효율적인 양자화 절차를 구현하기 위해 부 이득 및 잔여 이득의 의존성을 이용한다. 이를 위해, 제1 실시예에서, 부 이득이 먼저 양자화되고 부 이득의 값에 기초한 양자화 단계를 이용하여 잔여 이득이 양자화되도록 수행되는 조인트(joint) 양자화를 수행하는 것이 바람직하다.
그러나, 다른 실시예들은 두 매개변수들이 단일 코드로 양자화되는 조인트 양자화에 의존하고, 코드의 특정한 부분들은 부호화기에 의해 부호화된 두 채널들의 특정한 레벨 차 특성에 포함되는 양자화 포인트들의 특정한 그룹들에 의존한다.
제2 측면은 적어도 두 개의 채널들을 포함하는 멀티-채널 신호(multi-channel signal)를 산출하는 장치와 관련된다. 장치는 멀티-채널 신호로부터의 다운믹스 신호를 산출하는 다운믹서를 포함한다. 다운믹서는 절대 위상 보상을 이용하여 다운믹스를 산출하도록 구성되어, 적어도 두 개의 채널들 중에서 더 낮은 에너지를 갖는 채널은 오직 회전되거나 또는 더 큰 에너지를 갖는 채널보다 더 강하게 회전되고, 다운믹스 신호에 관한 정보를 포함하는 출력 신호(output signal)를 생성하기 위한 출력 인터페이스(output interface)를 포함한다.
오히려 회전은 마이너 채널상에서 수행되지만, 마이너 채널이 항상 메이저 채널보다 더 많이 회전되지는 않는 작은 에너지 차 상황에 있을 수 있다. 그러나 에너지 비율이 충분히 크거나 충분히 작으면 바람직한 실시예는 메이저 채널보다 마이너 채널을 회전시킨다. 따라서, 오히려, 마이너 채널은 에너지 차가 현저하거나 또는 1dB 또는 그 이상과 같은 미리 정의된 임계치(predefined threshold)보다 큰 경우에만 메이저 채널보다 더 많이 회전된다. 이것은 다운믹서뿐만 아니라 업믹서에도 적용된다.
본 발명의 바람직한 실시예는 첨부된 도면과 관련하여 후술된다.
도 1은 일 실시예의 멀티 채널 신호를 부호화하는 장치의 블록도이다.
도 2는 매개변수 산출기의 실시예의 블록도이다.
도 3은 매개변수 산출기의 또 다른 실시예다.
도 4는 절대 위상 보상을 수행하는 다운믹서의 일 실시예다.
도 5a는 특정한 양자화를 수행하는 출력 인터페이스의 실시예의 블록도이다.
도 5b는 예시적인 코드 워드를 도시한다.
도 6은 부호화된 멀티-채널 신호를 복호화하기 위한 장치의 일 실시예다.
도 7은 업믹서의 실시예다.
도 8은 잔여 신호 합성기의 실시예다.
도 9는 입력 인터페이스를 위한 실시예다.
도 10a는 오버래핑 프레임들의 처리를 도시한다.
도 10b는 시간-스펙트럼 컨버터의 일 실시예를 도시한다.
도 10c는 좌측 채널 또는 우측 채널의 스펙트럼 및 다른 서브밴드들의 구성을 도시한다.
도 10d는 스펙트럼-시간 컨버터에 대한 실시예를 도시한다.
도 11은 제1 실시예에서 조건부 양자화를 위한 라인들을 도시한다.
도 12는 또 다른 실시예에 따른 공동 양자화를 위한 라인들을 도시한다.
도 13은 부 이득과 잔여 이득의 양자화 포인트들을 도시한다.
도 2는 매개변수 산출기의 실시예의 블록도이다.
도 3은 매개변수 산출기의 또 다른 실시예다.
도 4는 절대 위상 보상을 수행하는 다운믹서의 일 실시예다.
도 5a는 특정한 양자화를 수행하는 출력 인터페이스의 실시예의 블록도이다.
도 5b는 예시적인 코드 워드를 도시한다.
도 6은 부호화된 멀티-채널 신호를 복호화하기 위한 장치의 일 실시예다.
도 7은 업믹서의 실시예다.
도 8은 잔여 신호 합성기의 실시예다.
도 9는 입력 인터페이스를 위한 실시예다.
도 10a는 오버래핑 프레임들의 처리를 도시한다.
도 10b는 시간-스펙트럼 컨버터의 일 실시예를 도시한다.
도 10c는 좌측 채널 또는 우측 채널의 스펙트럼 및 다른 서브밴드들의 구성을 도시한다.
도 10d는 스펙트럼-시간 컨버터에 대한 실시예를 도시한다.
도 11은 제1 실시예에서 조건부 양자화를 위한 라인들을 도시한다.
도 12는 또 다른 실시예에 따른 공동 양자화를 위한 라인들을 도시한다.
도 13은 부 이득과 잔여 이득의 양자화 포인트들을 도시한다.
도 1은 적어도 2 개의 채널을 포함하는 멀티 채널 신호를 부호화하는 장치를 도시한다. 특히, 멀티 채널 신호는 도 1에서(100)으로 도시되어 있으며, 제1 채널(101) 및 제2 채널(102)을 가지며 추가의 채널이 없거나 임의의 선택된 수의 추가 채널을 가지며, 여기서 추가적인 채널이 참조 번호(103)으로 도시된다.
멀티 채널 신호(100)는 멀티 채널 신호(100)로부터 다운믹스 신호(122)를 산출하기 위해 다운믹서(120)에 입력된다. 다운믹서는 멀티 채널 신호, 제1 채널(101), 제2 채널(102) 및 제 3 채널(103) 멀티 채널 신호의 제1 및 제2 채널 또는 모든 채널은 미리 결정된 구현에 의존한다.
또한, 부호화 장치는 제1 채널(101) 및 제2 채널(102)로부터 부 이득(141)을 산출하고, 제1 채널로부터 잔여 이득(142)을 산출하는 매개변수 산출기(140) 및 제2 채널. 다운믹스 신호(122), 부 이득(141) 및 잔여 이득(142)은 부호화된 멀티 채널 신호(162)를 생성하는 출력 인터페이스(160)에 전송된다(122), 부 이득(141) 및 잔여 이득(142)에 관한 정보를 포함한다.
또한, 부호화 장치는 제1 채널(101) 및 제2 채널(102)로부터 부 이득(141)을 산출하기위한 매개변수 산출기(140)를 포함하고, 매개변수 산출기(104)는 제1 채널 및 제2 채널로부터 잔여 이득(142)을 산출한다. 다른 실시예들에서, 선택적인 채널 간 위상차(inter-channel phase difference, IPD)는 또한(143)에 도시된 바와 같이 산출된다. 다운믹스 신호(122), 부 이득(141) 및 잔여 이득(142)은 출력 인터페이스(160)로 전달되며, 출력 인터페이스(160)은 다운믹스 신호(122) 및 부 이득(141) 및 잔여 이득(142)에 대한 정보로 구성된다.
부 이득 및 잔여 이득은 일반적으로 각 프레임(frame)에 대해 단일 부 이득 및 단일 잔여 이득이 산출되도록 프레임들에 대해 산출된다는 점에 유의해야한다. 그러나, 다른 실시예들에서는, 단일 부 이득 및 단일 잔여 이득이 각 프레임에 대해 산출되는 것뿐만 아니라, 부 이득들의 그룹 및 잔여 이득들의 그룹도 프레임에 대해 산출되고, 각 부 이득 및 각 잔여 이득은 제1 채널 및 제2 채널의 특정한 서브밴드에 관련된다. 따라서, 바람직한 실시예들에서, 매개변수 산출기는 제1 및 제2 채널의 각각의 프레임에 대해 부 이득들의 그룹 및 잔여 이득들의 그룹을 산출하며, 여기서 프레임의 부 및 잔여 이득들의 개수는 통상적으로 서브밴드들의 수와 같다. DFT와 같은 고해상도 시간-스펙트럼 변환이 적용되는 경우, 제1 채널 및 제2 채널의 주파수 빈들의 그룹으로부터 특정한 서브밴드에 대한 부 이득 및 잔여 이득이 산출된다. 그러나, 서브밴드 신호를 초래하는 저해상도(low resolution) 시간-주파수 변환이 적용될 때, 매개변수 산출기(140)는 각각의 서브밴드 또는 심지어 서브밴드들의 그룹에 대해서 부 이득 및 잔여 이득을 산출한다. 서브 밴드 신호들의 그룹에 대해 부 이득 및 잔여 이득이 산출될 때, 매개변수 해상도는 감소되어 비트율이 낮아지지만 부 신호의 매개변수 표현의 품질 표현이 낮아지게 된다. 다른 실시예들에서, 부 이득 및 잔여 이득이 각각의 프레임에 대해 산출되지 않고 프레임들의 그룹에 대해 산출되고, 프레임들의 그룹이 둘 이상의 프레임들을 갖도록 시간 해상도가 수정될 수 있다. 따라서, 이러한 실시예에서, 부/잔여 이득은 특정한 서브 밴드를 참조하지만, 2 개 이상의 프레임들을 포함하는 프레임들의 그룹을 참조하는 서브 밴드-관련 부/잔여 이득을 산출하는 것이 바람직하다. 따라서, 본 발명에 따르면, 블록(140)에 의해 수행된 매개변수 산출의 시간 및 주파수 해상도는 유연하게 수정될 수 있다.
매개변수 산출기(140)는 제1 실시예와 관련하여 도 2에 개략적으로 설명되거나 또는 제2 실시예와 관련하여 도 3에 개략적으로 설명된 바와 같이 구현된다. 도 2의 실시예에서, 매개변수 산출기는 제1 시간-스펙트럼 컨버터(21) 및 제2 시간-스펙트럼 컨버터(22)를 포함한다. 또한, 도 1의 매개변수 산출기(140)는 제1 진폭-관련(amplitude-related) 특성을 산출하기위한 산출기(23) 및 제2 진폭-관련 특성을 산출하기위한 산출기(24) 및 블록(즉, 제1 및 제2 채널의 스펙트럼 표현)(21 및 22)의 출력의 내적을 산출하기위한 산출기(25)를 포함한다.
블록들(23, 24, 25)의 출력들은 부 이득 산출기(26)에 전송되고 또한 잔여 이득 산출기(27)로 전송된다. 부 이득 산출기(26) 및 잔여 이득 산출기(27)는 제1 진폭 관련 특성, 제2 진폭 특성 및 내적 사이에 일정한 관계를 적용하고, 두 입력들을 결합하기 위해 잔여 이득 산출기에 의해 적용되는 관계는 부 이득 산출기(26)에 의해 적용되는 관계와 다르다.
바람직한 실시예에서, 제1 및 제2 진폭 관련 특성들은 서브밴드들 내의 에너지이다. 그러나, 다른 진폭 관련 특성들은 서브밴드들 자체의 진폭과 관련되며, 서브밴드들의 신호 전력들 또는 1보다 큰 지수(exponent)를 갖는 임의의 다른 진폭 전력들과 관련된다. 여기서, 지수는 1보다 큰 실수 또는 1보다 큰 정수일 수 있으며, 정수는 신호 전력 및 에너지에 관련된 2의 정수이거나 또는 소리의 세기(loudness)와 관련된 3의 정수가 될 수 있다. 따라서, 각각의 진폭-관련 특성은 부 이득 및 잔여 이득을 산출하기 위해 이용될 수 있다.
바람직한 실시예에서, 부 이득 및 잔여 이득 산출기(27)는 제1 및 제2 채널의 중간 신호에 적용 가능한 부 이득으로서 부 이득을 산출하여 제1 및 제2 채널의 부 신호 또는 매개변수 산출기를 예측하도록 구성되고, 특히, 잔여 이득 산출기(27)는 부 이득을 이용하여 중간 신호에 의한 부 신호의 예측의 잔여 신호의 진폭 관련 수치를 나타내는 잔여 이득으로서 잔여 이득을 산출하도록 구성된다.
특히, 도 2의 매개변수 산출기(140) 및 부 이득 산출 부(26)는 분자(nominator) 및 분모(denominator)를 갖는 분수(fraction)를 이용하여 부 신호를 산출하도록 구성되고, 분자는 제1 및 제2 채널의 진폭 특성들을 포함하고, 분모는 제1 및 제2 채널들의 진폭 특성들 및 내적으로부터 도출된 값을 포함한다. 내적으로부터 도출된 값은 내적의 절대 값이지만, 내적으로부터 도출된 값은 대신 1보다 큰 지수와 같은 절대 값의 임의의 지수 일 수 있거나 켤레 복소수 항(term) 또는 내적 등과 같은 절대 값과 다른 특성일 수 있다.
또 다른 실시예에서, 도 2의 잔여 이득 산출기(27)는 또한 내적으로부터 도출된 값 및 추가적으로 다른 매개변수들을 이용하여 분자 및 분모를 갖는 분수를 이용한다. 다시, 내적으로부터 도출된 값은 내적의 절대 값이지만, 내적으로부터 도출된 값은 대신 1보다 큰 지수와 같은 절대 값의 임의의 지수 일 수 있거나 켤레 복소수 항 또는 내적 등과 같은 절대 값과 다른 특성일 수 있다.
특히, 도 2의 부 산출기(26)는 부 이득을 산출하기 위해 제1 채널의 에너지의 차를 이용하도록 구성되고, 분모는 양 채널의 에너지 또는 진폭 특성들의 합을 이용하고, 또한 내적 및 내적의 두 배이지만 내적에 대한 다른 곱셈기들이 또한 이용될 수 있다.
잔여 이득 산출기(27)는 분모에서 제1 및 제2 채널의 진폭 특성들의 가중 합과, 내적을 이용하도록 구성된다. 여기서, 내적은 제1 및 제2 채널의 진폭 특성들의 가중 합으로부터 감산된다. 잔여 이득 산출기를 산출하기 위한 분모는 제1 및 제2 채널의 진폭 특성과 내적의 합을 포함한다. 여기서 내적은 2로 곱해지지만 다른 인자들 또한 곱해질 수 있다.
또한, 잔여 이득 산출기(27)는 커넥션 라인(connection line)(28)에 의해 도시된 바와 같이, 부 이득 산출기에 의해 산출된 부 이득을 이용하여 잔여 이득을 산출하도록 구성된다.
바람직한 실시예에서, 잔여 이득 및 부 이득은 다음과 같이 동작한다. 특히, 후술 될 밴드와이즈 채널 간 위상차가 산출될 수도 있고 그렇지 않을 수도 있다. 그러나, 식(9)에서 후술하는 바와 같이 부 이득의 산출 및 식(10)에서 후술하는 바와 같이 부 이득의 특정한 바람직한 산출을 개략적으로 설명하기 전에, 이득 매개변수의 산출에 추가하여 IPD 및 다운믹싱의 산출을 또한 지칭하는 부호화기에 대한 추가 설명이 제공된다.
스테레오 매개변수들의 부호화 및 다운믹스 신호의 산출은 주파수 도메인에서 수행된다. 이를 위해 좌측 및 우측 채널의 시간 주파수 벡터 Lt와 Rt는 이산 푸리에 변환(discrete Fourier transform: DFT)이 뒤 따르는 분석 윈도우(analysis window)을 동시에 적용하여 생성된다. DFT 빈들은 서브밴드들
∈ 
resp. 
∈ 
로 그룹화된다. 여기서 Ib는 서브밴드 인덱스들의 집합을 나타낸다.
IPD의 산출 및 다운믹싱(Calculation of IPDs and Downmixing)
다운믹스에 대해, 밴드와이즈 채널 간 위상차(bandwise inter-channel-phase-difference: IPD)는 다음과 같이 산출된다. z*는 z의 켤레 복소수(complex conjugate)를 나타낸다. 이는, 대역별 중간 및 측면 신호(bandwise mid and side signal)을 생성하는데 사용된다.
절대 위상 회전 매개변수(absolute phase rotation parameter) β는 다음 식으로 주어진다.
는 아래에 명시될 부 이득을 나타낸다. 여기서 atan2(y, x)는 점(x, y)과 양의 x 축 사이의 각도 값을 갖는 두 개의 인수(argument) 역탄젠트 함수이다. 이것은 에너지가 적은 채널에서 IPD 보상을 수행하기위한 것이다. 요인 2는 
= ±ð 와 gt,b = 0에서 특이점을 
= ±ð와 
= -1/3로 이동시킨다. 이러한 방식으로 β의 토글링(toggling)은 좌측 및 우측 채널에서 거의 동일한 에너지 분포를 갖는 위상이 다른 상황에서는 피할 수 있다. 다운믹스 신호는 Mt에 역(inverse) DFT를 적용한 후 합성 윈도우(synthesis window) 및 중첩 가산을 수행함으로써 생성된다.
다른 실시예들에서, atan2-함수와 상이한 다른 역탄젠트 함수들은 직선 탄젠트 함수(straightforward tangent function)으로도 이용될 수 있지만, atan2 함수는 제기된 문제에 대한 안전한 적용 때문에 바람직하다.
이득 매개변수들의 산출(Calculation of gain parameters)
밴드-와이즈 IPD에 추가로 2개의 추가 스테레오 변수들이 추출된다.
에 의해, 즉 숫자 
에 의해 
를 예측하는 선택적인 이득
은 최소값이고, 중간 신호
에 적용된다면, 
및 
의 에너지를 같게 하는 각 밴드 내의 이득 인자 
는 다음과 같다.
선택적인 이득은 서브밴드들 내의 에너지들 및
and 
의 내적의 절대 값으로부터 산출될 수 있다.
이것으로부터
는 [-1,1]에 놓여있다. 잔여 이득은 에너지와 내적으로부터 유사하게 산출될 수 있다.
이는 아래 식을 의미한다.
특히
∈ [0,1]임을 알 수 있다. 이 방법으로 스테레오 매개변수는 해당 에너지들과 내적을 산출하여 다운믹스로부터 독립적으로 산출될 수 있다. 특히, 에너지를 산출하기 위해 잔여 
를 산출할 필요가 없다. 이득 산출에는 특수 기능 평가가 하나만 포함된다는 점이 주목할 만하다. 반면 
, 
및 
로부터의 ILD 및 ICC의 산출은 두 개의 즉, 제곱근 및 대수를 포함한다:
매개변수 해상도를 낮추는 것
윈도우 길이에 의해 주어진 낮은 매개변수 해상도가 요구된다면,
를 다음과 같이 대체하여 연속적인 h개 윈도우에 대한 이득 매개변수를 산출할 수 있다.
부 이득은 개별 윈도우들에 대한 부 이득들의 가중된 평균이다. 여기서, 가중치들은
의 에너지들에 의존하거나 밴드-와이즈 에너지들 
에 의존하고, s는 식(14) 및(15)의 합계 인덱스(summation index)이다.
비슷하게, IPD 값들은 다음과 같이 여러 윈도우들에서 산출된다.
바람직하게, 도 1에 도시된 매개변수 산출기(140)는 복소수 값 스펙트럼의 시퀀스로서 서브밴드-방식 표현을 산출하도록 구성된다. 여기서 각각의 스펙트럼은 제1 채널 또는 제2 채널의 시간 프레임과 관련되고, 여기서 시퀀스의 시간 프레임은 서로 인접하고 인접한 시간 프레임이 서로 겹치는 경우이다.
또한, 매개변수 발생기(140)는 서브밴드 내의 복소수 스펙트럼 값(complex spectral value)의 크기를 제곱하고 서브밴드에서 제곱된 크기를 가산함으로써 제1 및 제2 진폭 관련 측정치를 산출하도록 구성되며, 예를 들어, 식(7) 인덱스 b는 서브밴드를 나타낸다.
또한, 식(8)에 개략적으로 도시된 바와 같이, 매개변수 산출기(140), 특히 도 2의 내적 산출기(25)는 서브밴드에서 곱을 가산함으로써 내적을 산출하도록 구성되고, 각각의 곱은 제1 채널의 주파수 빈에서의 스펙트럼 값 및 주파수 빈에 대한 제2 채널의 켤레 복소수 스펙트럼 값(conjugate complex spectral value)을 포함한다. 이어서, 가산된 결과의 크기가 함께 형성된다.
식(1) 내지 식(4)에 개략적으로 설명된 바와 같이, 절대 위상 보상을 이용하는 것이 바람직하다. 따라서, 이 실시예에서, 다운믹서(120)는 절대 위상 보상을 이용하여 다운 믹스(122)를 산출하도록 구성되어, 두 채널 중 에너지가 낮은 채널 만이 회전되거나, 두 채널 중 에너지가 낮은 채널은 다운 믹스 신호를 산출할 때 에너지가 큰 다른 채널보다 강하게 회전된다. 특히, 다운믹서는 IPD 연산부(30), 절대 위상 회전 연산부(32), 다운 믹스 연산부(34) 및 에너지 차 또는 부 이득 연산부(36)를 포함한다. 에너지 차 또는 부 이득 산출기(36)는 도 2의 부 이득 산출기(26)로서 구현될 수 있음이 강조되어야 한다. 그러나, 또 달리, 위상 회전의 목적 상, 에너지 차, 또는 일반적으로 에너지, 전력 또는 진폭 그 자체일 수 있는 진폭 관련 특성 차만을 산출하는 블록(36)의 다른 구현이 가능할 수 있다. 거듭제곱(power)은 1과 2 사이의 거듭제곱 또는 2보다 큰 거듭제곱과 같이 2와는 다르다.
특히, 3의 지수 또는 거듭제곱(power of three)은 에너지보다는 소리의 크기에 대응한다.
특히, 도 4의 IPD 산출기(30)는 블록(30)에 입력된 제1 및 제2 채널들(101, 102) 각각의 복수의 서브밴드들의 각각의 서브밴드에 대해 보통 채널 간 위상차를 산출하도록 구성된다. 또한, 다운믹서는 제1 및 제2 채널 사이의 블록(36)에 의해 제공된 에너지 차에 기초하거나, 두 채널들(101, 102) 사이의 진폭-관련 특성 차에 기초하여 동작하고, 복수의 서브밴드들의 각각의 서브밴드에 대해 보통 절대 위상 회전 매개변수를 갖는다. 또한 다운믹스 산출기(34)는 다운 믹스 신호를 산출할 때 IPD 매개변수와 β로 표시된 절대 위상 회전 매개변수를 이용하여 제1 채널과 제2 채널을 가중하도록 구성된다.
블록(36)은 부 이득 산출기로서 구현되어, 절대 위상 회전 산출기가 부 이득에 기초하여 동작한다.
따라서, 도 4의 블록(30)은 식(1)을 구현하도록 구성되고, 블록(32)은 식(4)를 구현하도록 구성되며, 블록(34)은 바람직한 실시예에서 식(2)를 구현하도록 구성된다.
특히, 부 이득 gt,b를 포함하는 항 앞에 식(4)의 인자 2는 2와 다르게 설정 될 수 있으며, 예를 들어 바람직하게는 0.1 내지 100의 값일 수 있다. 당연히 -0.1 및 -100도 이용될 수 있다. 이 값은 거의 동일한 좌측 및 우측 채널에 대해 +-180°의 IPD에 존재하는 특이점이 다른 위치, 즉 인자 2에 대해 예를 들어, -1/3의 다른 부 이득으로 이동한다는 것을 확실하게 한다. 그러나 2로부터 다른 인자들을 이용할 수 있다. 이 다른 인자들은 특이점을 -1/3로부터 다른 부 이득 매개변수로 이동시킨다. 이러한 모든 다른 인자들이 유용하다는 것이 입증되었다. 왜냐하면, 이러한 인자들은 문제가 있는 특이점이 위상이 맞지 않고 동등하거나 거의 동일한 에너지를 갖는 것보다 일반적으로 덜 자주 발생하는 좌측 및 우측 채널 신호들을 갖는 사운드 단계의 "장소"에 있다는 것을 달성하기 때문이다.
바람직한 실시예에서, 도1의 출력 인터페이스(160)는 매개변수 정보의 양자화 즉, 매개변수 산출기(140)에 의해 라인(141) 상에 제공된 부 이득의 양자화 및 라인 상에 제공된 잔여 이득(140)로부터 출력한다.
특히, 실시예에서, 잔여 이득은 부 이득을 양자화하고 잔여 이득을 양자화하는 것이 바람직하다면, 부 이득에 의존한다. 이 실시예에서, 잔여 이득에 대한 양자화 단계는 부 이득의 값에 의존한다.
특히, 이는 도 11에 도시되고 도 12 및 도 13에도 유사하게 도시되어 있다.
도 1은 조건부 양자화(conditional quantization)를 위한 선들을 보여준다. 특히, 잔여 이득은(1-g2)1/2에 의해 결정되는 범위 내에 항상 존재한다는 것을 나타낸다. 따라서, g = 0 일 때, r은 0과 1 사이의 범위에 있을 수 있다. 그러나, g가 0.5 일 때, r은 0.866 및 0의 범위에 있을 수 있다. 또한, 예를 들어 g = 0.75 일 때, 범위 r은 0과 0.66 사이로 제한된다. 극단적 인 실시예에서 g = 0.9 일 때, r은 단지 0과 0.43 사이의 범위 일 수 있다. 또한, g = 0.99일 때, r은 예를 들어 0과 0.14 사이의 범위에 있을 수 있다.
따라서, 이 의존성(dependency)은 더 높은 부 이득에 대한 잔여 이득의 양자화를 위한 양자화 스텝 사이즈(quantization step size)를 낮춤으로써 이용될 수 있다. 따라서, 도 11을 고려할 때, r에 대한 값 범위를 나타내는 수직선은 8과 같은 특정한 정수로 항상 나뉠 수 있어, 각 라인은 8개의 양자화 단계들을 갖는다. 따라서, 더 높은 부 이득들을 반영하는(reflecting) 라인들의 경우, 양자화 스텝은 더 낮은 부 이득들을 갖는 라인들보다 작다. 따라서 비트율 증가없이 더 높은 부 이득들을 더 정교하게 양자화 할 수 있다.
다른 실시예에서, 양자화기(quantizer)는 제1 및 제2 채널 사이의 고정 진폭-관련 비율에 의해 정의되는 양자화 포인트의 그룹을 이용하여 조인트 양자화를 수행하도록 구성된다. 진폭-관련 비율에 대한 하나의 예는 좌측과 우측 사이의 에너지이다. 즉, 이는 도 12에 도시된 바와 같이 제1 및 제2 채널 사이의 동일한 ILD에 대한 라인을 의미한다. 이 실시예에서, 출력 인터페이스는 도 5a에 도시된 바와 같이 구성되며, 입력으로서 제1 채널 및 제2 채널 또 달리 부 이득 g 및 잔여 이득 r을 수신하는 서브 밴드-와이즈 ILD 산출기를 포함한다. 참조 번호 50으로 표시된 서브밴드 와이즈 ILD 산출기는 양자화될 매개변수 값 g, r에 대한 미리 결정된 ILD를 출력한다. ILD 또는 일반적으로 진폭-관련 비율은 그룹 매칭기(matcher)(52)에 전송된다. 그룹 매칭기(52)는 최상의 매칭 그룹을 결정하고 이 정보를 포인트 매칭기(54)에 전송한다. 그룹 매칭기(52) 및 포인트 매칭기(54)는 모두 코드북(codebook)으로부터의 코드 워드와 같은 코드를 최종적으로 출력하는 코드 빌더(code builder)(56)에 공급한다.
특히, 코드 빌더는 부 이득 g의 코드를 수신하고 서브밴드에 대한 g, r에 대한 코드를 도시하는 도 5b에 도시된 사인 비트(sign bit)(57a)를 결정한다. 또한, 결정된 ILD와 일치하는 특정한 양자화 포인트 그룹을 결정한 그룹 매칭기는 그룹 ID로서(57b)에 도시된 비트들(2 내지 5)을 출력한다. 최종적으로, 포인트 매칭기는 도 57c에 도시된 도 5b의 실시예에서 비트들(6 내지 8)을 출력하는데, 이 비트들은 포인트 ID, 즉 비트(57b)에 의해 표시된 그룹 내의 양자화 포인트의 ID를 나타낸다. 도 5b는 단일 사인 비트, 4개의 그룹 비트들 및 3 개의 포인트 비트들을 갖는 8 비트 코드를 나타내지만, 사인 비트 및 더 많거나 적은 그룹 비트 및 더 많거나 적은 포인트 비트를 갖는 다른 코드가 이용될 수 있다. 부 이득이 양(positive) 및 음(negative)의 값을 갖는다는 사실에 따라, 그룹 비트 및 포인트 비트, 즉 비트 세트(57b) 및 비트 세트(57c)는 단지 순수하게 또는 바람직하게 양의 값을 가지며, 부호 비트가 음의 부호를 나타내면, 잔여 이득은 항상 양의 값으로 복호화되지만, 부 이득은 음의 값으로 복호화되며, 이는 좌측 채널의 에너지가 우측 채널의 에너지보다 낮다는 것을 의미하며, 식(9)에 예시 된 바와 같은 규칙이 부 이득을 산출하기 위해 적용된다.
이어서, 양자화에 대한 다른 실시예들이 설명된다.
부 및 잔여 이득의 양자화
식(11)의 부등식(inequalities)은 후자가 전자의 범위를 결정하기 때문에 잔여 이득의 부 이득에 대한 강한 의존성을 드러낸다(reveal). [-1, 1] 및 [0, 1]의 양자화 포인트를 선택함으로써 부 이득 g 및 잔여 이득 r을 독립적으로 양자화하는 것은 비효율적인데, 그 이유는 r에 대한 가능한 양자화 포인트의 수가 g가 ± 1을 향하여 감소함에 따라 감소하기 때문이다.
조건부 양자화
이 문제를 해결할 수 있는 여러 가지 방법들이 있다. 가장 쉬운 방법은 g를 먼저 양자화 한 다음 양자화 된 값 g에 대해 조건부로 r을 양자화하는 것이다.
양자화 지점은
간격에 놓이게 된다. 양자화 포인트들은 예를 들어 이들 양자화 라인들 상에서 균일하게 선택될 수 있으며, 이들 중 일부는 도 11에 도시된다.
조인트 양자화
양자화 포인트를 선택하는 보다 정교한(sophisticated) 방법은 L과 R 사이의 고정 에너지 비율에 해당하는(g, r)-평면의 라인들을 보는 것이다. c2 ≥ 1이 그러한 에너지 비율을 나타내면, 대응하는 라인은 c=1일 경우, 0 = s = 1에 대한(0, s) 또는
= s ≤= 
에 대한(s, 
)(22)이다.
Lt 및 Rt 를 스와핑하는 것(swapping)은 gt,b의 사인만을 바꾸고, rt,b는 바꾸지 않은 채로 두기 때문에 이는 오직 c 2 < 1인 경우만 커버한다.
이 접근법은 도 12에서 볼 수 있는 것과 동일한 양자화 포인트 수를 갖는 더 큰 영역(region)을 커버한다. 다시, 라인들 상의 양자화 포인트들은 예를 들어, 개별 선들의 길이에 따라 균등하게(uniformly) 선택되어야 한다. 다른 가능성으로는 미리 선택된 ICC 값을 일치시키기 위해 그것들을 선택하거나 음향적인 방법(acoustical way)으로 그것들을 최적화하는 것이 있다.
잘 동작하는 것으로 확인된 양자화 스킴(scheme)은 8개의 양자화가 선택된 각각의 ILD 값 ±{0,2,4,6,8,10,13,16,16,19,22,25,30,35,40,45,50}}(23)에 해당하는 에너지 라인들에 기초한다. 이는 256개의 항목들의 코드-북을 발생시키는데, 이는 g 및 사인 비트의 음이 아닌(non-negative) 값에 해당하는 값들을 가지는 8×16의 양자화 포인트들의 표로 구성된다. 이는 양자화 포인트(g, r)의 8 비트 정수 표현을 발생시킨다. 여기서 첫 번째 비트는 g의 사인을 지정하고, 다음 네 비트는 8x16 테이블의 열 인덱스와 행 인덱스를 보유하는 마지막 세 비트를 보유한다.
(gt, b, rt, b)의 양자화는 철저한 코드-북 검색에 의해 수행될 수 있지만 먼저 서브밴드 ILD를 산출하고 가장 일치하는 에너지 라인으로 검색을 제한하는 것이 더 효율적이다. 이 방법으로, 8개의 포인트만 고려되면 된다.
역양자화(dequantization)는 간단한 테이블 조회(lookup)로 수행된다.
g의 음이 아닌 값을 다루는 이 스킴에 대한 128개의 양자화 포인트들이 도 12에 도시된다.
식(9) 및 식(10)에 도시된 바와 같이, 부 신호의 실제 산출, 즉 좌측 및 우측 신호 간의 차 신호없이 부 이득 및 잔여 이득을 산출하기위한 절차가 개시되었지만, 다른 실시예는 부 이득 및 잔여 이득을 다르게, 즉 부 신호의 실제 산출로 산출하도록 동작한다. 이 절차는 도 3에 도시된다.
이 실시예에서, 도 1에 도시된 매개변수 산출기(140)는 입력으로서 제1 채널(101) 및 제2 채널(102)을 수신하고 시간 도메인에 있을 수 있는 실제 부 신호를 출력하는 부 신호 산출기(60)를 포함하지만, 이는 식(3)에 의해 설명된 바와 같이 주파수 도메인에서 산출된다. 그러나, 식(3)은 절대 위상 회전 매개변수 β 및 밴드 및 프레임 당 IPD 매개변수를 갖는 부 신호의 산출 상황을 나타내지만, 부 신호는 위상 보상없이 산출될 수도 있다. 식(3)은 Lt,k와 Rt,k만 발생하는 식이 된다. 따라서, 부 신호는 좌, 우 또는 제1 및 제2 채널 간의 간단한 차로서 산출될 수 있고, 2의 제곱근을 갖는 정규화가 이용될 수도 있고 그렇지 않을 수도 있다.
부 신호 산출기(60)에서 산출된 부 신호는 잔여 신호 산출기(61)로 전달된다. 잔여 신호 산출기는(62)는, 예를 들면 식(5)에 나타난 절차를 수행한다. 나머지 신호 산출기(61)는 다른 테스트 부 이득, 즉, 부 이득 gd,b에 대한 다른 값, 즉 하나의 동일한 밴드 및 프레임에 대한 다른 테스트 부 이득을 이용하도록 구성되며, 결과적으로 다른 잔여 신호가 블록(61)의 멀티 출력들에 의해 도시된다.
도 3의 부 이득 선택기(selector)(62)는 모든 다른 잔여 신호를 수신하고 다른 잔여 신호들 중 하나를 선택하거나 미리 정의된 조건을 충족시키는 다른 잔여 신호들 중 하나와 관련된 테스트 부 이득을 선택한다. 이 미리 정의된 조건은, 예를 들어, 모든 다른 잔여 신호들 중에서 가장 작은 에너지를 갖는 잔여 신호를 초래한 부 이득이 선택되는 것일 수 있다. 그러나, 소리와 같은 에너지와는 다른 최소 진폭-관련 조건과 같은 다른 미리 결정된 조건이 이용될 수 있다. 그러나 가장 작은 에너지들이 아닌 다섯 개의 가장 작은 에너지 중 에너지를 가진 잔류 신호를 이용하는 것과 같은 다른 절차도 적용될 수 있다. 실제로 미리 정의된 조건은 특정한 주파수 범위들의 특정한 기능과 같은 특정한 오디오 특성들을 나타내는 잔여 신호를 선택할 수도 있다.
선택된 특정한 테스트 부 이득은 특정한 프레임 또는 특정한 밴드 및 특정한 프레임에 대한 부 이득 매개변수로서 부 이득 선택기(62)에 의해 결정된다.
선택된 잔류 신호는 잔여 이득 산출기(63)로 전송되고, 잔여 이득 산출기는, 일 실시예에서, 선택된 잔류 신호의 진폭 관련 특성을 단순히 산출할 수 있거나, 잔여 이득 산출기는 다운믹스 신호 또는 중간 신호의 진폭 관련 특성에 대한 잔류 신호의 진폭 관련 특성 간의 관계로서 잔여 이득을 산출할 수 있다. 경우에 따라 위상 보상 된 다운믹스와 다른 다운믹스가 이용되거나 또는 좌측 및 우측의 합으로 구성된 다운믹스와 다른 다운믹스가 이용될 때, 잔여 이득은 그럼에도 불구하고 좌측 및 우측의 위상이 보상되지 않은 가산(addition)과 관련될 수 있다.
따라서, 도 3은 측 신호의 실제 산출로 부 이득 및 잔여 이득을 산출하는 방법을 도시하는 반면, 식(9) 및 식(10)을 개략적으로 반영하는 도 2의 실시예에서, 부 이득 및 잔여 이득은 측 신호의 명시적인 산출 및 다른 테스트 부 이득들을 갖는 잔여 신호 산출을 수행하지 않고 산출된다.
따라서, 두 실시예들이 예측으로부터의 잔여 신호를 매개변수화하는 부 이득 및 잔여 이득을 초래한다는 것이 명백해지고, 도 2 및 도 3에 도시된 것으로부터 또는 대응하는 식(5) 내지 식(10)에 의해 부 이득 및 잔여 이득을 따로 산출하는 다른 절차들도 가능하다.
또한, 주어진 식 모두는 대응하는 식들에 의해 결정되는 값에 대한 바람직한 실시예이다. 그러나, 대응하는 식들에 의해 결정된 값과 ±20 %의 범위에서 다른 값이 또한 유용하며, 종래 기술보다 이점을 제공하는 것으로 밝혀졌지만 식들에 의해 결정된 값으로부터의 편차가 작아질수록 이점은 커진다. 따라서, 다른 실시예에서, 대응하는 식에 의해 결정된 값과 단지 ±10%만큼 다른 값을 이용하는 것이 바람직하고, 가장 바람직한 실시예에서, 식에 의해 결정된 값은 몇몇 데이터 아이템들의 산출에 이용된 값이다.
도 6은 부호화된 멀티 채널 신호(200)를 복호화하는 장치를 도시한다. 복호화 장치는 입력 인터페이스(input interface)(204), 입력 인터페이스(204)에 연결된 잔류 신호 합성기(synthesizer)(208) 및 한 쪽으로 입력 인터페이스(204) 및 다른 한 쪽으로는 잔류 합성기(208)에 연결된 업믹서(212)를 포함한다. 바람직한 실시예에서, 복호화기는(217) 및(218)에 도시된 바와 같이 시간 도메인 제1 및 제2 채널을 최종적으로 출력하기 위해 스펙트럼-시간 컨버터(spectrum-time converter)(260)를 추가적으로 포함한다.
특히, 입력 인터페이스(204)는 부호화된 멀티 채널 신호(200)를 수신하고 부호화된 멀티 채널 신호(200)로부터 다운믹스 신호(207), 부 이득(206) 및 잔여 이득 r(205)을 획득하도록 구성된다. 잔여 신호 합성기(208)는 잔여 신호(205)를 이용하여 잔여 신호를 합성하고, 업믹서(212)는 잔여 신호 합성기(208)에 의해 결정된 바와 같이 부 이득(206) 및 잔여 신호(209)를 이용하여 다운믹스 신호(207)를 업믹스하여 복원된 제1 채널(213) 및 복원된 제2 채널(214)을 얻도록 구성된다. 잔여 신호 합성기(208) 및 업믹서(212)가 스펙트럼 도메인에서 동작하거나 적어도 업믹서(212)가 스펙트럼 영역에서 동작하는 실시예에서 복원된 제1 및 제2 채널(213, 214)은 스펙트럼 도메인 표현들로 주어지고, 각 채널에 대한 스펙트럼 도메인 표현은 스펙트럼-시간 컨버터(216)에 의해 시간 도메인으로 변환되어 최종적으로 시간 도메인의 제1 및 제2 복원된 채널을 출력할 수 있다.
특히, 업믹서(212)는 도 7에 도시된 제1 가중 장치(70)를 이용하여 제1 가중 동작을 수행하여 제1 가중된 다운믹스 채널을 얻도록 구성된다. 또한, 업믹서는 제2 가중된 다운믹스 신호를 얻기 위해 한편으로는 부 이득(206) 및 다른 한편으로는 다운믹스 신호(207)를 이용하여 제2 가중 장치를 다시 이용하여 제2 가중 동작을 수행한다. 블록(70)에 의해 수행되는 제1 가중 연산은 제1 가중된 다운믹스(76)가 제2 가중된 다운믹스(77)와 다르도록 블록(71)에 의해 수행되는 연산의 제2 가중과 다르다. 또한, 업믹서(212)는 제1 가중된 다운믹스 신호(76)의 제1 결합기(72) 및 잔여 신호(209)에 의해 수행되는 조합을 이용하여 복원된 제1 채널을 산출하도록 구성된다. 또한, 업믹서는 제2 가중된 다운믹스 신호(77)와 잔여 신호(209)의 제2 결합을 수행하기위한 제2 결합기(73)를 더 포함한다.
제1 결합기(72)와 제2 결합기(73)에 의해 수행되는 결합 규칙(combination rule)은 서로 달라, 블록(72 및 73)의 다른 결합 규칙들 및 블록(70) 및 블록(71)에 의해 수행되는 다른 가중 규칙들로 인해, 한 쪽의 블록(72) 및 다른 한 쪽의 블록(73)의 출력은 서로 실질적으로 다르다.
제1 결합 규칙과 제2 조합 규칙은, 하나의 조합 규칙이 가산 연산이고 다른 하나가 뺄셈 연산이기 때문에 서로 다르다. 그러나, 다른 쌍들의 제1 및 제2 조합 규칙도 이용될 수 있다.
또한, 하나의 가중 규칙은 미리 결정된 수와 부 이득의 차에 의해 결정되는 가중치를 갖는 가중치를 이용하고, 다른 가중치 규칙은 미리 결정된 수와 부 이득 간의 합에 의해 결정되는 가중치 인자를 이용하기 때문에, 블록(70) 및 블록(71)에서 이용된 가중 규칙은 서로 다르다. 미리 결정된 숫자는 두 가중 장치들에서 서로 같을 수 있거나 서로 다를 수 있으며 미리 결정된 숫자는 0과 다를 수 있으며 정수 또는 정수가 아닐 수 있으며 오히려 1과 같을 수 있다.
도 8은 잔여 신호 합성기(208)의 바람직한 구현을 도시한다. 잔여 신호 합성기(208)는 일종의 원시 잔여 신호 선택기(raw residual signal selector) 또는 일반적으로 비상관화된(decorrelated) 신호 산출기(80)를 포함한다. 또한, 블록(80)에 의해 출력 된 신호는 참조 번호(205)로 표시된 도 6의 입력 인터페이스(204)에 의해 출력된 잔여 이득을 입력으로서 수신하는 가중 장치(82)로 입력된다. 또한, 잔여 신호 합성기는 입력으로서 블록(80)에 의해 출력된 신호(즉, 원시 신호 또는 비상관화된 신호(86))를 수신하는 정규화기(normalizer)(84)를 포함한다. 이들 2개의 신호들에 기초하여, 정규화 인수 gnorm(87)가 산출된다. 여기서, 정규화 인자(87)는 잔여 이득 r과 함께 가중 장치(82)에 의해 이용되어 최종적으로 합성된 잔여 신호(209)를 얻는다.
바람직한 실시예에서, 원시 잔여 신호 선택기(80)는 바로(immediately) 선행하는(preceding) 프레임 또는 심지어 더 이전의(earlier) 프레임과 같은 선행하는 프레임의 다운 믹스 신호를 선택하도록 구성된다. 그러나, 구현에 따라, 원시 잔여 신호 선택기(80)는 선행하는 프레임에 대해 산출된 좌측 또는 우측 신호 또는 제1 또는 제2 채널 신호를 선택하도록 구성되거나, 또한, 원시 잔여 신호 선택기(80)는, 바로 선행하는 프레임 또는 더 이전의 어느 쪽의 프레임에 대해서 결정된 좌우의 신호의 합, 차 등의 조합에 기초하여 잔여 신호를 결정할 수 있다. 다른 실시예들에서, 비상관화된 신호 산출기(80)는 비상관화된 신호를 실제로 생성하도록 구성될 수도 있다. 그러나, 잔류 신호 선택기(80)는 반향(reverberation) 필터와 같은 비상관화 필터와 같은 특정 비상관화기없이 동작하는 것이 바람직하지만, 복잡성이 낮은 이유 때문에, 중간 신호, 복원된 좌측 신호, 복원된 우측 신호 또는 이전에 복원된 좌측 및 우측 신호로부터 유도된 신호와 같은 과거의 이미 존재하는 신호만을 가중치 결합, 즉, 특정한 반향 또는 비상관화 필터에 의존하지 않는(가중된) 가산(가중된), 뺄셈 등이 있다.
일반적으로, 가중 장치(82)는 잔여 신호의 에너지가 잔여 이득 r로 표시되는 신호 에너지와 동일하도록 잔여 신호를 산출하도록 구성되며, 일반적으로, 가중 장치(82)는 잔여 신호의 에너지가 잔여 이득 r로 표시되는 신호 에너지와 동일하도록 잔여 신호를 산출하도록 구성되며, 이 에너지는 절대적인 항들(term)로 표시될 수 있지만, 바람직하게는 현재 프레임의 중간 신호(207)에 관하여 상대적인 항들로 표시된다.
부호화기 측 및 복호화기 측에 대한 바람직한 실시예들에서, 부 이득 및 바람직한 경우의 잔여 이득으로부터의 값들은 0으로부터 다르다.
이어서, 복호화기에 대한 추가적인 바람직한 실시예들은 식 형태로 주어진다.
업믹스는 주파수 도메인에서 다시 수행된다. 이를 위해, 부호화기로부터의 시간-주파수 변환은 시간-주파수 벡터들
을 산출하는 복호화된 다운믹스에 적용된다.
역양자화된 값들을 이용하여 좌측 및 우측 채널은 k ∈ Ib에 대해 다음 식으로 산출된다.
여기서,
는 부호화기로부터 누락된 잔여 
이고, 은 상대적인 이득 계수(coefficient) 
를 절대 값으로 변환하는 인자는 다음과 같다.
이는 예를 들어 다음 식을 취할 수 있다.
여기서, db> 0은 밴드-와이즈 프레임-지연(frame-delay)을 나타낸다. 위상 회전 인자
는 다음과 같이 다시 산출될 수 있다.
좌측 채널 및 우측 채널은 역 DFT를
및 
에 적용하고, 이어서 합성 윈도우 및 중첩 가산을 수행함으로써 생성된다.
도 9는 입력 인터페이스(204)의 또 다른 실시예를 도시한다. 이 실시예는 도 5a 및 도 5b와 관련하여 전술한 바와 같은 역양자화 연산을 부호화기 측에 반영한다. 특히, 입력 인터페이스(204)는 부호화된 멀티 채널 신호로부터 조인트 코드를 추출하는 추출기(90)를 포함한다. 이 조인트 코드(91)는 사인 정보, 그룹 정보 또는 포인트 정보를 각 코드 별로 출력하거나 각 코드에 대해 최종 역 양자 된 값 g와 최종 역양자화된 값 r(즉, 역양자화된 측과 잔여 이득)을 출력하도록 구성된 조인트 코드북(92)으로 전송된다.
도 10a는 시간 도메인 제1 및 제2 채널 또는 좌측 및 우측 채널 1(t) 및 r(t)의 개략도를 도시한다.
스펙트럼 도메인에서 부 이득 및 잔여 이득이 산출되는 실시예에서, 좌측 채널 및 우측 채널 또는 제1 및 제2 채널은 중첩하는 프레임 F(1), F(2), F(3) 및 F(4) 등이 있다. 도 10a에 도시된 실시예에서, 프레임은 50 % 중첩되지만, 다른 중첩들 또한 유용하다. 또한, 2-프레임 중첩만이 도시되어 있다. 즉, 항상 2개의 후속 프레임들이 서로 중첩된다. 그러나 3, 4 또는 5개의 중첩된 프레임과 같이 멀티 중첩 프레임도 사용될 수 있다. 그 후, 진보(advance) 값, 즉 후속(following) 프레임이 현재 프레임과 얼마나 차가 나는지는 도 10a에 도시된 실시예에서와 같이 50 %가 아니지만 단지 10 %, 20 % 또는 30 % 정도로 작다.
도 10b는 도 2에 도시된 블록(21) 또는 블록(22)과 같은 시간-스펙트럼 컨버터의 바람직한 구현을 도시한다. 그러한 시간-주파수 컨버터는 프레임 l(t) 또는 r(t)의 시퀀스를 입력으로서 수신한다. 그 다음, 분석 윈도우어(windower)(1300)는 동일한 분석 윈도우로 윈도우된 모든 윈도우 된 프레임의 시퀀스를 출력한다. 분석 윈도우는 사인 윈도우 또는 기타 윈도우일 수 있으며 별도의 시퀀스가 첫 번째 채널에 대해 산출되고 추가 시퀀스가 두 번째 채널에 대해 산출된다.
그 후, 윈도우 프레임들의 시퀀스는 변환 블록(1302)에 입력된다. 변환 블록(1302)은 DFT 및 특히 FFT와 같은 복소수 스펙트럼 값을 초래하는 변환 알고리즘을 수행한다. 그러나, 다른 실시예들에서, 또한 DCT 또는 MDCT(변형된 이산 코사인 변환)와 같은 순전히 실수부 변환 알고리즘이 또한 사용될 수 있고, 그 후, 허수부는 순수한 실수부로부터 추정될 수 있다. 예를 들어, USAC(unified speech and audio coding)(통일된 음성 및 오디오 코딩) 표준에서 구현되는 것과 같이. 다른 변환 알고리즘은 복소수 값의 서브 밴드 신호를 생성하는 QMF 필터 뱅크와 같은 서브밴드 필터 뱅크가 될 수 있다. 전형적으로, 서브밴드 신호 필터 밴드들은 FFT 알고리즘보다 낮은 주파수 해상도를 가지며, 특정 수의 DFT 빈을 갖는 FFT 또는 DFT 스펙트럼은 특정 빈을 수집함으로써 서브밴드-와이즈(sub-band-wise) 표현으로 변환될 수 있다. 이것은 도 10c에 도시되어 있다.
특히, 도 10c는 특정 프레임 t에 대한 제1 또는 제2 채널(Lk, Rk)의 주파수 도메인 표현의 복소수 스펙트럼을 도시한다. 스펙트럼 값은 크기/위상 표현 또는 실수부/허수부 표현으로 주어진다. 전형적으로 DFT는 동일한 주파수 해상도 또는 대역폭을 갖는 주파수 빈을 생성한다. 그러나, 부 및 잔여 이득은 잔여 및 부 이득을 전송하기 위한 비트의 수를 감소시키기 위해 서브밴드 단위로 산출되는 것이 바람직하다. 바람직하게는, 서브밴드 표현은 낮은 주파수에서 높은 주파수로 증가하는 서브밴드를 이용하여 생성된다. 따라서, 일례에서, 서브밴드 1은 2개의 빈들과 같은 제1 주파수 빈들의 수를 가질 수 있고, 서브밴드 2, 서브밴드 3 또는 임의의 다른 서브밴드와 같은 제2 상위 서브밴드는 서브밴드 3으로 도시된 바와 같이, 예를 들어 8개의 주파수 빈을 포함할 수 있다. 따라서, 개별 서브밴드의 주파수 대역폭은 바람직하게는 바크 스케일(Bark scale)과 관련하여 본 기술에 알려진 바와 같이 인간의 귀의 특성으로 조정될 수 있다.
따라서, 도 10c는 이전에 개시된 식들에서 매개변수 k에 의해 표시되는 상이한 주파수 빈을 도시하고, 도 10c에 도시된 개별적인 서브밴드는 서브밴드 인덱스 b로 나타난다.
도 10d는, 예를 들어, 도 6의 블록(216)에 의해 구현되는 것과 같은 스펙트럼-시간 컨버터의 구현을 도시한다. 스펙트럼-시간 컨버터는 역 변환기(1310), 후속 적으로 연결된 합성 윈도우어(1312) 마지막으로 시간 영역 채널을 얻는다. 따라서, (1310)으로의 입력에서, 도 6에 도시된 복원된 스펙트럼 도메인 채널들(213, 214)이 있고, 중첩/가산기(1340)의 출력에는 시간 도메인 복원된 제1 및 제2 채널들(217, 218)이 존재한다.
역방향 변환기(1310)는 역방향 변환을 야기하는 알고리즘, 특히 바람직하게는 부호화기 측에서도 10b의 블록(1302)에 적용된 알고리즘과 역의 알고리즘을 수행하도록 구성된다. 또한, 합성 윈도우(1312)는 상응하는 분석 윈도우와 매칭되는 합성 윈도우를 적용하도록 구성되고, 바람직하게는 동일한 분석 및 합성 윈도우가 사용되지만, 반드시 그런 것은 아니다. 중첩 가산기(1314)는 도 10a에 도시 된 바와 같이 중첩을 수행하도록 구성된다. 따라서, 중첩/가산기(1314)는, 예를 들어, 도 10a의 F(3)에 대응하는 합성 윈도우 프레임을 취하고, 도 10a의 합성 윈도우 프레임 F(4)를 추가로 취하여, F(3)의 절반을 F(4)의 전반부의 해당 샘플에 샘플마다(sample-by-sample) 적용하여 실제 시간 도메인 출력 채널의 샘플을 최종적으로 얻는다.
이어서, 본 발명의 상이한 특정 측면들이 간략하게 제시된다.
식(4)에 따라 IPD 보상 및 절대 위상 보상 기능이 있는 스테레오 M/S
IPD 보상 및(10)에 따른 M에 의한 S의 예측을 갖는 스테레오 M/S
IPD 보상, (9)에 따른 M에 의한 S의 예측 및 이득 인자(10)에 따른 잔여 예측을 사용하는 스테레오 M/S
공동 양자화를 통한 부 및 잔여 이득 계수의 효율적인 양자화
(g, r) 평면에서의 Lt와 Rt의 고정 에너지 비율에 해당하는 선상에서의 잔여 이득 인자와 부 인자의 공동 양자화.
바람직하게는, 앞서 언급된 5 개의 상이한 측면들 모두가 하나의 동일한 부호화기/복호화기 프레임 워크에서 구현된다. 그러나, 이전에 주어진 개별적인 측면들은 또한 서로 개별적으로 구현될 수 있음을 또한 주목해야 한다. 따라서, IPD 보상 및 절대 위상 보상을 갖는 제1 측면은 임의의 부 이득/잔여 이득 산출에 관계없이 임의의 다운믹서에서 수행될 수 있다. 또한, 예를 들면, 부 이득 산출 및 잔여 이득 산출의 측면은 임의의 다운믹스, 즉 어떤 위상 보상에 의해 산출되지 않는 다운믹스로 수행될 수 있다.
또한, 한편으로는 부 이득과 잔여 이득의 산출을 독립적으로 수행할 수 있으며, 부 이득만을 단독으로 또는 잔여 이득과 다른 매개변수와 함께 산출한다. 특히 ICC 또는 ILD 산출과 관련하여 당해 기술보다 유리하며, 잔여 이득만을 산출하거나 또는 부 이득과 다른 임의의 다른 매개변수와 함께 산출하는 것도 이미 유용하다.
또한, 부의 효율적인 조인트 또는 조건부 양자화 및 잔여 이득 또는 이득 인자는 임의의 특정 다운믹스에 유용하다. 따라서, 효율적인 양자화는 다운믹스 없이도 사용될 수 있다. 또한, 이 효율적인 양자화는 제1 매개변수로부터 제2 매개변수가 그 값 범위에 의존하는 임의의 다른 매개변수에도 적용될 수 있으므로, 매우 효율적이고 낮은 복소수 양자화가 그러한 의존 매개변수에 대해 수행될 수 있다. 물론, 부 이득 및 잔여 이득과 다른 매개변수가 될 수도 있다.
따라서, 위에서 언급한 5가지 측면 모두가 서로 독립적으로 또는 특정 부호화기/복호화기 구현에서 함께 수행되고 구현될 수 있으며, 또한 측면들의 서브 그룹만 함께 구현될 수 있다. 즉, 3 가지 측면이 함께 구현된다. 다른 두 가지 측면이 없거나 다섯 가지 측면 중 두 가지 측면 만이 다른 세 가지 측면없이 함께 구현된다.
몇몇 측면들이 장치의 맥락에서 기술되었지만, 이들 측면들이 블록 또는 장치가 방법 단계 또는 방법 단계의 특징에 대응하는 상응하는 방법에 대한 설명을 나타냄이 분명하다. 유사하게, 방법 단계의 문맥에서 기술된 측면은 대응하는 블록 또는 해당 장치의 품목 또는 특징의 기술을 나타낸다.
특정 구현 요건에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 전자적으로 판독 가능한 제어 신호가 저장된 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리와 같은 디지털 저장 매체를 사용하여 수행될 수 있으며, 또는 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있다.
본 발명에 따른 일부 실시예는 본 명세서에 설명된 방법 중 하나가 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자 판독 가능 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법들 중 하나를 수행하도록 동작하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어 머신 판독 가능 캐리어 상에 저장될 수 있다.
다른 실시예는 기계 판독 가능 캐리어 또는 비 일시적 저장 매체에 저장된 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
환언하면, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터상에서 실행될 때, 여기에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 또 다른 실시예는 본 명세서에 기재된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터-판독 가능 매체)이다.
그러므로, 본 발명의 방법의 또 다른 실시예는 본 명세서에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 일련의 신호이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들어 인터넷을 통해 데이터 통신 접속을 통해 전송되도록 구성될 수 있다.
다른 실시예는 여기에 설명된 방법들 중 하나를 수행하도록 구성되거나 적응된 처리 수단, 예를 들어 컴퓨터 또는 프로그램 가능한 논리 장치를 포함한다.
다른 실시예는 여기에 설명된 방법들 중 하나를 수행하기위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
일부 실시예들에서, 프로그램 가능한 논리 소자(예를 들어, 필드 프로그래머블 게이트 어레이)는 여기에 설명된 방법들의 일부 또는 모든 기능들을 수행하는데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위해 마이크로 프로세서와 협력할 수 있다. 일반적으로, 방법들은 임의의 하드웨어 장치에 의해 수행되는 것이 바람직하다.
전술한 실시예는 본 발명의 원리를 설명하기 위한 것일 뿐이다. 본 명세서에 설명된 구성 및 세부 사항의 변경 및 변형은 당업자에게 명백할 것이다. 따라서, 임박한 특허 청구 범위의 범위에 의해서만 제한되고 본 명세서의 실시예에 대한 설명 및 설명에 의해 제공된 특정 세부 사항에 의해서가 아니라는 의도이다.
참조문헌
MPEG-4 고효율 고급 오디오 코딩(HE-AAC) v2
조인트 스테레오(JOINT STEREO)에서 스페이셜 오디오 코딩(SPATIAL AUDIO CODING)까지-최근 진행 및 표준화, Proc. 7th Int. 2004 년 10 월 5 일-8 일, 이탈리아 나폴리 디지털 오디오 효과 회의(DAFX-04)
멀티 채널 신호(100)는 멀티 채널 신호(100)로부터 다운믹스 신호(122)를 산출하기 위해 다운믹서(120)에 입력된다. 다운믹서는 멀티 채널 신호, 제1 채널(101), 제2 채널(102) 및 제 3 채널(103) 멀티 채널 신호의 제1 및 제2 채널 또는 모든 채널은 미리 결정된 구현에 의존한다.
또한, 부호화 장치는 제1 채널(101) 및 제2 채널(102)로부터 부 이득(141)을 산출하고, 제1 채널로부터 잔여 이득(142)을 산출하는 매개변수 산출기(140) 및 제2 채널. 다운믹스 신호(122), 부 이득(141) 및 잔여 이득(142)은 부호화된 멀티 채널 신호(162)를 생성하는 출력 인터페이스(160)에 전송된다(122), 부 이득(141) 및 잔여 이득(142)에 관한 정보를 포함한다.
또한, 부호화 장치는 제1 채널(101) 및 제2 채널(102)로부터 부 이득(141)을 산출하기위한 매개변수 산출기(140)를 포함하고, 매개변수 산출기(104)는 제1 채널 및 제2 채널로부터 잔여 이득(142)을 산출한다. 다른 실시예들에서, 선택적인 채널 간 위상차(inter-channel phase difference, IPD)는 또한(143)에 도시된 바와 같이 산출된다. 다운믹스 신호(122), 부 이득(141) 및 잔여 이득(142)은 출력 인터페이스(160)로 전달되며, 출력 인터페이스(160)은 다운믹스 신호(122) 및 부 이득(141) 및 잔여 이득(142)에 대한 정보로 구성된다.
부 이득 및 잔여 이득은 일반적으로 각 프레임(frame)에 대해 단일 부 이득 및 단일 잔여 이득이 산출되도록 프레임들에 대해 산출된다는 점에 유의해야한다. 그러나, 다른 실시예들에서는, 단일 부 이득 및 단일 잔여 이득이 각 프레임에 대해 산출되는 것뿐만 아니라, 부 이득들의 그룹 및 잔여 이득들의 그룹도 프레임에 대해 산출되고, 각 부 이득 및 각 잔여 이득은 제1 채널 및 제2 채널의 특정한 서브밴드에 관련된다. 따라서, 바람직한 실시예들에서, 매개변수 산출기는 제1 및 제2 채널의 각각의 프레임에 대해 부 이득들의 그룹 및 잔여 이득들의 그룹을 산출하며, 여기서 프레임의 부 및 잔여 이득들의 개수는 통상적으로 서브밴드들의 수와 같다. DFT와 같은 고해상도 시간-스펙트럼 변환이 적용되는 경우, 제1 채널 및 제2 채널의 주파수 빈들의 그룹으로부터 특정한 서브밴드에 대한 부 이득 및 잔여 이득이 산출된다. 그러나, 서브밴드 신호를 초래하는 저해상도(low resolution) 시간-주파수 변환이 적용될 때, 매개변수 산출기(140)는 각각의 서브밴드 또는 심지어 서브밴드들의 그룹에 대해서 부 이득 및 잔여 이득을 산출한다. 서브 밴드 신호들의 그룹에 대해 부 이득 및 잔여 이득이 산출될 때, 매개변수 해상도는 감소되어 비트율이 낮아지지만 부 신호의 매개변수 표현의 품질 표현이 낮아지게 된다. 다른 실시예들에서, 부 이득 및 잔여 이득이 각각의 프레임에 대해 산출되지 않고 프레임들의 그룹에 대해 산출되고, 프레임들의 그룹이 둘 이상의 프레임들을 갖도록 시간 해상도가 수정될 수 있다. 따라서, 이러한 실시예에서, 부/잔여 이득은 특정한 서브 밴드를 참조하지만, 2 개 이상의 프레임들을 포함하는 프레임들의 그룹을 참조하는 서브 밴드-관련 부/잔여 이득을 산출하는 것이 바람직하다. 따라서, 본 발명에 따르면, 블록(140)에 의해 수행된 매개변수 산출의 시간 및 주파수 해상도는 유연하게 수정될 수 있다.
매개변수 산출기(140)는 제1 실시예와 관련하여 도 2에 개략적으로 설명되거나 또는 제2 실시예와 관련하여 도 3에 개략적으로 설명된 바와 같이 구현된다. 도 2의 실시예에서, 매개변수 산출기는 제1 시간-스펙트럼 컨버터(21) 및 제2 시간-스펙트럼 컨버터(22)를 포함한다. 또한, 도 1의 매개변수 산출기(140)는 제1 진폭-관련(amplitude-related) 특성을 산출하기위한 산출기(23) 및 제2 진폭-관련 특성을 산출하기위한 산출기(24) 및 블록(즉, 제1 및 제2 채널의 스펙트럼 표현)(21 및 22)의 출력의 내적을 산출하기위한 산출기(25)를 포함한다.
블록들(23, 24, 25)의 출력들은 부 이득 산출기(26)에 전송되고 또한 잔여 이득 산출기(27)로 전송된다. 부 이득 산출기(26) 및 잔여 이득 산출기(27)는 제1 진폭 관련 특성, 제2 진폭 특성 및 내적 사이에 일정한 관계를 적용하고, 두 입력들을 결합하기 위해 잔여 이득 산출기에 의해 적용되는 관계는 부 이득 산출기(26)에 의해 적용되는 관계와 다르다.
바람직한 실시예에서, 제1 및 제2 진폭 관련 특성들은 서브밴드들 내의 에너지이다. 그러나, 다른 진폭 관련 특성들은 서브밴드들 자체의 진폭과 관련되며, 서브밴드들의 신호 전력들 또는 1보다 큰 지수(exponent)를 갖는 임의의 다른 진폭 전력들과 관련된다. 여기서, 지수는 1보다 큰 실수 또는 1보다 큰 정수일 수 있으며, 정수는 신호 전력 및 에너지에 관련된 2의 정수이거나 또는 소리의 세기(loudness)와 관련된 3의 정수가 될 수 있다. 따라서, 각각의 진폭-관련 특성은 부 이득 및 잔여 이득을 산출하기 위해 이용될 수 있다.
바람직한 실시예에서, 부 이득 및 잔여 이득 산출기(27)는 제1 및 제2 채널의 중간 신호에 적용 가능한 부 이득으로서 부 이득을 산출하여 제1 및 제2 채널의 부 신호 또는 매개변수 산출기를 예측하도록 구성되고, 특히, 잔여 이득 산출기(27)는 부 이득을 이용하여 중간 신호에 의한 부 신호의 예측의 잔여 신호의 진폭 관련 수치를 나타내는 잔여 이득으로서 잔여 이득을 산출하도록 구성된다.
특히, 도 2의 매개변수 산출기(140) 및 부 이득 산출 부(26)는 분자(nominator) 및 분모(denominator)를 갖는 분수(fraction)를 이용하여 부 신호를 산출하도록 구성되고, 분자는 제1 및 제2 채널의 진폭 특성들을 포함하고, 분모는 제1 및 제2 채널들의 진폭 특성들 및 내적으로부터 도출된 값을 포함한다. 내적으로부터 도출된 값은 내적의 절대 값이지만, 내적으로부터 도출된 값은 대신 1보다 큰 지수와 같은 절대 값의 임의의 지수 일 수 있거나 켤레 복소수 항(term) 또는 내적 등과 같은 절대 값과 다른 특성일 수 있다.
또 다른 실시예에서, 도 2의 잔여 이득 산출기(27)는 또한 내적으로부터 도출된 값 및 추가적으로 다른 매개변수들을 이용하여 분자 및 분모를 갖는 분수를 이용한다. 다시, 내적으로부터 도출된 값은 내적의 절대 값이지만, 내적으로부터 도출된 값은 대신 1보다 큰 지수와 같은 절대 값의 임의의 지수 일 수 있거나 켤레 복소수 항 또는 내적 등과 같은 절대 값과 다른 특성일 수 있다.
특히, 도 2의 부 산출기(26)는 부 이득을 산출하기 위해 제1 채널의 에너지의 차를 이용하도록 구성되고, 분모는 양 채널의 에너지 또는 진폭 특성들의 합을 이용하고, 또한 내적 및 내적의 두 배이지만 내적에 대한 다른 곱셈기들이 또한 이용될 수 있다.
잔여 이득 산출기(27)는 분모에서 제1 및 제2 채널의 진폭 특성들의 가중 합과, 내적을 이용하도록 구성된다. 여기서, 내적은 제1 및 제2 채널의 진폭 특성들의 가중 합으로부터 감산된다. 잔여 이득 산출기를 산출하기 위한 분모는 제1 및 제2 채널의 진폭 특성과 내적의 합을 포함한다. 여기서 내적은 2로 곱해지지만 다른 인자들 또한 곱해질 수 있다.
또한, 잔여 이득 산출기(27)는 커넥션 라인(connection line)(28)에 의해 도시된 바와 같이, 부 이득 산출기에 의해 산출된 부 이득을 이용하여 잔여 이득을 산출하도록 구성된다.
바람직한 실시예에서, 잔여 이득 및 부 이득은 다음과 같이 동작한다. 특히, 후술 될 밴드와이즈 채널 간 위상차가 산출될 수도 있고 그렇지 않을 수도 있다. 그러나, 식(9)에서 후술하는 바와 같이 부 이득의 산출 및 식(10)에서 후술하는 바와 같이 부 이득의 특정한 바람직한 산출을 개략적으로 설명하기 전에, 이득 매개변수의 산출에 추가하여 IPD 및 다운믹싱의 산출을 또한 지칭하는 부호화기에 대한 추가 설명이 제공된다.
스테레오 매개변수들의 부호화 및 다운믹스 신호의 산출은 주파수 도메인에서 수행된다. 이를 위해 좌측 및 우측 채널의 시간 주파수 벡터 Lt와 Rt는 이산 푸리에 변환(discrete Fourier transform: DFT)이 뒤 따르는 분석 윈도우(analysis window)을 동시에 적용하여 생성된다. DFT 빈들은 서브밴드들
IPD의 산출 및 다운믹싱(Calculation of IPDs and Downmixing)
다운믹스에 대해, 밴드와이즈 채널 간 위상차(bandwise inter-channel-phase-difference: IPD)는 다음과 같이 산출된다. z*는 z의 켤레 복소수(complex conjugate)를 나타낸다. 이는, 대역별 중간 및 측면 신호(bandwise mid and side signal)을 생성하는데 사용된다.
절대 위상 회전 매개변수(absolute phase rotation parameter) β는 다음 식으로 주어진다.
다른 실시예들에서, atan2-함수와 상이한 다른 역탄젠트 함수들은 직선 탄젠트 함수(straightforward tangent function)으로도 이용될 수 있지만, atan2 함수는 제기된 문제에 대한 안전한 적용 때문에 바람직하다.
이득 매개변수들의 산출(Calculation of gain parameters)
밴드-와이즈 IPD에 추가로 2개의 추가 스테레오 변수들이 추출된다.
은 최소값이고, 중간 신호
선택적인 이득은 서브밴드들 내의 에너지들 및
이것으로부터
이는 아래 식을 의미한다.
특히
매개변수 해상도를 낮추는 것
윈도우 길이에 의해 주어진 낮은 매개변수 해상도가 요구된다면,
부 이득은 개별 윈도우들에 대한 부 이득들의 가중된 평균이다. 여기서, 가중치들은
비슷하게, IPD 값들은 다음과 같이 여러 윈도우들에서 산출된다.
바람직하게, 도 1에 도시된 매개변수 산출기(140)는 복소수 값 스펙트럼의 시퀀스로서 서브밴드-방식 표현을 산출하도록 구성된다. 여기서 각각의 스펙트럼은 제1 채널 또는 제2 채널의 시간 프레임과 관련되고, 여기서 시퀀스의 시간 프레임은 서로 인접하고 인접한 시간 프레임이 서로 겹치는 경우이다.
또한, 매개변수 발생기(140)는 서브밴드 내의 복소수 스펙트럼 값(complex spectral value)의 크기를 제곱하고 서브밴드에서 제곱된 크기를 가산함으로써 제1 및 제2 진폭 관련 측정치를 산출하도록 구성되며, 예를 들어, 식(7) 인덱스 b는 서브밴드를 나타낸다.
또한, 식(8)에 개략적으로 도시된 바와 같이, 매개변수 산출기(140), 특히 도 2의 내적 산출기(25)는 서브밴드에서 곱을 가산함으로써 내적을 산출하도록 구성되고, 각각의 곱은 제1 채널의 주파수 빈에서의 스펙트럼 값 및 주파수 빈에 대한 제2 채널의 켤레 복소수 스펙트럼 값(conjugate complex spectral value)을 포함한다. 이어서, 가산된 결과의 크기가 함께 형성된다.
식(1) 내지 식(4)에 개략적으로 설명된 바와 같이, 절대 위상 보상을 이용하는 것이 바람직하다. 따라서, 이 실시예에서, 다운믹서(120)는 절대 위상 보상을 이용하여 다운 믹스(122)를 산출하도록 구성되어, 두 채널 중 에너지가 낮은 채널 만이 회전되거나, 두 채널 중 에너지가 낮은 채널은 다운 믹스 신호를 산출할 때 에너지가 큰 다른 채널보다 강하게 회전된다. 특히, 다운믹서는 IPD 연산부(30), 절대 위상 회전 연산부(32), 다운 믹스 연산부(34) 및 에너지 차 또는 부 이득 연산부(36)를 포함한다. 에너지 차 또는 부 이득 산출기(36)는 도 2의 부 이득 산출기(26)로서 구현될 수 있음이 강조되어야 한다. 그러나, 또 달리, 위상 회전의 목적 상, 에너지 차, 또는 일반적으로 에너지, 전력 또는 진폭 그 자체일 수 있는 진폭 관련 특성 차만을 산출하는 블록(36)의 다른 구현이 가능할 수 있다. 거듭제곱(power)은 1과 2 사이의 거듭제곱 또는 2보다 큰 거듭제곱과 같이 2와는 다르다.
특히, 3의 지수 또는 거듭제곱(power of three)은 에너지보다는 소리의 크기에 대응한다.
특히, 도 4의 IPD 산출기(30)는 블록(30)에 입력된 제1 및 제2 채널들(101, 102) 각각의 복수의 서브밴드들의 각각의 서브밴드에 대해 보통 채널 간 위상차를 산출하도록 구성된다. 또한, 다운믹서는 제1 및 제2 채널 사이의 블록(36)에 의해 제공된 에너지 차에 기초하거나, 두 채널들(101, 102) 사이의 진폭-관련 특성 차에 기초하여 동작하고, 복수의 서브밴드들의 각각의 서브밴드에 대해 보통 절대 위상 회전 매개변수를 갖는다. 또한 다운믹스 산출기(34)는 다운 믹스 신호를 산출할 때 IPD 매개변수와 β로 표시된 절대 위상 회전 매개변수를 이용하여 제1 채널과 제2 채널을 가중하도록 구성된다.
블록(36)은 부 이득 산출기로서 구현되어, 절대 위상 회전 산출기가 부 이득에 기초하여 동작한다.
따라서, 도 4의 블록(30)은 식(1)을 구현하도록 구성되고, 블록(32)은 식(4)를 구현하도록 구성되며, 블록(34)은 바람직한 실시예에서 식(2)를 구현하도록 구성된다.
특히, 부 이득 gt,b를 포함하는 항 앞에 식(4)의 인자 2는 2와 다르게 설정 될 수 있으며, 예를 들어 바람직하게는 0.1 내지 100의 값일 수 있다. 당연히 -0.1 및 -100도 이용될 수 있다. 이 값은 거의 동일한 좌측 및 우측 채널에 대해 +-180°의 IPD에 존재하는 특이점이 다른 위치, 즉 인자 2에 대해 예를 들어, -1/3의 다른 부 이득으로 이동한다는 것을 확실하게 한다. 그러나 2로부터 다른 인자들을 이용할 수 있다. 이 다른 인자들은 특이점을 -1/3로부터 다른 부 이득 매개변수로 이동시킨다. 이러한 모든 다른 인자들이 유용하다는 것이 입증되었다. 왜냐하면, 이러한 인자들은 문제가 있는 특이점이 위상이 맞지 않고 동등하거나 거의 동일한 에너지를 갖는 것보다 일반적으로 덜 자주 발생하는 좌측 및 우측 채널 신호들을 갖는 사운드 단계의 "장소"에 있다는 것을 달성하기 때문이다.
바람직한 실시예에서, 도1의 출력 인터페이스(160)는 매개변수 정보의 양자화 즉, 매개변수 산출기(140)에 의해 라인(141) 상에 제공된 부 이득의 양자화 및 라인 상에 제공된 잔여 이득(140)로부터 출력한다.
특히, 실시예에서, 잔여 이득은 부 이득을 양자화하고 잔여 이득을 양자화하는 것이 바람직하다면, 부 이득에 의존한다. 이 실시예에서, 잔여 이득에 대한 양자화 단계는 부 이득의 값에 의존한다.
특히, 이는 도 11에 도시되고 도 12 및 도 13에도 유사하게 도시되어 있다.
도 1은 조건부 양자화(conditional quantization)를 위한 선들을 보여준다. 특히, 잔여 이득은(1-g2)1/2에 의해 결정되는 범위 내에 항상 존재한다는 것을 나타낸다. 따라서, g = 0 일 때, r은 0과 1 사이의 범위에 있을 수 있다. 그러나, g가 0.5 일 때, r은 0.866 및 0의 범위에 있을 수 있다. 또한, 예를 들어 g = 0.75 일 때, 범위 r은 0과 0.66 사이로 제한된다. 극단적 인 실시예에서 g = 0.9 일 때, r은 단지 0과 0.43 사이의 범위 일 수 있다. 또한, g = 0.99일 때, r은 예를 들어 0과 0.14 사이의 범위에 있을 수 있다.
따라서, 이 의존성(dependency)은 더 높은 부 이득에 대한 잔여 이득의 양자화를 위한 양자화 스텝 사이즈(quantization step size)를 낮춤으로써 이용될 수 있다. 따라서, 도 11을 고려할 때, r에 대한 값 범위를 나타내는 수직선은 8과 같은 특정한 정수로 항상 나뉠 수 있어, 각 라인은 8개의 양자화 단계들을 갖는다. 따라서, 더 높은 부 이득들을 반영하는(reflecting) 라인들의 경우, 양자화 스텝은 더 낮은 부 이득들을 갖는 라인들보다 작다. 따라서 비트율 증가없이 더 높은 부 이득들을 더 정교하게 양자화 할 수 있다.
다른 실시예에서, 양자화기(quantizer)는 제1 및 제2 채널 사이의 고정 진폭-관련 비율에 의해 정의되는 양자화 포인트의 그룹을 이용하여 조인트 양자화를 수행하도록 구성된다. 진폭-관련 비율에 대한 하나의 예는 좌측과 우측 사이의 에너지이다. 즉, 이는 도 12에 도시된 바와 같이 제1 및 제2 채널 사이의 동일한 ILD에 대한 라인을 의미한다. 이 실시예에서, 출력 인터페이스는 도 5a에 도시된 바와 같이 구성되며, 입력으로서 제1 채널 및 제2 채널 또 달리 부 이득 g 및 잔여 이득 r을 수신하는 서브 밴드-와이즈 ILD 산출기를 포함한다. 참조 번호 50으로 표시된 서브밴드 와이즈 ILD 산출기는 양자화될 매개변수 값 g, r에 대한 미리 결정된 ILD를 출력한다. ILD 또는 일반적으로 진폭-관련 비율은 그룹 매칭기(matcher)(52)에 전송된다. 그룹 매칭기(52)는 최상의 매칭 그룹을 결정하고 이 정보를 포인트 매칭기(54)에 전송한다. 그룹 매칭기(52) 및 포인트 매칭기(54)는 모두 코드북(codebook)으로부터의 코드 워드와 같은 코드를 최종적으로 출력하는 코드 빌더(code builder)(56)에 공급한다.
특히, 코드 빌더는 부 이득 g의 코드를 수신하고 서브밴드에 대한 g, r에 대한 코드를 도시하는 도 5b에 도시된 사인 비트(sign bit)(57a)를 결정한다. 또한, 결정된 ILD와 일치하는 특정한 양자화 포인트 그룹을 결정한 그룹 매칭기는 그룹 ID로서(57b)에 도시된 비트들(2 내지 5)을 출력한다. 최종적으로, 포인트 매칭기는 도 57c에 도시된 도 5b의 실시예에서 비트들(6 내지 8)을 출력하는데, 이 비트들은 포인트 ID, 즉 비트(57b)에 의해 표시된 그룹 내의 양자화 포인트의 ID를 나타낸다. 도 5b는 단일 사인 비트, 4개의 그룹 비트들 및 3 개의 포인트 비트들을 갖는 8 비트 코드를 나타내지만, 사인 비트 및 더 많거나 적은 그룹 비트 및 더 많거나 적은 포인트 비트를 갖는 다른 코드가 이용될 수 있다. 부 이득이 양(positive) 및 음(negative)의 값을 갖는다는 사실에 따라, 그룹 비트 및 포인트 비트, 즉 비트 세트(57b) 및 비트 세트(57c)는 단지 순수하게 또는 바람직하게 양의 값을 가지며, 부호 비트가 음의 부호를 나타내면, 잔여 이득은 항상 양의 값으로 복호화되지만, 부 이득은 음의 값으로 복호화되며, 이는 좌측 채널의 에너지가 우측 채널의 에너지보다 낮다는 것을 의미하며, 식(9)에 예시 된 바와 같은 규칙이 부 이득을 산출하기 위해 적용된다.
이어서, 양자화에 대한 다른 실시예들이 설명된다.
부 및 잔여 이득의 양자화
식(11)의 부등식(inequalities)은 후자가 전자의 범위를 결정하기 때문에 잔여 이득의 부 이득에 대한 강한 의존성을 드러낸다(reveal). [-1, 1] 및 [0, 1]의 양자화 포인트를 선택함으로써 부 이득 g 및 잔여 이득 r을 독립적으로 양자화하는 것은 비효율적인데, 그 이유는 r에 대한 가능한 양자화 포인트의 수가 g가 ± 1을 향하여 감소함에 따라 감소하기 때문이다.
조건부 양자화
이 문제를 해결할 수 있는 여러 가지 방법들이 있다. 가장 쉬운 방법은 g를 먼저 양자화 한 다음 양자화 된 값 g에 대해 조건부로 r을 양자화하는 것이다.
양자화 지점은
조인트 양자화
양자화 포인트를 선택하는 보다 정교한(sophisticated) 방법은 L과 R 사이의 고정 에너지 비율에 해당하는(g, r)-평면의 라인들을 보는 것이다. c2 ≥ 1이 그러한 에너지 비율을 나타내면, 대응하는 라인은 c=1일 경우, 0 = s = 1에 대한(0, s) 또는
Lt 및 Rt 를 스와핑하는 것(swapping)은 gt,b의 사인만을 바꾸고, rt,b는 바꾸지 않은 채로 두기 때문에 이는 오직 c 2 < 1인 경우만 커버한다.
이 접근법은 도 12에서 볼 수 있는 것과 동일한 양자화 포인트 수를 갖는 더 큰 영역(region)을 커버한다. 다시, 라인들 상의 양자화 포인트들은 예를 들어, 개별 선들의 길이에 따라 균등하게(uniformly) 선택되어야 한다. 다른 가능성으로는 미리 선택된 ICC 값을 일치시키기 위해 그것들을 선택하거나 음향적인 방법(acoustical way)으로 그것들을 최적화하는 것이 있다.
잘 동작하는 것으로 확인된 양자화 스킴(scheme)은 8개의 양자화가 선택된 각각의 ILD 값 ±{0,2,4,6,8,10,13,16,16,19,22,25,30,35,40,45,50}}(23)에 해당하는 에너지 라인들에 기초한다. 이는 256개의 항목들의 코드-북을 발생시키는데, 이는 g 및 사인 비트의 음이 아닌(non-negative) 값에 해당하는 값들을 가지는 8×16의 양자화 포인트들의 표로 구성된다. 이는 양자화 포인트(g, r)의 8 비트 정수 표현을 발생시킨다. 여기서 첫 번째 비트는 g의 사인을 지정하고, 다음 네 비트는 8x16 테이블의 열 인덱스와 행 인덱스를 보유하는 마지막 세 비트를 보유한다.
(gt, b, rt, b)의 양자화는 철저한 코드-북 검색에 의해 수행될 수 있지만 먼저 서브밴드 ILD를 산출하고 가장 일치하는 에너지 라인으로 검색을 제한하는 것이 더 효율적이다. 이 방법으로, 8개의 포인트만 고려되면 된다.
역양자화(dequantization)는 간단한 테이블 조회(lookup)로 수행된다.
g의 음이 아닌 값을 다루는 이 스킴에 대한 128개의 양자화 포인트들이 도 12에 도시된다.
식(9) 및 식(10)에 도시된 바와 같이, 부 신호의 실제 산출, 즉 좌측 및 우측 신호 간의 차 신호없이 부 이득 및 잔여 이득을 산출하기위한 절차가 개시되었지만, 다른 실시예는 부 이득 및 잔여 이득을 다르게, 즉 부 신호의 실제 산출로 산출하도록 동작한다. 이 절차는 도 3에 도시된다.
이 실시예에서, 도 1에 도시된 매개변수 산출기(140)는 입력으로서 제1 채널(101) 및 제2 채널(102)을 수신하고 시간 도메인에 있을 수 있는 실제 부 신호를 출력하는 부 신호 산출기(60)를 포함하지만, 이는 식(3)에 의해 설명된 바와 같이 주파수 도메인에서 산출된다. 그러나, 식(3)은 절대 위상 회전 매개변수 β 및 밴드 및 프레임 당 IPD 매개변수를 갖는 부 신호의 산출 상황을 나타내지만, 부 신호는 위상 보상없이 산출될 수도 있다. 식(3)은 Lt,k와 Rt,k만 발생하는 식이 된다. 따라서, 부 신호는 좌, 우 또는 제1 및 제2 채널 간의 간단한 차로서 산출될 수 있고, 2의 제곱근을 갖는 정규화가 이용될 수도 있고 그렇지 않을 수도 있다.
부 신호 산출기(60)에서 산출된 부 신호는 잔여 신호 산출기(61)로 전달된다. 잔여 신호 산출기는(62)는, 예를 들면 식(5)에 나타난 절차를 수행한다. 나머지 신호 산출기(61)는 다른 테스트 부 이득, 즉, 부 이득 gd,b에 대한 다른 값, 즉 하나의 동일한 밴드 및 프레임에 대한 다른 테스트 부 이득을 이용하도록 구성되며, 결과적으로 다른 잔여 신호가 블록(61)의 멀티 출력들에 의해 도시된다.
도 3의 부 이득 선택기(selector)(62)는 모든 다른 잔여 신호를 수신하고 다른 잔여 신호들 중 하나를 선택하거나 미리 정의된 조건을 충족시키는 다른 잔여 신호들 중 하나와 관련된 테스트 부 이득을 선택한다. 이 미리 정의된 조건은, 예를 들어, 모든 다른 잔여 신호들 중에서 가장 작은 에너지를 갖는 잔여 신호를 초래한 부 이득이 선택되는 것일 수 있다. 그러나, 소리와 같은 에너지와는 다른 최소 진폭-관련 조건과 같은 다른 미리 결정된 조건이 이용될 수 있다. 그러나 가장 작은 에너지들이 아닌 다섯 개의 가장 작은 에너지 중 에너지를 가진 잔류 신호를 이용하는 것과 같은 다른 절차도 적용될 수 있다. 실제로 미리 정의된 조건은 특정한 주파수 범위들의 특정한 기능과 같은 특정한 오디오 특성들을 나타내는 잔여 신호를 선택할 수도 있다.
선택된 특정한 테스트 부 이득은 특정한 프레임 또는 특정한 밴드 및 특정한 프레임에 대한 부 이득 매개변수로서 부 이득 선택기(62)에 의해 결정된다.
선택된 잔류 신호는 잔여 이득 산출기(63)로 전송되고, 잔여 이득 산출기는, 일 실시예에서, 선택된 잔류 신호의 진폭 관련 특성을 단순히 산출할 수 있거나, 잔여 이득 산출기는 다운믹스 신호 또는 중간 신호의 진폭 관련 특성에 대한 잔류 신호의 진폭 관련 특성 간의 관계로서 잔여 이득을 산출할 수 있다. 경우에 따라 위상 보상 된 다운믹스와 다른 다운믹스가 이용되거나 또는 좌측 및 우측의 합으로 구성된 다운믹스와 다른 다운믹스가 이용될 때, 잔여 이득은 그럼에도 불구하고 좌측 및 우측의 위상이 보상되지 않은 가산(addition)과 관련될 수 있다.
따라서, 도 3은 측 신호의 실제 산출로 부 이득 및 잔여 이득을 산출하는 방법을 도시하는 반면, 식(9) 및 식(10)을 개략적으로 반영하는 도 2의 실시예에서, 부 이득 및 잔여 이득은 측 신호의 명시적인 산출 및 다른 테스트 부 이득들을 갖는 잔여 신호 산출을 수행하지 않고 산출된다.
따라서, 두 실시예들이 예측으로부터의 잔여 신호를 매개변수화하는 부 이득 및 잔여 이득을 초래한다는 것이 명백해지고, 도 2 및 도 3에 도시된 것으로부터 또는 대응하는 식(5) 내지 식(10)에 의해 부 이득 및 잔여 이득을 따로 산출하는 다른 절차들도 가능하다.
또한, 주어진 식 모두는 대응하는 식들에 의해 결정되는 값에 대한 바람직한 실시예이다. 그러나, 대응하는 식들에 의해 결정된 값과 ±20 %의 범위에서 다른 값이 또한 유용하며, 종래 기술보다 이점을 제공하는 것으로 밝혀졌지만 식들에 의해 결정된 값으로부터의 편차가 작아질수록 이점은 커진다. 따라서, 다른 실시예에서, 대응하는 식에 의해 결정된 값과 단지 ±10%만큼 다른 값을 이용하는 것이 바람직하고, 가장 바람직한 실시예에서, 식에 의해 결정된 값은 몇몇 데이터 아이템들의 산출에 이용된 값이다.
도 6은 부호화된 멀티 채널 신호(200)를 복호화하는 장치를 도시한다. 복호화 장치는 입력 인터페이스(input interface)(204), 입력 인터페이스(204)에 연결된 잔류 신호 합성기(synthesizer)(208) 및 한 쪽으로 입력 인터페이스(204) 및 다른 한 쪽으로는 잔류 합성기(208)에 연결된 업믹서(212)를 포함한다. 바람직한 실시예에서, 복호화기는(217) 및(218)에 도시된 바와 같이 시간 도메인 제1 및 제2 채널을 최종적으로 출력하기 위해 스펙트럼-시간 컨버터(spectrum-time converter)(260)를 추가적으로 포함한다.
특히, 입력 인터페이스(204)는 부호화된 멀티 채널 신호(200)를 수신하고 부호화된 멀티 채널 신호(200)로부터 다운믹스 신호(207), 부 이득(206) 및 잔여 이득 r(205)을 획득하도록 구성된다. 잔여 신호 합성기(208)는 잔여 신호(205)를 이용하여 잔여 신호를 합성하고, 업믹서(212)는 잔여 신호 합성기(208)에 의해 결정된 바와 같이 부 이득(206) 및 잔여 신호(209)를 이용하여 다운믹스 신호(207)를 업믹스하여 복원된 제1 채널(213) 및 복원된 제2 채널(214)을 얻도록 구성된다. 잔여 신호 합성기(208) 및 업믹서(212)가 스펙트럼 도메인에서 동작하거나 적어도 업믹서(212)가 스펙트럼 영역에서 동작하는 실시예에서 복원된 제1 및 제2 채널(213, 214)은 스펙트럼 도메인 표현들로 주어지고, 각 채널에 대한 스펙트럼 도메인 표현은 스펙트럼-시간 컨버터(216)에 의해 시간 도메인으로 변환되어 최종적으로 시간 도메인의 제1 및 제2 복원된 채널을 출력할 수 있다.
특히, 업믹서(212)는 도 7에 도시된 제1 가중 장치(70)를 이용하여 제1 가중 동작을 수행하여 제1 가중된 다운믹스 채널을 얻도록 구성된다. 또한, 업믹서는 제2 가중된 다운믹스 신호를 얻기 위해 한편으로는 부 이득(206) 및 다른 한편으로는 다운믹스 신호(207)를 이용하여 제2 가중 장치를 다시 이용하여 제2 가중 동작을 수행한다. 블록(70)에 의해 수행되는 제1 가중 연산은 제1 가중된 다운믹스(76)가 제2 가중된 다운믹스(77)와 다르도록 블록(71)에 의해 수행되는 연산의 제2 가중과 다르다. 또한, 업믹서(212)는 제1 가중된 다운믹스 신호(76)의 제1 결합기(72) 및 잔여 신호(209)에 의해 수행되는 조합을 이용하여 복원된 제1 채널을 산출하도록 구성된다. 또한, 업믹서는 제2 가중된 다운믹스 신호(77)와 잔여 신호(209)의 제2 결합을 수행하기위한 제2 결합기(73)를 더 포함한다.
제1 결합기(72)와 제2 결합기(73)에 의해 수행되는 결합 규칙(combination rule)은 서로 달라, 블록(72 및 73)의 다른 결합 규칙들 및 블록(70) 및 블록(71)에 의해 수행되는 다른 가중 규칙들로 인해, 한 쪽의 블록(72) 및 다른 한 쪽의 블록(73)의 출력은 서로 실질적으로 다르다.
제1 결합 규칙과 제2 조합 규칙은, 하나의 조합 규칙이 가산 연산이고 다른 하나가 뺄셈 연산이기 때문에 서로 다르다. 그러나, 다른 쌍들의 제1 및 제2 조합 규칙도 이용될 수 있다.
또한, 하나의 가중 규칙은 미리 결정된 수와 부 이득의 차에 의해 결정되는 가중치를 갖는 가중치를 이용하고, 다른 가중치 규칙은 미리 결정된 수와 부 이득 간의 합에 의해 결정되는 가중치 인자를 이용하기 때문에, 블록(70) 및 블록(71)에서 이용된 가중 규칙은 서로 다르다. 미리 결정된 숫자는 두 가중 장치들에서 서로 같을 수 있거나 서로 다를 수 있으며 미리 결정된 숫자는 0과 다를 수 있으며 정수 또는 정수가 아닐 수 있으며 오히려 1과 같을 수 있다.
도 8은 잔여 신호 합성기(208)의 바람직한 구현을 도시한다. 잔여 신호 합성기(208)는 일종의 원시 잔여 신호 선택기(raw residual signal selector) 또는 일반적으로 비상관화된(decorrelated) 신호 산출기(80)를 포함한다. 또한, 블록(80)에 의해 출력 된 신호는 참조 번호(205)로 표시된 도 6의 입력 인터페이스(204)에 의해 출력된 잔여 이득을 입력으로서 수신하는 가중 장치(82)로 입력된다. 또한, 잔여 신호 합성기는 입력으로서 블록(80)에 의해 출력된 신호(즉, 원시 신호 또는 비상관화된 신호(86))를 수신하는 정규화기(normalizer)(84)를 포함한다. 이들 2개의 신호들에 기초하여, 정규화 인수 gnorm(87)가 산출된다. 여기서, 정규화 인자(87)는 잔여 이득 r과 함께 가중 장치(82)에 의해 이용되어 최종적으로 합성된 잔여 신호(209)를 얻는다.
바람직한 실시예에서, 원시 잔여 신호 선택기(80)는 바로(immediately) 선행하는(preceding) 프레임 또는 심지어 더 이전의(earlier) 프레임과 같은 선행하는 프레임의 다운 믹스 신호를 선택하도록 구성된다. 그러나, 구현에 따라, 원시 잔여 신호 선택기(80)는 선행하는 프레임에 대해 산출된 좌측 또는 우측 신호 또는 제1 또는 제2 채널 신호를 선택하도록 구성되거나, 또한, 원시 잔여 신호 선택기(80)는, 바로 선행하는 프레임 또는 더 이전의 어느 쪽의 프레임에 대해서 결정된 좌우의 신호의 합, 차 등의 조합에 기초하여 잔여 신호를 결정할 수 있다. 다른 실시예들에서, 비상관화된 신호 산출기(80)는 비상관화된 신호를 실제로 생성하도록 구성될 수도 있다. 그러나, 잔류 신호 선택기(80)는 반향(reverberation) 필터와 같은 비상관화 필터와 같은 특정 비상관화기없이 동작하는 것이 바람직하지만, 복잡성이 낮은 이유 때문에, 중간 신호, 복원된 좌측 신호, 복원된 우측 신호 또는 이전에 복원된 좌측 및 우측 신호로부터 유도된 신호와 같은 과거의 이미 존재하는 신호만을 가중치 결합, 즉, 특정한 반향 또는 비상관화 필터에 의존하지 않는(가중된) 가산(가중된), 뺄셈 등이 있다.
일반적으로, 가중 장치(82)는 잔여 신호의 에너지가 잔여 이득 r로 표시되는 신호 에너지와 동일하도록 잔여 신호를 산출하도록 구성되며, 일반적으로, 가중 장치(82)는 잔여 신호의 에너지가 잔여 이득 r로 표시되는 신호 에너지와 동일하도록 잔여 신호를 산출하도록 구성되며, 이 에너지는 절대적인 항들(term)로 표시될 수 있지만, 바람직하게는 현재 프레임의 중간 신호(207)에 관하여 상대적인 항들로 표시된다.
부호화기 측 및 복호화기 측에 대한 바람직한 실시예들에서, 부 이득 및 바람직한 경우의 잔여 이득으로부터의 값들은 0으로부터 다르다.
이어서, 복호화기에 대한 추가적인 바람직한 실시예들은 식 형태로 주어진다.
업믹스는 주파수 도메인에서 다시 수행된다. 이를 위해, 부호화기로부터의 시간-주파수 변환은 시간-주파수 벡터들
역양자화된 값들을 이용하여 좌측 및 우측 채널은 k ∈ Ib에 대해 다음 식으로 산출된다.
여기서,
이는 예를 들어 다음 식을 취할 수 있다.
여기서, db> 0은 밴드-와이즈 프레임-지연(frame-delay)을 나타낸다. 위상 회전 인자
좌측 채널 및 우측 채널은 역 DFT를
도 9는 입력 인터페이스(204)의 또 다른 실시예를 도시한다. 이 실시예는 도 5a 및 도 5b와 관련하여 전술한 바와 같은 역양자화 연산을 부호화기 측에 반영한다. 특히, 입력 인터페이스(204)는 부호화된 멀티 채널 신호로부터 조인트 코드를 추출하는 추출기(90)를 포함한다. 이 조인트 코드(91)는 사인 정보, 그룹 정보 또는 포인트 정보를 각 코드 별로 출력하거나 각 코드에 대해 최종 역 양자 된 값 g와 최종 역양자화된 값 r(즉, 역양자화된 측과 잔여 이득)을 출력하도록 구성된 조인트 코드북(92)으로 전송된다.
도 10a는 시간 도메인 제1 및 제2 채널 또는 좌측 및 우측 채널 1(t) 및 r(t)의 개략도를 도시한다.
스펙트럼 도메인에서 부 이득 및 잔여 이득이 산출되는 실시예에서, 좌측 채널 및 우측 채널 또는 제1 및 제2 채널은 중첩하는 프레임 F(1), F(2), F(3) 및 F(4) 등이 있다. 도 10a에 도시된 실시예에서, 프레임은 50 % 중첩되지만, 다른 중첩들 또한 유용하다. 또한, 2-프레임 중첩만이 도시되어 있다. 즉, 항상 2개의 후속 프레임들이 서로 중첩된다. 그러나 3, 4 또는 5개의 중첩된 프레임과 같이 멀티 중첩 프레임도 사용될 수 있다. 그 후, 진보(advance) 값, 즉 후속(following) 프레임이 현재 프레임과 얼마나 차가 나는지는 도 10a에 도시된 실시예에서와 같이 50 %가 아니지만 단지 10 %, 20 % 또는 30 % 정도로 작다.
도 10b는 도 2에 도시된 블록(21) 또는 블록(22)과 같은 시간-스펙트럼 컨버터의 바람직한 구현을 도시한다. 그러한 시간-주파수 컨버터는 프레임 l(t) 또는 r(t)의 시퀀스를 입력으로서 수신한다. 그 다음, 분석 윈도우어(windower)(1300)는 동일한 분석 윈도우로 윈도우된 모든 윈도우 된 프레임의 시퀀스를 출력한다. 분석 윈도우는 사인 윈도우 또는 기타 윈도우일 수 있으며 별도의 시퀀스가 첫 번째 채널에 대해 산출되고 추가 시퀀스가 두 번째 채널에 대해 산출된다.
그 후, 윈도우 프레임들의 시퀀스는 변환 블록(1302)에 입력된다. 변환 블록(1302)은 DFT 및 특히 FFT와 같은 복소수 스펙트럼 값을 초래하는 변환 알고리즘을 수행한다. 그러나, 다른 실시예들에서, 또한 DCT 또는 MDCT(변형된 이산 코사인 변환)와 같은 순전히 실수부 변환 알고리즘이 또한 사용될 수 있고, 그 후, 허수부는 순수한 실수부로부터 추정될 수 있다. 예를 들어, USAC(unified speech and audio coding)(통일된 음성 및 오디오 코딩) 표준에서 구현되는 것과 같이. 다른 변환 알고리즘은 복소수 값의 서브 밴드 신호를 생성하는 QMF 필터 뱅크와 같은 서브밴드 필터 뱅크가 될 수 있다. 전형적으로, 서브밴드 신호 필터 밴드들은 FFT 알고리즘보다 낮은 주파수 해상도를 가지며, 특정 수의 DFT 빈을 갖는 FFT 또는 DFT 스펙트럼은 특정 빈을 수집함으로써 서브밴드-와이즈(sub-band-wise) 표현으로 변환될 수 있다. 이것은 도 10c에 도시되어 있다.
특히, 도 10c는 특정 프레임 t에 대한 제1 또는 제2 채널(Lk, Rk)의 주파수 도메인 표현의 복소수 스펙트럼을 도시한다. 스펙트럼 값은 크기/위상 표현 또는 실수부/허수부 표현으로 주어진다. 전형적으로 DFT는 동일한 주파수 해상도 또는 대역폭을 갖는 주파수 빈을 생성한다. 그러나, 부 및 잔여 이득은 잔여 및 부 이득을 전송하기 위한 비트의 수를 감소시키기 위해 서브밴드 단위로 산출되는 것이 바람직하다. 바람직하게는, 서브밴드 표현은 낮은 주파수에서 높은 주파수로 증가하는 서브밴드를 이용하여 생성된다. 따라서, 일례에서, 서브밴드 1은 2개의 빈들과 같은 제1 주파수 빈들의 수를 가질 수 있고, 서브밴드 2, 서브밴드 3 또는 임의의 다른 서브밴드와 같은 제2 상위 서브밴드는 서브밴드 3으로 도시된 바와 같이, 예를 들어 8개의 주파수 빈을 포함할 수 있다. 따라서, 개별 서브밴드의 주파수 대역폭은 바람직하게는 바크 스케일(Bark scale)과 관련하여 본 기술에 알려진 바와 같이 인간의 귀의 특성으로 조정될 수 있다.
따라서, 도 10c는 이전에 개시된 식들에서 매개변수 k에 의해 표시되는 상이한 주파수 빈을 도시하고, 도 10c에 도시된 개별적인 서브밴드는 서브밴드 인덱스 b로 나타난다.
도 10d는, 예를 들어, 도 6의 블록(216)에 의해 구현되는 것과 같은 스펙트럼-시간 컨버터의 구현을 도시한다. 스펙트럼-시간 컨버터는 역 변환기(1310), 후속 적으로 연결된 합성 윈도우어(1312) 마지막으로 시간 영역 채널을 얻는다. 따라서, (1310)으로의 입력에서, 도 6에 도시된 복원된 스펙트럼 도메인 채널들(213, 214)이 있고, 중첩/가산기(1340)의 출력에는 시간 도메인 복원된 제1 및 제2 채널들(217, 218)이 존재한다.
역방향 변환기(1310)는 역방향 변환을 야기하는 알고리즘, 특히 바람직하게는 부호화기 측에서도 10b의 블록(1302)에 적용된 알고리즘과 역의 알고리즘을 수행하도록 구성된다. 또한, 합성 윈도우(1312)는 상응하는 분석 윈도우와 매칭되는 합성 윈도우를 적용하도록 구성되고, 바람직하게는 동일한 분석 및 합성 윈도우가 사용되지만, 반드시 그런 것은 아니다. 중첩 가산기(1314)는 도 10a에 도시 된 바와 같이 중첩을 수행하도록 구성된다. 따라서, 중첩/가산기(1314)는, 예를 들어, 도 10a의 F(3)에 대응하는 합성 윈도우 프레임을 취하고, 도 10a의 합성 윈도우 프레임 F(4)를 추가로 취하여, F(3)의 절반을 F(4)의 전반부의 해당 샘플에 샘플마다(sample-by-sample) 적용하여 실제 시간 도메인 출력 채널의 샘플을 최종적으로 얻는다.
이어서, 본 발명의 상이한 특정 측면들이 간략하게 제시된다.
식(4)에 따라 IPD 보상 및 절대 위상 보상 기능이 있는 스테레오 M/S
IPD 보상 및(10)에 따른 M에 의한 S의 예측을 갖는 스테레오 M/S
IPD 보상, (9)에 따른 M에 의한 S의 예측 및 이득 인자(10)에 따른 잔여 예측을 사용하는 스테레오 M/S
공동 양자화를 통한 부 및 잔여 이득 계수의 효율적인 양자화
(g, r) 평면에서의 Lt와 Rt의 고정 에너지 비율에 해당하는 선상에서의 잔여 이득 인자와 부 인자의 공동 양자화.
바람직하게는, 앞서 언급된 5 개의 상이한 측면들 모두가 하나의 동일한 부호화기/복호화기 프레임 워크에서 구현된다. 그러나, 이전에 주어진 개별적인 측면들은 또한 서로 개별적으로 구현될 수 있음을 또한 주목해야 한다. 따라서, IPD 보상 및 절대 위상 보상을 갖는 제1 측면은 임의의 부 이득/잔여 이득 산출에 관계없이 임의의 다운믹서에서 수행될 수 있다. 또한, 예를 들면, 부 이득 산출 및 잔여 이득 산출의 측면은 임의의 다운믹스, 즉 어떤 위상 보상에 의해 산출되지 않는 다운믹스로 수행될 수 있다.
또한, 한편으로는 부 이득과 잔여 이득의 산출을 독립적으로 수행할 수 있으며, 부 이득만을 단독으로 또는 잔여 이득과 다른 매개변수와 함께 산출한다. 특히 ICC 또는 ILD 산출과 관련하여 당해 기술보다 유리하며, 잔여 이득만을 산출하거나 또는 부 이득과 다른 임의의 다른 매개변수와 함께 산출하는 것도 이미 유용하다.
또한, 부의 효율적인 조인트 또는 조건부 양자화 및 잔여 이득 또는 이득 인자는 임의의 특정 다운믹스에 유용하다. 따라서, 효율적인 양자화는 다운믹스 없이도 사용될 수 있다. 또한, 이 효율적인 양자화는 제1 매개변수로부터 제2 매개변수가 그 값 범위에 의존하는 임의의 다른 매개변수에도 적용될 수 있으므로, 매우 효율적이고 낮은 복소수 양자화가 그러한 의존 매개변수에 대해 수행될 수 있다. 물론, 부 이득 및 잔여 이득과 다른 매개변수가 될 수도 있다.
따라서, 위에서 언급한 5가지 측면 모두가 서로 독립적으로 또는 특정 부호화기/복호화기 구현에서 함께 수행되고 구현될 수 있으며, 또한 측면들의 서브 그룹만 함께 구현될 수 있다. 즉, 3 가지 측면이 함께 구현된다. 다른 두 가지 측면이 없거나 다섯 가지 측면 중 두 가지 측면 만이 다른 세 가지 측면없이 함께 구현된다.
몇몇 측면들이 장치의 맥락에서 기술되었지만, 이들 측면들이 블록 또는 장치가 방법 단계 또는 방법 단계의 특징에 대응하는 상응하는 방법에 대한 설명을 나타냄이 분명하다. 유사하게, 방법 단계의 문맥에서 기술된 측면은 대응하는 블록 또는 해당 장치의 품목 또는 특징의 기술을 나타낸다.
특정 구현 요건에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 전자적으로 판독 가능한 제어 신호가 저장된 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리와 같은 디지털 저장 매체를 사용하여 수행될 수 있으며, 또는 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있다.
본 발명에 따른 일부 실시예는 본 명세서에 설명된 방법 중 하나가 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자 판독 가능 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법들 중 하나를 수행하도록 동작하는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 코드는 예를 들어 머신 판독 가능 캐리어 상에 저장될 수 있다.
다른 실시예는 기계 판독 가능 캐리어 또는 비 일시적 저장 매체에 저장된 본원에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
환언하면, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터상에서 실행될 때, 여기에 설명된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 또 다른 실시예는 본 명세서에 기재된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터-판독 가능 매체)이다.
그러므로, 본 발명의 방법의 또 다른 실시예는 본 명세서에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 일련의 신호이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들어 인터넷을 통해 데이터 통신 접속을 통해 전송되도록 구성될 수 있다.
다른 실시예는 여기에 설명된 방법들 중 하나를 수행하도록 구성되거나 적응된 처리 수단, 예를 들어 컴퓨터 또는 프로그램 가능한 논리 장치를 포함한다.
다른 실시예는 여기에 설명된 방법들 중 하나를 수행하기위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
일부 실시예들에서, 프로그램 가능한 논리 소자(예를 들어, 필드 프로그래머블 게이트 어레이)는 여기에 설명된 방법들의 일부 또는 모든 기능들을 수행하는데 사용될 수 있다. 일부 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위해 마이크로 프로세서와 협력할 수 있다. 일반적으로, 방법들은 임의의 하드웨어 장치에 의해 수행되는 것이 바람직하다.
전술한 실시예는 본 발명의 원리를 설명하기 위한 것일 뿐이다. 본 명세서에 설명된 구성 및 세부 사항의 변경 및 변형은 당업자에게 명백할 것이다. 따라서, 임박한 특허 청구 범위의 범위에 의해서만 제한되고 본 명세서의 실시예에 대한 설명 및 설명에 의해 제공된 특정 세부 사항에 의해서가 아니라는 의도이다.
참조문헌
MPEG-4 고효율 고급 오디오 코딩(HE-AAC) v2
조인트 스테레오(JOINT STEREO)에서 스페이셜 오디오 코딩(SPATIAL AUDIO CODING)까지-최근 진행 및 표준화, Proc. 7th Int. 2004 년 10 월 5 일-8 일, 이탈리아 나폴리 디지털 오디오 효과 회의(DAFX-04)
Claims (35)
- 적어도 두 개의 채널들(101, 102)을 포함하는 멀티-채널 신호(100)를 다운믹싱하는 장치에 있어서,
상기 멀티-채널 신호(100)로부터의 다운믹스 신호(122)를 산출하는 다운믹서(120); 및
상기 다운믹스 신호(122)에 관한 정보를 포함하는 출력 신호를 생성하기 위한 출력 인터페이스(160)
를 포함하고,
상기 다운믹서는,
위상 보상을 이용하여 상기 다운믹스 신호를 산출하도록 구성되고,
상기 다운믹스 신호(122)를 산출할 때,
상기 적어도 두 개의 채널들 중에서 더 낮은 에너지를 갖는 채널은,
오직 회전되거나 또는
더 큰 에너지를 갖는 채널보다 더 강하게 회전되도록 하는,
장치. - 제1항에 있어서,
상기 다운믹서(120)는,
상기 적어도 두 개의 채널들을 이용하여 채널 간 위상차를 산출(30)하도록 구성되고,
상기 다운믹서(120)는,
위상 회전 매개변수를 산출(32)하도록 구성되고,
상기 다운믹서(120)는,
상기 다운믹스 신호를 산출할 때, 상기 채널 간 위상차 및 상기 위상 회전 매개변수를 이용하여 상기 적어도 두 개의 채널들 중 제1 채널(101) 및 상기 적어도 두 개의 채널들 중 제2 채널(102)을 가중(34)하도록 구성되는,
장치. - 제2항에 있어서,
상기 장치는,
상기 적어도 두 개의 채널들 중 상기 제1 채널(101) 및 상기 제2 채널(102)로부터 부 이득(141)을 산출하기 위한 매개변수 산출기(140)
를 더 포함하고,
상기 다운믹서는,
상기 매개변수 산출기에 의해 결정된 상기 부 이득에 기초하여 상기 위상 회전 매개변수를 산출하도록 구성되는,
장치. - 제2항에 있어서,
상기 다운믹서(120)는,
프레임의 각 서브밴드에 대하여 상기 채널 간 위상차를 산출(30)하도록 구성되고,
상기 다운믹서(120)는,
상기 프레임의 각 서브밴드에 대하여 상기 위상 회전 매개변수를 산출(32)하도록 구성되는,
장치. - 제4항에 있어서,
상기 다운믹서(120)는,
상기 위상 회전 매개변수가 다음 식에 의해 결정되는 값의 ±20 %의 범위 내에 있도록, 상기 위상 회전 매개변수를 산출하도록 구성되고,
ß = atan)
여기서 atan은 역탄젠트 함수이고, ß는 상기 위상 회전 매개변수고, IPD는 상기 채널 간 위상차고, t는 프레임 인덱스이고, b는 서브밴드 인덱스이고,는 프레임 t 및 서브밴드 b에 대한 부 이득이고, A는 0.1 과 100 사이 또는 -0.1 과 -100 사이의 값인,
장치. - 제5항에 있어서,
상기 atan 함수는 atan2 함수를 포함하고,
상기 atan2(y,x) 함수는,
두 개의 인수를 가지는 역탄젠트 함수이고,
점(x, y)과 양의 x 축 사이의 각도를 값으로 가지는,
장치. - 제5항에 있어서,
상기 다운믹서(120)는,
상기 다운믹스 신호(122)가 다음 식에 의해 결정되는 값의 ±20 %의 범위 내에 있도록, 상기 다운믹스 신호(122)를 산출(34)하도록 구성되고,
상기는 상기 프레임 t 및 주파수 빈 k에 대한 다운믹스 신호이고,
는 상기 프레임 t 및 상기 주파수 빈 k에 대한 제1 채널(101)이고,
는 상기 프레임 t 및 상기 주파수 빈 k에 대한 제2 채널(102)이고,
는 상기 프레임 t 및 상기 주파수 빈 k를 포함하는 상기 서브밴드 b에 대한 채널 간 위상차고, ß는 상기 위상 회전 매개변수인,
장치. - 제1항에 있어서,
상기 적어도 두 개의 채널들 중 제1 채널(101) 및 상기 적어도 두 개의 채널들 중 제2 채널(102)로부터 부 이득(141)을 산출하거나 또는 상기 제1 채널(101) 및 상기 제2 채널(102)로부터 잔여 이득(142)를 산출하는 매개변수 산출기(140)
를 더 포함하고,
상기 출력 인터페이스(160)는,
상기 출력 신호가 상기 부 이득(141)에 대한 정보 및 상기 잔여 이득(142)에 대한 정보를 추가로 포함하도록, 상기 출력 신호를 생성하도록 구성되는,
장치. - 제3항에 있어서,
상기 매개변수 산출기(140)는,
상기 제1 채널(101) 및 상기 제2 채널(102)의 서브밴드와이즈 표현을 생성(21)하도록 구성되고,
서브밴드에서 상기 제1 채널(101)의 제1 진폭-관련 특성을 산출(21, 22, 23, 24)하고, 상기 서브밴드에서 상기 제2 채널(102)의 제2 진폭-관련 특성을 산출하도록 구성되고,
상기 서브밴드 내의 상기 제1 채널(101) 및 상기 제2 채널(102)의 내적을 산출(25)하도록 구성되고,
상기 제1 진폭-관련 특성, 상기 제2 진폭-관련 특성 및 상기 내적을 포함하는 제1 관계를 이용하여, 상기 서브밴드 내의 상기 부 이득을 산출(26)하도록 구성되거나, 또는,
상기 제1 진폭-관련 특성, 상기 제2 진폭-관련 특성 및 상기 내적을 포함하는 상기 제1 관계와 다른 제2 관계를 이용하여, 상기 서브밴드 내의 잔여 이득을 산출(27)하도록 구성되고,
상기 진폭-관련 특성은,
진폭들로부터, 전력들로부터, 에너지들로부터 또는 지수가 1보다 큰 진폭들의 거듭제곱들로부터 결정되는,
장치. - 제3항에 있어서,
상기 매개변수 산출기(140)는,
상기 제1 채널(101) 및 상기 제2 채널(102)의 복수의 서브밴드들의 각각의 서브밴드에 대해, 상기 부 이득 또는 잔여 이득을 산출하도록 구성되거나,
상기 매개변수 산출기(140)는,
상기 제1 채널(101) 및 상기 제2 채널(102)의 중간 신호에 적용할 수 있는 부 이득으로서 상기 제1 채널(101) 및 상기 제2 채널(102)의 부 신호를 예측하여 상기 부 이득을 산출하도록 구성되거나, 또는
상기 매개변수 산출기(140)는,
상기 부 이득을 이용하여 상기 중간 신호에 의한 상기 부 신호의 예측 부 신호의 진폭-관련 특성을 나타내는 잔여 이득으로서 상기 잔여 이득을 산출하도록 구성되는,
장치. - 제3항에 있어서,
상기 매개변수 산출기(140)는,
분자 및 분모를 갖는 분수를 이용하여 부 이득을 산출(26)하도록 구성되고, 상기 분자는 상기 제1 채널(101)의 진폭-관련 특성 및 제2 채널(102)의 진폭-관련 특성을 포함하고, 상기 분모는 상기 제1 채널(101)의 진폭-관련 특성 및 상기 제2 채널(102)의 진폭-관련 특성 및 내적으로부터 도출된 값을 포함하거나, 또는
상기 매개변수 산출기(140)는,
분자 및 분모를 갖는 분수를 이용하여 잔여 이득을 산출(27)하도록 구성되고, 상기 분자는 내적으로부터 도출된 값을 포함하고, 상기 분모는 상기 내적을 포함하는,
장치. - 제11항에 있어서,
상기 매개변수 산출기(140)는,
상기 부 이득을 산출(26)하도록 구성되고, 상기 분자는 상기 제1 채널(101)의 제1 진폭-관련 특성과 상기 제2 채널(102)의 제2 진폭-관련 특성의 차를 포함하고, 상기 분모는 제1 채널(101)의 제1 진폭-관련 특성과 제2 채널(102)의 제2 진폭-관련 특성의 합 및 내적으로부터 도출된 값을 포함하거나, 또는
상기 매개변수 산출기(140)는,
분자 및 분모를 갖는 분수를 이용하여 잔여 이득을 산출하도록 구성되고, 상기 분자는 상기 제1 채널(101)의 제1 진폭-관련 특성의 가중된 합 및 상기 제2 채널(102)의 제2 진폭-관련 특성과 내적으로부터 도출된 값 사이의 차를 포함하고, 상기 분모는 상기 제1 채널(101)의 진폭-관련 특성의 합, 상기 제2 채널(102)의 진폭-관련 특성 및 내적으로부터 도출된 값을 포함하는,
장치. - 제3항에 있어서,
상기 매개변수 산출기(140)는,
서브밴드에 대한 상기 부 이득을 산출하고, 상기 서브밴드에 대한 상기 부 이득을 이용하여 상기 서브밴드에 대한 잔여 이득을 산출(28)하도록 구성되는,
장치. - 제3항에 있어서,
상기 매개변수 산출기(140)는,
상기 부 이득에 대한 값들이 다음 식에 의해 결정되는 값의 ±20 %의 범위 내에 있도록, 상기 부 이득 g를 산출하도록 구성되고,
, 또는
상기 매개변수 산출기(140)는,
잔여 이득에 대한 값들이 다음 식에 의해 결정되는 값의 ±20 %의 범위 내에 있도록, 상기 잔여 이득 r을 산출하도록 구성되고,
t는 프레임 인덱스(index)이고, b는 서브밴드 인덱스이고, El은 상기 프레임 및 상기 서브밴드 내 상기 제1 채널(101)의 에너지이고, Er은 상기 프레임 t 및 서브밴드 b 내의 상기 제2 채널(102)의 에너지이고, X는 상기 프레임 t 및 상기 서브밴드 b 내의 상기 제1 채널(101) 및 상기 제2 채널(102) 사이의 내적인,
장치. - 제3항에 있어서,
상기 매개변수 산출기(140)는,
상기 제1 채널(101) 및 상기 제2 채널(102)의 서브밴드-와이즈 표현을 복소수 값을 갖는 스펙트럼들의 시퀀스로서 산출하도록 구성되고, 각각의 스펙트럼은 상기 제1 채널(101) 또는 상기 제2 채널(102)의 시간 프레임과 관련되고, 상기 시퀀스의 타임 프레임들은 스펙트럼들의 상기 시퀀스에서 인접하고, 서로 중첩되거나, 또는
상기 매개변수 산출기(140)는,
상기 서브밴드에서 복소수 스펙트럼 값들의 크기를 제곱하고 상기 서브밴드에서 제곱된 크기를 가산함으로써, 제1 진폭-관련 특성 및 제2 진폭-관련 특성을 산출하도록 구성되거나, 또는
상기 매개변수 산출기(140)는,
상기 서브밴드 내에서 곱을 가산하고 상기 가산의 결과의 크기를 형성하여 내적을 산출하도록 구성되고, 각각의 곱은 상기 제1 채널(101)의 주파수 빈에서의 스펙트럼 값 및 상기 주파수 빈에 대한 상기 제2 채널(102)의 켤레 복소수 스펙트럼 값을 포함하도록 구성되는,
장치. - 제1항에 있어서,
상기 출력 인터페이스(160)는, 상기 다운믹스 신호를 파형 부호화하도록 구성되어 상기 다운믹스 신호(122)에 대한 정보를 얻는 파형 부호화기를 포함하거나, 또는
상기 다운믹서(120)는, 상기 채널들 간의 에너지 차가 미리 정의된 임계치보다 큰 경우에만 더 높은 에너지를 갖는 채널보다 더 낮은 에너지를 갖는 채널을 회전시키도록 구성되는,
장치. - 부호화된 멀티-채널 신호(200)를 업믹싱하는 장치에 있어서,
상기 부호화된 멀티-채널 신호(200)를 수신하고, 상기 부호화된 멀티-채널 신호(200)로부터 다운믹스 신호(207)를 획득하는 입력 인터페이스(204); 및
상기 다운믹스 신호(207)를 업믹싱하는 업믹서(212)
를 포함하고,
상기 업믹서(212)는,
위상 보상을 이용하여 복원된 제1 채널(213) 및 복원된 제2 채널(214)를 산출하도록 구성되고,
상기 다운믹스 신호는,
상기 복원된 제1 채널(213) 및 상기 복원된 제2 채널(214) 중 에너지가 낮은 채널을 복원함에 있어서,
오직 회전되거나, 또는
상기 복원된 제1 채널(213) 및 상기 복원된 제2 채널(214) 중 더 큰 에너지를 가지는 채널보다 더 강하게 회전되는,
장치. - 제17항에 있어서,
상기 입력 인터페이스(204)는,
상기 부호화된 멀티 채널 신호(200)로부터 채널 간 위상차 값을 획득하도록 구성되고,
상기 업믹서(212)는,
상기 복원된 제1 채널 및 제2 채널을 산출할 때 채널 간 위상차 값을 적용하도록 구성되는,
장치. - 제18항에 있어서,
상기 업믹서(212)는,
채널 간 위상차 값으로부터 위상 회전 매개변수를 산출하도록 구성되고,
제1 방식으로 상기 복원된 제1 채널을 산출할 때 위상 회전 매개변수를 적용하고,
제2 방식으로 상기 복원된 제2 채널을 산출할 때 채널 간 위상차 값 및/또는 상기 위상 회전 매개변수를 적용하도록 구성되고,
상기 제1 방식은 상기 제2 방식과 다른,
장치. - 제19항에 있어서,
상기 입력 인터페이스(204)는,
상기 부호화된 멀티-채널 신호(200)를 수신하고, 상기 부호화된 멀티-채널 신호(200)로부터 부 이득(206)을 획득하도록 구성되고,
상기 업믹서(212)는,
상기 위상 회전 매개변수가 다음 식에 의해 결정되는 값의 ±20 %의 범위 내에 있도록, 상기 위상 회전 매개변수 산출하도록 구성되고,
ß = atan)
atan은 역탄젠트 함수이고, ß는 상기 위상 회전 매개변수고, IPD는 상기 채널 간 위상차고, t는 프레임 인덱스이고, b는 서브밴드 인덱스이고,는 프레임 t 및 서브밴드 b에 대한 상기 부 이득이고, A는 0.1 과 100 사이 또는 -0.1 과 -100 사이의 값인
장치. - 제20항에 있어서,
상기 atan 함수는 atan2 함수를 포함하고,
상기 atan2(y,x) 함수는,
두 개의 인수를 가지는 역탄젠트 함수이고,
점(x, y)과 양의 x 축 사이의 각도를 값으로 가지는,
장치. - 제20항에 있어서,
상기 업믹서(212)는,
상기 복원된 제1 채널 및 상기 복원된 제2 채널이 다음 식에 의해 결정되는 값에 대해 ±20 % 범위의 값을 갖도록, 상기 복원된 제1 채널 및 상기 복원된 제2 채널을 산출하도록 구성되고,
=
및
=
상기은 프레임 t 및 주파수 빈 k에 대한 다운믹스 신호인,
장치. - 제19항에 있어서,
상기 업믹서(212)는,
상기 복원된 제1 채널 및 상기 복원된 제2 채널은 다음 식에 의해 결정되는 값에 대해 ±20 % 범위의 값을 갖도록, 상기 복원된 제1 채널 및 상기 복원된 제2 채널을 산출하도록 구성되고,
=
및
=
은 프레임 t 및 주파수 빈 k에 대한 상기 다운믹스 신호이고,
은 상기 프레임 t 및 서브밴드 b에 대한 부 이득이고,
은 상기 프레임 t 및 상기 서브밴드 b에 대한 잔여 이득이고, gnorm는 존재하거나 존재하지 않을 수 있는 에너지 정규화 인자(energy normalization factor)이고,
는 프레임 t 및 주파수 빈 k에 대한 원시 잔여 신호인,
장치. - 제17항에 있어서,
상기 입력 인터페이스(204)는,
상기 부호화된 멀티-채널 신호(200)를 수신하고,
상기 부호화된 멀티-채널 신호(200)로부터 부 이득(206) 및 잔여 이득(205)를 획득하도록 구성되고,
상기 장치는,
잔여 이득(205)을 이용하여 잔여 신호(209)를 합성하기 위한 잔여 신호 합성기(208)를 더 포함하고,
상기 업믹서(212)는,
제1 가중된 다운믹스 신호(76)를 획득하기 위하여, 상기 부 이득(206)을 이용하여 상기 다운믹스 신호(207)의 제1 가중 연산(70)을 수행하도록 구성되고,
상기 업믹서(212)는,
제2 가중된 다운믹스 신호(77)를 획득하기 위하여, 상기 부 이득(206) 및 상기 다운믹스 신호(207)를 이용하여 제2 가중 연산(71)을 수행하도록 구성되고,
상기 제1 가중 연산(70)은,
상기 제2 가중 연산(71)과 달라서, 상기 제1 가중된 다운믹스 신호(76)는 상기 제2 가중된 다운믹스 신호(77)와 다르게 되고,
상기 업믹서(212)는,
상기 제1 가중된 다운믹스 신호(76)와 상기 잔여 신호(209)의 결합(72) 및 상기 제2 가중된 다운믹스 신호(77)와 상기 잔여 신호(209)의 제2 결합(73)을 이용하여 상기 복원된 제1 채널을 산출하도록 구성되는,
장치. - 제24항에 있어서,
상기 업믹서(212)는,
상기 복원된 제1 채널을 산출할 때 제1 결합 규칙을 이용하여 상기 제1 가중된 다운믹스 신호(76)와 상기 잔여 신호(209)를 결합(72)하도록 구성되고,
상기 업믹서(212)는,
상기 복원된 제2 채널을 산출할 때 제2 결합 규칙을 이용하여 상기 제2 가중된 다운믹스 신호(77)와 상기 잔여 신호(209)를 결합(73)하도록 구성되고,
상기 제1 결합 규칙과 상기 제2 결합 규칙은 서로 다르거나, 또는
상기 제1 결합 규칙과 상기 제2 결합 규칙 중 하나는 가산 연산이고 상기 제1 결합 규칙과 상기 제2 결합 규칙 중 다른 하나는 감산 연산인,
장치. - 제24항에 있어서,
상기 업믹서(212)는,
상기 부 이득과 제1 미리 결정된 숫자의 합으로부터 도출된 가중 인자를 포함하는 상기 제1 가중 연산(70)을 수행하도록 구성되고,
상기 업믹서(212)는,
상기 부 이득과 제2 미리 결정된 숫자의 차로부터 도출된 가중 인자를 포함하는 상기 제2 가중 연산(71)을 수행하도록 구성되고,
상기 제1 미리 정해진 숫자와 상기 제2 미리 정해진 숫자는, 서로 동일하거나 또는 서로 다른,
장치. - 제24항에 있어서,
상기 잔여 신호 합성기(208)는,
현재 프레임에 대한 잔여 신호(209)를 획득하기 위하여, 상기 현재 프레임에 대한 상기 잔여 이득(205)을 이용하여, 선행 프레임의 다운믹스 신호(207)를 가중하도록 구성되거나, 또는
상기 현재 프레임에 대한 상기 잔여 신호(209)를 획득하기 위하여, 상기 현재 프레임에 대한 상기 잔여 이득(205)을 이용하여, 하나 이상의 선행 프레임으로부터 또는 상기 현재 프레임으로부터 도출된 비상관화된 신호(decorrelated signal)(80)를 가중(88)하도록 구성되는
장치. - 제24항에 있어서,
상기 잔여 신호 합성기(208)는,
상기 잔여 신호(209)의 에너지가 상기 잔여 이득(205)을 통해 나타난 신호 에너지와 동일하도록, 상기 잔여 신호를 산출하도록 구성되는,
장치. - 제24항에 있어서,
상기 잔여 신호 합성기(208)는,
상기 잔여 신호의 값들이 다음 식에 의해 결정되는 값의 ±20 %의 범위 내에 있도록, 상기 잔여 신호를 산출하도록 구성되고,
=
는 프레임 t 및 주파수 빈 k에 대한 상기 잔여 신호이고,
는 상기 주파수 빈 k를 포함하는 상기 프레임 t 및 서브밴드 b에 대한 잔여 이득이고,
는 잔여 신호이고,
는 존재하거나 존재하지 않을 수 있는 에너지 정규화 인자인,
장치. - 제29항에 있어서,
는 다음 식에 의해 결정되는 값들의 ±20 %의 범위 내에 있는 값들을 가진 상기 에너지 정규화 인자이고,
은 상기 프레임 t 및 서브밴드 b에 대한 상기 다운믹스 신호의 에너지이고,
은 상기 서브밴드 b 및 상기 프레임 t에 대한 상기 잔여 신호의 에너지이고, 또는
상기 잔여 신호에 대한 원시 신호는 다음 식에 기초하여 결정되고,
=
단,는 상기 잔여 신호에 대한 상기 원시 신호이고,
는 프레임 t-
및 상기 주파수 빈 k에 대한 상기 다운믹스 신호이고,
는 0보다 큰 프레임 딜레이이거나, 또는
상기 업믹서(212)는,
상기 복원된 제1 채널 및 상기 복원된 제2 채널은 다음 식에 의해 결정되는 값에 대해 ±20 % 범위의 값을 갖도록, 상기 복원된 제1 채널 및 상기 복원된 제2 채널을 산출하도록 구성되고,
=
및
=
는 상기 프레임 t 및 상기 주파수 빈 k 상기 다운믹스 신호이고,
는 상기 프레임 t 및 상기 서브밴드 b에 대한 상기 부 이득이고,
는 상기 프레임 t 및 상기 서브밴드 b에 대한 상기 잔여 이득이고, gnorm은 존재하거나 존재하지 않을 수 있는 상기 에너지 정규화 인자이고,
는 프레임 t 및 주파수 빈 k에 대한 원시 잔여 신호인,
장치. - 제17항에 있어서,
상기 업믹서(212)는,
스펙트럼 도메인 내에서 상기 복원된 제1 채널(213)과 상기 복원된 제2 채널(214)을 산출하도록 구성되고,
상기 장치는,
상기 복원된 제1 채널 및 상기 복원된 제2 채널을 시간 도메인으로 변환하는 스펙트럼-시간 컨버터(216)를 더 포함하고,
상기 업믹서(212)는,
상기 채널들 간의 에너지 차가 미리 정의된 임계치보다 큰 경우에만, 더 높은 에너지를 갖는 채널보다 더 낮은 에너지를 갖는 채널을 회전시키도록 구성되는,
장치. - 제31항에 있어서,
상기 스펙트럼-시간 컨버터(216)는,
상기 복원된 제1 채널과 상기 복원된 제2 채널의 각각에 대해 후속 프레임들을 프레임들의 시간 시퀀스로 변환하도록 구성되고,
합성 윈도우를 이용하여 각각의 타임 프레임을 가중(1312)시키도록 구성되고,
후속 윈도우화된 시간 프레임들을 중첩 및 가산하여(1314), 상기 복원된 제1 채널(213)의 시간 블록 및 상기 복원된 제2 채널(214)의 시간 블록을 획득하도록 구성되는,
장치. - 적어도 두 개의 채널들(101, 102)을 포함하는 멀티-채널 신호(100)를 다운믹싱하는 방법에 있어서,
상기 멀티-채널 신호(100)로부터 다운믹스 신호(122)를 산출(34)하는 단계; 및
출력 신호를 생성(160)하는 단계
를 포함하고,
상기 산출(34)하는 단계는,
상기 다운믹스 신호(122)를 산출할 때, 상기 적어도 두 개의 채널들 중 에너지가 낮은 채널이, 회전하거나 더 큰 에너지를 갖는 채널보다 더 강하게 회전하도록, 위상 보상을 이용하여 상기 다운믹스 신호를 산출하는 단계
를 포함하고,
상기 출력 신호는 상기 다운믹스 신호(122)에 대한 정보를 포함하는,
방법. - 부호화된 멀티-채널 신호(200)를 업믹싱하는 방법에 있어서,
상기 부호화된 멀티-채널 신호(200)를 수신(204)하고, 상기 부호화된 멀티-채널 신호(200)로부터 다운믹스 신호(207)를 획득하는 단계; 및
상기 다운믹스 신호(207)를 업믹싱(212)하는 단계
를 포함하고,
상기 업믹싱하는 단계는,
복원된 제1 채널(213) 및 복원된 제2 채널(214) 중 에너지가 낮은 채널을 복원함에 있어서,
상기 다운믹스 신호가, 오직 회전되거나, 또는
상기 복원된 제1 채널(213)과 상기 복원된 제2 채널(214) 중 더 큰 에너지를 가지는 채널보다 더 강하게 회전되도록,
위상 보상을 이용하여 상기 복원된 제1 채널(213) 및 상기 복원된 제2 채널(214)을 산출하는 단계
를 포함하는 방법. - 컴퓨터 또는 프로세서 상에서 실행될 때 제33항 또는 제34항의 방법을 수행하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16197816.8 | 2016-11-08 | ||
| EP16197816 | 2016-11-08 | ||
| PCT/EP2017/077824 WO2018086948A1 (en) | 2016-11-08 | 2017-10-30 | Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190072647A KR20190072647A (ko) | 2019-06-25 |
| KR102327767B1 true KR102327767B1 (ko) | 2021-11-17 |
Family
ID=60190886
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197016395A KR102291811B1 (ko) | 2016-11-08 | 2017-10-30 | 사이드 이득 및 잔여 이득을 사용하여 멀티채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
| KR1020197016092A KR102327767B1 (ko) | 2016-11-08 | 2017-10-30 | 위상 보상을 이용하여 멀티 채널 신호를 다운믹싱 또는 업믹싱하는 장치 및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197016395A KR102291811B1 (ko) | 2016-11-08 | 2017-10-30 | 사이드 이득 및 잔여 이득을 사용하여 멀티채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
Country Status (19)
| Country | Link |
|---|---|
| US (4) | US11488609B2 (ko) |
| EP (4) | EP3539126B1 (ko) |
| JP (5) | JP7102427B2 (ko) |
| KR (2) | KR102291811B1 (ko) |
| CN (4) | CN116994592A (ko) |
| AR (2) | AR110146A1 (ko) |
| AU (3) | AU2017357454B2 (ko) |
| BR (2) | BR112019009318A2 (ko) |
| CA (3) | CA3127805C (ko) |
| ES (2) | ES2938244T3 (ko) |
| FI (1) | FI3539125T3 (ko) |
| MX (2) | MX2019005145A (ko) |
| MY (1) | MY196198A (ko) |
| PL (2) | PL3539125T3 (ko) |
| PT (2) | PT3539125T (ko) |
| RU (2) | RU2727799C1 (ko) |
| TW (2) | TWI664625B (ko) |
| WO (2) | WO2018086947A1 (ko) |
| ZA (2) | ZA201903534B (ko) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2017357454B2 (en) * | 2016-11-08 | 2021-02-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation |
| EP3588495A1 (en) | 2018-06-22 | 2020-01-01 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Multichannel audio coding |
| CN115132214A (zh) * | 2018-06-29 | 2022-09-30 | 华为技术有限公司 | 立体声信号的编码、解码方法、编码装置和解码装置 |
| WO2020178322A1 (en) * | 2019-03-06 | 2020-09-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for converting a spectral resolution |
| US11031024B2 (en) | 2019-03-14 | 2021-06-08 | Boomcloud 360, Inc. | Spatially aware multiband compression system with priority |
| US11361776B2 (en) * | 2019-06-24 | 2022-06-14 | Qualcomm Incorporated | Coding scaled spatial components |
| US11538489B2 (en) | 2019-06-24 | 2022-12-27 | Qualcomm Incorporated | Correlating scene-based audio data for psychoacoustic audio coding |
| CN115244619A (zh) | 2020-03-09 | 2022-10-25 | 日本电信电话株式会社 | 声音信号编码方法、声音信号解码方法、声音信号编码装置、声音信号解码装置、程序以及记录介质 |
| WO2021181473A1 (ja) * | 2020-03-09 | 2021-09-16 | 日本電信電話株式会社 | 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体 |
| WO2021181746A1 (ja) * | 2020-03-09 | 2021-09-16 | 日本電信電話株式会社 | 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体 |
| EP4120250A4 (en) | 2020-03-09 | 2024-03-27 | Nippon Telegraph & Telephone | SOUND SIGNAL REDUCING MIXING METHOD, SOUND SIGNAL CODING METHOD, SOUND SIGNAL REDUCING MIXING DEVICE, SOUND SIGNAL CODING DEVICE, PROGRAM AND RECORDING MEDIUM |
| EP4226367A2 (en) | 2020-10-09 | 2023-08-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method, or computer program for processing an encoded audio scene using a parameter smoothing |
| AU2021358432A1 (en) | 2020-10-09 | 2023-05-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method, or computer program for processing an encoded audio scene using a parameter conversion |
| MX2023003965A (es) | 2020-10-09 | 2023-05-25 | Fraunhofer Ges Forschung | Aparato, metodo, o programa de computadora para procesar una escena de audio codificada utilizando una extension de ancho de banda. |
| CN116962955A (zh) * | 2022-04-15 | 2023-10-27 | 华为技术有限公司 | 多通道的混音方法、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080253576A1 (en) | 2007-04-16 | 2008-10-16 | Samsung Electronics Co., Ltd | Method and apparatus for encoding and decoding stereo signal and multi-channel signal |
| US20130262130A1 (en) | 2010-10-22 | 2013-10-03 | France Telecom | Stereo parametric coding/decoding for channels in phase opposition |
Family Cites Families (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6161089A (en) | 1997-03-14 | 2000-12-12 | Digital Voice Systems, Inc. | Multi-subframe quantization of spectral parameters |
| JP4610087B2 (ja) * | 1999-04-07 | 2011-01-12 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | 損失のない符号化・復号へのマトリックス改良 |
| US6226616B1 (en) * | 1999-06-21 | 2001-05-01 | Digital Theater Systems, Inc. | Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility |
| MXPA02009345A (es) * | 2000-03-28 | 2003-09-22 | Interdigital Tech Corp | Sistema cdma que utiliza pre-rotacion antes de la trasmision. |
| ATE354161T1 (de) * | 2002-04-22 | 2007-03-15 | Koninkl Philips Electronics Nv | Signalsynthese |
| US7809579B2 (en) * | 2003-12-19 | 2010-10-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Fidelity-optimized variable frame length encoding |
| CN1906664A (zh) * | 2004-02-25 | 2007-01-31 | 松下电器产业株式会社 | 音频编码器和音频解码器 |
| CA2808226C (en) * | 2004-03-01 | 2016-07-19 | Dolby Laboratories Licensing Corporation | Multichannel audio coding |
| ATE390683T1 (de) * | 2004-03-01 | 2008-04-15 | Dolby Lab Licensing Corp | Mehrkanalige audiocodierung |
| SE0400998D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| SE0402649D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
| US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
| ATE470930T1 (de) * | 2005-03-30 | 2010-06-15 | Koninkl Philips Electronics Nv | Skalierbare mehrkanal-audiokodierung |
| JP4521032B2 (ja) * | 2005-04-19 | 2010-08-11 | ドルビー インターナショナル アクチボラゲット | 空間音声パラメータの効率的符号化のためのエネルギー対応量子化 |
| US7548853B2 (en) * | 2005-06-17 | 2009-06-16 | Shmunk Dmitry V | Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding |
| TWI396188B (zh) * | 2005-08-02 | 2013-05-11 | Dolby Lab Licensing Corp | 依聆聽事件之函數控制空間音訊編碼參數的技術 |
| EP1989920B1 (en) * | 2006-02-21 | 2010-01-20 | Koninklijke Philips Electronics N.V. | Audio encoding and decoding |
| US7536006B2 (en) | 2006-07-21 | 2009-05-19 | Motorola, Inc. | Method and system for near-end detection |
| CN101479786B (zh) * | 2006-09-29 | 2012-10-17 | Lg电子株式会社 | 用于编码和解码基于对象的音频信号的方法和装置 |
| CN101067931B (zh) * | 2007-05-10 | 2011-04-20 | 芯晟(北京)科技有限公司 | 一种高效可配置的频域参数立体声及多声道编解码方法与系统 |
| PL2198632T3 (pl) | 2007-10-09 | 2014-08-29 | Koninklijke Philips Nv | Sposób i urządzenie do generowania dwuusznego sygnału audio |
| BR122020009732B1 (pt) * | 2008-05-23 | 2021-01-19 | Koninklijke Philips N.V. | Método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de downmix mono com base em parâmetros espaciais, meio legível por computador não transitório, aparelho de downmix estéreo paramétrico para a geração de um sinal de downmix mono a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais e método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais |
| US8060042B2 (en) * | 2008-05-23 | 2011-11-15 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
| EP2374123B1 (fr) * | 2008-12-15 | 2019-04-10 | Orange | Codage perfectionne de signaux audionumeriques multicanaux |
| ES2435792T3 (es) * | 2008-12-15 | 2013-12-23 | Orange | Codificación perfeccionada de señales digitales de audio multicanal |
| WO2010097748A1 (en) * | 2009-02-27 | 2010-09-02 | Koninklijke Philips Electronics N.V. | Parametric stereo encoding and decoding |
| MX2011009660A (es) * | 2009-03-17 | 2011-09-30 | Dolby Int Ab | Codificacion estereo avanzada basada en una combinacion de codificacion izquierda/derecha o media/lateral seleccionable de manera adaptable y de codificacion estereo parametrica. |
| AU2013206557B2 (en) * | 2009-03-17 | 2015-11-12 | Dolby International Ab | Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding |
| JP5212407B2 (ja) | 2009-03-24 | 2013-06-19 | 株式会社豊田中央研究所 | 熱疲労試験装置 |
| MY160545A (en) * | 2009-04-08 | 2017-03-15 | Fraunhofer-Gesellschaft Zur Frderung Der Angewandten Forschung E V | Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing |
| JP4725691B2 (ja) | 2009-08-31 | 2011-07-13 | 凸版印刷株式会社 | コーティング量測定方法及び装置、コーティング量判定方法及び装置、並びにコーティング装置、コーティング製品の製造方法 |
| EP2323130A1 (en) * | 2009-11-12 | 2011-05-18 | Koninklijke Philips Electronics N.V. | Parametric encoding and decoding |
| RU2425040C1 (ru) * | 2010-02-24 | 2011-07-27 | Новосибирский институт органической химии им. Н.Н. Ворожцова Сибирского отделения Российской академии наук (НИОХ СО РАН) | Способ получения 2,3-эпоксипинана из скипидара |
| EP2375409A1 (en) * | 2010-04-09 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |
| CN102884570B (zh) * | 2010-04-09 | 2015-06-17 | 杜比国际公司 | 基于mdct的复数预测立体声编码 |
| EP4254951A3 (en) * | 2010-04-13 | 2023-11-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoding method for processing stereo audio signals using a variable prediction direction |
| KR20110116079A (ko) * | 2010-04-17 | 2011-10-25 | 삼성전자주식회사 | 멀티 채널 신호의 부호화/복호화 장치 및 방법 |
| SG187950A1 (en) | 2010-08-25 | 2013-03-28 | Fraunhofer Ges Forschung | Apparatus for generating a decorrelated signal using transmitted phase information |
| KR20120038311A (ko) * | 2010-10-13 | 2012-04-23 | 삼성전자주식회사 | 공간 파라미터 부호화 장치 및 방법，그리고 공간 파라미터 복호화 장치 및 방법 |
| EP2686848A1 (en) * | 2011-03-18 | 2014-01-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Frame element positioning in frames of a bitstream representing audio content |
| CN102446507B (zh) * | 2011-09-27 | 2013-04-17 | 华为技术有限公司 | 一种下混信号生成、还原的方法和装置 |
| UA107771C2 (en) * | 2011-09-29 | 2015-02-10 | Dolby Int Ab | Prediction-based fm stereo radio noise reduction |
| EP2790419A1 (en) * | 2013-04-12 | 2014-10-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio |
| KR20140128564A (ko) | 2013-04-27 | 2014-11-06 | 인텔렉추얼디스커버리 주식회사 | 음상 정위를 위한 오디오 시스템 및 방법 |
| EP2838086A1 (en) | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
| TWI579831B (zh) * | 2013-09-12 | 2017-04-21 | 杜比國際公司 | 用於參數量化的方法、用於量化的參數之解量化方法及其電腦可讀取的媒體、音頻編碼器、音頻解碼器及音頻系統 |
| EP3067889A1 (en) * | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for signal-adaptive transform kernel switching in audio coding |
| PL3503097T3 (pl) | 2016-01-22 | 2024-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Urządzenie oraz sposób do enkodowania lub dekodowania sygnału wielokanałowego z wykorzystaniem ponownego próbkowania w dziedzinie widmowej |
| AU2017357454B2 (en) * | 2016-11-08 | 2021-02-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for downmixing or upmixing a multichannel signal using phase compensation |
| GB2559199A (en) * | 2017-01-31 | 2018-08-01 | Nokia Technologies Oy | Stereo audio signal encoder |
| WO2019020757A2 (en) * | 2017-07-28 | 2019-01-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | APPARATUS FOR ENCODING OR DECODING A MULTI-CHANNEL SIGNAL ENCODED USING A FILLING SIGNAL GENERATED BY A BROADBAND FILTER |
-
2017
- 2017-10-30 AU AU2017357454A patent/AU2017357454B2/en active Active
- 2017-10-30 CA CA3127805A patent/CA3127805C/en active Active
- 2017-10-30 CN CN202311048157.7A patent/CN116994592A/zh active Pending
- 2017-10-30 WO PCT/EP2017/077822 patent/WO2018086947A1/en active Search and Examination
- 2017-10-30 RU RU2019117764A patent/RU2727799C1/ru active
- 2017-10-30 KR KR1020197016395A patent/KR102291811B1/ko active IP Right Grant
- 2017-10-30 PL PL17791414.0T patent/PL3539125T3/pl unknown
- 2017-10-30 ES ES17791414T patent/ES2938244T3/es active Active
- 2017-10-30 JP JP2019545853A patent/JP7102427B2/ja active Active
- 2017-10-30 CN CN202311619874.0A patent/CN117676451A/zh active Pending
- 2017-10-30 EP EP17791415.7A patent/EP3539126B1/en active Active
- 2017-10-30 CA CA3045948A patent/CA3045948C/en active Active
- 2017-10-30 FI FIEP17791414.0T patent/FI3539125T3/fi active
- 2017-10-30 MX MX2019005145A patent/MX2019005145A/es unknown
- 2017-10-30 RU RU2019117749A patent/RU2725178C1/ru active
- 2017-10-30 ES ES17791415T patent/ES2834083T3/es active Active
- 2017-10-30 BR BR112019009318A patent/BR112019009318A2/pt unknown
- 2017-10-30 EP EP22209969.9A patent/EP4167233A1/en active Pending
- 2017-10-30 EP EP17791414.0A patent/EP3539125B1/en active Active
- 2017-10-30 JP JP2019545852A patent/JP7008716B2/ja active Active
- 2017-10-30 CN CN201780080571.2A patent/CN110114826B/zh active Active
- 2017-10-30 BR BR112019009315A patent/BR112019009315A2/pt unknown
- 2017-10-30 WO PCT/EP2017/077824 patent/WO2018086948A1/en unknown
- 2017-10-30 AU AU2017357453A patent/AU2017357453B2/en active Active
- 2017-10-30 MX MX2019005147A patent/MX2019005147A/es unknown
- 2017-10-30 PT PT177914140T patent/PT3539125T/pt unknown
- 2017-10-30 PL PL17791415T patent/PL3539126T3/pl unknown
- 2017-10-30 CN CN201780079910.5A patent/CN110100279B/zh active Active
- 2017-10-30 CA CA3042580A patent/CA3042580C/en active Active
- 2017-10-30 PT PT177914157T patent/PT3539126T/pt unknown
- 2017-10-30 EP EP20190710.2A patent/EP3761311A1/en active Pending
- 2017-10-30 MY MYPI2019002415A patent/MY196198A/en unknown
- 2017-10-30 KR KR1020197016092A patent/KR102327767B1/ko active IP Right Grant
- 2017-11-07 TW TW106138473A patent/TWI664625B/zh active
- 2017-11-07 TW TW106138472A patent/TWI669705B/zh active
- 2017-11-08 AR ARP170103097A patent/AR110146A1/es active IP Right Grant
- 2017-11-08 AR ARP170103099A patent/AR110148A1/es active IP Right Grant
-
2019
- 2019-05-03 US US16/402,883 patent/US11488609B2/en active Active
- 2019-05-07 US US16/405,422 patent/US11450328B2/en active Active
- 2019-06-03 ZA ZA2019/03534A patent/ZA201903534B/en unknown
- 2019-06-03 ZA ZA2019/03535A patent/ZA201903535B/en unknown
-
2021
- 2021-04-20 AU AU2021202390A patent/AU2021202390B2/en active Active
- 2021-09-24 JP JP2021155666A patent/JP7443307B2/ja active Active
-
2022
- 2022-05-25 US US17/824,297 patent/US20220293111A1/en active Pending
- 2022-07-06 JP JP2022109004A patent/JP2022132345A/ja active Pending
- 2022-08-10 US US17/884,910 patent/US20220392464A1/en active Pending
-
2023
- 2023-10-26 JP JP2023184075A patent/JP2024008967A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080253576A1 (en) | 2007-04-16 | 2008-10-16 | Samsung Electronics Co., Ltd | Method and apparatus for encoding and decoding stereo signal and multi-channel signal |
| US20130262130A1 (en) | 2010-10-22 | 2013-10-03 | France Telecom | Stereo parametric coding/decoding for channels in phase opposition |
Non-Patent Citations (3)
| Title |
|---|
| Bertrand Fatus. Parametric Coding for Spatial Audio. Master’s Thesis, KTH, Stockholm, Sweden. 2015.12.* |
| ISO/IEC DIS 23008-3. Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio. ISO/IEC JTC 1/SC 29/WG 11. 2014.07.25. |
| JungHoe Kim, et al. Enhanced stereo coding with phase parameters for MPEG unified speech and audio coding. Audio Engineering Society Convention 127. 2009.10.12. |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102327767B1 (ko) | 위상 보상을 이용하여 멀티 채널 신호를 다운믹싱 또는 업믹싱하는 장치 및 방법 | |
| CN110998721A (zh) | 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |