KR100848367B1 - 레벨 파라미터를 발생하는 장치 및 방법 그리고 멀티채널표현을 발생하는 장치 및 방법 - Google Patents
레벨 파라미터를 발생하는 장치 및 방법 그리고 멀티채널표현을 발생하는 장치 및 방법 Download PDFInfo
- Publication number
- KR100848367B1 KR100848367B1 KR1020067017536A KR20067017536A KR100848367B1 KR 100848367 B1 KR100848367 B1 KR 100848367B1 KR 1020067017536 A KR1020067017536 A KR 1020067017536A KR 20067017536 A KR20067017536 A KR 20067017536A KR 100848367 B1 KR100848367 B1 KR 100848367B1
- Authority
- KR
- South Korea
- Prior art keywords
- parameter
- channel
- channels
- level
- multichannel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012937 correction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 29
- 239000010410 layer Substances 0.000 description 18
- 238000013139 quantization Methods 0.000 description 13
- 230000001172 regenerating effect Effects 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000012792 core layer Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Stereophonic System (AREA)
- Stereo-Broadcasting Methods (AREA)
- Radio Relay Systems (AREA)
- Circuits Of Receivers In General (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
여러 개의 오리지날 채널의 가지는 멀티 채널 신호의 파라미터 표현은, 파라미터 세트를 포함하고, 그는 적어도 하나의 다운믹스 채널과 함께 이용될 때 멀티채널 복원이 이루어지도록 한다. 추가적인 레벨 파라미터 (rM)는, 레벨 파라미터에 의해 가중된 적어도 하나의 다운믹스 채널이 오리지날 채널들의 에너지 합과 같도록 계산된다. 추가적인 레벨 파라미터는 파라미터 세트 또는 다운믹스 채널과 함께 멀티 채널 복원기로 전송된다. 멀티채널 표현을 발생하는 장치는, 다운믹스 신호를 업믹서 또는 업믹서 프로세스 내로 입력시키기 전에, 적어도 하나의 전송된 다운믹스 채널의 에너지를 교정하는(902) 레벨 파라미터를 이용한다.
레벨 파라미터, 파라미터 표현, 파라미터 세트, 다운믹스 채널
Description
본 발명은 공간(spatial) 파라미터를 이용한 멀티채널 표현의 오디오 신호에 대한 코딩에 관한 것이다. 본 발명은, 출력 채널의 수 보다 적은 수의 채널로부터 멀티채널 신호를 재생성하기 위한, 적절한 파라미터를 평가하고 정의하는 새로운 방법을 제시한다. 특히, 멀티채널 표현에 대한 비트율(bit rate)을 최소화하고, 가능한 모든 채널 구성에 대해 인코딩 및 디코딩을 용이하게 할 수 있도록 하는 멀티채널 신호의 코딩된 표현을 제공하고자 한다.
PCT/SE02/01372호의 "저 비트레이트 오디오 코딩 응용을 위한 효율적이고 확장가능한 파라미터 스테레오 코딩(Efficient and scalable Parametric Stereo Coding for Low Bit rate Audio Coding Applications"에, 매우 컴팩트한 표현의 스테레오 이미지가 주어진 모노 신호로부터, 오리지날 스테레오 이미지과 매우 유사한 스테레오 이미지를 재생성할 수 있다는 것이 개시되어 있다. 그것의 기본 원리 는 입력 신호를 주파수 대역과 시간 세그먼트로 분리하고, 이들 주파수 대역과 시간 세그먼트에 대해, 인터-채널 강도 차(IID: Inter-channel Intensity Difference)와 인터-채널 가간섭성(IIC: Inter-Channel Coherence)를 평가한다. 첫 번째 파라미터는 특정 주파수 대역 내에서 2개 채널 사이의 파워 분포(power distribution)에 대한 측정이고, 두 번째 파라미터는 특정 주파수 대역 내에서 2개 채널 사이의 상관성(correlation)에 대한 평가이다. IID-데이터에 따라 두 개의 출력 채널 사이에 모노 신호를 분배하고, 오리지날 스테레오 채널들의 채널 상관성을 유지하기 위해 디콜리레이트된(decorrelated) 신호를 추가함으로써, 디코더 측에서 모노 신호로부터 스테레오 이미지가 재생성된다.
멀티채널(여기서 멀티채널은 2개 이상의 출력 채널을 의미함)의 경우에, 다수의 추가적인 이슈가 설명되어야 한다. 다수의 멀티채널 구성이 있다. 그 중에서 5.1 구성(중앙 채널, 전면 좌/우, 서라운드 좌/우, 및 LFE 채널)이 가장 일반적으로 알려져 있다. 그러나, 많은 다른 구성이 있다. 완벽한 인코더/디코더 시스템의 관점에서는, 모든 채널 구성을 위해 동일 파라미터 세트(예를 들면, IID 및 ICC) 또는 그 서브세트를 사용할 수 있는 시스템을 갖는 것이 바람직하다. ITU-R BS.775는 주어진 채널 구성으로부터, 더 적은 수의 채널을 포함하는 채널 구성을 얻는 것을 가능하게 하는 다수의 다운믹스(down-mix) 기술구성을 정의한다. 언제나 모든 채널들을 디코딩하고 다운 믹스에 의존하는 대신, 채널을 디코딩하기 전에, 수신기가 채널 구성에 관련된 파라미터를 금방 추출할 수 있는, 멀티채널 표현 가지는 것이 바람직할 수 있다. 더욱이, 확장가능한(scalable) 또는 임베디드(embedded) 코 딩의 관점에서, 본질적으로 확장가능한 파라미터 세트가 바람직한데, 이는 예를 들어, 서라운드 채널(surround channel)에 대응하는 데이터를 비트스트림의 강화 층(enhancement layer)에 저장하는 것이 가능하다.
상술한 것과 반대로, 처리되는 현재 신호 세그먼트에 대해 가장 낮은 비트레이트 오버헤드(overhead)를 가져오는 파라미터화(parameterization) 간의 스위칭을 하기 위해서, 처리되는 신호의 특징에 따라 다른 파라미터 정의를 사용하는 것이 바람직할 수도 있다.
합계 신호 또는 다운 믹스 신호를 사용하는 멀티채널 신호의 또 다른 표현 및 추가적인 파라미터적인(parametric) 부가 정보(side information)는, 바이노럴 큐 코딩(BCC : binaural cue coding)으로 이 기술 분야에 알려져 있다. 이 기술은 에프. 바움가르트(F. Baumgarte)과 씨. 팰러(C. Faller)에 의한 음성 및 오디오 처리에 대한 IEEE 트랜젝션(IEEE Transactions on Speech and Audio Processing), 2003년 11월 No. 6, Volume 11(Volume 11 No. 6, November 2003)에 "바이노럴 큐 코딩 - 1부: 음향심리 펀더멘탈 및 디자인 원리(Binaural Cue Coding - Part 1: Psycho-Acoustic Fundamentals and Design Principles)"로, 그리고, 씨. 팰러와 에프. 바움가르트에 의한 음성 및 오디오 처리에 대한 IEEE 트랜젝션 2003년 11월 No. 6, volume 11의 "바이노럴 큐 코딩 2부 : 기술구성과 애플리케이션(Schemes and Applications)"에 설명되어 있다.
일반적으로, 바이노럴 큐 코딩은 하나의 다운 믹스된 오디오 채널과 부가 정보에 근거하는 멀티채널 공간 렌더링(spatial rendering) 방법이다. 오디오 복원 또는 오디오 렌더링을 위해 BCC 인코더에 의해 계산되고 BCC 디코더에 의해 사용되는 다수의 파라미터들은, 인터채널 레벨 차, 인터채널 시간 차 및 인터채널 가간섭성을 포함한다. 이들 인터채널 큐(cue)들은 공간 이미지를 인식하는 결정 팩터(factor)이다. 이들 파라미터는 오리지날 멀티채널 신호의 시간 샘플 블록들에 대해 주어지고, 또한 주파수 선택식(frequency-selective)으로 주어져서, 멀티채널 신호 샘플 각각의 블록은 다수의 주파수 대역에 대해 다수의 큐를 갖는다. C 재생(playback) 채널의 일반적인 경우에, 인터채널 레벨 차 및 인터채널 시간 차가 채널 쌍 간의 각 서브밴드에서, 즉 참조 채널에 관련된 각 채널에 대해 고련된다. 하나의 채널은 각각의 인터채널 레벨 차에 대한 참조 채널로 정의된다. 인터채널 레벨 차 및 인터채널 시간 차를 가지고, 사용된 재생 셋업(set-up)의 스피커 쌍들 중 하나 하나 사이의 어느 방향으로도 소스(source)를 렌더링하는 것이 가능하다. 렌더링된 소스의 폭 또는 퍼짐(diffuseness)의 결정을 위해, 모든 오디오 채널에 대해 서브 밴드 당 하나의 파라미터 만을 고려하여도 충분하다. 이 파라미터는 인터채널 가간섭성 파라미터이다. 렌더링된 소스의 폭은 서브 밴드 신호를 수정함으로써 제어되어, 모든 가능한 채널 쌍이 동일한 인터채널 가간섭성 파라미터를 갖는다.
BCC 코딩에서, 모든 인터채널 레벨 차는 참조 채널 1과 다른 어떤 채널 사이에 결정된다. 예를 들어 중앙 채널이 참조 채널이 되도록 결정될 때, 좌측 채널과 중앙 채널 간의 제 1 인터채널 레벨 차, 우측 채널과 중앙 채널 간의 제2 인터채널 레벨 차, 좌측 서라운드 채널과 중앙 채널 간의 제3 인터채널 레벨 차, 및 우측 서 라운드 채널과 중앙 채널 간의 제4 인터채널 레벨 차가 계산된다. 이 시나리오는 5-채널 구성을 말한다. 5-채널 구성은 추가적으로 저 주파수 강화 채널(low frequency enhancement channel)을 포함하고, 이는 또한 "서브우퍼(sub-woofer)" 채널로서 알려져 있으며, 싱글(single) 참조 채널인, 저 주파수 강화 채널과 중앙 채널 간의 제5 인터채널 레벨 차가 계산된다.
"모노" 채널로 일컬어지는 싱글 다운믹스 채널과, 전송된 큐들, 이를테면 ICLD(인터채널 레벨 차) ICTD(인터채널 시간 차), 및 ICC(인터채널 가간섭성)을 이용하여 오리지날 멀티채널을 복원할 때, 모노 신호의 스펙트럼 계수가 이들 큐를 이용하여 수정된다. 레벨 수정은, 각 스펙트럼 계수에 대해 레벨 수정을 결정하는 양의 실수(positive real number)을 이용하여 수행된다. 인터채널 시간 차는 각 스펙트럼 계수에 대해 상 수정(phase modification)을 결정하는 하나의 매규니튜드의 복소수(complex number)를 이용하여 발생된다. 또 다른 기능은 가간섭성 영향을 결정한다. 각 채널의 레벨 수정에 대한 팩터들은 먼저 참조 채널에 대한 팩터를 계산함으로써 계산된다. 참조 채널에 대한 팩터가 계산되어서, 각 주파수 파티션에 대해, 모든 채널의 파워의 합이 합신호의 파워와 동일하다. 이어, 참조 채널에 대한 레벨 수정 팩터를 기반으로 해서, 각각의 ICLD 파라미터를 이용하여, 다른 채널들에 대한 레벨 수정 팩터가 계산된다.
따라서, BCC 합성을 수행하기 위해, 참조 채널에 대한 레벨 수정 팩터가 계산되어 진다. 이 계산을 위해, 주파수 대역에 대한 모든 ICLD 파라미터가 필요하다. 이어, 싱글 채널에 대한 이러한 레벨 수정을 기반으로 해서, 다른 채널들, 즉 참조 채널이 아닌, 다른 채널들에 대한 레벨 수정 팩터가 계산될 수 있다.
이러한 접근은, 완벽한 복원을 위해서는, 각각 및 모든 인터채널 레벨 차가 필요하다는데 단점이 있다. 이러한 요구사항은, 에러프로운(error-prone) 전송 채널이 존재할 때 훨씬 더 문제가 된다. 전송된 인터채널 레벨 차 내의 각 에러는 복원된 멀티채널 신호에서 에러를 야기할 것이며, 이는 각 인터채널 레벨 차는 멀티 채널 출력 신호 들 중의 각각을 계산하는데 요구되기 때문이다. 그에 더해, 멀티채널 복원에 그다지 중요하지 않은, 예를 들어 좌측 서라운드 채널 또는 우측 서라운드 채널에만 필요한 인터채널 레벨일지라도, 인터채널 레벨 차가 그들이 전송 중에 손실되었다면, 복원은 가능하지 않다. 여기서 좌측 서라운드 채널과 우측 서라운드 채널 중요하지 않은 이유는, 대부분의 정보가, 좌측 채널로 불리우는 전면 좌측 채널, 우측 채널로 불리우는 전면 우측 채널, 또는 중앙 채널에 포함되기 때문이다. 이러한 상황은, 저 주파수 강화 채널의 인터채널 레벨 차가 전송 중에 손실되었을 때, 더욱 나빠진다. 이러한 상황에서는, 비록 저 주파수 강화 채널이 청취자의 편안한 청취에 결정적이지는 않지만, 복원이 전혀 가능하지 않거나, 단지 잘못된 멀티채널만이 복원될 수 있다. 따라서, 싱글 인터채널 레벨 차에서의 에러들은 복원된 출력 채널 각각 내에서의 에러로 전파된다.
파라미터적인 멀티채널 표현들은, 보통, BBC 코딩에서의 ICLD들과 같은 인터채널 레벨 차 또는 다른 파라메트릭 멀티채널 표현에서의 밸런스 값은 절대값 보다는 상대값으로 주어진다. BBC에서, ICLD 파라미터는 하나의 채널과 참조 채널 간의 레벨 차를 나타낸다. 밸런스 값은 또한 하나의 채널 쌍에서의 두개 채널간의 비율 로서 주어질 수 있다. 멀티채널 신호를 복원할 때, 그러한 레벨 차 또는 밸런스 파라미터들은 베이스 채널에 적용되며, 여기서 베이스 채널은 모노 베이스 채널 또는 두개의 베이스 채널을 갖는 스테레오 베이스 채널일 수 있다. 따라서, 적어도 하나의 베이스 채널에 포함된 에너지는 예를 들어 5 또는 6 복원 출력 채널 등 중에 분포된다. 따라서, 복원 출력 채널에서의 절대 에너지는 인터채널 레벨 차 또는 밸런스 파라미터 그리고 수신기 입력에서의 다운 믹스 신호의 에너지에 의해서 결정된다.
수신기 입력에서의 다운 믹스 신호의 에너지가 인코더에 의해 다운 믹스 신호 출력과 관련하여 변하는 상황이 일어나면, 레벨 편차가 발생할 것이다. 이 구문에서, 이용된 파라미터화 구성에 따르면, 파라미터가 주파수 선택적으로 주어졌을 때, 그러한 레벨 편차는 복원된 신호의 일반적인 세기 편차를 초래할 뿐만 아니라, 심각한 인공음을 야기할 수도 있는 점이 중요하다. 예를 들어, 다운믹스 신호의 어느 주파수 대역이 다른 장소에서 주파수 스케일에 대해 주파수 대역 이상으로 조작되면, 그 어느 주파수 대역에서의 출력 채널의 그 주파수 성분이 너무 낮거나 높기 때문에, 이러한 조작은 쉽게 구별될 수 있을 것이다.
추가적으로, 시간적으로 변하는 레벨 조작은 또한, 시간을 넘어서 변화하고, 그래서 불쾌한 인공음으로 감지되는, 복원된 출력 신호의 전반적인 레벨에서 일어난다.
상술한 상황이, 인코딩, 전송 및 다운 믹스 신호의 디코딩에 의해 일어아는 레벨 조작에 집중되었지만, 다른 레벨 편차가 발생할 수 있다. 하나 또는 두개의 채널로 다운믹스된 다른 채널 들 간의 위상 의존성 때문에, 모노 신호가 오리지날 신호에서의 에너지 합과 동일하지 않은 에너지를 갖는 상황이 발생할 수 있다. 다운 믹스는 통상 샘플와이즈(sample-wise), 즉 시간 파형을 추가함으로써 수행되기 때문에, 좌측 채널과 우측 채널의 위상 차, 예를 들어 180 도의 위상 차가 다운 믹스 신호에서 양 채널의 완전 소거를 일으킬 수 있으며, 이는 물론 양 채널이 어느 정도의 신호 에너지를 가지고 있더라도 0(제로) 에너지를 초래할 수 있다. 일반적인 상황에서는 그러한 극단적인 상황이 쉽게 일어나는 것은 아니지만, 물론 모든 신호가 완전히 무상관적(uncorrelated)이지 않기 때문에, 에너지 편차는 여전히 발생한다. 복원된 출력 신호의 에너지가 오리지날 멀티채널 신호의 에너지와 다를 것이기 때문에, 그러한 편차들은 복원된 출력 신호에서 세기 변이(loudness fluctuation)를 일으키고, 또한 인공음을 야기할 것이다.
본 발명의 목적은 개선된 출력 품질을 갖는 멀티채널 복원을 가져오는 파라미터화 컨셉을 제공하는 것이다.
상기 목적은 청구항 1에 따른 레벨 파라미터를 발생하는 장치, 청구항 7에 따른 복원된 멀티채널 표현를 발생하는 장치, 청구항 9에 따른 레벨 파라미터 발생 방법, 청구항 10에 따른 복원된 멀티채널 표현를 발생하는 방법, 청구항 11에 따른 컴퓨터 프로그램, 또는, 청구항 12에 따른 파라미터 데이터 구조에 의해 달성된다.
본 발명은 다음과 같은 연구결과에 기반을 두고 있다. 고품질의 복원을 위하고, 유연한 인코딩/전송 및 디코딩 구성의 관점에서, 추가적인 레벨 파라미터가 다운믹스 신호 또는 멀티채널 신호의 파라미터 데이터 구조와 함께 전송되어, 멀티채널 복원기가, 멀티채널 출력 신호를 복원하는데, 이 레벨 파라미터와 함께 레벨 차 파라미터 및 다운믹스 신호를 이용함으로써, 레벨 편차 또는 주파수-선택적인 레벨-유도(level-induced) 인공음 문제를 겪지 않게 된다.
본 발명에 따르면, 레벨 파라미터에 의해 (곱해지거나 나누어진 것과 같은)가중된 적어도 하나의 다운믹스 채널의 에너지가 오리지널 채널의 에너지 합과 동일하도록, 레벨 파라미터가 계산된다.
실시예에서, 레벨 파라미터는 다운믹스 채널(들)과 오리지날 채널들의 에너지 합 간의 비율로부터 파생된다. 본 실시예에서, 다운믹스 채널(들)과 오리지날 멀티채널 신호 사이의 모든 레벨 차는 인코더 측에서 계산되고, 레벨 상관 팩터로서 데이터 스트림으로 입력되며, 레벨 상관 팩터는 추가적인 파라미터로서 취급되고 또한 다운믹스 채널(들)의 샘플 블록 및 어느 주파수 대역에 대해 주어진다. 따라서, 각블록 및 주파수 대역에 대해, 인터채널 레벨 차 또는 밸런스 파라미터가 존재하고, 새로운 파라미터가 추가된다.
본 발명은 또한, 상기 파라미터들이 기반을 두고 있는 다운믹스와는 다른 멀티채널 신호의 다운믹스가 전송되는 것을 허용하기 때문에, 유연성을 제공한다. 그러한 상황은, 예를 들어, 방송국이 멀티채널 인코더에 의해 발생된 다운믹스 신호를 방송하지 않고, 사운드 스튜디오에서 사운드 엔지니어에 의해 생생된, 인간의 주관적이고 창조적인 효과에 기반을 둔 다운믹스를 방송하기를 원할 때, 일어날 수 있다. 그럼에도 불구하고, 방송자는 또한 이러한 "마스터 다운믹스(master down-mix)"와 함께 멀티채널 파라미터를 전송하기를 원 할 수 있다. 본 발명에 따르면, 레벨 파라미터에 의해 파라미터 세트와 마스터 다운믹스 간의 적응이 제공되며, 이 경우에, 이는, 파라미터 세트가 기반을 둔, 마스터 다운믹스와 파라미터 다운믹스 간의 레벨 차이다.
본 발명은 추가적인 레벨 파라미터가 개선된 출력 품질 및 개선된 유연성을 제공한다는 이점이 있는데, 이는 하나의 다운믹스와 관련된 파라미터 세트가 다른 다운믹스에 적응될 수 있고 그것이 파라미터 계산 동안에는 발생되지 않기 때문이다.
비트레이트 감소를 위해서, 새로운 레벨 파라미터 및 양자화의 Δ-코딩 및 엔트로피-인코딩을 적용하는 것이 바람직하다. 특히, Δ-코딩은 높은 코딩 이득을 가져온다. 이는 대역에서 대역 또는 시간 블록에서 시간 블록으로의 편차가 그다지 높지 않아서, 상대적으로 작은 차 값들이 얻어지고, 이는 허프만 인코더와 같이 후속 엔트로피 인코딩과 관련해서 사용될 때 양호한 코딩 이득의 가능성을 주기 때문이다.
본 발명의 바람직한 실시예에서, 멀티채널 신호 파라미터 데이터 구조가 사용되는데, 이는 2개의 다른 채널 쌍 간의 밸런스를 나타내는, 적어도 2개의 다른 파라미터 밸런스 값을 포함한다. 특히, 유연성, 확장성(scalability), 에러 억제성(error-robustness) 그리고 비트율 효율까지도, 제1 밸런스 파라미터의 기반인 제1 채널 쌍이 제2 밸런스 파라미터의 기반인 제2 채널 쌍과 다르다는 사실에 따른 결과이며, 여기에서 이들 채널 쌍을 형성하는 4개 채널은 모두 서로 다르다.
따라서, 바람직한 컨셉은 싱글 참조 채널 컨셉을 벗어나며, 인간의 음성 느낌에 대해 더 직관적이고 더 자연스러운 멀티-밸런스 또는 슈퍼-밸런스 컨셉을 이용한다. 특히, 제1 및 제2 밸런스 파라미터의 기반이 되는 채널 쌍들은 오리지날 채널, 다운믹스 채널, 또는 바람직하게는 입력 채널 간의 어느 조합을 포함할 수 있다.
제1 채널로서의 중앙 채널, 및 채널 쌍의 제2 채널로서의 좌측 오리지날 채널과 우측 오리지날 채널의 합으로부터 유래된 밸런스 파라미터는, 중앙 채널과 좌측 및 우측 채널 간의 정확한 에너지 분포를 제공하는데에 특히 유용하다는 것이 밝혀졌다. 이러한 사실에서, 이들 3개의 채널들은 보통 오디오 현장(scene)의 대부분의 정보를 포함하며, 특히 좌-우 스테레오 배치(stereo localization)는 좌우측 간의 밸런스뿐만 아니라 중앙과 좌우측의 합 간의 밸런스에 의해 영향을 받는다는 것이 주의하여야 한다. 이러한 결과는 본 발명의 바람직한 실시예에 따른 밸런스 파라미터를 사용함으로써 반영된다.
바람직하게는, 싱글 모노 다운믹스 신호가 전송될 때, 중앙/좌측 + 우측 밸런스 파라미터에 추가적으로, 좌측/우측 밸런스 파라미터, 후면-좌측/후면-우측 밸런스 파라미터, 및 전면/후면 밸런스 파라미터들이 비트레이트 효율적인 파라미터 데이터 구조에 대한 최상의 해결책라는 것이 밝혀졌으며, 이는 유연하고, 에러 억제적이며, 많은 량의 인공음이 없다.
수신기측에서, 각 채널이 전송된 정보 단독에 의해서 계산되는BBC 합성과는 다르게, 바람직한 멀티 밸런스 표현은 추가적으로, 다운믹스 채널(들)의 발생에 사용된 다운믹싱(down-mixing) 구성에 관한 정보를 이용한다. 따라서, 종래기술의 시스템에서는 사용되지 않은, 다운 믹싱 구성에 관한 정보는, 또한 밸런스 파라미터에 추가적으로, 업믹싱(up-mixing)에 이용된다. 그러므로, 업믹싱 동작은 밸런스 파라미터를 위한 채널 쌍을 형성하는 복원된 멀티채널 신호 내에서 채널들 간의 밸런스가 밸런스 파라미터에 의해 결정되도록 수행된다.
이러한 컨셉, 즉 다른 밸런스 파라미터에 대해 다른 채널 쌍을 가지는 컨셉은, 각각의 그리고 모든 전송된 파라미터에 대한 인식이 없어도 몇몇 채널을 발생시킬 수 있게 한다. 특히, 좌, 우 및 중앙 채널은 후면-좌측/후면-우측 밸런스에 대한 아무 인식이 없어도, 또한 전면/후면 밸런스에 대한 아무 인지가 없어도, 복원될 수 있다. 이러한 효과는 매우 미세 조정된 확장성을 가능하게 하는데, 이는 비트스트림으로부터 추가적인 파라미터를 추출하는 것 또는 추가적인 밸런스 파라미터를 수신기로 전송하는 것이 결과적으로 하나 이상의 추가적인 채널을 복원할 수 있게 하기 때문이다. 이것이, 전부 또는 단지 모든 복원된 출력 채널의 서브그룹만을 복원하기 위해서도, 각각 그리고 모든 인터채널 레밸 차가 필요하였던 종래기술의 싱글 참조 시스템과는 대조적인 것이다.
바람직한 컨셉은 또한 밸런스 파라미터의 선택이 어느 복원 환경에 적응될 수 있다는 점에서 유연하다. 예를 들어, 5-채널 셋업이 오리지날 멀티 채널 신호 셋업를 형성하며, 4-채널 셋업이 복원 멀티채널 셋업을 형성하고 예를 들어 청취자 뒤에 배치된 싱글 서라운드 스피커만을 가지고 있을 때, 전면-후면 밸런스 파라미터는, 좌측 서라운드 채널 그리고 우측 서라운드 채널에 대한 아무 인식이 없어도, 결합된 서라운드 채널을 계산할 수 있도록 한다. 이는 싱글-참조 채널 시스템과는 반대인 점이다. 싱글-참조 채널 시스템에서는 데이터 스트림으로부터 좌측 서라운드에 대한 인터채널 레벨 차와 우측 서라운드에 대한 인터채널 레벨 차를 추출하여야 한다. 이어, 좌측 서라운드 채널 및 우측 서라운드 채널을 계산하여야 한다. 마지막으로, 양 채널을 더해서 4-채널 재생성 셋업을 위한 싱글 서라운드 스피커 채널을 얻어야 한다. 이러한 모든 단계들이 더 직관적이고 더 사용자-지시적(user-directed)인 밸런스 파라미터 데이터 구조에서는 수행될 필요가 없다. 이러한 표현이, 밸런스 파라미터 데이터 구조로 인해, 자동적으로, 결합된 서라운드 채널에 보내지기 때문이며, 이는 싱글 참조 채널에 구속되지 않을 뿐만 아니라, 밸런스 파라미터 채널 쌍의 채널로서, 오리지날 채널의 조합을 이용할 수 있게 한다.
본 발명은 오디오 신호의 파라미터화된 멀티채널의 문제에 관한 것이다. 본 발명은 멀티채널 표현에 대한 적합한 파라미터를 정의하는 효율적인 방식을 제공하고, 또한 모든 채널을 디코딩할 필요없이 소망하는 채널 구성을 표현하는 파라미터를 추출하는 능력을 제공한다. 본 발명은 또한, 주어진 신호 세그먼트에 대한 공간 파라미터를 코딩하는데 요구되는 비트 율을 최소화하기 위해서, 주어진 신호 세그먼트에 대해 최적의 파라미터 구성을 선택하는 문제를 해결한다. 본 발명은 또한, 이전에는 단지 2개 채널의 경우에만 적용할 수 있던, 디콜리레이션(decorrelation) 방법을 일반적인 멀티채널 환경에 적용하는 방법에 대해서 설명한다.
바람직한 실시예에서, 본 발명은 다음 특징들을 포함한다:
- 멀티채널 신호를 인코더 측에서 하나 또는 두 개의 채널 표현으로 다운믹스하고;
- 멀티채널 신호가 주어지면, 비트레이트를 최소화하고 디코더가 비트스트림 레벨에 대한 채널 구성을 추출할수 있도록 하기 위하여 유연한 프레임 당 기반으로 멀티채널 신호를 표현하는 파라미터를 정의하고;
- 디코더에 의해 현재 지지된 채널 구성이 부여된, 관련 파라미터 세트를 디코더 측에서 추출하고;
- 현재 채널 구성이 주어진, 상호 디콜리레이트된 신호들의 필요한 수를 생성하고;
- 비트스트림 데이터와, 디콜리레이트된 신호들로부터 디코딩된 파라미터가 주어진, 출력 신호를 재생성하고;
- 동일한 파라미터들 또는 그 파라미터들의 서브세트가 채널 구성과 상관없이 이용될 수 있도록, 멀티채널 오디오 신호의 파라미터화 정의.
- 파라미터 세트의 서브세트들이 확장가능한 스트림의 다른 층들로 전송되는, 확장가능한 코딩 구성에 파라미터들이 이용될 수 있도록, 멀티채널 오디오 신호의 파라미터화 정의.
- 디코더로부터의 출력 신호들의 에너지 복원이, 다운믹스된 신호를 코딩하는데 이용된 기초적인(underlying) 오디오 코덱에 의해 손상되지 않도록, 멀티채널 오디오 신호의 파라미터화 정의.
- 파라미터화를 코딩하는 비트율 오버헤드가 최소화되도록, 멀티채널 오디오 신호의 다른 파라미터화 간의 스위칭.
- 다운믹스된 신호에 대한 에너지 교정 팩터를 표시하는 파라미터가 포함되는, 멀티채널 오디오 신호의 파라미터화 정의.
-멀티채널 신호를 재생성하는 것에 대해 여러 개의 상호 디콜리레이트된 디콜리레이터의 사용.
- 전송된 파라미터 세트에 근거하여 계산된 업믹스 행렬로부터, 멀티채널 신호의 재생성한다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예를 설명하지만, 본 발명의 범위 또는 사상은 그에 제한되는 것은 아니다.
도 1은 본 발명에 사용된 5.1 채널 구성에 이용된 명명법을 나타낸다.
도 2는 본 발명에 따른 바람직한 실시예의 가능한 인코더 구현을 나타낸다.
도 3은 본 발명에 따른 바람직한 실시예의 가능한 디코더 구현을 나타낸다.
도 4는 본 발명에 따른 멀티채널 신호의 하나의 바람직한 파라미터화를 나타낸다.
도 5는 본 발명에 따른 멀티채널 신호의 하나의 바람직한 파라미터화를 나타낸다.
도 6은 본 발명에 따른 멀티채널 신호의 하나의 바람직한 파라미터화를 나타낸다.
도 7은 싱글 베이스 채널 또는 2개 베이스 채널을 발생하는 다운믹싱 구성에 대한 도식적인 셋업을 나타낸다.
도 8은 본 발명의 밸런스 파라미터 및 다운믹싱 구성에 대한 정보에 기반을 둔 업믹싱 구성의 도식적인 표현을 나타낸다.
도 9a는 본 발명에 따른 인코더 측에서의 레벨 파라미터의 결정을 도식적으로 나타낸다.
도 9b는 본 발명에 따른 디코더 측에서의 레벨 파라미터의 사용을 도식적으로 나타낸다.
도 10a는 비트스트림의 다른 층에서 멀티채널 파라미터화의 다른 부분을 갖는 확장가능한 비트스트림을 나타낸다.
도 10b는 채널이 사용되지 않거나 계산되지 않은 밸런스 파라미터를 이용하여 구성될 수 있다는 것을 보여주는 확장성 표를 나타낸다.
도 11은 본 발명에 따른 업믹싱 행렬의 응용을 나타낸다.
하기에서 설명되는 실시예들은 단지 오디오 신호의 멀티채널 표현에 대한 본 발명의 원리에 대한 예시이다. 배치와 여기에 설명된 세부사항들의 수정 및 변경이 당업자에게 명백함을 이해할 수 있을 것이다. 따라서, 여기의 실시예의 기재와 설명을 통해 제시된 특정한 세부사항들에 의해서가 아닌, 첨부된 특허 청구범위의 범위에 의해서만 제한되어야 한다.
하기의 IID 및 ICC 파라미터를 파라미터화하는 방법과, 오디오 신호의 멀티채널 표현을 복원하기 위해 그 파라미터를 적용하는 방법에 관한, 본 발명의 상세한 설명에서, 언급된 모든 신호들은 필터뱅크에서의 서브밴드 신호이거나, 해당 채널에 대한 전체 주파수 범위에서의 일부의 어떤 다른 주파수 선택적인 표현이다. 따라서, 본 발명은 특정 필터뱅크에 한정되지 않고, 본 발명은 하기에서 신호의 서브밴드 표현의 하나의 주파수 대역에 대해 설명되며, 동일한 동작이 모든 서브밴드 신호에 적용된다는 것이 이해되어야 한다.
또한 밸런스 파라미터가 "인터채널 강도 차(inter-channel intensity difference; IID)" 파라미터로 칭해지지만, 채널 쌍 사이의 밸런스 파라미터가 반드시 채널 쌍에서의 제1 채널의 에너지 또는 강도와, 채널 쌍에서의 제2 채널의 에너지 또는 강도 간의 비율일 필요는 없다는 점을 강조한다. 일반적으로, 밸런스 파라미터는 채널 쌍에서의 두 채널 사이의 사운드 소스의 배치(localization)를 나타낸다. 이러한 배치는 보통 에너지/레벨/강도 차로 주어지지만, 신호의 다른 특징들, 이를테면 양 채널에 대한 파워 측도 또는 채널의 시간 또는 주파수 포락선 등이 이용될 수 있다.
도 1에서, 5.1 채널 구성에 대한 다른 채널이 도시되었고, 여기에서 a(t)(101)은 좌측 서라운드 채널을 나타내고, b(t)(102)는 우측 서라운드 채널을 나타내고, c(t)(103)는 중앙 채널을 나타내고, d(t)(104)는 우측전면 채널을 나타내고, e(t)(105)는 우측 서라운드 채널을 나타내고, f(t)(106)는 LFE (low frequency effect; 저 주파수 효과) 채널을 나타낸다.
기대 연산자(expectancy operator)를 다음과 같이 정의한다면:
상술한 채널에 대한 에너지는 다음과 같이 정의될 수 있다(여기서는 좌측 채널에 의해 예시됨):
5개 채널들이 인코더 측에서 2개 채널 표현 또는 1개 채널 표현으로 다운믹스된다. 이는 여러가지 방식으로 수행될 수 있는데, 통상적으로 이용되는 하나의 방식은 다음에 따라 정의되는 ITU 다운믹스이다:
5.1에서 2개 채널로 다운믹스:
5.1에서 1개 채널로 다운믹스:
공동 사용된 상수 α, β, γ 및 δ는
IID 파라미터들은 임의적으로 선택된 2개의 채널의 에너지 비율 또는 가중된 채널 그룹으로서 정의된다. 상술한 5.1 채널 구성에 대한 채널의 에너지가 주어지면, 여러 개의 IID 파라미터 세트가 정의될 수 있다.
도 7은, 싱글 베이스 채널m 또는 바람직하게 2 스테레오 베이스 채널(ld 및 rd)을 계산하는 상기 인용식을 이용하는, 일반적인 다운믹서(700)을 나타낸다. 일반적으로, 다운믹서는 어느 다운믹싱 정보를 이용한다. 선형 다운믹스의 바람직한 실시예에서는, 그러한 다운믹싱 정보는 가중 팩터 α, β, γ, 및 δ를 포함한다. 어느 정도 상수 또는 비상수(non-constant)의 가중 팩터가 사용될 수 있다는 것이 본 기술분야에 알려져 있다.
권장되는 ITU 다운믹스에서는, α는 1로 설정되고, β 및 γ는 0.5의 제곱근으로서 서로 같게 설정되며, γ 는 0으로 설정된다. 일반적으로, 팩터 α는 1.5와 0.5 사이에서 변할 수 있다. 추가적으로 팩터 β 및 γ는 서로 다를 수 있고, 0과 1 사이에서 변한다. 동일한 내용이 저 주파수 강화 채널 f(t)에 적용된다. 이 채널에 대한 팩터는 0.1과 1 사이에서 변한다. 추가적으로, 좌측 다운믹스 및 우측 다운믹스에 대한 팩터들은 서로 같을 필요는 없다. 이는 비자동(non-automatic)의 다운믹스가 예를 들어 사운드 엔지니어에 의해 수행된다는 것을 고려하면, 명백해진다. 사운드 엔지니어는 창조적인 다운믹스를 수행하는데 어느 수학 법칙에 의해 인도된 것 보다도 보다 더 직관적이다. 그 대신, 사운드 엔지니어는 자신의 창조적인 느낌에 의해 인도된다. 이러한 "창조적인(creative)" 다운믹싱이 어느 파라미터 세트에 의해 기록된다면, 그것은 본 발명에 따라 도 8에 도시된 업믹서에 의해 이용될 것이며, 이는 그 파라미터들 뿐만 아니라, 다운믹싱 구성에 대한 추가적인 정보 에 의해 안내될 것이다.
도 7에서와 같이 선형 다운믹스가 수행되었다면, 가중 파라미터들은, 업믹서에 의해 이용되는 다운믹싱 구성에 대한, 바람직한 정보이다. 그러나, 다운믹싱 구성에 이용된 다른 정보가 존재한다면, 이러한 다른 정보도 또한, 다운믹싱에 대한 정보로서, 업믹서에 의해 이용될 수 있다. 그러한 다른 정보는, 예를 들어, 어느 행렬 성분이거나, 예를 들어 도 11에 나타낸 바와 같은 업믹스 행렬 내에서의 어느 팩터 또는 함수일 수 있다.
도 1에서 설명된 5.1 채널 구성을 가지고, 다른 채널 구성이 5.1 채널 구성에 어떻게 관련되는지를 살펴보면: 3개 채널의 경우에는 서라운드 채널이 허용되지 않고, 즉 B, C, 및 D가, 상술한 기재에 따라 가능하다. 4개 채널 구성에 대해서는 B, C, 및 D가 가능하고, 또한 싱글 서라운드 채널을 표현하는 A와 E의 조합이 가능하거나, 또는 이 구문에서 보다 통상적으로 나타낸, 후면 채널이 가능하다.
본 발명은 이들 모든 채널에 적용하는 IID 파라미터를 이용한다. 즉, 5.1 채널 구성의 4개 채널 서브세트는, 5.1 채널을 설명하는 IID 파라미터 세트 내에, 대응하는 서브세트를 가진다.
다음의 IID 파라미터 세트는 이러한 문제를 해결한다:
r1 파라미터가 좌측 다운믹스 채널과 우측 다운믹스 채널 간의 에너지 비율에 해당하는 것은 명백하다. r2 파라미터는 중앙 채널과 좌측 및 우측 전면 채널 간의 에너지 비율에 해당한다. r3 파라미터는 3개의 전면 채널과 2개의 서라운드 채널 간의 에너지 비율에 해당한다. r4 파라미터는 2개의 서라운드 채널 사이의 에너지 비율에 해당한다. r5 파라미터는 LFE 채널과 다른 모든 채널 간의 에너지 비율에 해당한다.
도 4에서, 상술한 바와 같은 에너지 비율이 도시되었다. 다른 출력 채널들이 도면부호(101) 내지 도면부호(105)에 의해 지시되었으며, 이는 도 1과 동일하므로써, 여기서 더 이상의 부연 설명되지 않는다. 스피커 셋업이 좌측과 우측 절반으로 나뉘어지며, 중앙 채널(103)은 양쪽 절반의 일부이다. 좌측 절반 평면과 우측 절반 평면 간의 에너지 비율은 바로 r1으로 칭해진 파라미터이다. 이는 도 4에서 실선 아 래의 r1으로 표시된다. 나아가, 중앙 채널(103)과 좌측 전면 채널(102) 및 우측 전면 채널(104) 간의 에너지 분포는 r2로 표시된다. 마지막으로, 전체 전면 채널 셋업(102, 103 및 104)과 후면 채널(101 및 105) 간의 에너지 분포는, 도 4에서 화살표인 r3파라미터로 표시된다.
위의 파라미터화 및 전송된, 싱글 다운믹스된 채널의 에너지가 주어지면:
복원된 에너지들은 다음과 같이 표현될 수 있다:
따라서, M신호의 에너지는 복원된 채널들에 분포될 수 있고 오리지날 채널들과 동일한 에너지를 가지는 복원된 채널들이 얻어진다.
상술한 바람직한 업믹싱 구성은 도 8에 도시되었다. F, A, E, C, B, 및 D에 대한 식으로부터, 업믹서에 의해 이용되는, 다운믹싱에 대한 정보는 가중 팩터 α, β, γ, 및 δ라는 것을 알 수 있으며, 여기서 이들은, 오리지날 채널의 수 보다 작은 다운믹스 채널의 수에 도달하기 위해서 그러한 가중되거나 또는 가중되지 않은 채널들이 서로 더해지거나 서로로부터 빼지기 이전에, 오리지날 채널을 가중하는데 이용된다. 따라서, 도 8로부터, 본 발명에 따르면, 복원된 채널들의 에너지는, 인코더측으로부터 디코더측으로 전송된 밸런스 파라미터에 의해 결정될 뿐만 아니라 다운믹싱 팩터 α, β, γ, 및 δ에도 의해서 결정된다는 것을 알 수 있다.
도 8을 참조하면, 좌측 및 우측 에너지 B 및 D 를 계산하기 위해서, 이미 계산된 채널 에너지 F, A, E, C가 식에서 사용된다는 것을 알 수 있다. 그러나, 이는 반드시 연속하는 업믹싱 구성을 수반하지는 않는다. 대신, 완전히 필적하는 업믹싱 구성을 얻기 위해, 어느 업믹싱 행렬을 갖는 어느 업믹싱 행렬을 이용하여 수행되고, A, C, E, 및 F에 대한 식들은 B 및 D에 대한 식에 삽입된다. 따라서, 복원된 채널 에너지는 단지 밸런스 파라미터, 다운믹스 채널(들), 및 다운믹스 팩터와 같은 다운믹싱 구성에 대한 정보에 의해서만 결정된다는 것을 알 수 있다.
위의 IID 파라미터들이 주어지면, 여러 개의 채널 구성에 이용될 수 있는 IID 파라미터의 파라미터 세트를 정의하는 문제가 해결된다는 것은 분명하며, 이는 하기의 설명으로부터 알 수 있을 것이다. 예로서, 3개 채널 구성(즉, 하나의 이용가능한 채널로부터 3개의 전면 채널을 재생성하는 것)을 살펴보면, A, E 및 F 채널 이 존재하기 않기 때문에, r3, r4 및 r5 파라미터는 쓸모가 없다는 것을 알 수 있다. 또한, r1은 좌측과 우측 전면 채널 간의 에너지 비율을 나타내고 r2는 중앙 채널과 좌측 및 우측 전면 채널 간의 에너지 비율을 나타내기 때문에, 파라미터 r1 및 r2는 다운믹스된 싱글 채널로부터 3개 채널을 재생성하기에 충분하다는 것이 명백하다.
보다 일반적인 경우에, 위에서 정의된 바와 같은 IID 파라미터(r1...r5)는 m 채널로부터 재생성된 n 채널의 모든 서브세트에 적용된다는 것을 쉽게 알 수 있으며, 여기서 m < n ≤ 6 이다. 도 4를 살펴보면 하기와 같이 말할 수 있다:
- 1개 채널로부터 2개 채널을 재생성하는 시스템에 대해서, 채널들 간의 정확한 에너지 비율을 유지하는 충분한 정보가 r1 파라미터로부터 얻어진다;
- 1 채널로부터 3개 채널을 재생성하는 시스템에 대해서, 채널들 간의 정확한 에너지 비율을 유지하는 충분한 정보가 r1 및 r2 파라미터로부터 얻어진다;
- 1 채널로부터 4개 채널을 재생성하는 시스템에 대해서, 채널들 간의 정확한 에너지 비율을 유지하는 충분한 정보가 r1, r2 및 r3파라미터부터 얻어진다;
- 1 채널로부터 5개 채널을 재생성하는 시스템에 대해서, 채널들 간의 정확한 에너지 비율을 유지하는 충분한 정보가 r1, r2, r3 및 r4 파라미터로부터 얻어진다;
- 1 채널로부터 5.1개 채널을 재생성하는 시스템에 대해서, 채널들 간의 정확한 에너지 비율을 유지하는 충분한 정보가 r1, r2, r3, r4 및 r5 파라미터로부터 얻어진다;
- 2 채널로부터 5.1개 채널을 재생성하는 시스템에 대해서, 채널들 간의 정확한 에너지 비율을 유지하는 충분한 정보가 r1, r2, r3, r4 및 r5 파라미터로부터 얻어진다.
상술한 확정성에 대한 특성은 도 10b의 표에 의해 설명된다. 이후에 설명되는 도 10a에 도시된 확장가능한 비트스트림은 또한, 도 10a에 나타낸 것보다 더 정밀한 확장가능성을 얻는, 도 10b에 있는 표에 적용될 수 있다.
바람직한 컨셉은, 특히 다른 어떠한 평형 파라미터에 대한 인식 또는 추출이 없이도, 좌측 및 우측 채널이 싱글 밸런스 파라미터 r1으로부터 쉽게 복원될 수 있다는 장점이 있다. 이를 위해, 도 8 의 B 및 D에 대한 식에서, 채널 A, C, F 및 E는 단순하게 0으로 설정된다.
대안적으로, 밸런스 파라미터 r2만 고려하면, (이 채널이 0으로 조정되지 않을 때) 복원된 채널은 한편으로는 중앙 채널과 저 주파수 채널 간의 합이고, 다른 한편으로는 좌측 및 우측 채널 간의 합이다. 따라서, 한편으로는 중앙 채널이 다른 한편으로는 모노 신호가 싱글 파라미터를 사용하여 복원될 수 있다. 이러한 특징은 이미 단순한 3-채널 표현에 대해 유용할 수 있는데, 여기서 좌측 및 우측 신호는, 이를테면 2등분을 통해, 좌측 및 우측의 합으로부터 파생되고, 중앙과 좌측 및 우측의 합 간의 에너지는 밸런스 파라미터 r2에 의해 정확하게 결정된다.
이 구문에서, 밸런스 파라미터 r1 또는 r2는 하위 스케일링 층(lower scaling layer)에 위치한다.
도 10b 표의 두 번째 엔트리(entry)은, 어떻게 3개 채널 B, D, 그리고 C와 F 의 합이, 전체 5개 밸런스 파라미터 대신에, 단지 2개의 밸런스 파라미터만을 이용하여 발생될 수 있는 가를 나타내며, 이들 파라미터 r1 및 r2 중 하나는, 하위 스케일링 층에 위치하는 r1 또는 r2 보다 더 높은 스케일링 층에 이미 있을 수 있다.
도 8에 있는 식이 고려하면, C를 계산하기 위해, 비추출된(non-extracted) 파라미터 r5 및 다른 비추출된 파라미터 r3가 0으로 설정되는 것을 알 수 있다. 추가해서, 비사용된(non-used) 채널 A, E, F가 또한 0으로 설정되어, B, D 및 중앙 채널 C와 저주파 인헨스먼트 채널 F 의 조합의 3개 채널이 계산될 수 있다.
4-채널 표현이 업믹스되는 경우에는, 파라미터 데이터 스트림으로부터 파라미터 r1, r2, 및 r3을 추출하는 것만으로 충분하다. 여기서, r3는 다른 파라미터 r1 또는 r2의 차 상위(next-higher) 스케일링 층에 있을 수 있다. 4-채널 구성은 본 발명의 슈퍼밸런스(super-balance) 파라미터 데이터 구조와 관련하여 특히 적합하다. 이는, 도 6과 관련해서 나중에 설명될, 제 3 밸런스 파라미터 r3가 한편으로는 전면 채널들의 조합, 다른 한편으로는 후면 채널들의 조합으로부터 이미 파생되기 때문이다. 이것은 파라미터 r3가, 제 1 채널로서 후면 채널 A 및 E의 조합을 가지고, 전면 채널로서 좌측 채널 B, 우측 채널 E, 그리고 중앙 채널 C의 조합을 가지는 채널 쌍으로부터 파생된, 전면-후면 파라미터 라는 사실에 기인한다.
따라서, 양 서라운드 채널의 결합된 채널 에너지는, 싱글 참조 채널 셋업의 경우에서와 같이, 어떠한 추가적인 별도의 계산 및 후속 조합이 없이도, 자동적으로 얻어진다.
5 채널이 싱글 채널으로부터 재생성되어야 할 경우에, 추가적인 밸런스 파라미터 r4가 필요하다. 이 파라미터 r4는 다시 한번 차 상위 스케일링 층에 위치할 수 있다.
5.1 채널이 복원되어야 할 경우에, 각 밸런스 파라미터가 필요하다. 따라서, 그 다음 밸런스 파라미터 r5를 포함하는 차 상위 스케일링 층이 수신기로 전송되어서 수신기에 의해 평가되어야 할 것이다.
그러나, 확장된 채널 수에 따라 IID 파라미터를 확장하는 동일한 접근을 이용함으로써, 상술한 IID 파라미터가, 5.1 구성 보다 더 큰 수의 채널을 가지는 채널 구성 s를 커버하도록, 확장될 수 있다. 그러므로, 본 발명은 상술한 예시들에 한정되지 않는다.
이하에서는 가장 통상적으로 이용되는, 5.1 채널 구성의 경우에 대해 살펴본다. 또한, 5.1 채널이 2 채널로부터 재생성된다고 가정한다. 이 경우를 위한, 다른 파라미터 세트는, 파라미터 r3 및 r4를 아래 파라미터들로 대체함으로써 얻어질 수 있다:
파라미터 q3 및 q4는 전면과 후면 채널들간의 에너지 비율, 그리고 전면과 후면 우측 채널들간의 에너지 비율을 나타낸다. 여러가지 다른 파라미터화를 염두에 둘 수 있다.
도 5에, 수정된 파라미터화가 보여진다. 전면과 후면 간의 에너지 분포를 나타내는 (도 4에서 r3로 나타낸) 하나의 파라미터와, 좌측 서라운드 채널과 우측 서라운드 채널 간의 에너지 분포를 나타내는 (도 4에서 r4로 나타낸) 파라미터를 가지는 대신에, 파라미터 q3 및 q4가, 좌측 전면(102)와 좌측 서라운드(101) 간의 에너지 비율과, 우측 전면 채널(104)와 우측 서라운드 채널(105) 간의 에너지 비율을 나타내는데 이용된다.
본 발명은 여러 개의 파라미터 세트가 멀티채널 신호를 표현하는데 이용될 수 있는 것을 택하고 있다. 본 발명의 추가적인 특징은 다른 파라미터화가, 사용된 파라미터의 양자화 타입에 따라, 선택될 수 있다는 것이다.
예로서, 파라미터화의 거친 양자화를 이용하는 시스템은, 높은 비트 율 제약으로 인해, 업믹싱 프로세스 중에 에러를 증대시키지 않는, 양자화가 이용되어야 한다.
하나의 채널로부터 5.1채널을 재생성하는 시스템에서의 복원된 에너지에 대한 상술한 2개의 식을 살펴본다:
M, A, C, 및 F 파라미터의 매우 작은 양자화 효과로 인해, 뺄셈이 B 및 D 에너지의 큰 변화를 가져온다는 것을 알 수 있다.
본 발명에 따르면, 파라미터의 양자화에 덜 민감한 다른 파라미터화가 이용되어야 한다. 따라서, 만약 거친 양자화가 이용된다면, 위에서 설명하고 아래식으로 표현되는 r1 파라미터는:
다음의 대안적인 정의에 의해 대체될 수 있다:
이는 복원된 에너지에 대한 다음 식을 산출한다:
그리고, 복원된 에너지 A, E, C 및 F 에 대한 식은 위에서와 같다. 이 파라미터화가, 양자화의 관점에서 보았을 때, 더 좋은 조건인 것은 명백하다.
도 6에서 상술한 바와 같은 에너지 비율이 도시된다. 다른 출력 채널들은 도면부호(101) 내지 도면부호 (105)에 의해 표시되고, 이는 도 1에서와 같으며, 따라서 더 이상의 부연 설명은 하지 않는다. 스피커 셋업이 전면 부분과 후면 부분으로 나뉘어진다. 전체 전면 채널 셋업(102, 103 및 104)과 후면 채널(101 및 105) 간의 에너지 분포가 도 6의 r3 파라미터의 화살표로 표시된다.
본 발명의 또 다른 주목할 만한 중요한 특성은 파라미터를 살펴보면,
그것은 양자화 관점에서 더 좋은 조건의 시스템이라는 것이다. 또한, 위의 양자화는, 3개의 전면 채널을 복원하는데 이용된 파라미터들이 서라운드 채널로부터의 아무 영향도 받지 않고 얻어진다는 장점을 가진다. 중앙 채널과 다른 모든 채널 간의 관계를 나타내는 파라미터 r2를 염두에 둘 수 있다. 그러나, 이는 서라운 드 채널이 전면 채널을 나타내는 파라미터의 평가에 포함되는 단점을 가진다.
본 발명에서, 상술한 파라미터화는 또한 채널들 간의 상관성 또는 가간섭성의 측정에 적용될 수 있다는 것을 상기하면, 후면 채널을 r2 의 계산에 포함시키는 것은 전면 채널을 정확하게 재생성하는 것에 대한 상당히 부정적인 영향을 줄 수 있다는 것은 명백하다.
예로서, 모든 전면 채널에서 동일한 신호를 가지고, 후면 채널에서는 완전 무상관 신호를 가지는 상황을 생각할 수 있다. 후면 채널들이 종종 오리지날 사운드의 분위기 정보를 재생성하는 데 이용되는 것을 보면, 이는 드문 경우가 아니다.
만약 중앙 채널이 모든 다른 채널과 관련하여 설명된다면, 중앙과 다른 모든 채널들의 합과의 상관 측도는 오히려 낮을 것이며, 이는 후면 채널이 완전히 무상관적(uncorrelated)이기 때문이다. 동일한 내용이 전면 좌측/우측 채널과 후면 좌측/우측 채널 간의 상관성을 평가하는 파라미터에도 적용된다.
따라서, 에너지를 정확하게 복원할 수 있지만, 모든 전면 채널들이 동일, 즉 강상관관계적(strongly correlated)이었다는 정보를 포함하지 않는, 그런 파라미터화에 이르게 된다. 그것은 좌측과 우측 전면 채널이 후면 채널에 대해 무상관적이며 또한 중앙 채널이 후면 채널에 무상관적이라는 정보를 포함한다. 그러나, 모든 전면 채널들이 동일하다는 사실은 그러한 파라미터화로부터 추론되지 않는다.
이는 본 발명이 개시하고 있는 바와 같이, 다음의 파라미터:
를 이용함으로써 극복되며, 이는 후면 채널들이, 디코더측에서 전면 채널들을 재생성하는데 이용된 파라미터의 평가에, 포함되지 않기 때문이다.
중앙 채널(103)과 좌측전면(102) 및 우측 전면(103) 채널 간의 에너지 분포는 본 발명에 따라 r2로 표시된다. 좌측 서라운드 채널(101)과 우측 서라운드 채널(105) 간의 에너지 분포는 r4로 표시된다. 마지막으로, 좌측 전면 채널(102)과 우측 전면 채널(104) 간의 에너지 분포는 r1에 의해 주어진다. 여기서 좌측 전면 스피커와 우측 전면 스피커 간의 에너지 분포에 해당하는 r1은 별개로 하고, 완전히 좌측과 우측에 대립하는 만큼, 모든 파라미터들이 도 4와 동일하다는 것을 알 수 있다. 완성을 위해, 중앙 채널(103)과 lfe 채널(106) 간의 에너지 분포를 나타내는 파라미터 r5가 주어진다.
도 6은 본 발명의 바람직한 파라미터화 실시예의 개요를 나타낸다. 제1 밸런스 파라미터 (실선으로 나타낸) r1 은 전면 좌측/전면 우측 밸런스 파라미터를 구성한다. 제2 밸런스 파라미터 r2는 중앙 좌측-우측 밸런스 파라미터이다. 제3 밸런스 파라미터 r3는 전면/후면 밸런스 파라미터를 구성한다. 제4 밸런스 파라미터는 r4는 후면-좌측/후면-우측 밸런스 파라미터를 구성한다. 마지막으로 제5 밸런스 파라미터 r5는 중앙/lfe 밸런스 파라미터를 구성한다.
도 4는 관련 상황을 보여준다. 도 4에서 실선으로 표시한 제1 밸런스 파라미터 r1은, 다운믹스-좌측/우측 밸런의 경우에, 채널 B와 D 사이의 기초적(underlying) 채널 쌍으로 정의된, 오리지날 전면-좌측/전면-우측 밸런스 파라미터에 의해 대체될 수 있다. 이는 도 4에서 점선의 r1으로 표시되며, 도 5 및 도 6의 실선 r1과 대응된다.
2-베이스 채널 상황에서, 파라미터 r3 및 r4는, 즉 전면/후면 밸런스 파라미터 및 후면-좌측/우측 밸런스 파라미터는, 2개의 싱글사이드(single-sided) 전면/후면 파라미터에 의해 대체될 수 있다. 첫번째 싱글사이드 전면/후면 파라미터 q3는 제1 밸런스 파라미터로 간주될 수 있으며, 이는 좌측 서라운드 채널 A와 좌측 채널 B를 구성하는 채널 쌍으로부터 파생된다. 두번째 싱글사이드 전면/좌측 밸런스 파라미터 q4는 제2파라미터로 간주될 수 있으며, 이는 우측 채널 D와 좌측 서라운드 채널 E를 구성하는 제2 채널 쌍에 근거한다. 또한, 양 채널 쌍은 서로 독립적이다. 동일한 내용이, 중앙/좌측-우측 밸런스 파라미터 r2에 적용되며, 이는 제1 채널로서 중앙 채널 C를, 제2 채널로서 좌측과 우측 채널 B 및 D의 합을 가지는 것이다.
1 또는 2 채널로부터 5.1 채널을 재생성하는 시스템을 위한 거친 양자화에 적합한, 또 다른 파라미터화가 본 발명에 따라 하기에서 정의된다.
1 채널에서 5.1 채널로의 경우:
2 채널에서 5.1 채널로의 경우:
위의 파라미터화는, 이론적인 관점에서, 전송된 신호의 에너지를 재생성된 신호로 정확하게 재분포시키는데 요구되는 파라미터 보다 더 많은 파라미터를 포함하는 것이 분명하다. 그러나, 양자화는 양자화 에러에 대해 매우 둔감하다.
2-베이스 채널 셋업에 대한 상기 파라미터 세트는 여러 개의 참조 채널을 이용한다. 그러나, 도 6의 파라미터 구성과는 달리, 도 7의 파라미터 세트는 단지, 참조 채널로서, 오리지날 채널 보다는 다운믹스 채널에 의존한다. 밸런스 파라미터 q1, q3, 및 q4는 완전히 다른 채널 쌍으로부터 파생된다.
여러 개의 본 발명에 따른 실시예가 설명되었지만, 밸런스 파라미터를 유도하는 채널 쌍은 단지 오리지날 채널(도 4, 도 5, 도 6)을 포함하거나, 또는 오지지날 채널과 다운믹스 채널(도 4, 도 5)을 포함하거나, 또는 도 7의 아래 부위에 표시된 바와 같이 참조 채널로서 오로지 다운믹스 채널에만 의존하며, 도 2의 서라운드 데이터 인코더(206) 내에 포함된 파라미터 발생기는, 밸런스 파라미터가 기반을 두는 채널 쌍의 채널들을 위해, 베이스 채널 또는 베이스 채널들의 조합 보다는, 오직 오리지날 채널 또는 오리지날 채널들의 조합을 이용하도록 동작하는 것이 바람직하다. 이는 서라운드 인코더로부터 서라운드 디코더로 전송되는 동안, 싱글 베이스 채널 또는 2 스테레오 베이스 채널에 에너지 변화가 일어나지 않는다는 완벽한 보장을 할 수 없다는 사실에 기인한다. 다운믹스 채널들 또는 싱글 다운믹스 채널에 대한 그러한 에너지 변화는, 저비트율 조건 이하에서 동작하는, 오디오 인코더(205: 도 2) 또는 오디오 디코더(302: 도 3)에 의해 야기될 수 있다. 그러한 상황은 모노 다운믹스 채널 또는 스테레오 다운믹스 채널의 에너지의 조정을 초래할 수 있고, 그 조정은 좌측과 우측 스테레오 다운믹스 채널 간에 다를 수 있거나, 주파수 선택적 및 시간 선택적일 수 있다.
그러한 에너지 변화에 대한 철저한 안전을 위해, 추가적인 레벨 파라미터가, 본 발명에 따른 모든 다운 채널에 대한 각 블록 및 주파수 대역에 대해 전송된다. 밸런스 파라미터가 다운믹스 신호 보다는 오리지날 신호에 기반을 두고 있을 경우에, 각 대역에 대해 싱글 교정 팩터(single correction factor)로 충분하며, 이는 어느 에너지 교정도, 오리지날 채널들 간의 밸런스 상황에 영향을 주지 않을 것이기 때문이다. 추가적인 레벨 파라미터가 전송되지 않았을 경우 조차도, 그 어떤 다운믹스 채널 에너지 변화도 오디오 이미지에서 사운드 소스의 왜곡된 배치를 초래하지 않을 것이고, 단지 일반적인 세기 변화만을 가져올 것이며, 이는 밸런스 조건을 변화시킴으로써 일어나는 사운드 소스의 이동만큼 거슬리지 않는 것이다.
상술한 바와 같이, (다운믹스 채널의) 에너지 M 이 에너지 B, D, A, E, C 및 F 의 합이도록 주의를 기울이는 것이 중요하다. 이것이 항상 하나의 채널로 다운믹 스 되고 있는 다른 채널들 간의 위상 의존도에 기인하는 경우인 것은 아니다. 에너지 교정 팩터는 추가적인 파라미터 rM으로서 전송될 수 있으며, 따라서 디코더측에서 수신된, 다운믹스된 신호의 에너지는 다음과 같이 정의된다:
도 9에서, 본 발명에 따른 추가적인 파라미터 rM의 응용이 설명된다. 다운믹스된 입력 신호가 도면부호(901)에서, 업믹스 모율(701-705)로 보내지기 이전에, rM 파라미터에 의해 수정된다. 이들은 도 7에서와 동일하며, 따라서 부연설명은 하지 않을 것이다. 상기의 싱글 채널 다운믹스 예에 대한 파라미터 rM은 다운믹스 채널 당 하나의 파라미터가 되도록 확장될 수 있고, 그럼으로써 싱글 다운믹스 채널에 한정되지 않는다는 것은 당업자에게 자명하다.
도 9a는 본 발명의 레베 파라미터 계산기(900)을 나타내고, 도 9b는 본 발명의 레벨 파라미터 교정기(902)를 나타낸다. 도 9a는 인코더측에서의 상황을 나타내며, 도 9b는 디코더측 상황을 나타낸다. 레벨 파라미터 또는 "추가적인" 파라미터 rM은, 어느 에너지 비율을 주는 교정 팩터가다. 이를 설명하기 위해, 다음의 예시적인 시나리오를 가정한다. 어느 오리지날 멀티채널 신호에 대해, 한편으로는 "마스터 다운믹스(master down-mix)"가, 다른 한편으로는 "파라미터 다운믹스(parameter down-mix)"가 존재한다. 마스터 다운믹스는 사운드 스튜디오에서 사운드 기술자에 의해, 예를 들어 주관적인 품질의 느낌에 따라 발생되었다. 그에 더해, 어느 오디 오 저장 매체가 또한 파라미터 다운 믹스를 포함하며, 이는, 예를 들어, 도 2의 서라운드 인코더(203)에 의해 수행되었다. 파라미터 다운믹스는 1 베이스 채널 또는 2 베이스 채널을 포함하며, 이 베이스 채널들은, 밸런스 파라미터 세트 또는 오리지날 멀티채널 신호의 다른 어떤 파라미터적인 표현을 이용하는, 멀티채널 복원에 대한 기반을 형성한다.
예를 들어, 방송자(broadcaster)가, 전송기로부터 수신기로, 파라미터 다운믹스는 전송하지 않고, 마스터 다운믹스는 전송하기를 원하는 경우가 있을 수 있다. 그에 더해, 마스터 다운믹스를 멀티채널 표현으로 업그레이드하기 위해, 방송자는 또한 오리지날 멀티채널 신호의 파라미터적인 표현을 전송한다. (하나의 대역 및 하나의 블록에서의) 에너지가 마스터 다운믹스와 파라미터 다운믹스 간에 변할 수 있기 때문에 (전형적으로 변할 것임), 추가적인 파라미터로서 상대적 레벨 파라미터 rM가 블록(900)에서 발생되고 수신기로 전송된다. 레벨 파라미터는, 마스터 다운믹스 및 파라미터 다운믹스로부터 파생되며, 바람직하게는 마스터 다운믹스와 파라미터 다운믹스의 하나의 블록과 하나의 대역 내에서의 에너지들 간의 비율이다.
일반적으로, 레벨 파라미터는, 오리지날 채널들의 에너지(Eorig)와 다운믹스 채널(들)의 에너지의 합의 비율로서 계산되며, 여기에서 이 다운믹스 채널(들)은 파라미터 다운믹스(EPD) 또는 마스터 다운믹스(EMD) 또는 다른 어떤 다운믹스 신호일 수 있다. 전형적으로, 특정 다운믹스 신호의 에너지가 이용되며, 이는 인코더에서 디코더로 전송된다.
도 9b는 레벨 파라미터 사용에 대한 디코더측 구현을 나타낸다. 다운믹스 신호뿐만 아니라 레벨 파라미터도 레벨 교정기 블록(902)로 입력된다. 레벨 교정기는 레벨 파라미터에 따라, 싱글-베이스 채널 또는 다수-베이스 채널을 교정한다. 추가적인 파라미터 rM이 상대적인 값이기 때문에, 이 상대적인 값은 대응하는 베이스 채널의 에너지로 곱해진다.
도 9a 및 9b가, 레벨 교정이 다운믹스 채널 또는 다운믹스 채널들에 적용되는 경우를 나타내지만, 레벨 파라미터도 또한 업믹싱 행렬로 통합될 수 있다. 이를 위해, 도 8의 식에서 M의 각 오커런스(occurrence)가 항 "rM M"에 의해 대체될 수 있다.
2 채널로부터 5.1 채널을 재생성하는 경우를 살펴보면, 다음의 결과가 얻어진다.
만약 본 발명이 도 2의 도면부호(205 및 302)에서 설명된 기초적인 오디오 코덱과 함께 이용되었다면, 몇 가지 더 고려 사항이 있을 필요가 있다. 상기에서 정의된 바와 같은 IID 파라미터를 살펴보면, r1 이 다음과 같이 정의될 수 있고,
전송된 2 채널이 서라운드 채널의 스테레오 다운믹스라면, 시스템이 2채널로부터 5.1 채널을 재생성하는 것이기 때문에, 이 파라미터는 기본적으로 디코터측에서 이용될 수 있다.
그러나, 비트율 제약 하에서 동작하는 오디오 코덱은, 스펙트럼 분포를 수정하여, 디코더에서 측정된 L 및 R 에너지가 인코더측에서의 에너지 값과 다르게 될 수 있다. 본 발명에 따르면, 재생성된 채널의 에너지 분포에 대한 그러한 영향은 다음의 파라미터를 전송함으로써 없앨 수 있고,
또한, 2채널로부터 5.1 채널의 복원의 경우에도 그러하다.
시그널링 수단이 구비된다면, 인코더는, 다른 파라미터 세트들을 이용하여 현재 신호 세그먼트를 코딩할 수 있고, 처리되고 있는 특정 신호 세그먼트에 대한 최저 오버헤드를 주는 IID 파라미터 세트를 선택할 수 있다. 좌측 전면과 후면 채널들 간의 에너지 레벨들이 유사할 가능성이 있으며, 전면과 후면 좌측 채널 간의 에너지 레벨들은 유사하지만 그것들은 우측 전면과 후면 채널에서의 에너지 레벨들과는 상당히 다를 가능성이 있다. 파라미터의 델타 코딩 및 후속 엔트로피 코딩이 주어지면, 파라미터 r3 및 r4 대신 파라미터 q3 및 q4를 이용하는 것이 더 효율적일 수 있다. 다른 특징을 가지는 또 다른 신호 세그먼트를 위해, 다른 파라미터 세트가 더낮은 비트레이트 오버헤드를 줄 수 있다. 본 발명은, 신호 세그먼트의 그 특징이 부여된, 현재 인코딩된 신호 세그먼트에 대한 비트율 오버헤드를 최소화하기 위해, 다른 파라미터 데이터 구조들 간에 자유롭게 스위칭할 수 있게 한다. 가능한 최저 비트율 오버헤드를 얻기 위해 IID 파라미터의 다른 파라미터화 간에 스위칭하는 능력과, 어떤 파라미터화가 현재 사용되었는지를 표시하는 시그널링 수단을 제공하는 능력은, 본 발명의 필수적인 특징이다.
더욱이, 파라미터들의 델타 코딩은 주파수 방향과 시간 방향 모두 수행될 수 있고, 다른 파라미터들 간의 델타 코딩도 마찬가지이다. 본 발명에 따르면, 사용된 특정 델타 코딩을 표시하는 시그널링 수단이 제공되면, 파라미터는, 어느 다른 파라미터에 관해서도, 델타 코딩될 수 있다.
애니(any) 코딩 구성에 대한 흥미로운 특징은 확장가능한 코딩을 수행하는 능력이다. 이는 코딩된 비트스트림이 여러 개의 다른 층으로 나뉘어 질 수 있다는 것을 의미한다. 코어 층은 자체적으로 디코딩될 수 있으며, 상위 층들은 디코딩된 코어 층 신호를 강화하도록 디코딩될 수 있다. 다른 환경에 대해서 이용가능한 층의 수는 변할 수 있지만, 코어 층이 이용가능 하는 한, 디코더는 출력 샘플을 산출할 수 있다. r1 내지 r5 파라미터를 이용하는 상술한 멀티채널 코딩에 대한 파라미터화는, 확장가능한 코딩에 아주 적합하다. 그러므로, 데이터, 예를 들어 2 서라운드 채널(A 및 E)에 대한 데이터를 강화 층에 저장하는 것이 가능하다. 즉, 파라미터 r3 및 r4, 그리고 파라미터 r1 및 r2으로 나타낸 전면 채널에 해당하는 파라미터들을 코어 층에 저장할 수 있다.
도 10에서, 본 발명에 따른 확장가능한 비트스트림 구현이 설명된다. 비트스트림 층들은 도면부호(1001 및 1002)로 표시되며, 도면부호(1001)은 파형(wave-form) 코딩된 다운믹스 신호들 및 전면 채널들(102, 103 및 104)를 재생성하는 데 필요한 파라미터 r1과 r2를 가지고 있는 코어 층이다. 도면부호 (1002)에 의해 나타 낸 강화 층은 후면 채널들(101 및 105)를 재생성하기 위한 파라미터들을 가지고 있다.
본 발명의 또 다른 중요한 측면은 멀티채널 구성에서의 디콜리레이터(decorrelator)의 사용이다. 디콜리레이터를 사용하는 컨셉은 국제출원 PCT/SE02/01372에서 하나의 채널에서 2 채널의 경우에 대하여 상세하게 설명되었다. 그러나, 그러한 이론을 2개의 이상의 채널에 확대하여 적용할 경우에 여러가지 문제가 발생하며, 그들은 본 발명에 의해 해결된다.
기초수학은 N 신호로부터 상호 디콜리레이트된 신호 M에 도달하기 위해서, M-N 디콜리레이터가 요구되며, 여기서 모든 다른 디콜리레이터는 공동 입력 신호로부터 상호 직교하는 출력신호를 생성하는 함수라는 것을 보여준다. 디콜리레이터는, 주어진 입력 x(t)가 E[|y|2]=E[|x|2]을 가지는 출력 y(t)와 거의 소멸되는 상호상관 E[yx*]를 산출하는, 전형적으로 올패스(allpass) 또는 니어(near) 올패스 필터이다. 보다 더 지각적인 기준(perceptual criteria)이 양호한 디콜리레이터의 디자인에 도입되고, 디자인 방법의 몇몇 예들은, 오리지날 신호를 무상관 신호에 더해질 때, 콤필터(comb-filter) 특성을 또한 최소화하고, 과도신호에서 때때로 너무 긴 임펄스 응답의 효과를 최소할 수 있도록 된다. 몇가지 종래기술의 디콜리레이터는 디콜리레이트를 위해 인위적인 잔향기(reverberator)를 이용한다. 종래기술은 또한, 예를 들어 복합 서브밴드 샘플의 위상을 수정함으로써 더 높은 에코 밀도를 얻고 그러므로써 더 많은 시간 확산을 얻는, 분수지연(fractional delay)을 포함한 다.
본 발명은, 공동 입력 신호로부터 상호 디콜리레이트된 출력 신호들을 생성하는 다중 디콜리레이터를 얻기 위해, 디콜리레이터에 기반을 둔 잔향을 수정하는 방법을 제안한다. 2개의 디콜리레이터는, 만약 그들의 출력 y1(t) 및 y2(t)가, 동일 입력이 주어진, 소멸된 또는 거의 소멸된 상호상관을 갖는다면, 상호 디콜리레이트된다. 입력이 정상 백색 잡음(stationary white noise)이라고 가정하면, E[h1h2 *]가 소멸하거나 거의 소멸한다는 의미에서, 임펄스 응답 h1 및 h2는 직교하여야 한다. 페어와이즈(pair wise) 상호 디콜리레이트된 디콜리레이터 세트는, 여러가지 방식으로 구성될 수 있다. 그러한 수정을 수행하는 효율적인 방식은, 분수지연의 일부인 위상 회전 팩터 q를 변경하는 것이다.
본 발명은 위상 회전 팩터들이 올패스 필터에서의 지연 라인의 일부 또는 전체 분수 지연일 수 있다는 것을 규정한다. 후자의 경우 이러한 방법은 올패스 필터 또는 필터와 같은 잔향에 한정되지 않을 뿐만 아니라, 예를 들어 분수 지연 부분을 포함하는 단순한 지연에도 적용될 수 있다. 디콜리레이터에서의 올패스 필터 링크는 다음과 같이 Z-도메인에서 나타낼 수 있다:
여기서, q는 복소값(complex valued) 위상 회전 팩터 (|q|=1)이고, m은 샘플 에서의 지연 라인 길이이며, a는 필터 계수이다. 안전성을 위해, 필터 계수의 매그니튜드(magnitude)는 |a| < 1로 제한되어야 한다. 그러나, 대안적인 필터 계수 a'=-a를 사용함으로써, 새로운 잔향기가 동일한 잔향 감퇴 특성을 갖지만 수정되지 않은 잔향기로부터 출력과는 상당히 무관한 출력을 가지는 것으로 정의될 수 있다. 더욱이, 위상 회전 팩터 q의 수정은, 예를 들어 상수 위상 오프셋 q'=qejc을 추가함으로써 수행될 수 있다. 상수 C는, 상수 위상 오프셋으로서 이용될 수 있거나, 또는 그것이 적용된 모든 주파수 대역에 대한 상수 시간 오프셋에 대응되는 방식으로 비율적으로 정해질 수 있다. 위상 오프셋 상수 C는 또한 모든 주파수 대역에 대해서 다른, 랜덤 값일 수 있다.
본 발명에 따르면, m 채널로부터 n채널의 발생은 사이즈 n ×(m + p)의 업믹스 행렬 H을 신호들의 사이즈 (m + p)×1의 컬럼 벡터에 적용함으로써 수행된다.
여기서, m은 m 다운믹스되고 코딩된 신호들이고, s 에서의 p신호들은 둘 다 상호 디콜리레이트되고 m에서의 모든 신호로부터 디콜리레이트된다. 이들 디콜리레이터된 신호는, 디콜리레이터에 의해 m에서의 신호들로부터 산출된다. n 복원된 신호들 a',b',...는 이어 컬럼 벡터에 포함된다.
x' = Hy
상술한 내용은 도 11에 의해 도시되며, 여기서 디콜리레이트된 신호들은 디 콜리레이터(1102, 1103 및 1104)에 의해 생성된다. 업믹스 행렬 H는 도면부호(1101)이며, 이는 벡터 y에 출력 신호 x'를 부여하도록 동작한다.
R=E[xx*]를 오리지날 신호 벡터의 상관 행렬이라 하고, R=E[x'x'*]를 복원된 신호의 상관 행렬이라 하자. 이하에서, 복소수 엔트리(complex entry)를 가지는 행렬 또는 벡터 X에 대해, X* 는 X의 공액 복소수 전치(complex conjugate transpose)인, 수반행렬(adjoint matrix)을 나타낸다.
R의 대각은 에너지 값들 A,B,C,...를 포함하고, 위에서 정의된 에너지 쿼터(quota)들로부터 전체 에너지 레벨까지 디코딩될 수 있다. R*=R이기 때문에, 업믹스 행렬 H를 조정함으로써 완전히 또는 부분적으로 복원되는 정보를 포함하는, 단지 n(n-1)/2 다른 대각 상호상관 값이 있다. 완전 상관 구조의 복원은 R'=R경우에 해당한다. 정확한 에너지 레벨의 복원은 오직 R'과 R이 그들의 대각에서 같을 경우에만 해당한다.
n 채널루부터 m=1채널인 경우, 완전 상관 구성의 복원은, 다음 조건을 만족시키는 업믹스 행렬 H에서, p=n-1 상호 디콜리레이트된 디콜리레이터를 이용함으로써 달성된다.
여기서, M은 싱글 전송된 신호의 에너지이다. R이 양반정치(positive semidefinite)이기 때문에, 그 해답이 존재한다는 것은 잘 알려져 있다. 더욱이, n(n-1)/2 자유도는 H의 디자인에 대한 나머지이며, 이는 본 발명에서 업믹스 행렬 의 보다 더 바람직한 특헝들을 얻기 위해 이용된다. 중앙 설계 기준은 전송된 상관 데이터에 대한 H의 의존성이 평활해질 것이라는 것이다.
업믹스 행렬을 파라미터화하는 하나의 편리한 방식은, H=UDV이며, 여기서, U 및 V는 직교행렬이고 D는 대각행렬이다. D의 절대값의 제곱은 R/M의 고유값(eigenvalue)와 같게 선택될 수 있다. 가장 큰 값이 제1좌표에 적용되도록 V를 생략하고 고유값들을 정렬하는 것은, 출력에서의 디콜리레이트된 신호의 전체 에너지를 최소화시킬 것이다. 직교행렬 U는 n(n-1)/2 회전 각에 의해 파라미터화된 실제 경우이다. 이들 각 형태의 상관 데이터 및 D의 n 대각값들 전송하는 것은 바람직한 평활한 H의 의존성을 즉시 제공할 것이다. 그러나, 에너지 데이터가 고유값으로 변환되어야 하기 때문에, 이러한 접근은 확장성을 희생한다.
본 발명이 교시하는 두 번째 방법은, R= GR 0 G에 의해 일반화된 상관행렬 R 0 를 정의함으로써 R에서 상관 부분으로부터 에너지 부분을 분리하는 것을 포함하며, 여기서, G는 R의 대각 엔트리의 제곱근, 즉 
...과 동일한 대각 값을 가지는 대각행렬이며, R 0 는 대각방향에 하나를 가진다. H 0 을 대입하면, 동일한 에너지의 전체적으로 무상관적인 신호의 경우에서, 바람직하게 일반화된 업믹스를 정의하는 직교 업믹스 행렬이다. 그러한 바람직한 업믹스 행렬의 예는 다음과 같다.
업믹스는 이어 
에 의해 정의되고, 여기서 행렬 S는 SS*=R 0 를 해결한다. R 0 에서의 일반화된 상호상관에 이러한 해답의 의존은 연속적이도록 선택되어서 S가 R 0 =I인 경우에 항등행렬(idenity matrix) I와 같다.
n채널을 더 적은 채널 그룹으로 나누는 것은, 부분적이 상호상관 구조를 복원하는 편리한 방식이다. 본 발명에 따르면, 1채널로부터 5.1 채널의 경우에 대한 특히 유리한 그룹핑은 {a,e},{c},{b,d},{f}이며, 그룹 {c},{f}에 대해 디콜리레이션은 적용되지 않고, 그룹 {a,e},{b,d}이 동일한 다운믹스된/디콜리레이트된 쌍의 업믹스에 의해 산출된다. 이들 2개의 서브시스템(subsystem)에 대해, 전체적으로 무상관적인 경우에서의 바람직하게 일반화된 업믹스가 다음과 같이 각각 선택된다.
따라서, 단지 2개의 총 15의 상호상관, 즉 채널 {a,e} 및 {b,d} 간의 상호상관만이 전송되고 복원될 것이다. 위에서 사용된 용어에서, 이는 n=6, m=1, 및 p=1의 경우에 대한 디자인의 예이다. 업믹스 행렬 H는, 출력 c'및 f' 에 대응하는, 제2 컬럼 3행 및 6행에서의 2개 엔트리에 제로스(zeros)를 가지는 사이즈 6×2이다.
디콜리레이트된 신호들을 통합하기 위한 본 발명이 교시하는 세 번째 접근은, 각 출력 채널이, 디콜리레이트된 신호들 sa, sb,...을 발생시키는 다른 디콜리레이터를 가진다는 단순한 관점이다. 복원된 신호들은 이어 다음과 같이 형성된다.
파라미터 
…는 출력 채널 a',b',...에 존재하는 디콜리레이트된 신호의 양을 제어한다. 상관 데이터는 이들 각(angle) 형태로 전송된다. 이를테면 a' 및 b' 간의 얻어진 일반화된 상호상관이 산물 
과 동일하다는 것을 계산하는 것은 용이하다. 페어와이즈 상호상관의 수가 n(n-1)/2이고, n 디콜리레이터가 있으므로, 만약 n > 3이면, 일반적으로 이러한 접근으로는, 주어진 상관 구조를 매취(match)시키는 것은 가능하지 않을 것이지만, 그러나 장점은 매우 단순하고 안정적인 디코딩 방법과, 산출된 각 출력 채널에 존재하는 디콜리레이트된 신호의 양에 대한 직접적인 제어이다. 이는 디콜리레이트된 신호들의 혼합이, 예를 들어 채널 쌍의 에너지 레벨 차를 통합하는, 지각 기준(perceptual criteria)의 기반될 수 있도록 한다.
m > 1 채널로부터 n 채널의 경우, 상관행렬 R y = E[yy*]는 더 이상 대각이라고 추정되지 않으며, 이는 목표 R에 대한 R' = HR y H*의 매칭에서 고려되어야 한다. R y 이 다음과 같은 블록 행렬 구조를 갖기 때문에, 단순화가 발생한다.
여기서, R m = E[mm*]이고, R s = E[ss*]이다. 더욱이, 상호 디콜리레이트된 디콜리레이터를 가정하면, 행렬 R s 는 대각이다. 이는 또한 정확한 에너지의 복원과 관련하여 업믹스 디자인에 영향을 준다는 것을 주의한다. 해답은, 다운믹스된 신호의 상관 구조 R m 을, 디코더에서 계산하거나, 인코더로부터 전송하는 것이다.
2채널로부터 5.1 채널의 경우에 대해서, 업믹스에 대한 바람직한 방법은 다음과 같다.
여기서, s1은 m1 = ld의 디콜리레이션으로부터 얻어지고, s2는 m2 =rld의 디콜리레이션으로부터 얻어진다.
여기서 그룹 {a,b} 및 {d,e}는, 페어와이즈 상호상관을 고려하는, 분리된 1 → 2채널 시스템으로 취급된다. 채널 c 및 f에 대해 , 가중치가 다음과 같이 되도록 조정된다.
본 발명은, 다양한 종류의 시스템을 위해, 임의의 코덱들을 이용하여 아나로그 또는 디지털 신호의 저장 또는 전송을 위해, 하드웨어칩 및 DSP(들)에서 모두 구현될 수 있다. 도 2 및 도 3은 본 발명의 가능한 구현을 나타낸다. 이 예에서, 6개의 입력 채널(5.1 채널 구성)에서 동작하는 시스템이 도시되었다. 도 2에서 인코더측은 분리된 채널들에 대한 아나로그 입력 신호가 디지털 신호로 변환되고(201), 각 채널에 대한 필터뱅크를 이용하여 분석된다(202). 필터뱅크로부터의 출력은, 서라운드 인코더(203)으로 제공되며, 서라운드 인코더(203)는 1 또는 2 채널을 생성하는 다운믹스를 수행하는 파라미터 발생기를 포함하고, 그 채널들은 인코더(205)의 의해 인코딩된다. 더욱이, IID와 ICC와 같은 서라운드 파라미터들은 본 발명에 따라 추출되며, 데이터의 시간 주파수 그리드(grid)와 어느 파라미터화가 사용되었는지를 나타내는 제어 데이터가 본 발명에 따라 추출된다(204). 추출된 파라미터들은, 본 발명이 교시하는 바와 같이, 인코딩되어(206), 다른 파라미터화 간을 스위칭하거나, 확장가능한 형태로 파라미터들을 배열한다. 서라운드 파라미터(207), 제어 신호 및 인코딩된 다운믹스 신호(208)는 직렬 비트스트림으로 멀리플렉싱된다(209).
도 3에서, 전형적인 디코더 구현, 즉 멀티채널 복원을 발생하는 장치가 도시된다. 여기서, 오디오 디코더가 주파수 도메인 표현의 신호, 예를 들어 QMF 합성 필터뱅크 이전의 MPEG-4 고효율 AAC 디코더로부터의 출력을 출력한다고 가정한다. MPEG-4 고효율 AAC 디코더의 예에서, 직렬 비트스트림은 디멀티티플렉싱(301: de-multiplexed)되고, 인코딩된 서라운드 데이터는 서라운드 데이터 디코더(303)으로 제공되며, 다운믹스된 인코딩된 채널들은 오디오 디코더(302)로 제공된다. 서라운드 데이터 디코더는 서라운드 데이터를 디코딩하고 그것을 서라운드 디코더(305)로 제공하며, 이는 디코딩된 다운믹스 채널과 서라운드 데이터 그리고 제어 신호에 근거하여 6채널을 재생성하는 업믹서를 포함한다. 서라운드 디코더로부터 출력된 주파수 도메인은 시간 도메인으로 합성되며(306), 이는 계속하여 DAC(307)에 의해 아나로그 신호로 변환된다.
본 발명이 주로 밸런스 파라미터의 발생과 사용과 관련하여 설명되었지만, 바람직하게는 밸런스 파라미터를 파생하는 채널 쌍의 동일한 그룹핑이 또한 이들 두 채널들 간의 인터채널 가간섭성 파라미터 또는 "폭" 파라미터를 계산하는데 이용된다는 것을 강조하는 바이다. 그에 더해, 인터채널 시간 차 또는 일종의 "위상 큐(cue)"들이 또한 밸런스 파라미터 계산에 이용된 동일한 채널 쌍들을 이용하여 파생될 수 있다. 수신기측에서, 이들 파라미가, 멀티채널 복원을 발생하는 밸런스 파라미터에, 추가적으로 또는 대안적으로 이용될 수 있다. 대안적으로, 인터채널 가간섭성 파라미터 또는 인터채널 시간 차 조차도 다른 참조 채널에 의해 결정된 다른 인터채널 레벨 차에 추가적으로 사용될 수 있다. 도 10a 및 도 10b와 관련하여 논의된 바와 같이, 본 발명의 확장성 특성의 관점에서는, 그러나 모든 파라미터에 대해 동일한 채널 쌍을 이용하는 것이 바람직하며, 그러므로써 확장가능한 비트스트림에서, 각 스케일링 층이 출력 채널의 서브-그룹을 복원하는 모든 파라미터를 포함하고, 이는, 도 10b의 표에서 끝에서 두번째 컬럼에서 설명된 바와 같이, 각각의 스케일링 층에 의해 발생될 수 있다. 본 발명은, 단지 각각의 채널 쌍 간의 가 간섭성 파라미터 또는 시간 차 파라미터가 계산되고, 디코더로 전송될 경우에 유용하다. 이 경우, 레벨 파라미터들은 멀티채널 복원이 수행될 경우의 사용을 위해, 디코더에 이미 존재하고 있다.
본 발명의 어느 구현 필요에 따라, 본 발명의 방법은 하드웨어 또는 소프트웨어에 서 구현될 수 잇다. 구현은 디지털 저장 매체, 특히 프로그래밍이 가능한 컴퓨터 시스템과 함께 동작하여 본 발명의 방법이 수행되도록 하는, 전자적으로 판독가능한 제어 신호를 저장하고 있는 디스크 또는 CD를 이용하여 수행될 수 있다. 따라서 일반적으로, 본 발명은 기계판독형 캐리어에 저장된 컴퓨터 코드를 가지는 컴퓨터 프로그램 제품이며, 그 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 구동될 때 본 발명의 방법을 수행하도록 동작하는 것이다. 따라서 다시 말해서, 본 발명의 방법은 컴퓨터에서 구동될 때 적어도 하나의 본 발명의 방법을 수행하는 프로그램 코드를 가지는 컴퓨터 프로그램이다.
여러 개의 오리지날 채널의 가지는 멀티 채널 신호의 파라미터 데이터 구조는, 파라미터 세트를 포함하고, 그는 적어도 하나의 다운믹스 채널과 함께 이용될 때 멀티채널 복원이 이루어지도록 한다. 추가적인 레벨 파라미터 (rM)는, 레벨 파라미터에 의해 가중된 적어도 하나의 다운믹스 채널이 오리지날 채널들의 에너지 합과 같도록 계산된다. 추가적인 레벨 파라미터는 파라미터 세트 또는 다운믹스 채널과 함께 멀티 채널 복원기로 전송된다. 멀티채널 표현을 발생하는 장치는, 다운믹스 신호를 업믹서 또는 업믹서 프로세스 내로 입력시키기 전에, 적어도 하나의 전송된 다운믹스 채널의 에너지를 교정하는(902) 레벨 파라미터를 이용한다. 본 발명은 멀티채널 표현에 대한 적합한 파라미터를 정의하는 효율적인 방식을 제공하고, 또한 모든 채널을 디코딩할 필요없이 소망하는 채널 구성을 표현하는 파라미터를 추출하는 능력을 제공한다. 본 발명은 또한, 주어진 신호 세그먼트에 대한 공간 파라미터를 코딩하는데 요구되는 비트 율을 최소화하기 위해서, 주어진 신호 세그먼트에 대해 최적의 파라미터 구성을 선택하는 문제를 해결한다. 본 발명은 또한, 이전에는 단지 2개 채널의 경우에만 적용할 수 있던, 디콜리레이션(decorrelation) 방법을 일반적인 멀티채널 환경에 적용하는 방법을 제공한다.
Claims (13)
- 여러 개의 오리지날 채널을 가지는 멀티채널의 파라미터 데이터 구조 내에서 레벨 파라미터를 발생하는 장치로서, 상기 파라미터 데이터 구조는, 파라미터 세트를 포함하며 적어도 하나의 다운믹스 채널과 함께 사용될 때 멀티채널 복원이 이루어지도록 하며, 상기 장치는:레벨 파라미터(rM)를 계산하는 레벨 파라미터 계산기(900)로서, 상기 레벨 파라미터가 그 레벨 파라미터에 의해 가중된 적어도 하나의 다운믹스 채널의 에너지가 오리지날 채널들의 에너지의 합과 같도록 계산되는, 레벨 파라미터 계산기(900); 및상기 레벨 파라미터와 상기 파라미터 세트 또는 상기 레벨 파라미터와 상기 적어도 하나의 다운믹스 채널을 포함하는 출력 데이터를 발생하는 출력 인터페이스를 포함하는, 레벨 파라미터를 발생하는 장치.
- 제 1항에 있어서, 상기 레벨 파라미터 계산기(900)는,상기 레벨 파라미터로서, 상기 오리지날 채널들의 에너지와 상기 적어도 하나의 다운믹스 채널의 에너지의 합 간의 비율의 측도를 계산하도록 동작하는, 레벨 파라미터를 발생하는 장치.
- 제 1항에 있어서,상기 파라미터 데이터 구조는, 상기 적어도 하나의 다운믹스 채널의 다수개의 주파수 대역 중의 각각에 대한 파라미터 세트를 포함하고,상기 파라미터 계산기(900)는 상기 주파수 대역들의 각각에 대한 레벨 파라미터를 계산하도록 동작하는, 레벨 파라미터를 발생하는 장치.
- 제 1항에 있어서,상기 파라미터 데이터 구조는 상기 적어도 하나의 다운믹스 채널의 일련의 시간주기들에서의 시간주기에 대한 파라미터 세트를 포함하고,상기 레벨 파라미터 계산기는 상기 적어도 하나의 다운믹스 채널의 일련의 시간주기들에서의 각 시간주기에 레벨 파라미터를 계산하도록 동작하는, 레벨 파라미터를 발생하는 장치.
- 제 1항에 있어서,상기 출력 인터페이스는, 확장가능한 데이터 스트림을 발생하도록 동작하고,상기 데이터 스트림은, 하위 스케일링 층에, 출력 채널들의 제1 서브그룹의 복원을 가능하게 하는, 상기 파라미터 세트의 제 1서브 그룹 파라미터들을 포함하고, 또한 상기 데이터 스트림은, 상위 스케일링 층에, 상기 제1 서브그룹과 함께 출력 채널들의 제2 서브그룹의 복원을 가능하게 하는, 상기 파라미터 세트의 제2 서브그룹 파라미터들을 포함하며,상기 출력 인터페이스는 상기 레벨 파라미터를 상기 하위 스케일링 층으로 입력하도록 동작하는, 레벨 파라미터를 발생하는 장치.
- 제 1항에 있어서,제1 밸런스 파라미터로서 좌측/우측 밸런스 파라미터를, 제2 밸런스 파라미터로서 중앙 밸런스 파라미터를, 제3 밸런스 파라미터로서 전면/후면 밸런스 파라미터를, 제4 밸런스 파라미터로서 후면-좌측/우측 밸런스 파라미터를, 제5 밸런스 파라미터로서 저주파수 강화 밸런스 파라미터를 발생하도록 형성된 파라미터 발생기를 더 포함하는, 레벨 파라미터 발생하는 장치.
- 적어도 하나의 다운믹스 채널과 함께 사용될 때 멀티채널 복원을 이루어지도록 하는, 파라미터 세트를 가지는 파라미터 데이터 구조를 이용하여, 적어도 3개의 오리지날 채널을 가지는 오리지날 멀티채널 신호의 복원된 멀티채널 표현을 발생하는 장치로서, 상기 파라미터 데이터 구조는 레벨 파라미터를 포함하고, 상기 레벨 파라미터는 그 레벨 파라미터에 의해 가중된 적어도 하나의 다운믹스 채널의 에너지가 오리지날 채널들의 에너지의 합과 같도록 계산되며, 상기 장치는:상기 레벨 파라미터를 이용하여 상기 적어도 하나의 다운믹스 채널의 레벨 교정을 적용함으로써, 상기 파라미터 세트의 파라미터들을 이용하는 업믹싱에 의한, 교정된 멀티채널 복원이 얻어지도록 하는, 레벨 교정기(902)를 포함하는, 멀티채널 표현을 발생하는 장치.
- 제 7항에 있어서,상기 레벨 파라미터는 채널들의 에너지 간의 비율이고, 상기 레벨 교정기(902)는 상기 레벨 파라미터를 이용하여 상기 적어도 하나의 다운믹스 채널을 가중하도록 동작하는, 멀티채널 표현을 발생하는 장치.
- 여러 개의 오리지날 채널을 가지는 멀티채널의 파라미터 데이터 구조 내에서 레벨 파라미터를 발생하는 방법으로서, 상기 파라미터 데이터 구조는, 파라미터 세트를 포함하며 적어도 하나의 다운믹스 채널과 함께 사용될 때 멀티채널 복원이 이루어지도록 하며, 상기 방법은:레벨 파라미터(rM)를 계산하는 단계(900)로서, 상기 레벨 파라미터가 그 레벨 파라미터에 의해 가중된 적어도 하나의 다운믹스 채널의 에너지가 오리지날 채널들의 에너지의 합과 같도록 계산되는, 레벨 파라미터(rM)를 계산하는 단계(900); 및상기 레벨 파라미터와 상기 파라미터 세트 또는 상기 레벨 파라미터와 상기 적어도 하나의 다운믹스 채널을 포함하는 출력 데이터를 발생하는, 출력 데이터를 발생하는 단계를 포함하는, 레벨 파라미터를 발생하는 방법.
- 적어도 하나의 다운믹스 채널과 함께 사용될 때 멀티채널 복원을 이루어지도록 하는, 파라미터 세트를 가지는 파라미터 데이터 구조를 이용하여, 적어도 3개의 오리지날 채널을 가지는 오리지날 멀티채널 신호의 복원된 멀티채널 표현을 발생하는 방법으로서, 상기 파라미터 데이터 구조는 레벨 파라미터를 포함하고, 상기 레벨 파라미터는 그 레벨 파라미터에 의해 가중된 적어도 하나의 다운믹스 채널의 에너지가 오리지날 채널들의 에너지의 합과 같도록 계산되며, 상기 방법은:상기 레벨 파라미터를 이용하여 상기 적어도 하나의 다운믹스 채널의 레벨 교정을 적용함으로써, 상기 파라미터 세트의 파라미터들을 이용하는 업믹싱에 의한, 교정된 멀티채널 복원이 얻어지도록 하는, 레벨 교정을 적용하는 단계(902)를 포함하는, 멀티채널 표현을 발생하는 방법.
- 컴퓨터에서 구동될 때, 상기 청구항 9 또는 청구항 10에 따른 방법을 수행하는, 기계판독형 지시들을 가지는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능한 저장매체.
- 파라미터 데이터 구조가 저장된 컴퓨터 판독가능한 저장매체에 있어서,파라미터 세트를 가지며, 적어도 하나의 다운믹스 채널과 함께 사용될 때 멀티채널 복원을 이루어지도록 하며, 레벨 파라미터를 포함하며, 상기 레벨 파라미터는 그 레벨 파라미터에 의해 가중된 적어도 하나의 다운믹스 채널의 에너지가 오리지날 채널들의 에너지의 합과 같도록 계산되는 것인, 파라미터 데이터 구조가 저장된 컴퓨터 판독가능한 저장매체.
- 상기 청구항 7에 따른 장치에 입력될 때, 멀티채널 복원을 제어하는 상기 청구항12에 따른 파라미터 데이터 구조가 저장된 컴퓨터 판독가능한 저장매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE0400998A SE0400998D0 (sv) | 2004-04-16 | 2004-04-16 | Method for representing multi-channel audio signals |
| SE0400998-1 | 2004-04-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070001162A KR20070001162A (ko) | 2007-01-03 |
| KR100848367B1 true KR100848367B1 (ko) | 2008-07-24 |
Family
ID=32294334
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020067017536A KR100848367B1 (ko) | 2004-04-16 | 2005-04-12 | 레벨 파라미터를 발생하는 장치 및 방법 그리고 멀티채널표현을 발생하는 장치 및 방법 |
| KR1020067021198A KR100848365B1 (ko) | 2004-04-16 | 2005-04-12 | 멀티채널 오디오 신호를 표현하는 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020067021198A KR100848365B1 (ko) | 2004-04-16 | 2005-04-12 | 멀티채널 오디오 신호를 표현하는 방법 |
Country Status (13)
| Country | Link |
|---|---|
| US (24) | US8223976B2 (ko) |
| EP (2) | EP1695338B1 (ko) |
| JP (4) | JP4589962B2 (ko) |
| KR (2) | KR100848367B1 (ko) |
| CN (4) | CN102157155B (ko) |
| AT (2) | ATE373301T1 (ko) |
| DE (2) | DE602005002942T2 (ko) |
| ES (2) | ES2293578T3 (ko) |
| HK (3) | HK1093594A1 (ko) |
| PL (2) | PL1695338T3 (ko) |
| SE (1) | SE0400998D0 (ko) |
| TW (1) | TWI334736B (ko) |
| WO (2) | WO2005101371A1 (ko) |
Families Citing this family (158)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002050782A2 (en) * | 2000-12-19 | 2002-06-27 | Azoteq (Pty) Ltd | Method of and apparatus for transferring data |
| SE0400998D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| KR101205480B1 (ko) * | 2004-07-14 | 2012-11-28 | 돌비 인터네셔널 에이비 | 오디오 채널 변환 |
| TWI393120B (zh) * | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 用於音訊信號編碼及解碼之方法和系統、音訊信號編碼器、音訊信號解碼器、攜帶有位元流之電腦可讀取媒體、及儲存於電腦可讀取媒體上的電腦程式 |
| SE0402649D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
| SE0402650D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
| US7787631B2 (en) * | 2004-11-30 | 2010-08-31 | Agere Systems Inc. | Parametric coding of spatial audio with cues based on transmitted channels |
| EP1691348A1 (en) * | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
| EP1866911B1 (en) * | 2005-03-30 | 2010-06-09 | Koninklijke Philips Electronics N.V. | Scalable multi-channel audio coding |
| US7840411B2 (en) * | 2005-03-30 | 2010-11-23 | Koninklijke Philips Electronics N.V. | Audio encoding and decoding |
| EP1866912B1 (en) * | 2005-03-30 | 2010-07-07 | Koninklijke Philips Electronics N.V. | Multi-channel audio coding |
| US7961890B2 (en) | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
| JP4988716B2 (ja) | 2005-05-26 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号のデコーディング方法及び装置 |
| US8917874B2 (en) | 2005-05-26 | 2014-12-23 | Lg Electronics Inc. | Method and apparatus for decoding an audio signal |
| US8270439B2 (en) * | 2005-07-08 | 2012-09-18 | Activevideo Networks, Inc. | Video game system using pre-encoded digital audio mixing |
| US8626503B2 (en) * | 2005-07-14 | 2014-01-07 | Erik Gosuinus Petrus Schuijers | Audio encoding and decoding |
| US8074248B2 (en) | 2005-07-26 | 2011-12-06 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
| CN101253556B (zh) * | 2005-09-02 | 2011-06-22 | 松下电器产业株式会社 | 能量整形装置以及能量整形方法 |
| US20080262853A1 (en) | 2005-10-20 | 2008-10-23 | Lg Electronics, Inc. | Method for Encoding and Decoding Multi-Channel Audio Signal and Apparatus Thereof |
| US7929709B2 (en) * | 2005-12-28 | 2011-04-19 | Yamaha Corporation | Sound image localization apparatus |
| KR101218776B1 (ko) * | 2006-01-11 | 2013-01-18 | 삼성전자주식회사 | 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 |
| KR100803212B1 (ko) | 2006-01-11 | 2008-02-14 | 삼성전자주식회사 | 스케일러블 채널 복호화 방법 및 장치 |
| JP4806031B2 (ja) | 2006-01-19 | 2011-11-02 | エルジー エレクトロニクス インコーポレイティド | メディア信号の処理方法及び装置 |
| CN101410891A (zh) | 2006-02-03 | 2009-04-15 | 韩国电子通信研究院 | 使用空间线索控制多目标或多声道音频信号的渲染的方法和装置 |
| KR100983286B1 (ko) | 2006-02-07 | 2010-09-24 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
| KR100773560B1 (ko) | 2006-03-06 | 2007-11-05 | 삼성전자주식회사 | 스테레오 신호 생성 방법 및 장치 |
| KR100773562B1 (ko) * | 2006-03-06 | 2007-11-07 | 삼성전자주식회사 | 스테레오 신호 생성 방법 및 장치 |
| PL1994526T3 (pl) * | 2006-03-13 | 2010-03-31 | France Telecom | Połączona synteza i uprzestrzennienie dźwięków |
| US8370138B2 (en) * | 2006-03-17 | 2013-02-05 | Panasonic Corporation | Scalable encoding device and scalable encoding method including quality improvement of a decoded signal |
| US7965848B2 (en) * | 2006-03-29 | 2011-06-21 | Dolby International Ab | Reduced number of channels decoding |
| US8619998B2 (en) * | 2006-08-07 | 2013-12-31 | Creative Technology Ltd | Spatial audio enhancement processing method and apparatus |
| CN102394063B (zh) * | 2006-07-04 | 2013-03-20 | 韩国电子通信研究院 | 运动图像专家组环绕解码器和恢复多通道音频信号的方法 |
| ES2396072T3 (es) | 2006-07-07 | 2013-02-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato para combinar múltiples fuentes de audio paramétricamente codificadas |
| FR2903562A1 (fr) * | 2006-07-07 | 2008-01-11 | France Telecom | Spatialisation binaurale de donnees sonores encodees en compression. |
| KR100763920B1 (ko) | 2006-08-09 | 2007-10-05 | 삼성전자주식회사 | 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2채널의 바이노럴 신호로 복호화하는 방법 및 장치 |
| EP2070392A2 (en) * | 2006-09-14 | 2009-06-17 | Koninklijke Philips Electronics N.V. | Sweet spot manipulation for a multi-channel signal |
| JP4946305B2 (ja) * | 2006-09-22 | 2012-06-06 | ソニー株式会社 | 音響再生システム、音響再生装置および音響再生方法 |
| MX2008012251A (es) | 2006-09-29 | 2008-10-07 | Lg Electronics Inc | Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto. |
| EP2105019A2 (en) * | 2006-09-29 | 2009-09-30 | Avinity Systems B.V. | Method for streaming parallel user sessions, system and computer software |
| WO2008039038A1 (en) | 2006-09-29 | 2008-04-03 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi-object audio signal with various channel |
| ATE539434T1 (de) * | 2006-10-16 | 2012-01-15 | Fraunhofer Ges Forschung | Vorrichtung und verfahren für mehrkanalparameterumwandlung |
| CA2874454C (en) * | 2006-10-16 | 2017-05-02 | Dolby International Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
| EP2102858A4 (en) | 2006-12-07 | 2010-01-20 | Lg Electronics Inc | METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL |
| US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| WO2008088772A2 (en) * | 2007-01-12 | 2008-07-24 | Ictv, Inc. | Mpeg objects and systems and methods for using mpeg objects |
| CN101647060A (zh) * | 2007-02-13 | 2010-02-10 | Lg电子株式会社 | 处理音频信号的方法和装置 |
| JP5161893B2 (ja) * | 2007-03-16 | 2013-03-13 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の処理方法及び装置 |
| US8612237B2 (en) * | 2007-04-04 | 2013-12-17 | Apple Inc. | Method and apparatus for determining audio spatial quality |
| CN103299363B (zh) | 2007-06-08 | 2015-07-08 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
| US8806324B2 (en) * | 2007-08-03 | 2014-08-12 | Sap Ag | Annotation data filtering of computer files |
| US8295494B2 (en) | 2007-08-13 | 2012-10-23 | Lg Electronics Inc. | Enhancing audio with remixing capability |
| KR101464977B1 (ko) * | 2007-10-01 | 2014-11-25 | 삼성전자주식회사 | 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치 |
| GB2467247B (en) * | 2007-10-04 | 2012-02-29 | Creative Tech Ltd | Phase-amplitude 3-D stereo encoder and decoder |
| DE102007048973B4 (de) | 2007-10-12 | 2010-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals mit einer Sprachsignalverarbeitung |
| JPWO2009050896A1 (ja) * | 2007-10-16 | 2011-02-24 | パナソニック株式会社 | ストリーム合成装置、復号装置、方法 |
| KR101505831B1 (ko) * | 2007-10-30 | 2015-03-26 | 삼성전자주식회사 | 멀티 채널 신호의 부호화/복호화 방법 및 장치 |
| EP2215629A1 (en) * | 2007-11-27 | 2010-08-11 | Nokia Corporation | Multichannel audio coding |
| US8204235B2 (en) * | 2007-11-30 | 2012-06-19 | Pioneer Corporation | Center channel positioning apparatus |
| WO2009093866A2 (en) | 2008-01-23 | 2009-07-30 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
| WO2009093867A2 (en) | 2008-01-23 | 2009-07-30 | Lg Electronics Inc. | A method and an apparatus for processing audio signal |
| KR101452722B1 (ko) * | 2008-02-19 | 2014-10-23 | 삼성전자주식회사 | 신호 부호화 및 복호화 방법 및 장치 |
| CN102027535A (zh) * | 2008-04-11 | 2011-04-20 | 诺基亚公司 | 信号处理 |
| KR101381513B1 (ko) | 2008-07-14 | 2014-04-07 | 광운대학교 산학협력단 | 음성/음악 통합 신호의 부호화/복호화 장치 |
| CN102099854B (zh) * | 2008-07-15 | 2012-11-28 | Lg电子株式会社 | 处理音频信号的方法和装置 |
| TWI496479B (zh) | 2008-09-03 | 2015-08-11 | Dolby Lab Licensing Corp | 增進多聲道之再生 |
| EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
| US9330671B2 (en) | 2008-10-10 | 2016-05-03 | Telefonaktiebolaget L M Ericsson (Publ) | Energy conservative multi-channel audio coding |
| DE102008056704B4 (de) * | 2008-11-11 | 2010-11-04 | Institut für Rundfunktechnik GmbH | Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates |
| EP2378515B1 (en) * | 2009-01-13 | 2013-09-25 | Panasonic Corporation | Audio signal decoding device and method of balance adjustment |
| AU2015246158B2 (en) * | 2009-03-17 | 2017-10-26 | Dolby International Ab | Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding. |
| GB2470059A (en) * | 2009-05-08 | 2010-11-10 | Nokia Corp | Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter |
| CN101556799B (zh) * | 2009-05-14 | 2013-08-28 | 华为技术有限公司 | 一种音频解码方法和音频解码器 |
| CN102428512A (zh) * | 2009-06-02 | 2012-04-25 | 松下电器产业株式会社 | 下混装置、编码装置以及其方法 |
| US9393412B2 (en) | 2009-06-17 | 2016-07-19 | Med-El Elektromedizinische Geraete Gmbh | Multi-channel object-oriented audio bitstream processor for cochlear implants |
| US20100322446A1 (en) * | 2009-06-17 | 2010-12-23 | Med-El Elektromedizinische Geraete Gmbh | Spatial Audio Object Coding (SAOC) Decoder and Postprocessor for Hearing Aids |
| US20100324915A1 (en) * | 2009-06-23 | 2010-12-23 | Electronic And Telecommunications Research Institute | Encoding and decoding apparatuses for high quality multi-channel audio codec |
| US8194862B2 (en) * | 2009-07-31 | 2012-06-05 | Activevideo Networks, Inc. | Video game system with mixing of independent pre-encoded digital audio bitstreams |
| JP2011066868A (ja) * | 2009-08-18 | 2011-03-31 | Victor Co Of Japan Ltd | オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 |
| US8786852B2 (en) | 2009-12-02 | 2014-07-22 | Lawrence Livermore National Security, Llc | Nanoscale array structures suitable for surface enhanced raman scattering and methods related thereto |
| TWI444989B (zh) * | 2010-01-22 | 2014-07-11 | Dolby Lab Licensing Corp | 針對改良多通道上混使用多通道解相關之技術 |
| KR101410575B1 (ko) | 2010-02-24 | 2014-06-23 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 강화 다운믹스 신호를 생성하는 장치, 강화 다운믹스 신호를 생성하는 방법 및 컴퓨터 프로그램 |
| JP5604933B2 (ja) * | 2010-03-30 | 2014-10-15 | 富士通株式会社 | ダウンミクス装置およびダウンミクス方法 |
| DE102010015630B3 (de) * | 2010-04-20 | 2011-06-01 | Institut für Rundfunktechnik GmbH | Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates |
| CN102314882B (zh) * | 2010-06-30 | 2012-10-17 | 华为技术有限公司 | 声音信号通道间延时估计的方法及装置 |
| WO2012009851A1 (en) * | 2010-07-20 | 2012-01-26 | Huawei Technologies Co., Ltd. | Audio signal synthesizer |
| US8908874B2 (en) | 2010-09-08 | 2014-12-09 | Dts, Inc. | Spatial audio encoding and reproduction |
| KR101697550B1 (ko) * | 2010-09-16 | 2017-02-02 | 삼성전자주식회사 | 멀티채널 오디오 대역폭 확장 장치 및 방법 |
| WO2012051528A2 (en) | 2010-10-14 | 2012-04-19 | Activevideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
| EP2686654A4 (en) * | 2011-03-16 | 2015-03-11 | Dts Inc | CODING AND PLAYING THREE-DIMENSIONAL AUDIOSPURES |
| EP2695388B1 (en) | 2011-04-07 | 2017-06-07 | ActiveVideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
| TWI450266B (zh) * | 2011-04-19 | 2014-08-21 | Hon Hai Prec Ind Co Ltd | 電子裝置及音頻資料的解碼方法 |
| EP2523472A1 (en) | 2011-05-13 | 2012-11-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method and computer program for generating a stereo output signal for providing additional output channels |
| EP2530956A1 (en) * | 2011-06-01 | 2012-12-05 | Tom Van Achte | Method for generating a surround audio signal from a mono/stereo audio signal |
| CN103636235B (zh) * | 2011-07-01 | 2017-02-15 | 杜比实验室特许公司 | 用于扬声器阵列的均衡和/或低音管理的方法和装置 |
| TWI603632B (zh) | 2011-07-01 | 2017-10-21 | 杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
| KR101842257B1 (ko) * | 2011-09-14 | 2018-05-15 | 삼성전자주식회사 | 신호 처리 방법, 그에 따른 엔코딩 장치, 및 그에 따른 디코딩 장치 |
| JP5505395B2 (ja) * | 2011-10-28 | 2014-05-28 | ヤマハ株式会社 | 音響処理装置 |
| CN103890841B (zh) * | 2011-11-01 | 2017-10-17 | 皇家飞利浦有限公司 | 音频对象编码和解码 |
| CN103188595B (zh) * | 2011-12-31 | 2015-05-27 | 展讯通信（上海）有限公司 | 处理多声道音频信号的方法和系统 |
| US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
| CN103220058A (zh) * | 2012-01-20 | 2013-07-24 | 旭扬半导体股份有限公司 | 音频数据与视觉数据同步装置及其方法 |
| US9436929B2 (en) * | 2012-01-24 | 2016-09-06 | Verizon Patent And Licensing Inc. | Collaborative event playlist systems and methods |
| ITTO20120067A1 (it) | 2012-01-26 | 2013-07-27 | Inst Rundfunktechnik Gmbh | Method and apparatus for conversion of a multi-channel audio signal into a two-channel audio signal. |
| US9395304B2 (en) | 2012-03-01 | 2016-07-19 | Lawrence Livermore National Security, Llc | Nanoscale structures on optical fiber for surface enhanced Raman scattering and methods related thereto |
| US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
| TWI618050B (zh) | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於音訊處理系統中之訊號去相關的方法及設備 |
| US9754596B2 (en) | 2013-02-14 | 2017-09-05 | Dolby Laboratories Licensing Corporation | Methods for controlling the inter-channel coherence of upmixed audio signals |
| US9830917B2 (en) | 2013-02-14 | 2017-11-28 | Dolby Laboratories Licensing Corporation | Methods for audio signal transient detection and decorrelation control |
| US20150371646A1 (en) * | 2013-02-14 | 2015-12-24 | Dolby Laboratories Licensing Corporation | Time-Varying Filters for Generating Decorrelation Signals |
| TWI618051B (zh) | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置 |
| US9093064B2 (en) | 2013-03-11 | 2015-07-28 | The Nielsen Company (Us), Llc | Down-mixing compensation for audio watermarking |
| US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
| JP6013646B2 (ja) * | 2013-04-05 | 2016-10-25 | ドルビー・インターナショナル・アーベー | オーディオ処理システム |
| US9659569B2 (en) | 2013-04-26 | 2017-05-23 | Nokia Technologies Oy | Audio signal encoder |
| US9666198B2 (en) | 2013-05-24 | 2017-05-30 | Dolby International Ab | Reconstruction of audio scenes from a downmix |
| IL290275B2 (en) | 2013-05-24 | 2023-02-01 | Dolby Int Ab | Encoding audio scenes |
| CN105474308A (zh) * | 2013-05-28 | 2016-04-06 | 诺基亚技术有限公司 | 音频信号编码器 |
| US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9326047B2 (en) | 2013-06-06 | 2016-04-26 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9386558B2 (en) * | 2013-06-27 | 2016-07-05 | Microsoft Technology Licensing, Llc | Radio channel utilization |
| WO2015017223A1 (en) * | 2013-07-29 | 2015-02-05 | Dolby Laboratories Licensing Corporation | System and method for reducing temporal artifacts for transient signals in a decorrelator circuit |
| CN103413553B (zh) * | 2013-08-20 | 2016-03-09 | 腾讯科技（深圳）有限公司 | 音频编码方法、音频解码方法、编码端、解码端和系统 |
| EP3044783B1 (en) | 2013-09-12 | 2017-07-19 | Dolby International AB | Audio coding |
| EP4379714A2 (en) | 2013-09-12 | 2024-06-05 | Dolby Laboratories Licensing Corporation | Loudness adjustment for downmixed audio content |
| CN105556837B (zh) | 2013-09-12 | 2019-04-19 | 杜比实验室特许公司 | 用于各种回放环境的动态范围控制 |
| AU2014339065B2 (en) | 2013-10-21 | 2017-04-20 | Dolby International Ab | Decorrelator structure for parametric reconstruction of audio signals |
| EP3061089B1 (en) * | 2013-10-21 | 2018-01-17 | Dolby International AB | Parametric reconstruction of audio signals |
| EP2866227A1 (en) | 2013-10-22 | 2015-04-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder |
| US9391575B1 (en) * | 2013-12-13 | 2016-07-12 | Amazon Technologies, Inc. | Adaptive loudness control |
| WO2015089468A2 (en) * | 2013-12-13 | 2015-06-18 | Wu Tsai-Yi | Apparatus and method for sound stage enhancement |
| WO2015104447A1 (en) | 2014-01-13 | 2015-07-16 | Nokia Technologies Oy | Multi-channel audio signal classifier |
| US9779739B2 (en) | 2014-03-20 | 2017-10-03 | Dts, Inc. | Residual encoding in an object-based audio system |
| US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
| EP2980789A1 (en) * | 2014-07-30 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhancing an audio signal, sound enhancing system |
| US9984693B2 (en) * | 2014-10-10 | 2018-05-29 | Qualcomm Incorporated | Signaling channels for scalable coding of higher order ambisonic audio data |
| US10140996B2 (en) | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
| WO2016196211A1 (en) | 2015-05-29 | 2016-12-08 | Armo Biosciences, Inc. | Methods of using interleukin-10 for treating diseases and disorders |
| DK3353779T3 (da) | 2015-09-25 | 2020-08-10 | Voiceage Corp | Fremgangsmåde og system til kodning af et stereolydssignal ved at anvende kodningsparametre for en primær kanal til at kode en sekundær kanal |
| EP3369257B1 (en) * | 2015-10-27 | 2021-08-18 | Ambidio, Inc. | Apparatus and method for sound stage enhancement |
| CA3127805C (en) * | 2016-11-08 | 2023-12-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for encoding or decoding a multichannel signal using a side gain and a residual gain |
| US10979844B2 (en) * | 2017-03-08 | 2021-04-13 | Dts, Inc. | Distributed audio virtualization systems |
| CN108665902B (zh) * | 2017-03-31 | 2020-12-01 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
| CN109215667B (zh) | 2017-06-29 | 2020-12-22 | 华为技术有限公司 | 时延估计方法及装置 |
| EP3422738A1 (en) * | 2017-06-29 | 2019-01-02 | Nxp B.V. | Audio processor for vehicle comprising two modes of operation depending on rear seat occupation |
| BR112020001660A2 (pt) * | 2017-07-28 | 2021-03-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparelho e método para decodificar um sinal multicanal codificado, descorrelacionador de sinal de áudio, método para descorrelacionar um sinal de entrada de áudio |
| US10535357B2 (en) * | 2017-10-05 | 2020-01-14 | Qualcomm Incorporated | Encoding or decoding of audio signals |
| GB201718341D0 (en) * | 2017-11-06 | 2017-12-20 | Nokia Technologies Oy | Determination of targeted spatial audio parameters and associated spatial audio playback |
| GB2572650A (en) | 2018-04-06 | 2019-10-09 | Nokia Technologies Oy | Spatial audio parameters and associated spatial audio playback |
| GB2574239A (en) | 2018-05-31 | 2019-12-04 | Nokia Technologies Oy | Signalling of spatial audio parameters |
| GB2574667A (en) * | 2018-06-15 | 2019-12-18 | Nokia Technologies Oy | Spatial audio capture, transmission and reproduction |
| FR3101741A1 (fr) * | 2019-10-02 | 2021-04-09 | Orange | Détermination de corrections à appliquer à un signal audio multicanal, codage et décodage associés |
| KR20210060253A (ko) | 2019-11-18 | 2021-05-26 | 삼성전자주식회사 | 메모리 컨트롤러, 메모리 시스템 및 이의 동작 방법 |
| US11451919B2 (en) * | 2021-02-19 | 2022-09-20 | Boomcloud 360, Inc. | All-pass network system for colorless decorrelation with constraints |
| US20240161754A1 (en) * | 2021-04-06 | 2024-05-16 | Dolby International Ab | Encoding of envelope information of an audio downmix signal |
| CN113301329B (zh) * | 2021-05-21 | 2022-08-05 | 康佳集团股份有限公司 | 基于图像识别的电视声场校正方法、装置及显示设备 |
| CN116962955A (zh) * | 2022-04-15 | 2023-10-27 | 华为技术有限公司 | 多通道的混音方法、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020067834A1 (en) * | 2000-12-06 | 2002-06-06 | Toru Shirayanagi | Encoding and decoding system for audio signals |
| KR20040043743A (ko) * | 2002-11-19 | 2004-05-27 | 주식회사 디지털앤디지털 | 멀티채널 검색장치와 방법 |
| KR20040111570A (ko) * | 2002-05-03 | 2004-12-31 | 하만인터내셔날인더스트리스인코포레이티드 | 다채널 다운믹싱 장치 |
| WO2005036925A2 (en) * | 2003-10-02 | 2005-04-21 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Compatible multi-channel coding/decoding |
| JP2008003007A (ja) * | 2006-06-23 | 2008-01-10 | Fujitsu Ltd | 個体認識方法及び装置、個体認識範囲調整方法、及びプログラム |
Family Cites Families (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5091945A (en) * | 1989-09-28 | 1992-02-25 | At&T Bell Laboratories | Source dependent channel coding with error protection |
| AU653582B2 (en) * | 1991-01-08 | 1994-10-06 | Dolby Laboratories Licensing Corporation | Encoder/decoder for multidimensional sound fields |
| US5291557A (en) * | 1992-10-13 | 1994-03-01 | Dolby Laboratories Licensing Corporation | Adaptive rematrixing of matrixed audio signals |
| DE4409368A1 (de) * | 1994-03-18 | 1995-09-21 | Fraunhofer Ges Forschung | Verfahren zum Codieren mehrerer Audiosignale |
| JP3397001B2 (ja) * | 1994-06-13 | 2003-04-14 | ソニー株式会社 | 符号化方法及び装置、復号化装置、並びに記録媒体 |
| EP0688113A2 (en) * | 1994-06-13 | 1995-12-20 | Sony Corporation | Method and apparatus for encoding and decoding digital audio signals and apparatus for recording digital audio |
| US6029129A (en) * | 1996-05-24 | 2000-02-22 | Narrative Communications Corporation | Quantizing audio data using amplitude histogram |
| WO1998046045A1 (fr) * | 1997-04-10 | 1998-10-15 | Sony Corporation | Procede et dispositif de codage, procede et dispositif de decodage et support d'enregistrement |
| US5890125A (en) | 1997-07-16 | 1999-03-30 | Dolby Laboratories Licensing Corporation | Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method |
| US6437944B2 (en) | 1997-10-20 | 2002-08-20 | Fujitsu Limited | Head slider supporting device, disk device and suspension |
| US6122619A (en) | 1998-06-17 | 2000-09-19 | Lsi Logic Corporation | Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor |
| US6322189B1 (en) | 1999-01-13 | 2001-11-27 | Hewlett-Packard Company | Multiple printhead apparatus with temperature control and method |
| US6578074B1 (en) | 1999-06-25 | 2003-06-10 | Mediaone Group, Inc. | Provisioning server enhancement |
| JP2001100792A (ja) * | 1999-09-28 | 2001-04-13 | Sanyo Electric Co Ltd | 符号化方法、符号化装置およびそれを備える通信システム |
| JP4424566B2 (ja) | 1999-10-26 | 2010-03-03 | ザ・インクテック株式会社 | アルカリ可溶性接着剤 |
| JP3951690B2 (ja) * | 2000-12-14 | 2007-08-01 | ソニー株式会社 | 符号化装置および方法、並びに記録媒体 |
| US7583805B2 (en) | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
| US7292901B2 (en) * | 2002-06-24 | 2007-11-06 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
| SE0202159D0 (sv) * | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
| TW569551B (en) | 2001-09-25 | 2004-01-01 | Roger Wallace Dressler | Method and apparatus for multichannel logic matrix decoding |
| GB0124580D0 (en) | 2001-10-12 | 2001-12-05 | Univ Reading | New composition |
| AU2002343151A1 (en) | 2001-11-23 | 2003-06-10 | Koninklijke Philips Electronics N.V. | Perceptual noise substitution |
| US6890125B1 (en) | 2002-01-30 | 2005-05-10 | Calder Brothers Corporation | Adjustable screed system |
| KR20040091110A (ko) | 2002-03-07 | 2004-10-27 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 사용자 제어 다중-채널 오디오 변환 시스템 |
| KR100981694B1 (ko) * | 2002-04-10 | 2010-09-13 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 스테레오 신호들의 코딩 |
| DE60311794C5 (de) * | 2002-04-22 | 2022-11-10 | Koninklijke Philips N.V. | Signalsynthese |
| AU2003216686A1 (en) * | 2002-04-22 | 2003-11-03 | Koninklijke Philips Electronics N.V. | Parametric multi-channel audio representation |
| KR101016982B1 (ko) * | 2002-04-22 | 2011-02-28 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 디코딩 장치 |
| KR100981699B1 (ko) * | 2002-07-12 | 2010-09-13 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 코딩 |
| US20050255191A1 (en) | 2002-07-23 | 2005-11-17 | Shandera Donald L | Process for treating corn and millets |
| WO2005025241A2 (en) | 2003-09-10 | 2005-03-17 | A.D.I. Video Technologies Ltd. | Device, system and method of multi-channel processing |
| US7394903B2 (en) * | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
| US20050169846A1 (en) | 2004-01-31 | 2005-08-04 | Bart Kennington | Enhancement of fragrance release from candles |
| US7805313B2 (en) * | 2004-03-04 | 2010-09-28 | Agere Systems Inc. | Frequency-based coding of channels in parametric multi-channel coding systems |
| SE0400998D0 (sv) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| US7508947B2 (en) * | 2004-08-03 | 2009-03-24 | Dolby Laboratories Licensing Corporation | Method for combining audio signals using auditory scene analysis |
| US7961890B2 (en) | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
| JP2007096002A (ja) * | 2005-09-29 | 2007-04-12 | Matsushita Electric Ind Co Ltd | 半導体装置の製造方法および半導体装置 |
| JP4806031B2 (ja) * | 2006-01-19 | 2011-11-02 | エルジー エレクトロニクス インコーポレイティド | メディア信号の処理方法及び装置 |
| JP5228305B2 (ja) | 2006-09-08 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
| ATE539434T1 (de) | 2006-10-16 | 2012-01-15 | Fraunhofer Ges Forschung | Vorrichtung und verfahren für mehrkanalparameterumwandlung |
| BRPI0816556A2 (pt) | 2007-10-17 | 2019-03-06 | Fraunhofer Ges Zur Foerderung Der Angewandten Forsschung E V | codificação de áudio usando downmix |
| JP5428564B2 (ja) | 2009-06-18 | 2014-02-26 | 東洋紡株式会社 | 車両内装材用部材およびそれを用いた車両用内装材 |
-
2004
- 2004-04-16 SE SE0400998A patent/SE0400998D0/xx unknown
-
2005
- 2005-04-12 PL PL05743164T patent/PL1695338T3/pl unknown
- 2005-04-12 CN CN201110097029.2A patent/CN102157155B/zh active Active
- 2005-04-12 WO PCT/EP2005/003849 patent/WO2005101371A1/en active IP Right Grant
- 2005-04-12 ES ES05743164T patent/ES2293578T3/es active Active
- 2005-04-12 KR KR1020067017536A patent/KR100848367B1/ko active IP Right Grant
- 2005-04-12 CN CN2005800073514A patent/CN1930608B/zh active Active
- 2005-04-12 ES ES05735201T patent/ES2294703T3/es active Active
- 2005-04-12 WO PCT/EP2005/003848 patent/WO2005101370A1/en active IP Right Grant
- 2005-04-12 DE DE602005002942T patent/DE602005002942T2/de active Active
- 2005-04-12 CN CN2005800186599A patent/CN1965351B/zh active Active
- 2005-04-12 KR KR1020067021198A patent/KR100848365B1/ko active IP Right Grant
- 2005-04-12 DE DE602005002451T patent/DE602005002451T2/de active Active
- 2005-04-12 AT AT05743164T patent/ATE373301T1/de not_active IP Right Cessation
- 2005-04-12 JP JP2007505521A patent/JP4589962B2/ja active Active
- 2005-04-12 PL PL05735201T patent/PL1735775T3/pl unknown
- 2005-04-12 JP JP2007507735A patent/JP4603037B2/ja active Active
- 2005-04-12 EP EP05743164A patent/EP1695338B1/en active Active
- 2005-04-12 EP EP05735201A patent/EP1735775B8/en active Active
- 2005-04-12 AT AT05735201T patent/ATE376240T1/de not_active IP Right Cessation
- 2005-04-12 CN CN201010183360.1A patent/CN101860784B/zh active Active
- 2005-08-09 TW TW094126936A patent/TWI334736B/zh active
-
2006
- 2006-09-08 US US11/517,900 patent/US8223976B2/en active Active
- 2006-10-16 US US11/549,963 patent/US7986789B2/en active Active
-
2007
- 2007-01-10 HK HK07100363A patent/HK1093594A1/xx unknown
-
2010
- 2010-08-09 JP JP2010178268A patent/JP5185337B2/ja active Active
- 2010-08-19 JP JP2010183775A patent/JP5185340B2/ja active Active
- 2010-08-31 US US12/872,507 patent/US8693696B2/en active Active
- 2010-09-15 US US12/882,894 patent/US8538031B2/en active Active
- 2010-11-11 HK HK10110525.1A patent/HK1144043A1/zh unknown
-
2012
- 2012-02-02 HK HK12100944.3A patent/HK1163911A1/xx unknown
-
2013
- 2013-04-19 US US13/866,947 patent/US10015597B2/en active Active
-
2014
- 2014-01-16 US US14/157,117 patent/US9743185B2/en active Active
-
2016
- 2016-03-22 US US15/077,798 patent/US9635462B2/en active Active
- 2016-03-24 US US15/079,653 patent/US9621990B2/en active Active
-
2017
- 2017-02-07 US US15/426,867 patent/US10271142B2/en active Active
- 2017-04-26 US US15/498,413 patent/US10440474B2/en active Active
- 2017-04-26 US US15/498,362 patent/US10250984B2/en active Active
- 2017-04-26 US US15/498,401 patent/US9972328B2/en active Active
- 2017-04-26 US US15/498,407 patent/US9972329B2/en active Active
- 2017-04-26 US US15/498,389 patent/US10250985B2/en active Active
- 2017-04-26 US US15/498,350 patent/US10244319B2/en active Active
- 2017-04-26 US US15/498,417 patent/US9972330B2/en active Active
- 2017-04-26 US US15/498,384 patent/US10244321B2/en active Active
- 2017-04-26 US US15/498,393 patent/US10129645B2/en active Active
- 2017-04-26 US US15/498,376 patent/US10244320B2/en active Active
-
2019
- 2019-06-27 US US16/454,250 patent/US10499155B2/en active Active
- 2019-09-26 US US16/584,655 patent/US10623860B2/en active Active
-
2020
- 2020-04-13 US US16/846,828 patent/US11184709B2/en active Active
-
2021
- 2021-11-22 US US17/532,962 patent/US11647333B2/en active Active
-
2023
- 2023-05-03 US US18/311,854 patent/US20230345176A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020067834A1 (en) * | 2000-12-06 | 2002-06-06 | Toru Shirayanagi | Encoding and decoding system for audio signals |
| KR20040111570A (ko) * | 2002-05-03 | 2004-12-31 | 하만인터내셔날인더스트리스인코포레이티드 | 다채널 다운믹싱 장치 |
| KR20040043743A (ko) * | 2002-11-19 | 2004-05-27 | 주식회사 디지털앤디지털 | 멀티채널 검색장치와 방법 |
| WO2005036925A2 (en) * | 2003-10-02 | 2005-04-21 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Compatible multi-channel coding/decoding |
| JP2008003007A (ja) * | 2006-06-23 | 2008-01-10 | Fujitsu Ltd | 個体認識方法及び装置、個体認識範囲調整方法、及びプログラム |
Non-Patent Citations (3)
| Title |
|---|
| 10-2004-0043743 |
| 10-2004-0111570 |
| 특2003-0079980 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100848367B1 (ko) | 레벨 파라미터를 발생하는 장치 및 방법 그리고 멀티채널표현을 발생하는 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130705 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20140708 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20150706 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20160706 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20170710 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20180710 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20190709 Year of fee payment: 12 |