KR101437896B1 - Mdct-기반의 복소수 예측 스테레오 코딩 - Google Patents
Mdct-기반의 복소수 예측 스테레오 코딩 Download PDFInfo
- Publication number
- KR101437896B1 KR101437896B1 KR1020127029111A KR20127029111A KR101437896B1 KR 101437896 B1 KR101437896 B1 KR 101437896B1 KR 1020127029111 A KR1020127029111 A KR 1020127029111A KR 20127029111 A KR20127029111 A KR 20127029111A KR 101437896 B1 KR101437896 B1 KR 101437896B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- frequency
- stage
- domain
- stereo
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000003595 spectral effect Effects 0.000 claims description 52
- 238000011144 upstream manufacturing Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 26
- 238000013139 quantization Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000007493 shaping process Methods 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 1
- 230000004048 modification Effects 0.000 abstract description 17
- 238000012986 modification Methods 0.000 abstract description 17
- 238000004364 calculation method Methods 0.000 description 18
- 238000001228 spectrum Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 239000003607 modifier Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000009849 deactivation Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L19/00—Details of, or accessories for, apparatus for measuring steady or quasi-steady pressure of a fluent medium insofar as such details or accessories are not special to particular types of pressure gauges
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/002—Dynamic bit allocation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/012—Comfort noise or silence coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Stereo-Broadcasting Methods (AREA)
Abstract
발명은 주파수 영역에서 복소수 예측을 사용하여 스테레오 엔코딩 및 디코딩하기 위한 방법들 및 장치들을 제공한다. 일실시예에서, 복소수 예측 코딩에 의해 엔코딩되고 2개의 입력 채널들의 제 1 주파수-영역 표현들을 포함하는 입력 스테레오 신호로부터 출력 스테레오 신호를 얻기 위한 디코딩 방법은 (i) 제 1 입력 채널의 제 2 주파수-영역 표현을 계산하고, (ii) 제 1 입력 채널의 제 1 및 제 2 주파수-영역 표현들, 제 2 입력 채널의 제 1 주파수-영역 표현 및 복소수 예측 계수에 기초하여 출력 채널을 계산하는, 업믹스 단계를 포함한다. 방법은 선택적으로 업믹스 전 또는 후에 주파수-영역 수정들을 수행하는 단계를 포함한다.
Description
본원에 개시된 발명은 스테레오 오디오 코딩에 관한 것으로, 특히 주파수 영역에서 복소수 예측을 사용하여 스테레오 코딩하기 위한 기술들에 관한 것이다.
스테레오 신호의 좌측(L) 채널 및 우측(R) 채널의 조인트(joint) 코딩은 L 및 R의 독립적 코딩에 비해 더 효율적인 코딩을 가능하게 한다. 조인트 스테레오 코딩을 위한 일반적인 수법은 미드(mid)/사이드(side)(M/S) 코딩이다. 여기에서, 미드(M) 신호는 L 신호와 R 신호를 더함으로써 형성되는데, 예를 들면 M 신호는 다음의 형태를 취할 수 있다.
M = (L + R)/2
또한, 사이드(S) 신호는 채널 L 및 채널 R 두 개를 서로 감함으로써 형성되는데, 예를 들면 S 신호는 다음의 형태를 취할 수 있다.
S = (L - R)/2
M/S 코딩의 경우에, L 신호 및 R 신호 대신에 M 신호 및 S 신호가 코딩된다.
MPEG(Moving Picture Experts Group) AAC(Advanced Audio Coding) 표준(표준 문서 ISO/IEC 13818-7 참조)에서, L/R 스테레오 코딩 및 M/S 스테레오 코딩은 시간-가변 및 주파수-가변 방식으로 선택될 수 있다. 따라서, 스테레오 엔코더는 스테레오 신호의 일부 주파수 대역들에 대해선 L/R 코딩을 적용할 수 있고 반면 M/S 코딩은 스테레오 신호의 그외 다른 주파수 대역들을 엔코딩하기 위해 사용된다(주파수 가변). 또한, 엔코더는 시간에 따라 L/R과 M/S 코딩 간을 전환할 수 있다(시간-가변). MPEG AAC에서, 스테레오 엔코딩은 주파수 영역, 특히 MDCT(수정된 이산 코사인 변환) 영역에서 수행된다. 이것은 주파수 및 시간 가변적으로 L/R 또는 M/S 코딩을 적응형으로 선택할 수 있게 한다.
파라미터 스테레오 코딩은 모노럴 신호와 이에 더하여 스테레오 파라미터들에 대한 소량의 사이드 정보로서 스테레오 오디오 신호를 효율적으로 코딩하기 위한 기술이다. 이것은 MPEG-4 오디오 표준(표준 문서 ISO/IEC 14496-3 참조)의 부분이다. 모노럴 신호는 임의의 오디오 코더를 사용하여 엔코딩될 수 있다. 스테레오 파라미터들은 모노 비트 스트림의 보조 부분 내에 내포될 수 있고, 이에 따라 완전한 순(forward) 및 역 호환성을 달성할 수 있다. 디코더에서, 먼저 디코딩되는 것이 모노럴 신호이고, 이후에 스테레오 파라미터들의 도움으로 스테레오 신호가 재구성된다. 모노 신호와 제로 교차 상관을 갖는, 디코딩된 모노 신호의 역상관된 버전은 역상관기, 예를 들면, 하나 이상의 지연 라인들을 포함하는 적합한 전역-통과 필터에 의해 생성된다. 근본적으로, 역상관된 신호는 모노 신호와 동일한 스펙트럼 및 시간적 에너지 분포를 갖는다. 역상관된 신호와 함께 모노럴 신호는, 스테레오 파라미터들에 의해 제어되고 스테레오 신호를 재구성하는 업믹스 프로세스에 입력된다. 더 많은 정보에 대해선, 논문 "Low Complexity Parametric Stereo Coding in MPEG-4", H. Purnhagen, Proc. of the 7th Int. Conference on Digital Audio Effects (DAFx'04), Naples, Italy, October 5-8, 2004, pages 163-168을 참조한다.
MPEG 서라운드(MPS; ISO/IEC 23003-1 및 논문 "MPEG Surround - The ISO/MPEG Standard for Efficient and Compatible Multi-Channel Audio Coding", J. Herre et al., Audio Engineering Convention Paper 7084, 122nd Convention, May 5-8, 2007 참조)는 파라미터 스테레오 코딩의 원리를 잔차 코딩에 결합하고, 역상관된 신호를 송신 잔차로 대체하고, 이에 따라 인지 품질를 향상시킬 수 있게 한다. 잔차 코딩은 다-채널 신호를 다운믹스하고, 선택적으로, 공간 단서들(spatial cue)을 추출함으로써 달성될 수 있다. 다운믹스 프로세스 동안에, 오차 신호를 나타내는 잔차 신호들이 계산되고 이어서 엔코딩되고 송신된다. 이들은 디코더에서 역상관된 신호들을 대신할 수 있다. 혼성(hybrid) 수법에서, 이들은 어떤 주파수 대역들, 바람직하게 비교적 낮은 대역들에서 역상관 신호들을 대체할 수 있다.
도 1에 두 가지 예들이 도시된 현재 MPEG 통합 스피치 및 오디오 코딩(USAC) 시스템에 따라, 디코더는 코어 디코더의 하류측에 위치된 복소수값의 쿼드래처 미러 필터(QMF) 뱅크를 포함한다. 필터 뱅크의 출력으로서 얻어진 QMF 표현은 복소수 -이에 따라 2배만큼 오버샘플링된다- 이며, 다운믹스 신호(혹은, 등가적으로, 미드 신호)(M) 및 잔차신호(D)로서 배열될 수 있고, 이들에 복소수 엔트리들을 가진 업믹스 행렬이 적용된다. L 신호 및 R 신호(QMF 영역에서)는 다음과 같이 얻어진다:
여기에서 g는 실수값의 이득율이며 α는 복소수값의 예측 계수이다. 바람직하게, α는 잔차신호 D의 에너지가 최소화되게 선택된다. 이득율은 정규화에 의해서, 즉 합 신호의 파워가 좌 신호 및 우 신호의 파워들의 합과 같게 될 수 있도록 결정된다. L 신호 및 R 신호 각각의 실수부 및 허수부는 서로 중복적(redundant)이긴 하지만 -원칙적으로, 이들 각각은 다른 것에 기초하여 계산될 수 있다-, 가청 에일리어싱 아티팩트들이 발생하지 않고 후속하여 스펙트럼 대역 복제(SBR) 디코더를 적용할 수 있게 하는 데에는 이익이 된다. 또한, 오버샘플링된 신호 표현의 사용은, 유사한 이유들로, 모노-대-스테레오 업믹스와 같은, 다른 시간- 또는 주파수-적응형 신호 처리(도시되지 않음)와 관계가 있는 아티팩트들을 방지할 목적으로 선택될 수 있다. 역 QMF 필터링은 디코더에서 마지막 처리 단계이다. 신호의 대역-제한 QMF 표현은 이 유형의 디코더들에 통합될 수 있는 것들인 대역-제한 잔차 기술들 및 "잔차 채움(fill)" 기술들을 가능하게 함에 유의한다.
상기 코딩 구조는 낮은 비트 레이트들, 전형적으로 80 kb/s 미만에서 매우 적합하나, 계산상에 복잡성에 관련하여 더 높은 비트 레이트들에 대해선 최적이 아니다. 더 정확하게는, 더 높은 비트레이트들에서, SBR 툴(tool)은 전형적으로 이용되지 않는다(코딩 효율을 개선하지 않을 것이기 때문에). 또한, SBR 스테이지가 없는 디코더에서, 복소수값의 업믹스 행렬만이 QMF 필터 뱅크를 존재하게 하는데, 이것은 계산면에서 부담이 되고 지연을 야기한다(1024 샘플들의 프레임 길이에서, QMF 분해/합성 필터 뱅크는 961 샘플들의 지연을 야기한다). 이것은 명백히 더 효율적인 코딩 구조에 대한 필요성을 나타낸다.
본 발명의 목적은 고 비트레이트 범위에서도 계산적으로 효율적인 스테레오 코딩을 위한 방법들 및 장치를 제공하는 것이다.
발명은 각각 독립 청구항들에 의해 정의되는, 코더 및 디코더, 코딩 및 디코딩 방법들, 및 코딩 그리고 디코딩을 위한 컴퓨터 프로그램 제품들을 제공함으로써 이 목적을 이행한다. 종속 청구항들은 발명의 실시예들을 정의한다.
제 1 측면에서, 발명은 복소수 예측 스테레오 코딩에 의해 스테레오 신호를 제공하기 위한 디코더 시스템을 제공하며, 디코더 시스템은
다운믹스 신호(M) 및 잔차신호(D)의 제 1 주파수-영역 표현들에 기초하여 스테레오 신호를 발생하게 구성된 업믹스를 포함하고, 제 1 주파수-영역 표현들 각각은 다차원 공간의 제 1 부분공간으로 표현된 대응하는 신호의 스펙트럼 내용을 나타내는 제 1 스펙트럼 성분들을 포함하고, 업믹스 스테이지는
다운믹스 신호의 제 1 주파수-영역 표현에 기초하여 제 1 주파수-영역 표현의 제 2 주파수-영역 표현을 계산하기 위한 모듈로서, 제 2 주파수-영역 표현은 제 1 부분공간 내에 포함되지 않은 다차원 공간의 부분을 포함하는 다차원 공간의 제 2 부분공간으로 표현된 신호의 스펙트럼 내용을 나타내는 제 2 스펙트럼 성분들을 포함하는 것인, 모듈;
다운믹스 신호의 제 1 및 제 2 주파수- 영역 표현들, 잔차신호의 제 1 주파수-영역 표현 및 비트 스트림 신호에 엔코딩된 복소수 예측 계수에 기초하여 사이드 신호(S)를 계산하기 위한 가중 합산기; 및
다운믹스 신호의 제 1 주파수-영역 표현 및 사이드 신호에 기초하여 스테레오 신호를 계산하기 위한 합-차 스테이지를 포함하고,
업믹스 스테이지는 다운믹스 신호 및 잔차신호가 직접 합-차 스테이지에 공급되는 통과 모드에서 더욱 동작할 수 있다.
제 2 측면에서, 발명은 복소수 예측 계수를 추정하기 위한 추정기;
(a) 복소수 예측 계수의 값에 의해 결정된 관계로, 스테레오 신호를 다운믹스 및 잔차신호의 주파수-영역 표현으로 변환하게 동작하는 코딩 스테이지; 및
코딩 스테이지 및 추정기로부터 출력을 수신하고 이를 상기 비트 스트림 신호에 의해 엔코딩하기 위한 멀티플렉서를 포함하는, 복소수 예측 스테레오 코딩에 의해 스테레오 신호를 비트 스트림 신호에 의해 엔코딩하기 위한 엔코더 시스템을 제공한다.
발명의 제 3 측면 및 제 4 측면에서, 스테레오 신호를 비트 스트림으로 엔코딩하고 비트 스트림을 적어도 한 스테레오 신호로 디코딩하기 위한 방법들이 제공된다. 각 방법의 기술적 특징들은 각각 엔코더 시스템 및 디코더 시스템의 것들과 유사하다. 발명의 제 5 측면 및 제 6 측면에서, 발명은 컴퓨터 상에서 방법들 각각을 실행하기 위한 명령들을 내장한 컴퓨터 프로그램 제품을 더 제공한다.
발명은 MPEG USAC 시스템에서 통합 스테레오 코딩의 잇점들로부터 이익을 얻는다. QMF-기반의 수법을 동반하게 될 계산상의 복잡성에 현저한 증가 없이, 전형적으로 SBR이 이용되지 않는 더 높은 비트 레이트들에서도 이들 잇점들은 보존된다. 이것은, 적어도 다운믹스 채널 및 잔차 채널의 코드 오디오 대역폭들이 동일하고 업믹스 프로세스가 역상관(decorrelation)을 포함하지 않는 경우들에, MPEG USAC 변환 코딩 시스템의 토대인 임계 샘플링되는 MDCT 변환이 발명에 의해 제공되는 복소수 예측 스테레오 코딩을 위해 사용될 수 있기 때문에, 가능하다. 이것은 추가의 QMF 변환이 더 이상 요구되지 않음을 의미한다. QMF 영역에서 복소수-예측 스테레오 코딩의 대표적 구현은 실제로는 통상적인 L/R 또는 M/S 스테레오에 비해 현저하게 단위 시간 당 동작들의 수를 증가시킬 것이다. 이에 따라, 발명에 따른 코딩 장치는 이러한 비트레이트들에서 경쟁력이 있는 것으로 나타나, 적당한 계산상의 비용으로 높은 오디오 품질을 제공한다.
당업자가 아는 바와 같이, 업믹스 스테이지가 통과 모드에서도 동작할 수 있다는 사실은 엔코더측에서 결정되는 바와 같이, 디코더가 종래의 다이렉트 또는 조인트 코딩 및 복소수 예측 코딩에 따라 적응형으로 디코딩할 수 있게 한다. 따라서, 디코더가 종래의 다이렉트 L/R 스테레오 코딩 또는 조인트 M/S 스테레오 코딩의 품질을 넘어선 수준의 품질을 확실하게 증가시킬 수 없는 경우들에 있어서도, 동일한 수준이 유지되는 것을 적어도 보증할 수 있다. 따라서, 발명의 이 측면에 따른 디코더는 기능상의 관점에서, 배경기술에 관련한 상위집합으로서 간주될 수 있다.
QMF-기반의 예측-코딩 스테레오에 비한 잇점으로서, 신호의 완전한 재구성이 가능하다(임의로 작아지게 할 수 있는 것인 양자화 오차들은 제외하고).
이에 따라, 발명은 복소수 예측에 의한 변환-기반의 스테레오 코딩을 위한 코딩 장치를 제공한다. 바람직하게, 발명에 따른 장치는 복소수 예측 스테레오 코딩으로 제한되지 않으며, 배경기술에 따른 다이렉트 L/R 스테레오 코딩 또는 조인트 M/S 스테레오 코딩 영역에서도 동작할 수 있어, 특정 응용을 위한, 혹은 특정 시구간 동안 가장 적합한 코딩 방법을 선택하는 것이 가능하다.
상기 제 1 및 상기 제 2 스펙트럼 성분들 둘 다를 포함한, 신호의 오버샘플링된(예를 들면, 복소수) 표현은 발명에 따라 복소수 예측을 위한 토대로서 사용되며, 따라서, 이러한 오버샘플링된 표현을 계산하기 위한 모듈들은 발명에 따라 엔코더 시스템 및 디코더 시스템에 배열된다. 스펙트럼 성분들은 유한 샘플링 주파수로 샘플링된 주어진 길이(예를 들면, 기정의된 시간 프레임 길이)의 구간에 대한 한 세트의 시간-종속적 함수들일 수 있는 다차원 공간의 제 1 부분공간 및 제 2 부분공간을 지칭한다. 이 특정 다차원 공간에서 함수들은 베이스 함수들의 유한 가중된 합에 의해 근사화될 수 있음이 공지되어 있다.
당업자가 알게 되는 바와 같이, 디코더와 공조하게 구성된 엔코더는 엔코딩된 신호를 충실히 재생성할 수 있게 하기 위해서, 예측 코딩이 기초로 하는 오버샘플링된 표현을 제공하기 위한 동등 모듈들을 구비한다. 이러한 동등 모듈들은 동일하거나 유사한 모듈들 또는 동일하거나 유사한 전달 특성들을 갖는 모듈들일 수 있다. 특히, 엔코더 및 디코더 내 모듈들은 각각 동등한 다수 세트들의 수학적 연산들을 수행하는 각각의 컴퓨터 프로그램들을 실행하는 유사하거나 유사하지 않은 처리 유닛들일 수 있다.
디코더 시스템 또는 엔코더 시스템의 일부 실시예들에서, 제 1 스펙트럼 성분들은 제 1 부분공간으로 표현된 실수값들을 가지며, 제 2 스펙트럼 성분들은 제 2 부분공간으로 표현된 허수값들을 갖는다. 제 1 및 제 2 스펙트럼 성분들은 함께 하여 신호의 복소수 스펙트럼 표현을 형성한다. 제 1 부분공간은 제 1 세트의 베이스 함수들의 <선형 스팬>일 수 있고, 제 2 부분공간은 한 세트의 제 2 베이스 함수들의 <선형 스팬>일 수 있고, 이들 중 일부는 제 1 세트의 베이스 함수들에 선형 독립이다.
일실시예에서, 복소수 표현을 계산하기 위한 모듈은 실수-대-허수 변환, 즉, 신호의 실수 스펙트럼 표현을 토대로 이산-시간 신호의 스펙트럼의 허수부들을 계산하기 위한 모듈이다. 변환은 조화해석 또는 휴리스틱 관계들로부터의 식들과 같은 정확하거나 근사화한 수학적 관계식들에 기초할 수 있다.
디코더 시스템 또는 엔코더 시스템의 일부 실시예들에서, 제 1 스펙트럼 성분들은 이산 시간-영역 신호의 시간-대-주파수 영역 변환, 바람직하게 푸리에 변환, 이를테면 이산 코사인 변환(DCT), 수정 이산 코사인 변환(MDCT), 이산 사인 변환(DST), 수정 이산 사인 변환(MDST), 고속 푸리에 변환(FFT), 소인수(prime-factor)-기반 푸리에 알고리즘, 등에 의해 얻어질 수 있다. 첫번째 4개의 경우들에서, 제 2 스펙트럼 성분들은 각각 DST, MDST, DCT 및 MDCT에 의해 얻어질 수 있다. 공지된 바와 같이, 단위 구간 상에서 주기적인 코사인들의 선형 스팬(linear span)은 동일 구간 상에 사인 주기의 선형 스팬 내에 완전히 내포되지 않는 부분공간을 형성한다. 바람직하게, 제 1 스펙트럼 성분들은 MDCT에 의해 얻어질 수 있고, 제 2 스펙트럼 성분들은 MDST에 의해 얻어질 수 있다.
일실시예에서, 디코더 시스템은 업믹스 스테이지의 상류측에 배열된, 적어도 하나의 시간 잡음 형상화 모듈(TNS 모듈, 또는 TNS 필터)을 포함한다. 일반적으로 말하여, TNS의 사용은 과도적(transient-like) 성분들을 가진 신호들에 대해 오디오 인지 품질을 증가시키며, 이것은 또한 TNS을 특징으로 삼는 본 발명의 디코더 시스템의 실시예에도 적용한다. 종래의 L/R 및 M/S 스테레오 코딩에서, TNS 필터는 역 변환 바로 전에, 주파수 영역에서 마지막 처리 단계로서 적용될 수 있다. 그러나, 복소수-예측 스테레오 코딩의 경우에, 다운믹스 신호 및 잔차신호에 TNS 필터를, 즉 업믹스 행렬 전에 적용하는 것이 종종 잇점이 있다. 환원하여, TNS는 좌 채널 및 우 채널의 선형 조합들에 적용되며, 이것은 몇가지 잇점들을 갖는다. 첫번째로, 주어진 상황에서 TNS는 예를 들면 다운믹스 신호에 대해서만 이익이 되는 것으로 나타날 수 있다. 따라서, TNS 필터링은 잔차신호에 대해선 억제되거나 생략될 수 있고, 가용한 대역폭의 더욱 경제적인 사용을 의미할 수 있는 것으로서, 다운믹스 신호에 대해선 TNS 필터 계수들만 전송되기만 하면 된다. 두번째로, 복소수 예측 코딩에서 필요로 하는 다운믹스 신호의 오버샘플링된 표현의 계산은(예를 들면, MDST 데이터는 복소수 주파수-영역 표현을 형성하기 위해 MDCT 데이터로부터 도출된다) 다운믹스 신호의 시간-영역 표현이 계산될 수 있을 것을 요구할 수 있다. 이것은 결국 다운믹스 신호가 바람직하게는 균일한 방식으로 얻어진 MDCT 스펙트럼들의 시간 시퀀스로서 얻어질 수 있음을 의미한다. 다운믹스/잔차 표현을 좌/우 표현으로 변환하는 업믹스 행렬 후에 디코더에서 TNS 필터가 적용되었다면, 다운믹스 신호의 TNS 잔차 MDCT 스펙트럼들의 시퀀스만이 얻어질 수 있게 있게 될 것이다. 이것은 특히 좌 채널 및 우 채널이 서로 다른 특성들을 가진 TNS 필터들을 사용하고 있다면, 대응하는 MDST 스펙트럼들의 효율적 계산을 매우 어려워지게 할 것이다.
MDCT 스펙트럼들의 시간 시퀀스의 입수성은 복소수 예측 코딩을 위한 토대로서 작용하기에 알맞는 MDST 표현을 얻기 위해서 절대적인 기준이 아님을 강조해 둔다. 실험적 증거 외에도, 이 사실은 TNS가 일반적으로 높은 주파수들, 이를테면 수 킬로헤르츠에만 적용되고, 따라서 TNS에 의해 필터링된 잔차신호가 낮은 주파수들에 대해선 비-필터링된 잔차신호에 근사적으로 대응하는 것에 의해 설명될 수도 있다. 이에 따라, 발명은 복소수-예측 스테레오 코딩을 위한 디코더로서 구현될 수 있고, 여기에서 TNS 필터들은 이하 나타내는 바와 같이, 업믹스 스테이지의 상류측과는 다른 곳에 배치된다.
일실시예에서, 디코더 시스템은 업믹스 스테이지의 하류측에 위치된 적어도 하나의 TNS 모듈을 더 포함한다. 선택기 배열에 의해서, 업믹스 스테이지의 상류측에 TNS 모듈(들) 또는 업믹스 스테이지의 하류측에 TNS 모듈(들). 어떤 상황들 하에서, 복소수 주파수-영역 표현의 계산은 다운믹스 신호의 시간-영역 표현이 계산될 수 있을 것을 요구하지 않는다. 또한, 위에 개시된 바와 같이, 디코더는 복소수 예측 코딩을 적용하지 않고, 다이렉트 또는 조인트 코딩 모드에서 선택적으로 동작할 수도 있고, 따라서 TNS 모듈들의 종래의 국부화(localization), 즉 주파수 영역에서 마지막 처리 단계들 중 하나로서 적용하는 것이 더 적합할 수도 있다.
일실시예에서, 디코더 시스템은 다운믹스 신호의 제 2 주파수-영역 표현을 계산하는 것이 필요하지 않을 때 이 계산을 위한 모듈을 비활성화함으로써, 처리 자원들, 및 아마도 에너지를 절약하게 구성된다. 다운믹스 신호는 각각이 복소수 예측 계수의 값에 연관되는 것인 연속한 시간 블록들로 분할되는 것으로 가정한다. 이 값은 디코더와 공조하는 엔코더에 의해 각 시간 블록에 대해 취해지는 판단에 의해 결정될 수 있다. 또한, 이 실시예에서, 다운믹스 신호의 제 2 주파수-영역 표현을 계산하기 위한 모듈은 주어진 시간 블록에 대해, 복소수 예측 계수의 허수부의 절대값이 제로이거나 소정의 공차보다 작다면 자신을 비활성화하게 구성된다. 모듈의 비활성화는 다운믹스 신호의 어떠한 제 2 주파수-영역 표현도 이 시간 블록에 대해 계산되지 않음을 의미할 수 있다. 비활성화가 행해지지 않았다면, 제 2 주파수-영역 표현(예를 들면, 한 세트의 MDST 계수들)은 제로로 곱해지거나, 디코더의 머신 엡실론(반올림 단위)과 실질적으로 동일한 자리수의 크기의 수 또는 이외 어떤 다른 적합한 임계값으로 곱해질 것이다.
앞에 실시예의 추가 전개에서, 다운믹스 신호가 분할되는 시간 블록의 하위 레벨에서 처리 자원들의 절약이 달성된다. 예를 들면, 시간 블록 내에 이러한 하위 레벨은 주파수 대역일 수 있는데, 엔코더는 시간 블록 내에 각 주파수 대역에 대한 복소수 예측 계수의 값을 결정한다. 유사하게, 제 2 주파수-영역 표현을 생성하기 위한 모듈은 복소수 예측 계수가 제로이거나 공차 미만의 크기를 갖는 시간 블록 내 주파수 대역에 대해선 자신의 동작을 억제하게 구성된다.
일실시예에서, 제 1 스펙트럼 성분들은 변환 계수들의 하나 이상의 시간 블록들로 배열된 변환 계수들이며, 각 블록은 시간-영역 신호의 시간 세그먼트로의 변환을 적용하여 발생된다. 또한, 다운믹스 신호의 제 2 주파수-영역 표현을 계산하기 위한 모듈은
이 과정은 미국특허 6,980,933 B2, 특히 8 ~ 28 컬럼들 및 특히 식(41)에 상세히 기술된 바와 같이, 제 1 주파수-영역 표현으로부터 직접 제 2 주파수-영역 표현의 계산을 달성한다. 당업자가 아는 바와 같이, 계산은 예를 들면 다른 변환이 이어지는 역 변환과는 반대로 시간 영역을 통해 수행되지 않는다.
발명에 따른 복소수-예측 스테레오 코딩의 예시적 구현에 있어서, 계산상에 복잡성은 통상적인 L/R 또는 M/S 스테레오에 비해 약간만(QMF 영역에서 복소수-예측 스테레오 코딩에 의해 야기되는 증가보다 약간 미만) 증가하는 것으로 추정되었다. 제 2 스펙트럼 성분들의 정확한 계산을 포함하는 이러한 유형의 실시예는 QMF-기반의 구현에 의해 야기되는 것보다 전형적으로 단지 몇 퍼센트인 지연(시간 블록 길이가 1024 샘플들이라 가정하고 961 샘플들인, 혼성 QMF 분해/합성 필터 뱅크의 지연과 비교하여)을 야기한다.
적합하게, 이전 실시예의 적어도 일부에서, 임펄스 응답들은 제 1 주파수-영역 표현이 얻어질 수 있게 하는 변환, 더 정확하게는 이의 주파수 응답 특징들에 따라 변환하게 구성된다.
일부 실시예들에서, 다운믹스 신호의 제 1 주파수-영역 표현은 한 목적이 유해한 잡음량을 야기하거나 바람직하지 못한 방식으로 스펙트럼을 변경함이 없이 시간적 세그먼트화를 달성하는 것인, 하나 이상의 분해 윈도우 함수들(또는, 컷-오프 함수들, 예를 들면, 사각 윈도우, 사인 윈도우, 카이저-베셀-유도 윈도우, 등)에 관련하여 적용되고 있는 변환에 의해 얻어진다. 아마도, 이러한 윈도우 함수들은 부분적으로 겹칠 수 있다. 따라서, 바람직하게, 변환의 주파수 응답 특징들은 상기 하나 이상의 분해 윈도우 함수들의 특성들에 의존한다.
주파수 영역 내에 제 2 주파수-영역 표현의 계산을 특징으로 삼는 실시예를 계속하여 참조하면, 수반되는 계산상의 부하를 근사 제 2 주파수-영역 표현을 사용함으로써 감소시키는 것이 가능하다. 이러한 근사화는 계산이 기초로 하는 완전한 정보를 요구하지 않음으로써 달성될 수 있다. 예를 들면, 미국특허 6,980,933 B2의 교시된 바에 의해, 한 블록, 즉 출력 블록과 동시발생하는 블록, 선행 블록 및 후속 블록 내 다운믹스 신호의 제 2 주파수-영역 표현의 정확한 계산을 위해 3개의 시간 블록들로부터 제 1 주파수-영역 데이터가 요구된다. 발명에 따른 복소수 예측 코딩의 목적을 위해서, 제 2 주파수-영역 표현의 계산이 하나 또는 2개의 시간 블록들만으로부터의 데이터에 기초하도록, 후속 블록으로부터 나오는(이에 의해 모듈의 동작은 코절(causal)해 질 수 있는데, 즉, 지연에 기여하지 않는다) 및/또는 선행 블록으로부터 나오는 데이터를 생략함으로써 -혹은 제로로 대체함으로써- 얻어질 수 있다. 입력 데이터의 생략이 제 2 주파수-영역 표현의 리스케일링(rescaling) -예를 들면 이것이 더 이상 동일한 파워를 나타내지 않는 점에서- 을 의미할 수 있을지라도, 이것은 위에 언급된 바와 같이, 엔코더측 및 디코더측 둘 다에서 동일한 방식으로 계산되는 한, 복소수 예측 코딩을 위한 토대로서 아직은 사용될 수 있는 것에 유의한다. 실제로, 이러한 종류의 가능한 리스케일링은 예측 계수 값의 상응하는 변경에 의해 보상될 것이다.
다운믹스 신호의 제 2 주파수-영역 표현의 부분을 형성하는 스펙트럼 성분을 계산하기 위한 또 다른 근사 방법은 제 1 주파수-영역 표현으로부터 적어도 두 성분들의 조합을 포함할 수 있다. 후자의 성분들은 시간 및/또는 주파수에 관하여 이웃할 수 있다. 대안예로서, 이들은 비교적 적은 탭들을 가진 유한 임펄스 응답(FIR) 필터링에 의해 조합될 수 있다. 예를 들면, 1024의 시간 블록 크기를 적용하는 시스템에서, 이러한 FIR 필터들은 2, 3, 4, 등의 탭들을 포함할 수 있다. 이러한 특성의 근사 계산 방법들의 설명들은 예를 들면 미국특허 2005/0197831 A1에서 찾아볼 수 있다. 각 시간 블록 경계의 이웃에 비교적 더 작은 가중치들을 부여하는 윈도우 함수, 예를 들면, 사각형이 아닌 함수가 사용된다면, 시간 블록 내 제 2 스펙트럼 성분들을 같은 시간 블록 내 제 1 스펙트럼 성분들의 조합들에만 기초하는 것이 편리할 수 있고, 이것은 가장 바깥쪽 성분들에 대해 동일 량의 정보가 사용되지 않을 수 있음을 의미한다. 이러한 실시에 의해 야기될 수도 있을 근사오차는 윈도우 함수의 형상에 의해 어느 정도 억제 또는 상쇄된다.
시간-영역 스테레오 신호를 출력하게 설계된 디코더의 일실시예에서, 다이렉트 또는 조인트 스테레오 코딩과 복소수 예측 코딩 간을 전환할 가능성이 포함된다. 이것은 다음의 제공에 의해 달성된다:
당업자가 아는 바와 같이, 디코더의 부분 상에 이러한 융통성은 엔코더에 종래의 다이렉트 혹은 조인트 코딩과 복소수 예측 코딩 간을 선택할 자유를 부여한다. 따라서, 종래의 다이렉트 L/R 스테레오 코딩 또는 조인트 M/S 스테레오 코딩의 품질 수준이 능가될 수 없는 경우들에서도, 이 실시예는 동일한 수준이 유지되는 것을 적어도 보증할 수 있다. 따라서, 이 실시예에 따른 디코더는 관련기술에 관련한 상위집합으로서 간주될 수 있다.
디코더 시스템의 또 다른 일군의 실시예들은 시간 영역을 통해 제 2 주파수-영역 표현으로 제 2 스펙트럼 성분들의 계산을 달성한다. 더 정확하게는, 제 1 스펙트럼 성분들이 얻어지게 하였던(또는 얻어질 수 있게 한) 변환의 역이 적용되고, 제 2 스펙트럼 성분들을 출력으로서 갖는 다른 변환이 이어진다. 특히, 역 MDCT 다음에 MDST가 이어질 수 있다. 변환들 및 역 변환들의 수를 줄이기 위해서, 역 MDCT의 출력은, 이러한 실시예에서, 디코딩 시스템의 MDST 및 출력 단자들(아마도 추가의 처리 단계들이 선행될 수 있는) 둘 다에 공급된다.
발명에 따른 복소수-예측 스테레오 코딩의 예시적 구현에 있어서, 계산상에 복잡성은 통상적인 L/R 또는 M/S 스테레오에 비해 약간만(QMF 영역에서 복소수-예측 스테레오 코딩에 의해 야기되는 증가보다 현저히 미만) 증가하는 것으로 추정되었다.
앞에 단락에서 언급된 실시예의 추가 전개로서, 업믹스 스테이지는 사이드 신호를 처리하기 위한 또 하나의 역 변환 스테이지를 포함할 수 있다. 따라서, 합-차 스테이지에는 또 하나의 상기 역 변환 스테이지에 의해 발생된, 사이드 신호의 시간-영역 표현, 및 이미 언급된 역 변환 스테이지에 의해 발생된, 다운믹스 신호의 시간-영역 표현이 공급된다. 계산상에 복잡성의 관점에서 잇점이 있게, 후자의 신호는 합-차 스테이지 및 위에 언급된 상기 다른 변환 스테이지 둘 다에 공급됨을 상기한다.
일실시예에서, 시간-영역 스테레오 신호를 출력하게 설계된 디코더는 다이렉트 L/R 스테레오 코딩 또는 조인트 M/S 스테레오 코딩과 복소수 예측 스테레오 코딩 간을 전환할 가능성을 포함한다. 이것은 다음의 제공에 의해 달성된다:
당업자가 아는 바와 같이, 이것은 종래의 다이렉트 또는 조인트 코딩과 복소수 예측 코딩 간을 선택할 자유를 엔코더에 부여하며, 이것은 다이렉트 또는 조인트 스테레오 코딩의 품질과 적어도 동등한 품질 수준이 보증될 수 있음을 의미한다.
일실시예에서, 발명의 제 2 측면에 따른 엔코더 시스템은 잔차신호의 신호 파워 또는 평균 신호 파워를 감소시키거나 최소화할 목적으로 복소수 예측 계수를 추정하기 위한 추정기를 포함할 수 있다. 최소화는 시구간, 바람직하게 엔코딩된 신호의 시간 세그먼트 또는 시간 블록 또는 시간 프레임에 대해 행해질 수 있다. 순시 신호 파워의 측정으로서 진폭의 제곱이 취해질 수 있고, 이 구간 내 평균 신호 파워의 측정으로서, 제곱한 진폭(파형)의 시구간에 걸친 적분이 취해질 수 있다. 적합하게, 복소수 예측 계수는 시간-블록 및 주파수-대역마다 결정되는데, 즉, 이의 값은 이 시간 블록 및 주파수 대역 내 잔차신호의 평균 파워(즉, 총 에너지)를 감소시키게 하도록 설정된다. 특히, IID, ICC 및 IPD 또는 유사한 것들과 같은 파라미터 스테레오 코딩 파라미터들을 추정하기 위한 모듈들은 당업자에게 알려진 수학 관계식들에 따라 복소수 예측 계수가 계산될 수 있는 출력을 제공할 수 있다.
일실시예에서, 엔코더 시스템의 코딩 스테이지는 다이렉트 스테레오 코딩을 할 수 있게 하기 위해 통과 스테이지로서도 기능하게 동작할 수 있다. 다이렉트 스테레오 코딩이 더 높은 품질을 제공할 것으로 예상되는 상황들에서 이를 선택함으로써 엔코더 시스템은 코딩된 스테레오 신호가 다이렉트 코딩에서와 적어도 동일한 품질을 가짐을 보증할 수 있다. 유사하게, 복소수 예측 코딩에 의해 유발되는 더 큰 계산 노력이 현저한 품질 증가에 의해 동기가 일어나지 않는 상황들에서, 계산 자원들을 절약한다는 선택을 엔코더 시스템이 쉽게 활용할 수 있다. 코더에서 조인트, 다이렉트, 실수-예측과 복소수-예측 코딩 간에 판단은 일반적으로 레이트/외곡 최적화 근거에 기초한다.
일실시예에서, 엔코더 시스템은 제 1 스펙트럼 성분들에 기초하여 다이렉트(즉, 시간 영역으로 역 변환을 적용하지 않으며 신호의 시간-영역 데이터를 사용하지 않고) 제 2 주파수-영역 표현을 계산하기 위한 모듈을 포함할 수 있다. 위에 기술된 디코더 시스템의 대응하는 실시예들에 관련하여, 이 모듈은 유사한 구조를 가질 수 있는데, 즉 다른 순서로 유사한 처리 동작들을 포함할 수 있고, 따라서 엔코더는 디코더측에 입력으로서 적합한 데이터를 출력하게 구성된다. 이 실시예를 예시하는 목적을 위해서, 엔코딩될 스테레오 신호는 미드 채널 및 사이드 채널을 포함하거나, 이 구조로 변환되었고 코딩 스테이지는 제 1 주파수-영역 표현을 수신하게 구성된 것으로 가정한다. 코딩 스테이지는 미드 채널의 제 2 주파수-영역 표현을 계산하기 위한 모듈을 포함한다. (본원에서 언급되는 제 1 및 제 2 주파수-영역 표현들은 위에 정의된 바와 같으며, 특히 제 1 주파수-영역 표현들은 MDCT 표현들일 수 있고 제 2 주파수-영역 표현은 MDST 표현일 수 있다). 코딩 스테이지는 사이드 신호와, 복소수 예측 계수의 각각 실수부 및 허수부에 의해 가중된 미드 신호의 2개의 주파수-영역 표현들로부터 형성된 선형 조합으로서 잔차신호를 계산하기 위한 가중 합산기를 더 포함한다. 미드 신호, 또는 적합하게 이의 제 1 주파수-영역 표현은 다운믹스 신호로서 직접 사용될 수 있다. 또한, 이 실시예에서, 추정기는 잔차신호의 파워 또는 평균 파워를 최소화할 목적으로 복소수 예측 계수의 값을 결정한다. 최종의 동작(최적화)는 피드백 제어 -추정기는 필요하다면 더욱 조절될 현재 예측 계수값들에 의해 얻어진 잔차신호를 수신할 수 있다- 에 의해서, 혹은, 원래의 스테레오 신호의 좌/우 채널들 또는 미드/사이드 채널들에 직접 행해진 계산들에 의해 피드포워드 방법으로 행해질 수 있다. 피드포워드 방법이 바람직하며, 이에 의해서 복소수 예측 계수는 미드 신호의 제 1 및 제 2 주파수-영역 표현들 및 사이드 신호의 제 1 주파수-영역 표현에 기초하여 곧바로(특히, 비-반복적으로 또는 비-피드백 방법으로) 결정된다. 복소수 예측 계수의 결정에 이어 다이렉트, 조인트, 실수-예측 또는 복소수-예측 코딩을 적용할지의 판단이 이어질 수 있고, 각 사용가능한 선택의 결과적인 품질(바람직하게 예를 들면, 신호 대 마스크 효과들을 고려한, 인지 품질)이 고려되며, 이에 따라 위에 기재된 바들은 엔코더 내에 어떠한 피드백 메커니즘도 존재하지 않는다는 결과로 해석되지 않아야 함에 유의한다.
일실시예에서, 엔코더 시스템은 시간 영역을 통해 미드(또는 다운믹스) 신호의 제 2 주파수-영역 표현을 계산하기 위한 모듈들을 포함한다. 적어도 제 2 주파수-영역 표현의 계산이 관계되는 한, 이 실시예에 관계된 구현 상세는 대응하는 디코더 실시예들과 유사하거나 이들과 유사하게 작업될 수 있는 것이 이해된다. 이 실시예에서, 코딩 스테이지는
미드 채널의 복소수-값(및 따라서 오버샘플링된) 주파수-영역 표현을 제공하기 위한 변환 스테이지; 및
여기에서, 추정기는 잔차신호를 수신하고, 잔차신호의 파워 또는 평균을 감소시키거나 최소화하기 위해서 복소수 예측 계수를, 아마도 피드백 제어 방식으로, 결정할 수 있다. 그러나, 바람직하게, 추정기는 엔코딩될 스테레오 신호를 수신하며 이에 기초하여 예측 계수를 결정한다. 사이드 채널의 임계 샘플링된 주파수-영역 표현을 사용하는 것은 이 실시예에서 복소수의 곱셈이 적용되지 않을 것이기 때문에, 이를 사용하는 것이 계산상의 절약 관점에서 잇점이 있다. 적합하게, 변환 스테이지는 병렬로 배열된 MDCT 스테이지 및 MDST 스테이지를 포함할 수 있고, 둘 다는 입력으로서 미드 채널의 시간-영역 표현을 갖는다. 이에 따라, 미드 채널의 오버샘플링된 주파수-영역 표현 및 사이드 채널의 임계 샘플링된 주파수-영역 표현이 생성된다.
이 단락에서 개시된 방법들 및 장치는 의례적인 실험을 포함한 당업자의 능력들 내에서 적합한 수정들 후에, 2 이상의 채널들을 갖는 신호들의 코딩에 적용될 수 있음에 유의한다. 이러한 다-채널 동작성으로의 수정들은 예를 들면, 위에 인용된 J. Herre 등에 의한 논문에서 단락 4와 단락 5의 방법을 따라 진행할 수 있다.
위에 개괄된 2 이상의 실시예들로부터의 특징들은 이들이 다른 실시예들에서 명백히 상호보완적이지 않는 한, 조합될 수 있다. 2개의 특징들이 다른 청구항에서 인용된다는 사실이 이들 특징들이 잇점이 있게 조합될 수 있음을 배제하지 않는다. 마찬가지로, 요망되는 목적을 위해 필요하지 않거나 필수가 아닌 어떤 특징들을 생략한 다른 실시예들이 제공될 수 있다. 일예로서, 발명에 따른 디코딩 시스템은 처리될 코딩된 신호가 양자화되지 않거나 업믹스 스테이지에 의한 처리에 적합한 형태로 이미 가용한 경우들에 있어선 역양자화 스테이지 없이 구현될 수 있다.
본 발명은 고 비트레이트 범위에서도 계산적으로 효율적인 스테레오 코딩을 위한 방법들 및 장치를 제공할 수 있다.
이제 발명은 동반된 도면들을 참조하여, 다음 단락에서 기술되는 실시예들에 의해 더욱 예시될 것이다.
도 1은 배경기술에 따른 QMF-기반의 디코더들을 나타낸 2개의 일반화한 블록도들로 구성된다.
도 2은 본 발명의 실시예에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 디코더 시스템의 일반화한 블록도로서, 디코딩될 신호의 채널의 복소수 표현이 주파수 영역에서 계산된다.
도 3은 본 발명의 실시예에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 디코더 시스템의 일반화한 블록도로서, 디코딩될 신호의 채널의 복소수 표현이 시간 영역에서 계산된다.
도 4는 active TNS 스테이지의 위치가 선택가능한, 도 2의 디코더 시스템의 대안적 실시예를 도시한 것이다.
도 5는 본 발명의 또 다른 측면의 실시예들에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 엔코더 시스템들을 나타낸 일반화한 블록도를 포함한다.
도 6은 본 발명의 실시예에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 엔코더의 일반화한 블록도로서, 엔코딩될 신호의 채널의 복소수 표현은 이 신호의 시간-영역 표현에 기초하여 계산된다.
도 7은 다이렉트 L/R 코딩 모드에서도 동작가능한, 도 6의 엔코더 시스템의 대안적 실시예를 도시한 것이다.
도 8은 본 발명의 실시예에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 엔코더의 일반화한 블록도로서, 엔코딩될 신호의 채널의 복소수 표현은 이 신호의 제 1 주파수-영역 표현에 기초하여 계산되고, 디코더 시스템은 다이렉트 L/R 코딩 모드에서도 동작가능하다.
도 9는 코딩 스테이지의 하류측에 배열된 TNS 스테이지를 더 포함하는, 도 7의 엔코더 시스템의 대안적 실시예를 도시한 것이다.
도 10은 도 2 및 도 8에서 A로 표기한 부분의 대안적 실시예를 도시한 것이다.
도 11은 코딩 스테이지의 하류측 및 상류측에 각각 배열된 2개의 주파수-영역 수정 장치들을 더 포함하는, 도 8의 엔코더 시스템의 대안적 실시예를 도시한 것이다.
도 12는 MDST 스펙트럼의 계산 또는 근사값을 위한 서로 다른 복잡성-품질 절충 선택들을 보인 6 피험자들로부터 96 kb/s에서의 청취 테스트 결과들을 그래픽으로 나타낸 것으로, "+" 로 표기한 데이터 점들은 감추어진 기준을 나타내고, "x"는 3.5 kHz 대역-제한 앵커(anchor)를 나타내고, "*"는 USAC 통상의 스테레오 (M/S 또는 L/R)을 나타내고, "□"는 예측 계수의 허수부를 비활성화하여(즉, 실수값 예측으로서, MDST를 요구하지 않는다) 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩을 나타내고, "■"은 MDST의 근사값을 계산하기 위해 현재의 MDCT 프레임을 사용하여 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩을 나타내고, "○"은 MDST의 근사값을 계산하기 위해 현재 및 이전의 MDCT 프레임들을 사용하여 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩을 나타내고, "●"은 MDST을 계산하기 위해 현재, 이전 및 다음의 MDCT 프레임들을 사용하여 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩을 나타낸다.
도 13은 도 12의 데이터를, MDST의 근사값을 계산하기 위해 현재 MDCT 프레임을 사용하여 복소수 예측에 의해 MDCT-영역 통합 스테레오 코딩에 대한 차분 스코어들로서 나타낸 것이다.
도 14는 발명의 실시예들에 따른 디코더 시스템의 3개의 실시예들을 도시한 일반화한 블록도들을 포함한다.
도 15는 발명의 실시예에 따른 디코딩 방법을 도시한 흐름도이다.
도 16은 발명의 실시예에 따른 엔코딩 방법을 도시한 흐름도이다.
도 1은 배경기술에 따른 QMF-기반의 디코더들을 나타낸 2개의 일반화한 블록도들로 구성된다.
도 2은 본 발명의 실시예에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 디코더 시스템의 일반화한 블록도로서, 디코딩될 신호의 채널의 복소수 표현이 주파수 영역에서 계산된다.
도 3은 본 발명의 실시예에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 디코더 시스템의 일반화한 블록도로서, 디코딩될 신호의 채널의 복소수 표현이 시간 영역에서 계산된다.
도 4는 active TNS 스테이지의 위치가 선택가능한, 도 2의 디코더 시스템의 대안적 실시예를 도시한 것이다.
도 5는 본 발명의 또 다른 측면의 실시예들에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 엔코더 시스템들을 나타낸 일반화한 블록도를 포함한다.
도 6은 본 발명의 실시예에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 엔코더의 일반화한 블록도로서, 엔코딩될 신호의 채널의 복소수 표현은 이 신호의 시간-영역 표현에 기초하여 계산된다.
도 7은 다이렉트 L/R 코딩 모드에서도 동작가능한, 도 6의 엔코더 시스템의 대안적 실시예를 도시한 것이다.
도 8은 본 발명의 실시예에 따라, 복소수 예측을 사용한 MDCT-기반 스테레오 엔코더의 일반화한 블록도로서, 엔코딩될 신호의 채널의 복소수 표현은 이 신호의 제 1 주파수-영역 표현에 기초하여 계산되고, 디코더 시스템은 다이렉트 L/R 코딩 모드에서도 동작가능하다.
도 9는 코딩 스테이지의 하류측에 배열된 TNS 스테이지를 더 포함하는, 도 7의 엔코더 시스템의 대안적 실시예를 도시한 것이다.
도 10은 도 2 및 도 8에서 A로 표기한 부분의 대안적 실시예를 도시한 것이다.
도 11은 코딩 스테이지의 하류측 및 상류측에 각각 배열된 2개의 주파수-영역 수정 장치들을 더 포함하는, 도 8의 엔코더 시스템의 대안적 실시예를 도시한 것이다.
도 12는 MDST 스펙트럼의 계산 또는 근사값을 위한 서로 다른 복잡성-품질 절충 선택들을 보인 6 피험자들로부터 96 kb/s에서의 청취 테스트 결과들을 그래픽으로 나타낸 것으로, "+" 로 표기한 데이터 점들은 감추어진 기준을 나타내고, "x"는 3.5 kHz 대역-제한 앵커(anchor)를 나타내고, "*"는 USAC 통상의 스테레오 (M/S 또는 L/R)을 나타내고, "□"는 예측 계수의 허수부를 비활성화하여(즉, 실수값 예측으로서, MDST를 요구하지 않는다) 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩을 나타내고, "■"은 MDST의 근사값을 계산하기 위해 현재의 MDCT 프레임을 사용하여 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩을 나타내고, "○"은 MDST의 근사값을 계산하기 위해 현재 및 이전의 MDCT 프레임들을 사용하여 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩을 나타내고, "●"은 MDST을 계산하기 위해 현재, 이전 및 다음의 MDCT 프레임들을 사용하여 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩을 나타낸다.
도 13은 도 12의 데이터를, MDST의 근사값을 계산하기 위해 현재 MDCT 프레임을 사용하여 복소수 예측에 의해 MDCT-영역 통합 스테레오 코딩에 대한 차분 스코어들로서 나타낸 것이다.
도 14는 발명의 실시예들에 따른 디코더 시스템의 3개의 실시예들을 도시한 일반화한 블록도들을 포함한다.
도 15는 발명의 실시예에 따른 디코딩 방법을 도시한 흐름도이다.
도 16은 발명의 실시예에 따른 엔코딩 방법을 도시한 흐름도이다.
I. 디코더 시스템들
도 2는 복소수 예측 계수 α = αR + αI 중 적어도 한 값, 및 다운믹스(M) 채널과 잔차(D) 채널을 갖는 스테레오 신호의 MDCT 표현을 포함하는 비트 스트림을 디코딩하기 위한 디코딩 시스템을 일반화한 블록도 형태로 도시한 것이다. 예측 계수의 실수부(αR) 및 허수부(αI)는 양자화 및/또는 조인트 코딩되어 있을 수 있다. 그러나, 바람직하게, 실수부 및 허수부는 전형적으로 0.1(무차원 수)의 스텝 크기(step size)로, 독립적이고 균일하게 양자화 된다. 복소수 예측 계수를 위해 사용되는 주파수-대역 분해능은 반드시 MPEG 표준에 따른 스케일 팩터 대역들(sfb; 즉, 동일 MDCT 양자화 스텝 크기 및 양자화 범위를 사용하는 일 그룹의 MDCT 라인들)을 위한 분해능과 동일한 것은 아니다. 특히, 예측 계수를 위한 주파수-대역 분해능은 바크 스케일(Bark scale)과 같은 음향심리학적으로 정당화되는 것일 수 있다. 디멀티플렉서(201)는 이에 공급되는 비트 스트림으로부터 이들 MDCT 표현들 및 예측 계수(도면에 나타낸 바와 같은 제어 정보의 부분)을 추출하게 구성된다. 실제로, 예를 들면, 비트 스트림이 예측 또는 비-예측 모드에서 디코딩될 것인지의 명령들, TNS 정보, 등, 단지 복소수 예측 계수보다 더 많은 정보가 비트 스트림에 엔코딩될 수 있다. TNS 정보는 디코더 시스템의 TNS(합성) 필터들에 의해 적용될 TNS 파라미터들의 값들을 포함할 수 있다. 몇개의 TNS 필터들, 이를테면 두 채널들을 위해 동일한 다수 세트들의 TNS 파라미터들이 사용된다면, 이 정보를, 독립적으로 두 세트의 파라미터들을 수신하기보다는 파라미터의 이러한 정체(identity)를 나타내는 비트 형태로 수신하는 것이 절약이 된다. 또한, 예를 들면 2개의 가용한 선택들의 음향심리학적 평가에 기초하여 적합할 때, 업믹스 스테이지 전 또는 다음에 TNS를 적용할지 여부의 정보가 포함될 수도 있다. 또한, 제어 정보는 다운믹스 신호 및 잔차신호에 대한 개별적으로 제한된 대역폭들을 나타낼 수도 있다. 각 채널에 대해, 대역폭 한도 이상의 주파수 대역들은 디코딩되지 않고 제로로 설정될 것이다. 어떤 경우들에 있어서, 가장 높은 주파수 대역들은 이들이 이미 제로까지 하향하여 양자화될만큼 작은 에너지 함량을 갖는다. 통상적인 관행(cf. MPEG 표준에서 파라미터 max_sfb)은 다운믹스 신호 및 잔차신호 둘 다에 대해 동일한 대역폭 한도를 사용하는 것이었다. 그러나, 다운믹스 신호보다는 큰 정도로, 잔차신호는 낮은 주파수 대역들에 모여있는 에너지를 함유한다. 그러므로, 잔차신호에 전용 상측 대역폭 한도를 둠으로써, 현저한 품질 손실 없이 비트-레이트 감소가 가능하다. 예를 들면, 이것은 비트 스트림에 하나는 다운믹스 신호에 대한 것이고 또 하나는 잔차신호에 대한 것인 2개의 독립적인 max_sfb 파라미터들에 의해 통제될 수 있다.
이 실시예에서, 스테레오 신호의 MDCT 표현은 고정된 수의 데이터 점들(예를 들면, 1024 점들), 몇몇 고정된 수의 데이터 점들 중 하나(예를 들면, 128 또는 1024 점들) 또는 가변수의 점들을 포함하는 연속한 시간 프레임들(또는 시간 블록들)로 세그먼트화된다. 당업자들에게 공지된 바와 같이, MDCT는 임계 샘플링된다. 도면의 우측에 나타낸 디코딩 시스템의 출력은 좌측 L 채널 및 우측 R 채널을 갖는 시간-영역 스테레오 신호이다. 역양자화 모듈들(202)은 디코딩 시스템에 비트 스트림 입력, 혹은 적합한 경우, 원래의 비트 스트림의 디멀티플렉싱 후에 얻어지고 다운믹스 채널 및 잔차 채널 각각에 대응하는 2개의 비트 스트림들을 취급하게 구성된다. 역양자화된 채널 신호들은 통과 모드에서 동작하거나 각각의 변환 매트릭스들
에 대응하는 합-차 모드에서 동작하는 스위칭 어셈블리(203)에 제공된다. 다음 단락에서 더욱 논의되는 바와 같이, 디코더 시스템은 제 2 스위칭 어셈블리(205)를 포함한다. 이 실시예 및 기술된 실시예들에서 대부분의 다른 스위치들 및 스위칭 어셈블리들처럼, 스위칭 어셈블리들(203, 205) 둘 다는 주파수-선택적 방식으로 동작한다. 이것은 매우 다양한 디코딩 모드들의 디코딩, 예를 들면, 관련 기술에 공지된 바와 같은 디코딩 주파수-의존성 L/R 또는 M/S 디코딩을 할 수 있게 한다. 따라서, 발명에 따른 디코더는 관련 기술에 관련하여 상위집합으로서 간주될 수 있다.
우선은 스위칭 어셈블리(203)가 통과 모드에 있다고 하면, 역양자화된 채널 신호들은 이 실시예에서 각각의 TNS 필터들(204)을 통과한다. TNS 필터들(204)은 디코딩 시스템의 동작에 필수는 아니며 통과 요소들로 대체될 수도 있다. 이 다음에, 신호는 상류측에 위치된 스위칭 어셈블리(203)와 동일한 기능을 갖는 제 2 스위칭 어셈블리(205)에 공급된다. 앞에 기술된 바와 같은 신호들을 입력들로 하고 제 2 스위칭 어셈블리(205)이 통과 모드에 설정되었을 때, 전자의 출력은 다운믹스 채널 신호 및 잔차 채널 신호이다. 여전히 시간-연속적 MDCT 스펙트럼들로 표현된 다운믹스 신호는 이에 기초하여 다운믹스 신호의 MDST 스펙트럼들을 계산하게 구성된 실수-허수 변환(206)에 공급된다. 이 실시예에서, 한 MDST 프레임은, 하나는 이전의 프레임이고, 또 하나는 현재의(또는 동시발생) 프레임이고 또 하나는 후속 프레임인 3개의 MDCT 프레임들에 기초한다. 실수-허수 변환(206)의 입력측이 지연 성분들을 포함함을 기호로 (Z~1, Z) 로 나타내었다.
실수-허수 변환(206)으로부터 얻어진 다운믹스 신호의 MDST 표현은 예측 계수의 허수부 αI에 의해 가중되며, 예측 계수의 실수부 αR에 의해 가중된 다운믹스 신호의 MDCT 표현 및 잔차신호의 MDCT 표현에 더해진다. 디코더 시스템에 의해 초기에 수신된 비트 스트림에 엔코딩된 복소수 예측 계수 α이 공급되는, (기능적으로) 가중 가산기를 함께 형성하는, 곱셈기들 및 가산기들(210, 211)에 의해 두 번의 가산들 및 곱셉들이 수행된다. 복소수 예측 계수는 매 시간 프레임마다 한번 결정될 수 있다. 한 프레임 내에 음향심리학적으로 의도된 분할인 매 주파수 대역마다 한번과 같이 더 자주 결정될 수도 있다. 또한, 발명에 따라 엔코딩 시스템들에 관련하여 이하 논의되는 바와 같이, 덜 빈번하게 결정될 수도 있다. 실수-허수 변환(206)은 다운믹스 채널 신호의 현재의 MDST 프레임이 다운믹스 채널 신호 및 잔차 채널 신호 각각의 하나의 동시발생 MDCT 프레임들과 조합되게, 가중 가산기와 동기화된다. 이들 3개의 신호들의 합은 사이드 신호 S = Re{αM} + D이다. 이 표현에서, M은 다운믹스 신호의 MDCT 표현 및 MDST 표현 둘 다, 즉 M = MMDCT - iMMDST, 를 포함하며, D = DMDCT는 실수값이다. 이에 따라, 다운믹스 채널 및 사이드 채널을 갖는 스테레오 신호가 얻어지고, 이로부터 합-차 변환(207)은 다음과 같이 좌 채널 및 우 채널을 복원한다.
이들 신호들은 MDCT 영역으로 표현된다. 디코딩 시스템의 마지막 단계는 역 MDCT(209)을 채널들 각각에 적용하는 것으로, 이에 의해 좌/우 스테레오 신호의 시간-영역 표현이 얻어진다.
실수-허수 변환(206)의 가능한 구현은 위에 언급된 바와 같이 출원인의 특허 6,980,933 B2에 더욱 기술되어 있다. 이 특허에서 식(41)에 의해서, 변환은 예를 들면 짝수 점들에 대해서 유한 임펄스-응답 필터로서 표현될 수 있다.
S(2v)은 2v 번째 MDST 데이터 점이며, XI, XII, XIII는 프레임들 각각으로부터 MDCT 데이터이며, N은 프레임 길이이다. 또한, hI , III, hII는 적용된 윈도우 함수에 따른 임펄스 응답들이며, 그러므로 사각형, 정현 및 카이저-베셀-유도와 같은 윈도우 함수의 각 선택마다, 그리고 각 프레임 길이마다 결정된다. 이 계산의 복잡성은 비교적 적은 에너지 함량을 가지며 MDST 데이터에 비교적 덜 기여하는 임펄스 응답들은 생략함으로써 감소될 수 있다. 이러한 단순화에 대한 대안 혹은 확장으로서, 임펄스 응답들 자체들은 예를 들면, 전체 프레임 길이 N에서 더 적은 수의 점들로 단축될 수 있다. 예로서, 임펄스 응답 길이는 1024개의 점들(탭들)에서 10개의 점들로 감소될 수 있다. 여전히 의미있는 것으로 여겨질 수 있는 가장 극단적인 절단은 다음 식과 같다.
S(v) = XII(v + 1) - XII(v -1)
이외 다른 간단한 수법들은 US 2005/0197831 A1에서 볼 수 있다.
또한, 계산이 기초로 하는 입력 데이터의 량을 감소시키는 것이 가능하다. 예시하면, 도면 상에 "A"로 표기한 부분으로서 나타낸 실수-허수 변환(206) 및 이의 상류측의 연결들은 단순화한 변형으로 대체되며, 이들 중 2개 A' 및 A"가 도 10에 도시되었다. 변형 A'는 신호의 근사 허수 표현을 제공한다. 여기에서, MDST 계산은 현재 및 이전의 프레임만을 고려한다. 이 단락에 위에 식을 참조하면, 이것은 p = 0,..., N - 1(인덱스 III은 후속 시간 프레임을 나타낸다)에 대해 XIII(p) = 0으로 설정함으로써 달성될 수 있다. 변형 A'은 후속 프레임의 MDCT 스펙트럼을 입력으로서 요구하지 않기 때문에, MDST 계산은 어떠한 시간 지연도 유발하지 않는다. 명백히, 이 근사값은 얻어진 MDST 신호의 정확도를 다소 감소시키지만, 이 신호의 에너지가 감소하게 되는 것도 내포할 수 있고, 후자의 사실은 예측 코딩의 특성의 결과로서, αI 증가에 의해 완전히 보상될 수 있다.
또한 도 10에는 현재 시간 프레임에 대한 MDCT 데이터만을 입력으로서 사용하는 변형 A"가 도시되었다. 변형 A"는 분명 변형 A'보다 덜 정확한 MDST 표현을 생성한다. 한편, 이것은 변형 A'와 꼭같이 제로 지연으로 동작하며 더 적은 계산상의 복잡성을 갖는다. 이미 언급된 바와 같이, 동일한 근사화가 엔코더 시스템 및 디코더 시스템에서 사용되는 한, 파형 코딩 특성들은 영향을 받지 않는다.
변형 A, A' 또는 A"이 사용되든 아니면 임의의 이의 추가 전개가 사용되든 관계없이, MDST 스펙트럼의 이들 부분들만이 복소수 예측 계수의 허수부가 비-제로, 즉 αI≠ 0인 것에 대해서 계산될 필요가 있다. 실제 상황들에서, 이것은 계수의 허수부의 절대값 |αI|이 소정의 임계값보다 크다는 의미로 받아들일 것이며, 이것은 사용되는 하드웨어의 단위 반올림에 관계될 수 있다. 계수의 허수부가 시간 프레임 내 모든 주파수 대역들에 대해 제로인 경우에, 이 프레임에 대한 어떠한 MDST 데이터도 계산할 필요성은 없다. 따라서, 적합하게, 실수-허수 변환(206)은 MDST 출력을 발생하지 않음으로써 매우 작은 |αI| 값들의 발생들에 응답하게 구성되며, 이에 의해서 계산 자원들이 절약될 수 있다. 그러나, MDST 데이터의 한 프레임을 생성하기 위해 현재보다 더 많은 프레임들이 사용되는 실시예들에서, 이미 비-제로의 예측 계수에 연관된 다음 시간 프레임 -이것은 물론 다음 시간 블록일 수도 있다- 이 발생할 때 충분한 입력 데이터가 이미 실수-허수 변환(206)에서 이용될 수 있도록 변환(206)의 상류측에 있는 어떠한 유닛들이든, MDST 스펙트럼이 전혀 필요하지 않더라도, 적합하게 계속하여 동작해야 하는데, 특히 제 2 스위칭 어셈블리(205)는 MDCT 스펙트럼들을 계속하여 보내야 한다.
도 2로 돌아가면, 스위칭 어셈블리들(203, 205) 둘 다가 이들의 각각의 통과 모드들에 설정되었다는 가정하에 디코딩 시스템의 기능이 기술되었다. 이제 논의되는 바와 같이, 디코더 시스템은 예측 코딩되지 않은 신호들도 디코딩할 수 있다. 이 사용을 위해서, 제 2 스위칭 어셈블리(205)는 이의 합-차 모드로 설정될 것이며, 적합하게, 도면에 나타낸 바와 같이, 선택기 배열(208)은 이의 하측 위치에 설정될 것이며, 그럼으로써 신호들이 TNS 필터들(204)과 제 2 스위칭 어셈블리(205) 사이에 소스 점(source point)으로부터 역 변환(209)에 확실하게 직접 공급되게 한다. 정확한 디코딩을 보증하기 위해서, 신호는 적합하게 소스 점에서 L/R 형태를 갖는다. 그러므로, 실수-대-허수 변환에 항시(예를 들면 좌측 신호에 의해 간헐적으로가 아니다) 정확한 미드(즉, 다운믹스) 신호가 공급되는 보증하기 위해서, 제 2 스위칭 어셈블리(205)는 바람직하게 비-예측-코딩된 스테레오 신호의 디코딩 동안에 합-차 모드에 설정된다. 위에 언급된 바와 같이, 예측 코딩는 예를 들면, 데이터 레이트-대-오디오 품질 판단에 기초하여 어떤 프레임들에 대해선 통상의 다이렉트 또는 조인트 코딩으로 대체될 수도 있다. 이러한 판단의 결과는 다양한 방법들, 예를 들면, 각 프레임 내 전용 표시자 비트의 값에 의해서, 혹은 예측 계수의 값의 유 또는 무에 의해서 엔코더에서 디코더에 통신될 수 있다. 이들 사실들이 확정되었을 때, 제 1 스위칭 어셈블리(203)의 역할은 쉽게 실현될 수 있다. 사실, 비-예측 코딩 모드에서, 디코더 시스템은 다이렉트 (L/R) 스테레오 코딩 또는 조인트 (M/S) 코딩에 따라 두 신호들을 처리할 수 있고, 제 1 스위칭 어셈블리(203)을 통과 또는 합-차 모드에서 동작시킴으로써, 소스 점에 항시 다이렉트 코딩된 신호가 제공될 수 있게 하는 것이 가능하다. 명백히, 스위칭 어셈블리(203)는 합-차 스테이지로서 기능할 땐 M/S 형태의 입력 신호를 L/R 형태의 출력 신호(선택적 TNS 필터들(204)에 공급되는)로 변환할 것이다.
디코더 시스템은 특정 시간 프레임이 예측-코딩 또는 비-예측-코딩 모드에서 디코더 시스템에 의해 디코딩될 것인지의 신호를 수신한다. 비-예측 모드는 각 프레임 내 전용 표시자 비트의 값에 의해서, 또는 예측 계수의 부재(또는 제로 값)에 의해 시그널링될 수 있다. 예측 모드는 유사하게 통신될 수 있다. 어떠한 오버헤드도 없이 폴백을 할 수 있게 하는 특별히 잇점이 있는 구현은 시간 프레임마다 송신되고 다음과 같이 정의되는 2-비트 필드 ms_mask_present(MPEG-2 AAC, 문서 ISO/IEC 13818-7 참조)의 유보된 4번째 값을 이용한다.
| USAC에서 ms_mask_present의 정의 | |
| 값 | 의미 |
| 00 | 모든 주파수 대역들에 대한 L/R 코딩 |
| 01 | 대역당 한 시그널링 비트는 L/R 또는 M/S를 나타내기 위해 사용된다. |
| 10 | 모든 주파수 대역들에 대한 M/S 코딩 |
| 11 | 유보 |
값 11을 "복소수 예측 코딩"을 의미하는 것으로 재정의함으로써, 디코더는 어떠한 비트-레이트 페널티도 없이, 모든 레거시(legacy) 모드들, 특히 M/S 및 L/R 코딩에서 동작될 수 있으며, 그러면서도 관계된 프레임들에 대한 복소수 예측 코딩 모드를 나타내는 신호를 수신할 수 있다.
도 4는 전반적인 구조가 도 2에 도시된 것과 동일하지만 적어도 2개의 서로 다른 구조들을 포함하는 디코더 시스템을 도시한 것이다. 먼저, 도 4의 시스템은 업믹스 스테이지의 상류측 및/또는 하류측에서 주파수-영역 수정을 수반하는 어떤 처리 단계를 적용할 수 있게 하는 스위치들(404, 411)을 포함한다. 이것은 한편으로는, 역양자화 모듈들(401)의 하류측에 제 1 스위치(404)와 더불어 제공된 제 1 세트의 주파수-영역 수정기들(403)(이 도면에는 TNS 합성 필터들로서 도시됨) 및 업믹스 스테이지(406, 407, 408, 409)의 상류측에 바로 배열된 제 2 스위칭 어셈블리(405)의 상류측에 제 1 스위칭 어셈블리(402)에 의해 달성된다. 다른 한편으로, 디코더 시스템은 업믹스 스테이지(406, 407, 408, 409)의 하류측에, 그러나 역 변환 스테이지(412)의 상류측에 제 2 스위치(411)와 더불어 제공된 제 2 세트의 주파수-영역 수정기들(410)을 포함한다. 잇점이 있게, 도면 상에 나타낸 바와 같이, 주파수-영역 수정기의 입력측으로 상류측으로 연결되고 연관된 스위치에 하류측으로 연결된 통과 라인과 병렬로 각 주파수-영역 수정기가 배열된다. 이 구조의 덕택으로, 주파수-영역 수정기엔 항시 신호 데이터가 공급되어, 현재의 시간 프레임만보다는 더 많은 시간 프레임들에 기초하여 주파수 영역에서 처리할 수 있게 한다. 제 1 세트의 주파수-영역 수정기들(403)을 적용할지 아니면 제 2 세트의 주파수-영역 수정기들(410)을 적용할지 여부에 대한 판단은 엔코더에 의해 취해질 수 있고(그리고 비트 스트림으로 전달되고), 아니면 예측 코딩이 적용될지 여부에 기초할 수도 있거나, 또는 실제 상황들에서 적합한 것으로 발견된 그외 어떤 다른 기준에 기초할 수도 있다. 예로서, 주파수-영역 수정기가 TNS 필터들이라면, 제 1 세트(403)는 일부 종류들의 신호들에 대해 사용하는 것이 잇점이 있을 수 있고, 제 2 세트(410)는 그외 다른 종류들의 신호들에 대해 잇점이 있을 수 있다. 이 선택의 결과가 비트 스트림에 엔코딩된다면, 디코더 시스템은 이에 따라 각각의 세트의 TNS 필터들을 작동시킬 것이다.
도 4에 도시된 디코더 시스템의 이해를 용이하게 하기 위해서, 다이렉트 (L/R) 코딩된 신호의 디코딩은 α = 0(의사(pseudo)-L/R 및 L/R이 동일하고 사이드 채널 및 잔차 채널은 서로 다르지 않음을 의미한다)이고, 제 1 스위칭 어셈블리(402)가 통과 모드에 있고, 제 2 스위칭 어셈블리가 합-차 모드에 있어, 제 2 스위칭 어셈블리(405)와 업믹스 스테이지의 합-차 스테이지(409) 사이에서 신호가 M/S 형태를 갖게 하였을 때 행해지는 것임에 분명하게 유의한다. 그러면 업믹스 스테이지는 사실상 통과 단계에 있게 될 것이기 때문에, (각각의 스위치들(404, 411)을 사용하여) 제 1 또는 제 2 세트의 주파수-영역 수정기들이 활성화될지는 중요하지 않다.
도 3은 도 2 및 도 4의 디코더 시스템들에 관련하여 업믹스하기 위해 요구되는 MDST 데이터의 제공에 대한 다른 수법을 나타내는 발명의 실시예에 따른 디코더 시스템을 도시한 것이다. 이미 기술된 디코더 시스템들처럼, 도 3의 시스템은 역-양자화 모듈들(301), 통과 또는 합-차 모드에서 동작할 수 있는 제 1 스위칭 어셈블리(302) 및 TNS (합성) 필터들(303)을 포함하고, 이들 모두는 디코더 시스템의 입력측부터 직렬로 배열된다. 이 지점에서 하류측에 모듈들은 도면에 나타낸 바와 같이 2개의 제 2 스위치들(305, 310) 둘 다가 이들의 상측의 위치들 또는 하측의 위치들에 있도록 바람직하게 연대적으로 동작되는 이들 두 제 2 스위치들(305, 310)에 의해 선택적으로 이용된다. 디코더 시스템의 출력측은 합-차 스테이지(312)가 있고, 이의 바로 상류측에는 각 채널의 MDCT-영역 표현을 시간-영역 표현으로 변환하기 위한 2개의 역 MDCT 모듈들(306, 311)이 있다.
디코더 시스템에 다운믹스/잔차 스테레오 신호 및 복소수 예측 계수의 값들을 엔코딩하는 비트 스트림이 공급되는 복소수 예측 디코딩에서, 제 1 스위칭 어셈블리(302)는 이의 통과 모드에 설정되고 제 2 스위치들(305, 310)은 상측의 위치에 설정된다. TNS 필터들에서 하류측에서는 (역양자화되고, TNS-필터링된 MDCT) 스테레오 신호의 2개의 채널들이 서로 다른 방식들로 처리된다. 다운믹스 채널은 한편으로는 예측 계수의 실수부 αR에 의해 가중된 다운믹스 채널의 MDCT 표현을 잔차 채널의 MDCT 표현에 더하는 곱셈기 및 합산기(308)에, 그리고, 다른 한편으로는 역 MDCT 변환 모듈들 중 하나(306)에 제공된다. 역 MDCT 변환 모듈(306)으로부의 출력인 다운믹스 채널 M의 시간-영역 표현은 최종 합-차 스테이지(312) 및 MDST 변환 모듈(307) 둘 다에 공급된다. 다운믹스 채널의 시간-영역 표현의 이러한 이중의 사용은 계산상의 복잡성 면에서 잇점이 있다. 이와 같이 하여 얻어진 다운믹스 채널의 MDST 표현은 또 하나의 곱셈기 및 합산기(309)에 공급되고, 이 곱셈기 및 합산기(309)는 예측 계수의 허수부 αI에 의해 가중한 후에 이 신호를 합산기(308)로부터 선형 조합 출력에 더하고, 이에 따라 합산기(309)의 출력은 사이드 채널 신호 S = Re{αM} + D가 된다. 도 2에 도시된 디코더 시스템과 유사하게, 곱셈기들 및 합산기들(308, 309)은 입력들로서 다운믹스 신호의 MDCT 및 MDST 표현들, 잔차신호의 MDCT 표현 및 복소수 예측 계수의 값을 갖는 가중된 복수-신호 합산기를 형성하게 용이하게 결합될 수 있다. 본 실시예에서 이 지점에서 하류측에서는 사이드 채널 신호가 최종 합-차 스테이지(312)에 공급되기 전에 역 MDCT 변환 모듈(311)을 통하는 경로만이 남게 된다.
디코더 시스템에서 필요한 동기성은 주파수-선택적 M/S 및 L/R 코딩에선 이미 관행인 바와 같이, 역 MDCT 변환 모듈들(306, 311) 둘 다에서 동일한 변환 길이들 및 윈도우 형상들을 적용함으로써 달성될 수 있다. 역 MDCT 모듈(306)의 어떤 실시예들 및 MDST 모듈(307)의 실시예들의 조합에 의해 한-프레임 지연이 야기된다. 그러므로, 5개의 선택적 지연 블록들(313)(또는 컴퓨터 구현에서 이러한 취지의 소프트웨어 명령들)이 제공되고, 따라서 점선의 우측에 위치된 시스템의 부분은 필요시 좌측 부분에 관련하여 한 프레임만큼 지연될 수 있다. 명백히, 점선과 연결선들 간에 모든 교차점들에는 역 MDCT 모듈(306)과 MDST 변환 모듈(307) 간에 연결선은 제외하고 -지연이 발생하는 경우엔 보상이 필요하다- 지연 블록들이 제공된다.
하나의 시간 프레임을 위한 MDST 데이터의 조합은 시간-영역 표현의 한 프레임으로부터의 데이터를 요구한다. 그러나, 역 MDCT 변환은 하나(현재), 또는 2개(바람직하게는 이전 및 현재), 또는 3개(바람직하게는 이전, 현재 및 후속) 연속된 프레임들에 기초한다. MDCT에 연관된 공지된 시간-영역 알리아스(alias) 상쇄(TDAC)의 덕택으로, 3-프레임 선택(option)은 입력 프레임들의 완전한 중첩을 달성하며 이에 따라 적어도 시간-영역 알리아스를 내포하는 프레임들에서 최상의(및 아마도 완벽한) 정확성을 제공한다. 명백히, 3-프레임 역 MDCT는 한-프레임 지연으로 동작한다. 근사 시간-영역 표현을 MDST 변환에의 입력으로서 사용하기로 받아들임으로써, 이 지연, 그럼으로써 디코더 시스템의 서로 다른 부분들 간에 지연들을 보상할 필요성을 피할 수 있다. 2-프레임 선택에서, TDAC을 할 수 있게 하는 중첩/가산은 프레임의 전반부에서 행해지고, 알리아스는 후반부에만 있을 수 있다. 1-프레임 선택에서, TDAC의 부재는 프레임 전체에 걸쳐 알리아스가 일어날 수 있음을 의미하지만, 이러한 식으로 달성되고, 복소수 예측 코딩에서 중간 신호로서 사용되는 MDST 표현은 여전히 만족스러운 품질을 제공할 수 있다.
도 3에 도시된 디코딩 시스템은 2가지 비-예측 디코딩 모드들에서 동작할 수도 있다. 다이렉트 L/R 코딩된 스테레오 신호를 디코딩하기 위해서, 제 2 스위치들(305, 310)은 하측 위치에 설정되고, 제 1 스위칭 어셈블리(302)는 통과 모드에 설정된다. 이에 따라, 신호는 합-차 스테이지(304)의 상류측에서 L/R 형태를 가지며, 합-차 스테이지(304)는 이를 M/S 형태로 변환하며, 이에 역 MDCT 변환 및 최종의 합-차 동작이 행해진다. 조인트 M/S 코딩된 형태로 제공된 스테레오 신호를 디코딩하기 위해서, 제 1 스위칭 어셈블리(302)는 대신에 합-차 모드에 설정되고, 따라서 신호는 제 1 스위칭 어셈블리(302)와 합-차 스테이지(304) 사이에선 L/R 형태를 가지며, 이것은 종종 M/S 형태보다는 TNS 필터링 관점에서는 더 적합하다. 합-차 스테이지(304)의 하류측에서 처리는 다이렉트 L/R 디코딩에서의 처리와 동일하다.
도 14는 발명의 실시예들에 따라 디코더들의 3개의 일반화한 블록도들로 구성된다. 이 출원에 동반된 몇몇의 다른 블록도들과는 달리, 도 14에서 연결선은 다-채널 신호를 기화화할 수 있다. 특히, 이러한 연결선은 좌/우, 미드/사이드, 다운믹스/잔차, 의사-좌측/의사-우측 채널들 및 이외 다른 조합들을 포함하는 스테레오 신호를 송신하기 위해 배열될 수 있다.
도 14a는 입력 신호의 주파수-영역 표현(이 도면의 목적을 위해 MDCT 표현으로서 나타낸)을 디코딩하기 위한 디코더 시스템을 도시한 것이다. 디코더 시스템은 입력 신호를 기초로 발생된 스테레오 신호의 시간-영역 표현을 자신의 출력으로서 공급하게 구성된다. 복소수 예측 스테레오 코딩에 의해 코딩된 입력 신호를 디코딩할 수 있기 위해서, 디코더 시스템에는 업믹스 스테이지(1410)가 제공된다. 그러나, 다른 포맷들로 엔코딩되고, 아마도, 시간에 따라 몇몇 코딩 간을 교번하는 것으로 예를 들면 복소수 예측 코딩에 의해 코딩된 시간 프레임들의 시퀀스에 이어 다이렉트 좌/우 코딩에 의해 코딩된 시간 부분이 오는 입력신호를 취급할 수도 있다. 서로 다른 코딩 포맷들을 취급하는 디코더 시스템의 능력은 상기 업믹스 스테이지(1410)와 병렬로 배열된 연결선(통과)의 제공에 의해 달성된다. 스위치(1411)에 의해서, 업믹스 스테이지(1410)(도면에서 하측에 스위치 위치)로부터 출력 또는 연결선(도면에서 상측에 스위치 위치)으로, 가용한 비-처리된 신호가 더 하류측에 배열된 디코더 모듈들에 공급될지를 선택하는 것이 가능하다. 이 실시예에서, 역 MDCT 모듈(1412)은 스위치의 하류측에 배열되고, 신호의 MDCT 표현을 시간-영역 표현으로 변환한다. 예로서, 업믹스 스테이지(1410)에 공급되는 신호는 다운믹스/잔차 형태의 스테레오 신호일 수 있다. 이어서 업믹스 스테이지(1410)는 사이드 신호를 도출하고 합-차 동작을 수행하여 좌/우 스테레오 신호(MDCT 영역에서)가 출력되게 구성된다.
도 14b는 도 14a의 디코더 시스템과 유사한 디코더 시스템을 도시한 것이다. 본 시스템은 이의 입력 신호로 비트 스트림을 수신하게 구성된다. 비트 스트림은 처음에는 조합된 디멀티플렉서 및 역양자화 모듈(1420)에 의해 처리되고, 이것은 도 14a의 스위치(1411)와 유사한 기능을 갖는 스위치(1442)의 위치에 의해 결정되는 바와 같이, 제 1 출력 신호로서 후속 처리를 위해 다-채널 스테레오 신호의 MDCT 표현을 제공한다. 더 정확하게, 스위치(1422)는 디멀티플렉서 및 역양자화로부터 제 1 출력이 업믹스 스테이지(1421) 및 역 MDCT 모듈(1423)(하측 위치)에 의해 처리될 것인지 아니면 역 MDCT 모듈(1423)만(상측 위치)에 의해 처리될 것인지를 판정한다. 조합된 디멀티플렉서 및 역양자화 모듈(1420)은 제어 정보도 출력한다. 현재의 경우에, 스테레오 신호에 연관된 제어 정보는 스위치(1422)의 상측 또는 하측 위치가 신호를 디코딩하는데 적합한지, 아니면 더 추상적으로는, 어떤 코딩 포맷에 따라, 스테레오 신호가 디코딩될 것인지를 나타내는 데이터를 포함할 수 있다. 또한, 제어 정보는 업믹스 스테이지(1421)의 특성들을 조절하기 위한 파라미터들, 예를 들면, 위에서 이미 기술된 바와 같이 복소수 예측 코딩에서 사용되는 복소수 예측 계수 α의 값을 포함할 수 있다.
도 14c는 도 14b에 것들과 유사한 실체들 외에도, 업믹스 스테이지(1433)의 상류측 및 하류측에 각각 배열된 제 1 및 제 2 주파수-영역 수정 장치들(1431, 1435)을 포함하는 디코더 시스템을 도시한 것이다. 이 도면의 목적들을 위해서, 각 주파수-영역 수정 장치는 TNS 필터에 의해 도시되었다. 그러나, 주파수-영역 수정 장치라는 용어는 업믹스 스테이지 전 또는 후에 적용될 수 있는 TNS 필터링과는 다른 프로세스들인 것으로 이해될 수도 있을 것이다. 주파수-영역 수정들의 예들은 예측, 잡음 추가, 대역폭 확장, 및 비-선형 처리를 포함한다. 아마도 처리될 신호의 특성들 및/또는 이러한 주파수-영역 수정 장치의 구성 또는 설정을 포함하는 음향심리학적 고찰들 및 유사한 이유들은, 업믹스 스테이지(1433)의 하류측이 아니라 상류측에서 상기 주파수-영역 수정을 적용하는 것이 잇점이 있음을 종종 나타낸다. 다른 경우들에 있어서, 주파수-영역 수정의 하류측에 위치는 상류측 것보다 바람직하는 유사한 고찰들에 의해 확정될 수도 있다. 스위치들(1432, 1436)에 의해서, 주파수-영역 수정 장치들(1431, 1435)은 제어 정보에 응하여 디코더 시스템이 요망되는 구성을 선택할 수 있게 선택적으로 활성화될 수 있다. 예로서, 도 14c는 조합된 디멀티플렉서 및 역양자화 모듈(1430)로부터 스테레오 신호가 처음에는 제 1 주파수-영역 수정 장치(1431)에 의해 처리되고 이어서 업믹스 스테이지(1433)에 공급되고 마지막으로 제 2 주파수-영역 수정 장치(1435)를 거치지 않고 역 MDCT 모듈(1437)에 직접 보내지는 구성을 도시한 것이다. 요약 단락에서 설명된 바와 같이, 이 구성은 복소수 예측 코딩에서 업믹스 후에 TNS를 수행하는 선택보다 바람직하다.
II
.
엔코더
시스템들
발명에 따른 엔코더 시스템은 좌/우 (L/R) 스테레오 신호를 복소수 예측 코딩에 의해 출력 비트 스트림으로서 엔코딩하기 위한 엔코더 시스템의 일반화한 블록도인 도 5를 참조하여 이제 기술될 것이다. 엔코더 시스템은 신호의 시간-영역 또는 주파수-영역 표현을 수신하고 이것을 다운믹스 스테이지 및 예측 계수 추정기 둘 다에 공급한다. 예측 계수들의 실수부 및 허수부는 최종의 멀티플렉서(MUX)에 공급될 다운믹스 및 잔차 채널들로 좌 채널 및 우 채널의 변환을 통제하기 위해 다운믹스 스테이지에 제공된다. 신호가 엔코더에 주파수-영역 표현으로서 공급되지 않았다면, 다운믹스 스테이지 또는 멀티플렉서에서 이러한 표현으로 변환된다.
예측 코딩에서 원리 중 하나는 좌/우 신호를 미드/사이드 형태로 변환, 즉,
하고 이어서 다음과 같이 설정함으로써 이들 채널들 간에 나머지 상관을 이용하는 것이다.
α는 결정될 복소수 예측 계수이며 D는 잔차신호이다. 잔차신호 
의 에너지가 최소화되게 α를 선택하는 것이 가능하다. 에너지 최소화는 이산 신호의 경우엔 평균제곱(mean-square) 면에서 최적화에 이르는 것인, 순시 파워, 더 짧거나 혹은 더 긴 기간의 에너지(power average)에 관하여 행해질 수 있다.
예측 계수의 실수부 및 허수부(αR, αI)는 양자화 및/또는 조인트 코딩될 수 있다. 그러나, 바람직하게 실수부 및 허수부는 전형적으로 0.1(무차원 수)의 스텝 크기로, 독립적이고 균일하게 양자화된다. 복소수 예측 계수를 위해 사용되는 주파수-대역 분해능은 반드시 MPEG 표준에 따른 스케일 팩터 대역들(sfb; 즉, 동일 MDCT 양자화 스텝 크기 및 양자화 범위를 사용하는 일 그룹의 MDCT 라인들)을 위한 분해능과 동일한 것은 아니다. 특히, 예측 계수를 위한 주파수-대역 분해능은 바크 스케일과 같은 음향심리학적으로 정당화되는 것일 수 있다. 주파수-대역 분해능은 변환 길이가 가변하는 경우들에서 가변할 수 있는 것에 유의한다.
이미 언급된 바와 같이, 발명에 따른 엔코더 시스템은 예측 스테레오 코딩을 적용할지 아니면 적용하지 않을지의 자유를 가질 수 있는데, 후자의 경우는 L/R 또는 M/S 코딩에 폴백을 의미한다. 이러한 판단은 시간-프레임마다 취해지거나, 혹은 더 미세하게는, 시간 프레임 내 주파수-대역마다 취해질 수 있다. 위에 언급된 바와 같이, 판단의 부정적 결과는 다양한 방법들, 예를 들면, 각 프레임 내 전용 표시자 비트의 값에 의해서, 혹은 예측 계수의 값의 부재(또는 제로 값)에 의해서 디코더 실체에 통신될 수 있다. 긍정적 판단도 유사하게 통신될 수 있다. 어떠한 오버헤드도 없이 폴백을 할 수 있게 하는 특별히 잇점이 있는 구현은 시간 프레임마다 송신되고 다음과 같이 정의되는 2-비트 필드 ms_mask_present(MPEG-2 AAC, 문서 ISO/IEC 13818-7 참조)의 유보된 4번째 값을 이용한다.
| USAC에서 ms_mask_present의 정의 | |
| 값 | 의미 |
| 00 | 모든 주파수 대역들에 대한 L/R 코딩 |
| 01 | 대역당 하나의 시그널링 비트는 L/R 또는 M/S을 표시하기 위해 사용된다. |
| 10 | 모든 주파수 대역들에 대한 M/S 코딩 |
| 11 | 유보 |
값 11을 "복소수 예측 코딩"을 의미하는 것으로 재정의함으로써, 엔코더는 어떠한 비트-레이트 페널티도 없이, 모든 레거시 모드들, 특히 M/S 및 L/R 코딩에서 동작될 수 있으며, 그러면서도 잇점이 있는 프레임들에 대한 복소수 예측 코딩을 시그널링할 수 있다.
실질적 판단은 데이터 레이트-대-오디오 품질 근거에 기초할 수 있다. 품질 측정으로서, 엔코더 내 포함된 음향심리학 모델을 사용하여 얻어진 데이터가(가용한 MDCT-기반의 오디오 엔코더들의 경우에 흔히 있는 바와 같이) 사용될 수 있다. 특히, 엔코더의 일부 실시예들은 예측 계수의 레이트-왜곡이 최적화되는 선택을 제공한다. 따라서, 이러한 실시예들에서, 예측 계수의 허수부 - 및 아마도 실수부도 - 는 예측 이득이 증가해도 잔차신호의 코딩이 예측 계수를 코딩하기 위해 요구되는 비트들을 소비하는 것을 정당화하기에 충분한 비트들을 절약하지 않는다면 제로로 설정된다.
엔코더의 실시예들은 비트 스트림 내 TNS에 관계된 정보를 엔코딩할 수 있다. 이러한 정보는 디코더측에서 TNS (합성) 필터들에 의해 적용될 TNS 파라미터들의 값들을 포함할 수 있다. 동일한 다수 세트들의 TNS 파라미터들이 두 채널들에 대해 사용될 것이라면, 2 세트의 파라미터들을 독립적으로 송신하기보다는 파라미터 세트들의 이 정체(identity)를 나타내는 시그널링 비트를 포함시키는 것이 절약이 된다. 또한, 예를 들면, 2개의 가용한 선택들의 음향심리학적 평가에 기초하여 적합할 때 업믹스 스테이지 전 혹은 다음에 TNS를 적용하지 여부의 정보가 포함될 수도 있다.
복잡성 및 비트-레이트 관점에서 잠재적으로 이익이 되는 또 다른 선택적 특징으로서, 엔코더는 잔차신호의 엔코딩을 위한 개별적으로 제한된 대역폭을 사용하게 구성될 수 있다. 이 한도 이상의 주파수 대역들은 디코더에 전송되지 않고 제로로 설정될 것이다. 어떤 경우들에 있어서, 가장 높은 주파수 대역들은 이미 제로까지 밑으로 양자화될만큼 작은 에너지 함량을 갖는다. 정규 실시(cf. MPEG 표준에서 파라미터 max_sfb)에서는 다운믹스 신호 및 잔차신호 둘 다에 대해 동일한 대역폭 한도를 사용해야 한다. 이제, 발명자들은 다운믹스 신호보다는 큰 정도로 잔차신호가 낮은 주파수 대역들에 모인 에너지 함량을 갖는다는 것을 실험적으로 발견하였다. 그러므로, 잔차신호에 전용 상측에 대역폭 한도를 둠으로써, 현저한 품질 손실 없이 비트-레이트 감소가 가능하다. 예를 들면, 이것은 하나는 다운믹스 신호에 대한 것이고 또 하나는 잔차신호에 대한 것인 2개의 독립적인 max_sfb 파라미터들을 전송함으로써 달성될 수 있다.
예측 계수, 이의 양자화 및 코딩, M/S 또는 L/R 모드으로의 폴백, TNS 필터링 및 상측 대역폭 한도, 등의 최적의 판정의 사안들이 도 5에 도시된 디코더 시스템에 관련하여 논의되었을지라도, 이후 도면들에 관련하여 이어지는 것에서 개시될 실시예들에도 동일한 사실들이 똑같이 적용될 수 있음을 지적해 둔다.
도 6은 복소수 예측 스테레오 코딩을 수행하게 구성된 발명에 따른 또 다른 엔코더 시스템을 도시한 것이다. 시스템은 연속한, 아마도 중첩하는, 시간 프레임들로 세그먼트화되고 좌 채널 및 우 채널을 포함하는 스테레오 신호의 시간-영역 표현을 입력으로서 수신한다. 합-차 스테이지(601)는 신호를 미드 채널 및 사이드 채널로 변환한다. 미드 채널은 MDCT 모듈(602) 및 MDST 모듈(603) 둘 다에 공급되고, 사이드 채널은 MDCT 모듈(604)에만 공급된다. 예측 계수 추정기(605)는 각 시간 프레임에 대해 -아울러 아마도 프레임 내 개개의 주파수 대역들에 대해- 위에 설명된 바와 같이 복소수 예측 계수 α의 값을 추정한다. 계수 α의 값은 가중 합산기들(606, 607)에 가중치로서 공급되며, 가중 합산기들(606, 607)은 미드 신호의 MDCT 및 MDST 표현들과 사이드 신호의 MDCT 표현과의 선형 조합으로서 잔차신호(D)를 형성한다. 바람직하게, 복소수 예측 계수는 비트 스트림에 엔코딩될 때 사용하게 될 동일한 양자화 수법에 의해 나타나는 가중 합산기들(606, 607)에 공급되는데, 이것은 명백히 엔코더 및 디코더 둘 다가 예측 계수의 동일한 값을 적용할 때, 더 충실한 재구성을 제공한다. 잔차신호, 미드 신호(잔차신호와 함께 나타날 때는 더 적합하게는 다운믹스 신호이라고 칭할 수 있다) 및 예측 계수는 조합된 양자화 및 멀티플렉서 스테이지(608)에 공급되고, 이것은 이들 및 있을 수 있는 추가의 정보를 출력 비트 스트림로서 엔코딩한다.
도 7은 도 6의 엔코더 시스템에 대한 변형예를 도시한 것이다. 도면에서 기호들의 유사성으로부터 명백한 바와 같이, 이것은 유사한 구조를 가지지만 다이렉트 L/R 코딩 폴백 모드에서 동작하는 추가된 기능도 갖는다. 엔코더 시스템은 조합된 양자화 및 멀티플렉서 스테이지(709)의 상류측에 바로 제공된 스위치(710)에 의해 복소수 예측 코딩 모드와 폴백 모드 간에 작동된다. 상측 위치에서, 도면에 도시된 바와 같이, 스위치(710)는 엔코더가 폴백 모드에서 동작하게 할 것이다. MDCT 모듈들(702, 704)의 바로 하류측에 지점들로부터, 미드/사이드 신호가 합-차 스테이지(705)에 공급되고, 합-차 스테이지(705)는 이를 좌/우 형태로 변환후에 이를 스위치(710)에 보내고, 스위치(710)는 이를 조합된 양자화 및 멀티플렉서 스테이지(709)에 연결한다.
도 8은 본 발명에 따른 엔코더 시스템을 도시한 것이다. 도 6 및 도 7의 엔코더 시스템들과는 달리, 이 실시예는 MDCT 데이터로부터 직접, 즉, 주파수 영역에서 실수-대-허수 변환에 의해서 복소수 예측 코딩을 위해 요구되는 MDST 데이터를 도출한다. 실수-대-허수 변환은 도 2 및 도 4의 디코더 시스템들에 관련하여 논의된 수법들 중 어느 것이든 적용한다. 충실한 디코딩이 달성될 수 있게, 디코더의 계산 방법을 엔코더의 계산 방법에 맞추는 것이 중요하며, 바람직하게, 동일한 실수-대-허수 변환 방법들이 엔코더 측 및 디코더 측에서 사용된다. 디코더 실시예들에 대해서, 점선으로 둘러싸이고 실수-대-허수 변환(804)을 포함하는 부분(A)은 근사 변형들 혹은 입력으로서 더 적은 입력 시간 프레임들을 사용하는 것으로 대체될 수 있다. 마찬가지로, 코딩은 위에 기술된 다른 근사값 수법들 중 어느 것을 사용하여 단순화될 수 있다.
더 높은 수준에서, 도 8의 엔코더 시스템은 아마도 도 7에 MDST 모듈을 (적합히 연결된) 실수-대-허수 모듈로 대체하는 간단한 조치에 따르는 것과는 다른 구조를 갖는다. 본 구조는 명확하며 예측 코딩과 다이렉트 L/R 코딩 간을 확실하고 계산적으로 절약이 되게 전환하는 기능을 달성한다. 입력 스테레오 신호는 MDCT 변환 모듈들(801)에 공급되고, 이것은 각 채널의 주파수-영역 표현을 출력한다. 이것은 예측 코딩 모드와 다이렉트 코딩 모드 간에 엔코더 시스템을 작동시키기 위한 최종 스위치(808)에 그리고 합-차 스테이지(802)에도 공급된다. 다이렉트 L/R 코딩 또는 조인트 M/S 코딩 - 예측 계수가 제로로 설정된 시간 프레임에서 수행된다- 에서, 이 실시예는 입력 신호에 MDCT 변환, 양자와 및 멀티플렉싱만을 적용하는데, 후자의 2개의 단계들은 시스템의 출력측에 배열된, 비트 스트림이 공급되는 조합된 양자화 및 멀티플렉서 스테이지(807)에 의해 달성된다. 예측 코딩에서, 채널들 각각은 합-차 스테이지(802)와 스위치(808) 사이에서 더욱 처리가 가해진다. 미드 신호의 MDCT 표현으로부터, 실수-대-허수 변환(804)은 MDST 데이터를 도출하며 이들을 예측 계수 추정기(803) 및 가중 합산기(806) 둘 다에 보낸다. 도 6 및 도 7에 도시된 엔코더 시스템들에서와 같이, 또 하나의 가중 합산기(805)을 사용하여 사이드 신호를 미드 신호의 가중된 MDCT 및 MDST 표현들에 결합하여 잔차 채널 신호를 형성하고, 이것은 조합된 양자화 및 멀티플렉서 모듈(807)에 의해 미드(즉, 다운믹스) 채널 신호 및 예측 계수와 함께 엔코딩된다.
이제 도 9로 가서, 엔코더 시스템의 실시예들 각각에 하나 이상의 TNS (분해) 필터들이 결합될 수 있음이 예시될 것이다. 이전의 논의들에 따라, 신호에 이의 다운믹스된 형태로 TNS 필터링을 적용하는 것이 종종 잇점이 있다. 따라서, 도 9에 도시된 바와 같이, TNS을 포함하게 도 7의 엔코더 시스템의 개조는 조합된 양자화 및 멀티플렉서 모듈(909)의 바로 상류측에 TNS 필터들(911)을 추가함으로써 달성된다.
우/잔차 TNS 필터(911b) 대신에, 2개의 개별적인 TNS 필터들(도시되지 않음)이 우 또는 잔차 채널을 취급하도록 구성된 스위치(910)의 부분의 바로 상류측에 제공될 수 있다. 이에 따라, 두 TNS 필터들 각각에는 항시 각각의 채널 신호 데이터가 공급될 것이며, 이에 따라 현재 시간 프레임만보다 더 많은 시간 프레임들에 기초하여 TNS 필터링을 할 수 있게 될 것이다. 이미 언급된 바와 같이, TNS 필터들은 주파수-영역 수정 장치들, 특히 자신들의 처리를 현재의 한 프레임보다 더 많은 프레임에 기초하는 장치들의 단지 한 예이며, 이것은 TNS 필터에서 행해지는 것만큼 혹은 그보다 많은 이러한 대체로부터 이익을 얻을 수 있다.
도 9에 도시된 실시예에 대한 또 다른 가능한 대안으로서, 선택적 활성화를 위한 TNS 필터들은 각 채널을 위한 하나 이상의 지점에 배열될 수 있다. 이것은 서로 다른 다수 세트들의 TNS 필터들이 스위치들에 의해 연결될 수 있는 도 4에 도시된 디코더 시스템의 구조와 유사하다. 이것은 각 시간 프레임에 대해 TNS 필터링을 위해 가장 적합한 가용한 스테이지를 선택할 수 있게 한다. 특히, 복소수 예측 스테레오 코딩과 다른 코딩 모드들 간에 스위칭에 관련하여 서로 다른 TNS 위치들 간을 전환하는 것이 잇점이 있을 수 있다.
도 11은 도 8의 엔코더 시스템에 기초한 변형을 도시한 것으로, 다운믹스 신호의 제 2 주파수-영역 표현은 실수-대-허수 변환(1105)에 의해 도출된다. 도 4에 도시된 디코더 시스템과 유사하게, 이 엔코더 시스템은 한 주파수-영역 수정기 모듈(1102)는 다운믹스 스테이지의 상류측에 제공된 것이고 또 하나의 주파수-영역 수정기 모듈(1109)는 다운믹스 스테이지의 하류측에 제공된 것인, 선택적으로 활성화할 수 있는 주파수-영역 수정기 모듈들을 포함한다. 이 도면엔 TNS 필터들로 예시된 주파수-영역 모듈들(1102, 1109)은 4개의 스위치들(1103a, 1103b, 1109a, 1109b)을 사용하여 신호 경로들 각각에 연결될 수 있다.
III
. 비-장치(
Non
-
apparatus
)
실시예들
발명의 제 3 및 제 4 측면들의 실시예가 도 15 및 도 16에 도시되었다. 도 15는 다음의 단계들을 포함하는, 비트 스트림을 스테레오 신호로 디코딩하는 방법을 도시한 것이다.
1. 비트 스트림이 입력된다.
2. 비트 스트림이 역양자화되고, 이에 의해서 스테레오 신호의 다운믹스 채널 및 잔차 채널의 제 1 주파수-영역 표현이 얻어진다.
3. 다운믹스 채널의 제 2 주파수-영역 표현이 계산된다.
4. 채널들의 3개의 주파수-영역 표현들에 기초하여 사이드 채널 신호가 계산된다.
5. 바람직하게 좌/우 형태인 스테레오 신호가 사이드 채널 및 다운믹스 채널에 기초하여 계산된다.
6. 이와 같이 하여 얻어진 스테레오 신호가 출력된다.
단계 3 내지 단계 5는 업믹스 프로세스로서 간주될 수 있다. 단계 1 내지 단계 6 각각은 본 명세서의 앞에 부분들에서 개시된 디코더 시스템들 중 어느 것 내의 대응하는 기능과 유사하고, 이의 구현에 관계된 더 상세한 것은 동일 부분들에서 인용될 수 있다.
도 16은 다음의 단계들을 포함한, 스테레오 신호를 비트 스트림 신호로서 엔코딩하기 위한 방법을 도시한 것이다.
1. 스테레오 신호가 입력된다.
2. 스테레오 신호가 제 1 주파수-영역 표현으로 변환된다.
3. 복소수 예측 계수가 결정된다.
4. 주파수-영역 표현이 다운믹스된다.
5. 다운믹스 채널 및 잔차 채널이 복소수 예측 계수와 함께 비트 스트림으로서 엔코딩된다.
6. 비트 스트림이 출력된다.
단계 1 내지 단계 5 각각은 본 명세서의 앞에 부분들에서 개시된 엔코더 시스템들 중 어느 것 내의 대응하는 기능과 유사하고, 이의 구현에 관계된 더 상세한 것은 동일 부분들에서 인용될 수 있다.
두 방법들은 소프트웨어 프로그램들의 형태로 컴퓨터-판독가능 명령들로서 표현될 수 있고 컴퓨터에 의해 실행될 수 있다. 이 발명의 보호의 범위는 이러한 소프트웨어를 배포하기 위한 이러한 소프트웨어 및 컴퓨터-프로그램 제품들까지 확장한다.
IV
. 실험적 평가
본원에 개시된 실시예들 중 몇몇을 실험적으로 평가하였다. 이 과정에서 얻어진 실험 자료의 가장 중요한 부분들이 이 소 항목에서 요약될 것이다. 실험들을 위해 사용된 실시예는 다음의 특징들을 가졌다:
(i) 각 MDST 스펙트럼(시간 프레임에 대한)이 현재, 이전 및 다음 MDCT 스펙트럼들으로부터 2차원 유한 임펄스 응답 필터링에 의해 계산되었다.
(ii) USAC 스테레오 엔코더로부터 음향심리학 모델이 사용되었다.
(iii) 복소수 예측 계수 α의 실수부 및 허수부가 PS 파라미터들 ICC, CLD 및 IPD 대신에 전송되었다. 실수부 및 허수부는 독립적으로 취급되었으며, 범위 [-3.0, 3.0]로 제한되었고 0.1의 스텝 크기를 사용하여 양자화되었다. 이어서, 이들은 시간-차분적으로(time-differentially) 코딩되었으며 마지막으로 USAC의 스케일 팩터 코드북(codebook)을 사용하여 허프만 코딩되었다. 예측 계수들은 매 제 2 스케일-팩터 대역마다 업데이트되었으며, 이에 따라 주파수 분해능은 MPEG 서라운드(예를 들면, ISO/IEC 23003-1 참조)의 분해능과 유사하게 되었다. 이 양자화 및 코딩 수법에 따라 평균 비트 레이트는 96 kb/s의 타겟 비트 레이트를 갖는 전형적인 구성에서 이 스테레오 사이트 정보에 대해 근사적으로 2 kb/s이 되었다.
(iv) 비트 스트림 포맷은 2-비트 ms_mask_present 비트 스트림 요소가 현재 단지 3개의 가능한 값들을 갖고 있기 때문에, 현재의 USAC 비트 스트림들을 나눔이 없이 수정되었다. 복소수 예측을 나타내기 위해 4번째 값을 사용함으로써 어떠한 비트들도 낭비됨이 없이 기본 미드/사이드 코딩의 폴백 모드가 가능하다(이 주제에 대한 더 상세한 것에 대해선, 본 명세서의 이전의 소 항목을 참조한다).
특히 헤드폰들을 통한 재생과 48 kHz의 샘플링 레이트로 8 테스트 항목들의 사용을 수반하는, MUSHRA 방법에 따라 청취 테스트들이 달성되었다. 3, 4 또는 6 테스트 피험자들이 각 테스트에 참가하였다.
복잡성과 품질의 선택들 간에 존재하는 실제적인 복잡성 대 품질 절충을 예시하기 위해 서로 다른 MDST 근사화들의 영향을 평가하였다. 결과들은 도 12 및 도 13에서 볼 수 있고, 전자는 얻어진 절대 스코어들을 나타내며 후자는 96s USAC cp1f, 즉 MDST의 근사화를 계산하기 위해 현재 MDCT 프레임을 사용한 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩에 기준한 차분 스코어들을 나타낸다. MDCT-기반의 통합 스테레오 코딩에 의해 달성된 품질 이득은 MDST 스펙트럼을 계산하는데 있어 더 계산적으로 복잡한 수법들이 적용될 때 증가함을 알 수 있다. 모든 테스트에 대해 평균을 고찰하면, 단일-프레임-기반의 시스템 96s USAC cp1f은 종래의 스테레오 코딩에 비해 코딩 효율에 현져한 증가를 제공한다. 결국, 훨씬 현저하게 더 나은 결과들이 96s USAC cp3f, 즉 MDST를 계산하기 위해 현재, 이전 및 다음 MDST 프레임들을 사용한 복소수 예측에 의한 MDCT-영역 통합 스테레오 코딩에 대해 얻어진다.
V.
결어
본 발명의 또 다른 실시예들은 위에 설명을 읽은 후에 당업자에게 명백하게 될 것이다. 본 설명 및 도면들이 실시예들 및 예들을 개시할지라도, 발명은 이들 특정한 예들로 제한되지 않는다. 첨부한 청구항들에 의해 정의되는 본 발명의 범위 내에서 수많은 수정들 및 변형들이 행해질 수 있다.
이 출원에 개시된 방법들 및 장치는 의례적인 실험을 포함한, 당업자의 능력들 내에서 적합한 수정들 후에, 2 이상의 채널들을 갖는 신호들의 코딩에 적용될 수 있음에 유의한다. 기술된 실시예들에 관련하여 언급된 임의의 신호들, 파라미터들 및 매트릭스들은 주파수-가변 혹은 주파수-불변 및/또는 시간-가변 혹은 시간-불변일 수 있음을 특히 강조해 둔다. 기술된 계산 단계들은 주파수에 관하여, 또는 한번에 모든 주파수 대역들에 대해 수행될 수 있고, 모든 실체들은 주파수-선택적으로 동작하게 실시될 수 있다. 응용 목적들을 위해서, 임의의 양자화 수법들은 음향심리학적 모델들에 따라 구성될 수 있다. 또한, L/R-대-M/S 변환 및 M/S-대-L/R 변환 뿐만 아니라 다운믹스/잔차 형태에서 의사-L/R 형태로의 변환은 모두 다음의 형태임에 유의하며,
여기에서, 이득율 g만이 가변할 수 있다. 이에 따라, 이득율들을 개별적으로 조절함으로써, 디코딩 이득의 적합한 선택에 의해 어떤 엔코딩 이득을 보상하는 것이 가능하다. 또한, 당업자가 아는 바와 같이, 짝수개의 직렬로 배열된 합-차 변환들 아마도 1이 아닌 이득을 갖고, 통과 스테이지에 영향을 미친다.
위에 개시된 시스템들 및 방법들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로서 구현될 수 있다. 어떤 성분들 또는 모든 성분들은 디지털 신호 프로세서 또는 마이크로프로세서에 의해 실행되는 소프트웨어로서 구혀될 수 있고, 혹은 하드웨어 또는 응용특정의 집적회로로서 구현될 수도 있다. 이러한 소프트웨어는 컴퓨터 저장 매체들 및 통신매체를 포함할 수 있는 컴퓨터 판독가능 매체들 상에 배포될 수 있다. 당업자에게 공지된 바와 같이, 컴퓨터 저장 매체들은 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들 또는 그외 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 착탈가능 및 비-착탈가능 매체들 모두를 포함한다. 컴퓨터 저장 매체들은 다음으로 제한되는 것은 아니나, RAM, ROM, EEPROM, 플래시 메모리 또는 이외 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크들(DVD) 또는 그외 광학 디스크 저장장치, 자기 카세트들, 자기 테이프, 자기 디스크 저장장치 또는 그외 자기 저장 장치들, 혹은 요망되는 정보를 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 이외 어떤 다른 매체를 포함한다. 또한, 통신매체는 전형적으로 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 반송파와 같은 변조된 데이터 신호 또는 이외 다른 수송 메커니즘에서의 그외 다른 데이터를 구현하며 임의의 정보 전달 매체들을 포함함이 당업자에게 공지되어 있다.
203: 스위칭 어셈블리
204: TNS 필터들
205: 스위칭 어셈블리
208: 선택기 배열
209: 역 변환
204: TNS 필터들
205: 스위칭 어셈블리
208: 선택기 배열
209: 역 변환
Claims (15)
- 복소수 예측 스테레오 코딩에 의해 스테레오 신호를 제공하기 위한 디코더 시스템에 있어서,
다운믹스 신호(M) 및 잔차신호(D)의 제 1 주파수-영역 표현들에 기초하여 상기 스테레오 신호를 발생하게 구성된 업믹스 스테이지(406, 407, 408, 409; 1433)로서, 상기 제 1 주파수-영역 표현들 각각은 다차원 공간의 제 1 부분공간으로 표현된 대응하는 신호의 스펙트럼 내용을 나타내는 제 1 스펙트럼 성분들을 포함하고, 상기 업믹스 스테이지는
상기 다운믹스 신호의 상기 제 1 주파수-영역 표현에 기초하여 상기 다운믹스 신호의 제 2 주파수-영역 표현을 계산하기 위한 모듈(206; 306, 307; 408)로서, 상기 제 2 주파수-영역 표현은 상기 제 1 부분공간 내에 포함되지 않은 상기 다차원 공간의 부분을 포함하는 상기 다차원 공간의 제 2 부분공간으로 표현된 상기 다운믹스 신호의 스펙트럼 내용을 나타내는 제 2 스펙트럼 성분들을 포함하는 것인, 상기 모듈(408);
상기 다운믹스 신호의 상기 제 1 및 제 2 주파수-영역 표현들, 상기 잔차신호의 상기 제 1 주파수-영역 표현 및 비트 스트림 신호에 엔코딩된 복소수 예측 계수(α)에 기초하여 사이드 신호(S)를 계산하기 위한 가중 합산기(406, 407); 및
상기 다운믹스 신호의 상기 제 1 주파수-영역 표현 및 상기 사이드 신호에 기초하여 상기 스테레오 신호를 계산하기 위한 합-차 스테이지(409)를 포함하는 것인, 상기 업믹스 스테이지;
상기 업믹스 스테이지의 상류측에 배열되고, 적어도 한 신호의 주파수-영역 표현을 처리하는 능동 모드, 및 통과(pass-through)로서 작동하는 수동 모드에서 동작할 수 있는, 제 1 주파수-영역 수정기 스테이지(403; 1431); 및
상기 업믹스 스테이지의 하류측에 배열되고, 적어도 한 신호의 주파수-영역 표현을 처리하는 능동 모드, 및 통과로서 작동하는 수동 모드에서 동작할 수 있는, 제 2 주파수-영역 수정기 스테이지(410; 1435)를 포함하는, 디코더 시스템. - 제 1 항에 있어서, 상기 제 1 주파수-영역 수정기 스테이지와 상기 제 2 주파수-영역 수정기 스테이지들 중 적어도 하나는 시간 잡음 형상화(TNS) 스테이지인, 디코더 시스템.
- 제 2 항에 있어서, 각 시간 프레임에 대해서, 이 프레임에 연관된 데이터 필드를 수신하고, 상기 데이터 필드의 값에 응하여, 상기 제 1 주파수-영역 수정기 스테이지를 이의 능동 모드에서 동작시키고 상기 제 2 주파수-영역 수정기 스테이지를 이의 능동 모드 또는 이의 통과 모드에서 동작하게 더욱 구성된, 디코더 시스템.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 업믹스 스테이지의 상류측에 배열되고, 비트 스트림 신호에 기초하여 상기 다운믹스 신호(M) 및 잔차신호(D)의 상기 제 1 주파수-영역 표현들을 제공하기 위한 역양자화 스테이지(401)를 더 포함하는, 디코더 시스템.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 제 1 스펙트럼 성분들은 상기 제 1 부분공간으로 표현된 실수값들을 가지며;
상기 제 2 스펙트럼 성분들은 상기 제 2 부분공간으로 표현된 허수값들을 가지며;
선택적으로, 상기 제 1 스펙트럼 성분들은 이산 코사인 변환(DCT), 또는 수정 이산 코사인 변환(MDCT) 중 하나에 의해 얻어질 수 있고,
선택적으로, 상기 제 2 스펙트럼 성분들은 이산 사인 변환(DST), 또는 수정 이산 사인 변환(MDST) 중 하나에 의해 얻어질 수 있는, 디코더 시스템. - 제 5 항에 있어서, 상기 다운믹스 신호는 연속한 시간 프레임들로 분할되고, 각각은 상기 복소수 예측 계수의 값에 연관되며;
상기 다운믹스 신호의 제 2 주파수-영역 표현을 계산하기 위한 상기 모듈은 상기 복소수 예측 계수의 허수부의 절대값이 시간 프레임에 대한 소정의 공차보다 작은 것에 응하여, 이 시간 프레임에 대한 출력을 발생하지 않도록 자신을 비활성화하게 구성된, 디코더 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 제 1 스펙트럼 성분들은 변환 계수들의 하나 이상의 시간 프레임들로 배열된 변환 계수들이며, 각 블록은 시간-영역 신호의 시간 세그먼트로의 변환의 적용에 의해 발생되고;
상기 다운믹스 신호의 제 2 주파수-영역 표현을 계산하기 위한 상기 모듈은
상기 제 1 스펙트럼 성분들 중 적어도 일부로부터 하나 이상의 제 1 중간 성분들을 도출하고;
하나 이상의 제 2 중간 성분들을 얻기 위해 하나 이상의 임펄스 응답들의 적어도 한 부분에 따라 상기 하나 이상의 제 1 스펙트럼 성분들의 조합을 형성하고;
상기 하나 이상의 제 2 중간 성분들로부터 상기 하나 이상의 제 2 스펙트럼 성분들을 도출하게 구성된, 디코더 시스템. - 제 7 항에 있어서, 상기 하나 이상의 임펄스 응답들의 상기 부분들은 상기 하나 이상의 변환들의 주파수 응답 특성들에 기초하며, 선택적으로 상기 변환의 상기 주파수 응답 특성들은 상기 시간-영역 신호의 상기 시간 세그먼트에 변환이 적용되었던 하나 이상의 분해 윈도우 함수들의 특성들에 의존하는, 디코더 시스템.
- 제 7 항에 있어서, 상기 다운믹스 신호의 제 2 주파수-영역 표현을 계산하기 위한 상기 모듈은
(a) 제 1 스펙트럼 성분들의 동시발생 시간 프레임;
(b) 제 1 스펙트럼 성분들의 동시발생 및 선행 시간 프레임; 및
(c) 제 1 스펙트럼 성분들의 동시발생, 선행 및 후속 시간 프레임;
중 하나에 기초하여 제 2 스펙트럼 성분들의 각 시간 프레임을 얻게 구성된, 디코더 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 다운믹스 신호의 제 2 주파수-영역 표현을 계산하기 위한 상기 모듈은 적어도 2개의 시간적으로 이웃한 및/또는 주파수가 인접한 제 1 스펙트럼 성분들의 결합에 의해 결정된 근사 제 2 스펙트럼 성분들을 포함하는 근사 제 2 스펙트럼 표현을 계산하게 구성된, 디코더 시스템.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 스테레오 신호는 상기 시간 영역으로 표현되고, 상기 디코더 시스템은
역양자화 스테이지와 상기 업믹스 스테이지 사이에 배열되어,
(a) 통과 스테이지, 또는
(b) 합-차 스테이지
중 어느 하나로서 기능하게 동작하여, 다이렉트 코딩된 스테레오 입력 신호와 조인트 코딩된 스테레오 입력 신호 간에 전환할 수 있게 하는 스위칭 어셈블리(203);
상기 스테레오 신호의 시간-영역 표현을 계산하게 구성된 역 변환 스테이지(209); 및
상기 역 변환 스테이지의 상류측에 배열되고, 이를
(a) 상기 업믹스 스테이지의 하류측에 지점에 연결에 의해, 복소수 예측에 의해 얻어진 상기 스테레오 신호가 상기 역 변환 스테이지에 공급되게 하는, 상기 지점, 또는
(b) 상기 스위칭 어셈블리(203)의 하류측에 그리고 상기 업믹스 스테이지의 상류측에 지점에 연결에 의해, 다이렉트 스테레오 코딩에 의해 얻어진 스테레오 신호가 상기 역 변환 스테이지에 공급되게 하는, 상기 지점 중,
어느 하나에 선택적으로 연결하게 구성된 선택기 배열(208)을 더 포함하는, 디코더 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 다운믹스 신호의 제 2 주파수-영역 표현을 계산하기 위한 상기 모듈은
상기 다차원 공간의 상기 제 1 부분공간에 상기 각각의 신호의 상기 제 1 주파수-영역 표현에 기초하여 상기 다운믹스 신호 및/또는 상기 사이드 신호의 시간-영역 표현을 계산하기 위한 역변환 스테이지(306); 및
상기 다운믹스 신호 및/또는 상기 사이드 신호의 상기 시간-영역 표현에 기초하여 상기 각각의 신호의 상기 제 2 주파수-영역 표현을 계산하기 위한 변환 스테이지(307)를 포함하고,
상기 역변환 스테이지(306)는 역 수정 이산 코사인 변환(MDCT)을 수행하고, 상기 변환 스테이지는 수정 이산 사인 변환(MDST)을 수행하는, 디코더 시스템. - 제 12 항에 있어서, 상기 스테레오 신호는 시간 영역으로 표현되고, 상기 디코더 시스템은
역양자화 스테이지와 상기 업믹스 스테이지 사이에 배열되고,
(a) 조인트 스테레오 코딩에서 사용하기 위한 통과 스테이지, 또는
(b) 다이렉트 스테레오 코딩에서 사용하기 위한 합-차 스테이지로서 기능하게 동작할 수 있는, 스위칭 어셈블리(302);
상기 업믹스 스테이지에 배열되어 상기 사이드 신호의 시간-영역 표현을 계산하기 위한 또 하나의 역변환 스테이지(311);
상기 역변환 스테이지들(306, 301)의 상류측에 배열되어, 이들을
(a) 상기 스위칭 어셈블리(302)의 하류측 및 상기 업믹스 스테이지의 상류측의 지점에 연결하게 될 또 하나의 합-차 스테이지(304); 또는
(b) 상기 스위칭 어셈블리(302)로부터 얻어진 다운믹스 신호 및 상기 가중 합산기(308, 309)로부터 얻어진 사이드 신호에 선택적으로 연결하게 구성된, 선택기 배열(305, 310)를 더 포함하는, 디코더 시스템. - 복소수 예측 스테레오 코딩에 의한 스테레오 신호를 제공하기 위한 디코딩 방법에 있어서,
입력 스테레오 신호는 다운믹스 채널(M) 및 잔차신호(D)의 제 1 주파수-영역 표현들 및 복소수 예측 계수(α)를 포함하며;
상기 제 1 주파수-영역 표현들 각각은 다차원 공간의 제 1 부분공간으로 표현된 대응하는 신호의 스펙트럼 내용을 나타내는 제 1 스펙트럼 성분들을 포함하며,
상기 방법은 업믹스 스테이지에 의해 수행되며,
상기 다운믹스 채널의 상기 제 1 주파수-영역 표현에 기초하여 상기 다운믹스 채널의 제 2 주파수-영역 표현을 계산하는 단계로서, 상기 제 2 주파수-영역 표현은 상기 제 1 부분공간 내에 포함되지 않은 상기 다차원 공간의 부분을 포함하는 상기 다차원 공간의 제 2 부분공간으로 표현된 상기 다운믹스 채널의 스펙트럼 내용을 나타내는 제 2 스펙트럼 성분들을 포함하는, 상기 다운믹스 채널의 제 2 주파수-영역 표현을 계산하는 단계; 및
상기 다운믹스 신호의 상기 제 1 및 제 2 주파수-영역 표현들, 상기 잔차신호의 상기 제 1 주파수-영역 표현 및 상기 복소수 예측 계수에 기초하여 사이드 채널을 계산하는 단계를 포함하며,
상기 업믹스 단계 전에 수행되는 것으로서, 상기 다운믹스 신호의 상기 제 1 주파수-영역 표현 및/또는 상기 잔차신호의 상기 제 1 주파수-영역 표현에 시간 잡음 형상을 적용하는 단계, 또는
상기 업믹스 단계 후에, 상기 스테레오 신호의 적어도 한 채널에 TNS를 적용하는 단계를 더 포함하는, 디코딩 방법. - 범용 컴퓨터에 의해 실행되었을 때 제 14 항에 개시된 방법을 수행하는 명령들을 저장하는, 컴퓨터-판독가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US32245810P | 2010-04-09 | 2010-04-09 | |
| US61/322,458 | 2010-04-09 | ||
| PCT/EP2011/055369 WO2011124616A1 (en) | 2010-04-09 | 2011-04-06 | Mdct-based complex prediction stereo coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130018854A KR20130018854A (ko) | 2013-02-25 |
| KR101437896B1 true KR101437896B1 (ko) | 2014-09-16 |
Family
ID=43952840
Family Applications (14)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217031115A KR102537360B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020217001535A KR20210008945A (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020127029113A KR101437899B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020127029106A KR101586198B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020127029111A KR101437896B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020147006732A KR101698438B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020197023095A KR102207086B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020177001234A KR101823870B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020197020021A KR102168140B1 (ko) | 2010-04-09 | 2011-04-06 | 예측 모드 또는 비예측 모드에서 동작 가능한 오디오 업믹서 |
| KR1020197002371A KR102011793B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020157025399A KR101698442B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020187001783A KR101944328B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020147006735A KR101698439B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020237017236A KR20230074851A (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
Family Applications Before (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217031115A KR102537360B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020217001535A KR20210008945A (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020127029113A KR101437899B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020127029106A KR101586198B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
Family Applications After (9)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147006732A KR101698438B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020197023095A KR102207086B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020177001234A KR101823870B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020197020021A KR102168140B1 (ko) | 2010-04-09 | 2011-04-06 | 예측 모드 또는 비예측 모드에서 동작 가능한 오디오 업믹서 |
| KR1020197002371A KR102011793B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020157025399A KR101698442B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020187001783A KR101944328B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020147006735A KR101698439B1 (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| KR1020237017236A KR20230074851A (ko) | 2010-04-09 | 2011-04-06 | Mdct-기반의 복소수 예측 스테레오 코딩 |
Country Status (18)
| Country | Link |
|---|---|
| US (19) | US9159326B2 (ko) |
| EP (12) | EP4116969B1 (ko) |
| JP (22) | JP5814340B2 (ko) |
| KR (14) | KR102537360B1 (ko) |
| CN (6) | CN102884570B (ko) |
| AU (3) | AU2011237882B2 (ko) |
| BR (6) | BR122019026130B1 (ko) |
| CA (15) | CA2921437C (ko) |
| DK (2) | DK2556504T3 (ko) |
| ES (8) | ES2935911T3 (ko) |
| IL (21) | IL286761B (ko) |
| MX (3) | MX2012011532A (ko) |
| MY (2) | MY164393A (ko) |
| PL (2) | PL2556504T3 (ko) |
| RU (6) | RU2683175C2 (ko) |
| SG (4) | SG184167A1 (ko) |
| TR (2) | TR201901336T4 (ko) |
| WO (3) | WO2011124616A1 (ko) |
Families Citing this family (68)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2375409A1 (en) * | 2010-04-09 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |
| ES2935911T3 (es) * | 2010-04-09 | 2023-03-13 | Dolby Int Ab | Descodificación estéreo de predicción compleja basada en MDCT |
| ES2950751T3 (es) | 2010-04-13 | 2023-10-13 | Fraunhofer Ges Forschung | Codificador de audio o vídeo, decodificador de audio o vídeo y métodos relacionados para procesar señales de audio o vídeo multicanal usando una dirección de predicción variable |
| WO2012150482A1 (en) * | 2011-05-04 | 2012-11-08 | Nokia Corporation | Encoding of stereophonic signals |
| US8798180B1 (en) * | 2011-11-16 | 2014-08-05 | Marvell International Ltd. | Method and apparatus for transmitting time domain signals over a network |
| JP5949270B2 (ja) * | 2012-07-24 | 2016-07-06 | 富士通株式会社 | オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム |
| AU2013301831B2 (en) * | 2012-08-10 | 2016-12-01 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Encoder, decoder, system and method employing a residual concept for parametric audio object coding |
| KR101726205B1 (ko) * | 2012-11-07 | 2017-04-12 | 돌비 인터네셔널 에이비 | 감소된 복잡성 변환기 ｓｎｒ 계산 |
| KR101757341B1 (ko) * | 2013-01-29 | 2017-07-14 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. | 저-복잡도 음조-적응 오디오 신호 양자화 |
| US9754596B2 (en) | 2013-02-14 | 2017-09-05 | Dolby Laboratories Licensing Corporation | Methods for controlling the inter-channel coherence of upmixed audio signals |
| TWI618050B (zh) * | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於音訊處理系統中之訊號去相關的方法及設備 |
| US9830917B2 (en) | 2013-02-14 | 2017-11-28 | Dolby Laboratories Licensing Corporation | Methods for audio signal transient detection and decorrelation control |
| US9715880B2 (en) | 2013-02-21 | 2017-07-25 | Dolby International Ab | Methods for parametric multi-channel encoding |
| TWI546799B (zh) * | 2013-04-05 | 2016-08-21 | 杜比國際公司 | 音頻編碼器及解碼器 |
| US9570083B2 (en) | 2013-04-05 | 2017-02-14 | Dolby International Ab | Stereo audio encoder and decoder |
| ES2643789T3 (es) | 2013-05-24 | 2017-11-24 | Dolby International Ab | Codificación eficiente de escenas de audio que comprenden objetos de audio |
| IL290275B2 (en) | 2013-05-24 | 2023-02-01 | Dolby Int Ab | Encoding audio scenes |
| US9666198B2 (en) | 2013-05-24 | 2017-05-30 | Dolby International Ab | Reconstruction of audio scenes from a downmix |
| RU2630754C2 (ru) | 2013-05-24 | 2017-09-12 | Долби Интернешнл Аб | Эффективное кодирование звуковых сцен, содержащих звуковые объекты |
| WO2014187988A2 (en) | 2013-05-24 | 2014-11-27 | Dolby International Ab | Audio encoder and decoder |
| EP2824661A1 (en) * | 2013-07-11 | 2015-01-14 | Thomson Licensing | Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals |
| CN109979471B (zh) * | 2013-07-18 | 2022-12-02 | 日本电信电话株式会社 | 线性预测分析装置、线性预测分析方法以及记录介质 |
| EP2830053A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
| EP2830051A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
| EP2830065A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency |
| EP3503095A1 (en) * | 2013-08-28 | 2019-06-26 | Dolby Laboratories Licensing Corp. | Hybrid waveform-coded and parametric-coded speech enhancement |
| EP3044790B1 (en) | 2013-09-12 | 2018-10-03 | Dolby International AB | Time-alignment of qmf based processing data |
| JP6392353B2 (ja) * | 2013-09-12 | 2018-09-19 | ドルビー・インターナショナル・アーベー | マルチチャネル・オーディオ・コンテンツの符号化 |
| JP2016536855A (ja) * | 2013-10-02 | 2016-11-24 | ストーミングスイス・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | マルチチャンネル信号をダウンミックスし、ダウンミックス信号をアップミックスする方法及び装置 |
| EP2879131A1 (en) | 2013-11-27 | 2015-06-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder, encoder and method for informed loudness estimation in object-based audio coding systems |
| PL3462449T3 (pl) * | 2014-01-24 | 2021-06-28 | Nippon Telegraph And Telephone Corporation | Urządzenie, sposób i program do analizy liniowo-predykcyjnej oraz nośnik zapisu |
| EP2916319A1 (en) | 2014-03-07 | 2015-09-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for encoding of information |
| BR112016020988B1 (pt) * | 2014-03-14 | 2022-08-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Método e codificador para codificação de um sinal de áudio, e, dispositivo de comunicação |
| CN109087653B (zh) | 2014-03-24 | 2023-09-15 | 杜比国际公司 | 对高阶高保真立体声信号应用动态范围压缩的方法和设备 |
| WO2015150384A1 (en) | 2014-04-01 | 2015-10-08 | Dolby International Ab | Efficient coding of audio scenes comprising audio objects |
| KR102196190B1 (ko) | 2014-04-10 | 2020-12-30 | 주식회사 만도 | 차량용 전자제어 브레이크 장치의 피스톤 펌프 어셈블리 |
| KR101972007B1 (ko) * | 2014-04-24 | 2019-04-24 | 니폰 덴신 덴와 가부시끼가이샤 | 주파수 영역 파라미터열 생성 방법, 부호화 방법, 복호 방법, 주파수 영역 파라미터열 생성 장치, 부호화 장치, 복호 장치, 프로그램 및 기록 매체 |
| EP3859734B1 (en) | 2014-05-01 | 2022-01-26 | Nippon Telegraph And Telephone Corporation | Sound signal decoding device, sound signal decoding method, program and recording medium |
| KR20240047489A (ko) * | 2014-06-27 | 2024-04-12 | 돌비 인터네셔널 에이비 | Hoa 데이터 프레임 표현의 압축을 위해 비차분 이득 값들을 표현하는 데 필요하게 되는 비트들의 최저 정수 개수를 결정하는 방법 |
| CN106471822B (zh) * | 2014-06-27 | 2019-10-25 | 杜比国际公司 | 针对hoa数据帧表示的压缩确定表示非差分增益值所需的最小整数比特数的设备 |
| CN105336334B (zh) * | 2014-08-15 | 2021-04-02 | 北京天籁传音数字技术有限公司 | 多声道声音信号编码方法、解码方法及装置 |
| US10424305B2 (en) * | 2014-12-09 | 2019-09-24 | Dolby International Ab | MDCT-domain error concealment |
| EP3067889A1 (en) | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for signal-adaptive transform kernel switching in audio coding |
| TWI758146B (zh) | 2015-03-13 | 2022-03-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| DK3353779T3 (da) * | 2015-09-25 | 2020-08-10 | Voiceage Corp | Fremgangsmåde og system til kodning af et stereolydssignal ved at anvende kodningsparametre for en primær kanal til at kode en sekundær kanal |
| KR102219752B1 (ko) | 2016-01-22 | 2021-02-24 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 채널 간 시간 차를 추정하기 위한 장치 및 방법 |
| SG11201806256SA (en) * | 2016-01-22 | 2018-08-30 | Fraunhofer Ges Forschung | Apparatus and method for mdct m/s stereo with global ild with improved mid/side decision |
| EP3208800A1 (en) | 2016-02-17 | 2017-08-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for stereo filing in multichannel coding |
| US9959877B2 (en) * | 2016-03-18 | 2018-05-01 | Qualcomm Incorporated | Multi channel coding |
| EP3246923A1 (en) * | 2016-05-20 | 2017-11-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing a multichannel audio signal |
| US10217467B2 (en) * | 2016-06-20 | 2019-02-26 | Qualcomm Incorporated | Encoding and decoding of interchannel phase differences between audio signals |
| RU2628201C1 (ru) * | 2016-07-07 | 2017-08-15 | Самсунг Электроникс Ко., Лтд. | Способ адаптивного квантования для кодирования изображения радужной оболочки |
| KR102291792B1 (ko) | 2016-11-08 | 2021-08-20 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 적어도 2개의 채널들을 다운믹싱하기 위한 다운믹서 및 방법 및 멀티채널 인코더 및 멀티채널 디코더 |
| CA3127805C (en) | 2016-11-08 | 2023-12-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for encoding or decoding a multichannel signal using a side gain and a residual gain |
| US10210874B2 (en) * | 2017-02-03 | 2019-02-19 | Qualcomm Incorporated | Multi channel coding |
| US10475457B2 (en) * | 2017-07-03 | 2019-11-12 | Qualcomm Incorporated | Time-domain inter-channel prediction |
| EP3714491A4 (en) | 2017-11-20 | 2021-06-30 | The Government Of The United States Of America As The Secretary of The Navy | FLEXIBLE SOLAR CELLS WITH ULTRA-THIN CRYSTALLINE |
| WO2019121980A1 (en) | 2017-12-19 | 2019-06-27 | Dolby International Ab | Methods and apparatus systems for unified speech and audio decoding improvements |
| BR112020012654A2 (pt) | 2017-12-19 | 2020-12-01 | Dolby International Ab | métodos, aparelhos e sistemas para aprimoramentos de decodificação e codificação de fala e áudio unificados com transpositor de harmônico com base em qmf |
| TWI812658B (zh) | 2017-12-19 | 2023-08-21 | 瑞典商都比國際公司 | 用於統一語音及音訊之解碼及編碼去關聯濾波器之改良之方法、裝置及系統 |
| TWI702594B (zh) | 2018-01-26 | 2020-08-21 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建技術之回溯相容整合 |
| CN110556116B (zh) * | 2018-05-31 | 2021-10-22 | 华为技术有限公司 | 计算下混信号和残差信号的方法和装置 |
| CN114420139A (zh) | 2018-05-31 | 2022-04-29 | 华为技术有限公司 | 一种下混信号的计算方法及装置 |
| TWI681384B (zh) * | 2018-08-01 | 2020-01-01 | 瑞昱半導體股份有限公司 | 音訊處理方法與音訊等化器 |
| DE102020210917B4 (de) * | 2019-08-30 | 2023-10-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Verbesserter M/S-Stereo-Codierer und -Decodierer |
| WO2021140791A1 (ja) * | 2020-01-09 | 2021-07-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
| TWI803999B (zh) * | 2020-10-09 | 2023-06-01 | 弗勞恩霍夫爾協會 | 使用頻寬擴展處理編碼音頻場景的裝置、方法或電腦程式 |
| WO2023113490A1 (ko) * | 2021-12-15 | 2023-06-22 | 한국전자통신연구원 | 복소수 데이터를 이용한 오디오 처리 방법 및 그를 수행하는 장치 |
Family Cites Families (85)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US165587A (en) | 1875-07-13 | Improvement in vehicle-wheels | ||
| GB8913758D0 (en) * | 1989-06-15 | 1989-08-02 | British Telecomm | Polyphonic coding |
| US5812971A (en) * | 1996-03-22 | 1998-09-22 | Lucent Technologies Inc. | Enhanced joint stereo coding method using temporal envelope shaping |
| DE19747132C2 (de) * | 1997-10-24 | 2002-11-28 | Fraunhofer Ges Forschung | Verfahren und Vorrichtungen zum Codieren von Audiosignalen sowie Verfahren und Vorrichtungen zum Decodieren eines Bitstroms |
| RU2174714C2 (ru) | 1998-05-12 | 2001-10-10 | Научно-технический центр "Вычислительная техника" | Способ выделения основного тона |
| US6539357B1 (en) | 1999-04-29 | 2003-03-25 | Agere Systems Inc. | Technique for parametric coding of a signal containing information |
| CN1666572A (zh) * | 2002-04-05 | 2005-09-07 | 皇家飞利浦电子股份有限公司 | 信号处理 |
| DE10234130B3 (de) | 2002-07-26 | 2004-02-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer komplexen Spektraldarstellung eines zeitdiskreten Signals |
| JP4506141B2 (ja) | 2003-10-03 | 2010-07-21 | 日本電気株式会社 | 携帯無線端末 |
| EP1683133B1 (en) | 2003-10-30 | 2007-02-14 | Koninklijke Philips Electronics N.V. | Audio signal encoding or decoding |
| US6980933B2 (en) | 2004-01-27 | 2005-12-27 | Dolby Laboratories Licensing Corporation | Coding techniques using estimated spectral magnitude and phase derived from MDCT coefficients |
| EP1711938A1 (en) | 2004-01-28 | 2006-10-18 | Koninklijke Philips Electronics N.V. | Audio signal decoding using complex-valued data |
| DE102004007191B3 (de) | 2004-02-13 | 2005-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audiocodierung |
| DE102004009955B3 (de) * | 2004-03-01 | 2005-08-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ermitteln einer Quantisierer-Schrittweite |
| CN1677490A (zh) | 2004-04-01 | 2005-10-05 | 北京宫羽数字技术有限责任公司 | 一种增强音频编解码装置及方法 |
| US8843378B2 (en) | 2004-06-30 | 2014-09-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-channel synthesizer and method for generating a multi-channel output signal |
| TWI393121B (zh) | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
| TWI393120B (zh) | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 用於音訊信號編碼及解碼之方法和系統、音訊信號編碼器、音訊信號解碼器、攜帶有位元流之電腦可讀取媒體、及儲存於電腦可讀取媒體上的電腦程式 |
| US8423372B2 (en) * | 2004-08-26 | 2013-04-16 | Sisvel International S.A. | Processing of encoded signals |
| US8204261B2 (en) | 2004-10-20 | 2012-06-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Diffuse sound shaping for BCC schemes and the like |
| SE0402652D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
| PL1810281T3 (pl) | 2004-11-02 | 2020-07-27 | Koninklijke Philips N.V. | Kodowanie i dekodowanie sygnałów audio z wykorzystaniem banków filtrów o wartościach zespolonych |
| SE0402649D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
| MX2007005261A (es) * | 2004-11-04 | 2007-07-09 | Koninkl Philips Electronics Nv | Codificacion y descodificacion de un conjunto de senales. |
| US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
| JP4809370B2 (ja) | 2005-02-23 | 2011-11-09 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | マルチチャネル音声符号化における適応ビット割り当て |
| US9626973B2 (en) | 2005-02-23 | 2017-04-18 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive bit allocation for multi-channel audio encoding |
| KR100736607B1 (ko) | 2005-03-31 | 2007-07-09 | 엘지전자 주식회사 | 오디오 부호화 방법 및 장치 |
| KR100933548B1 (ko) * | 2005-04-15 | 2009-12-23 | 돌비 스웨덴 에이비 | 비상관 신호의 시간적 엔벨로프 정형화 |
| US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
| US7961890B2 (en) * | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
| AU2006266579B2 (en) * | 2005-06-30 | 2009-10-22 | Lg Electronics Inc. | Method and apparatus for encoding and decoding an audio signal |
| US7693709B2 (en) | 2005-07-15 | 2010-04-06 | Microsoft Corporation | Reordering coefficients for waveform coding or decoding |
| US7684981B2 (en) | 2005-07-15 | 2010-03-23 | Microsoft Corporation | Prediction of spectral coefficients in waveform coding and decoding |
| AU2006285538B2 (en) | 2005-08-30 | 2011-03-24 | Lg Electronics Inc. | Apparatus for encoding and decoding audio signal and method thereof |
| CN101253557B (zh) | 2005-08-31 | 2012-06-20 | 松下电器产业株式会社 | 立体声编码装置及立体声编码方法 |
| US8259840B2 (en) | 2005-10-24 | 2012-09-04 | General Motors Llc | Data communication via a voice channel of a wireless communication network using discontinuities |
| US7831434B2 (en) * | 2006-01-20 | 2010-11-09 | Microsoft Corporation | Complex-transform channel coding with extended-band frequency coding |
| KR100904439B1 (ko) | 2006-02-23 | 2009-06-26 | 엘지전자 주식회사 | 오디오 신호의 처리 방법 및 장치 |
| ES2609449T3 (es) | 2006-03-29 | 2017-04-20 | Koninklijke Philips N.V. | Decodificación de audio |
| ATE527833T1 (de) | 2006-05-04 | 2011-10-15 | Lg Electronics Inc | Verbesserung von stereo-audiosignalen mittels neuabmischung |
| US8027479B2 (en) * | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
| KR101435893B1 (ko) | 2006-09-22 | 2014-09-02 | 삼성전자주식회사 | 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치 |
| CA2874454C (en) | 2006-10-16 | 2017-05-02 | Dolby International Ab | Enhanced coding and parameter representation of multichannel downmixed object coding |
| EP2088588B1 (en) * | 2006-11-10 | 2013-01-09 | Panasonic Corporation | Parameter decoding device, parameter encoding device, and parameter decoding method |
| KR101434198B1 (ko) * | 2006-11-17 | 2014-08-26 | 삼성전자주식회사 | 신호 복호화 방법 |
| JP5394931B2 (ja) | 2006-11-24 | 2014-01-22 | エルジー エレクトロニクス インコーポレイティド | オブジェクトベースオーディオ信号の復号化方法及びその装置 |
| DE102006055737A1 (de) * | 2006-11-25 | 2008-05-29 | Deutsche Telekom Ag | Verfahren zur skalierbaren Codierung von Stereo-Signalen |
| JP5554065B2 (ja) | 2007-02-06 | 2014-07-23 | コーニンクレッカ フィリップス エヌ ヴェ | 複雑さの軽減されたパラメトリックステレオデコーダ |
| PL2137725T3 (pl) * | 2007-04-26 | 2014-06-30 | Dolby Int Ab | Urządzenie i sposób do syntetyzowania sygnału wyjściowego |
| CN101067931B (zh) | 2007-05-10 | 2011-04-20 | 芯晟(北京)科技有限公司 | 一种高效可配置的频域参数立体声及多声道编解码方法与系统 |
| US7885819B2 (en) * | 2007-06-29 | 2011-02-08 | Microsoft Corporation | Bitstream syntax for multi-process audio decoding |
| US8385556B1 (en) | 2007-08-17 | 2013-02-26 | Dts, Inc. | Parametric stereo conversion system and method |
| US8521540B2 (en) * | 2007-08-17 | 2013-08-27 | Qualcomm Incorporated | Encoding and/or decoding digital signals using a permutation value |
| KR101450940B1 (ko) | 2007-09-19 | 2014-10-15 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | 멀티채널 오디오의 조인트 인핸스먼트 |
| BRPI0816556A2 (pt) | 2007-10-17 | 2019-03-06 | Fraunhofer Ges Zur Foerderung Der Angewandten Forsschung E V | codificação de áudio usando downmix |
| CN101202043B (zh) | 2007-12-28 | 2011-06-15 | 清华大学 | 音频信号的编码方法和装置与解码方法和装置 |
| JP5266332B2 (ja) | 2008-01-01 | 2013-08-21 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置 |
| US8103005B2 (en) | 2008-02-04 | 2012-01-24 | Creative Technology Ltd | Primary-ambient decomposition of stereo audio signals using a complex similarity index |
| KR101452722B1 (ko) | 2008-02-19 | 2014-10-23 | 삼성전자주식회사 | 신호 부호화 및 복호화 방법 및 장치 |
| CN101965612B (zh) | 2008-03-03 | 2012-08-29 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
| EP2250641B1 (en) * | 2008-03-04 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for mixing a plurality of input data streams |
| EP2283483B1 (en) * | 2008-05-23 | 2013-03-13 | Koninklijke Philips Electronics N.V. | A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder |
| US20090319263A1 (en) * | 2008-06-20 | 2009-12-24 | Qualcomm Incorporated | Coding of transitional speech frames for low-bit-rate applications |
| KR101428487B1 (ko) * | 2008-07-11 | 2014-08-08 | 삼성전자주식회사 | 멀티 채널 부호화 및 복호화 방법 및 장치 |
| EP2144231A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme with common preprocessing |
| EP2144230A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
| PL2311033T3 (pl) * | 2008-07-11 | 2012-05-31 | Fraunhofer Ges Forschung | Dostarczanie sygnału aktywującego dopasowanie czasowe i kodowanie sygnału audio z jego użyciem |
| KR101756834B1 (ko) | 2008-07-14 | 2017-07-12 | 삼성전자주식회사 | 오디오/스피치 신호의 부호화 및 복호화 방법 및 장치 |
| EP2146344B1 (en) * | 2008-07-17 | 2016-07-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding/decoding scheme having a switchable bypass |
| US8619856B2 (en) * | 2008-10-03 | 2013-12-31 | Qualcomm Incorporated | Video coding with large macroblocks |
| KR101649376B1 (ko) * | 2008-10-13 | 2016-08-31 | 한국전자통신연구원 | Ｍｄｃｔ 기반 음성/오디오 통합 부호화기의 ｌｐｃ 잔차신호 부호화/복호화 장치 |
| EP2626855B1 (en) | 2009-03-17 | 2014-09-10 | Dolby International AB | Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding |
| US8392200B2 (en) * | 2009-04-14 | 2013-03-05 | Qualcomm Incorporated | Low complexity spectral band replication (SBR) filterbanks |
| US8346547B1 (en) * | 2009-05-18 | 2013-01-01 | Marvell International Ltd. | Encoder quantization architecture for advanced audio coding |
| BR112012007803B1 (pt) * | 2009-10-08 | 2022-03-15 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Decodificador de sinal de áudio multimodal, codificador de sinal de áudio multimodal e métodos usando uma configuração de ruído com base em codificação de previsão linear |
| KR101710113B1 (ko) * | 2009-10-23 | 2017-02-27 | 삼성전자주식회사 | 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법 |
| JP5299327B2 (ja) * | 2010-03-17 | 2013-09-25 | ソニー株式会社 | 音声処理装置、音声処理方法、およびプログラム |
| ES2935911T3 (es) * | 2010-04-09 | 2023-03-13 | Dolby Int Ab | Descodificación estéreo de predicción compleja basada en MDCT |
| EP2375409A1 (en) * | 2010-04-09 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |
| ES2950751T3 (es) * | 2010-04-13 | 2023-10-13 | Fraunhofer Ges Forschung | Codificador de audio o vídeo, decodificador de audio o vídeo y métodos relacionados para procesar señales de audio o vídeo multicanal usando una dirección de predicción variable |
| KR101726205B1 (ko) * | 2012-11-07 | 2017-04-12 | 돌비 인터네셔널 에이비 | 감소된 복잡성 변환기 ｓｎｒ 계산 |
| CA3054712C (en) * | 2013-01-08 | 2020-06-09 | Lars Villemoes | Model based prediction in a critically sampled filterbank |
| IL290275B2 (en) * | 2013-05-24 | 2023-02-01 | Dolby Int Ab | Encoding audio scenes |
| FR3007563A1 (fr) * | 2013-06-25 | 2014-12-26 | France Telecom | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
-
2011
- 2011-04-06 ES ES20200782T patent/ES2935911T3/es active Active
- 2011-04-06 RU RU2015121322A patent/RU2683175C2/ru active
- 2011-04-06 CA CA2921437A patent/CA2921437C/en active Active
- 2011-04-06 EP EP22188499.2A patent/EP4116969B1/en active Active
- 2011-04-06 CA CA3040779A patent/CA3040779C/en active Active
- 2011-04-06 CA CA3097372A patent/CA3097372C/en active Active
- 2011-04-06 CA CA3045686A patent/CA3045686C/en active Active
- 2011-04-06 CN CN201180023421.0A patent/CN102884570B/zh active Active
- 2011-04-06 CN CN201180028342.9A patent/CN102947880B/zh active Active
- 2011-04-06 EP EP22190159.8A patent/EP4120247A1/en active Pending
- 2011-04-06 RU RU2012143501/08A patent/RU2559899C2/ru active
- 2011-04-06 WO PCT/EP2011/055369 patent/WO2011124616A1/en active Application Filing
- 2011-04-06 MY MYPI2012004218A patent/MY164393A/en unknown
- 2011-04-06 BR BR122019026130-0A patent/BR122019026130B1/pt active IP Right Grant
- 2011-04-06 US US13/638,900 patent/US9159326B2/en active Active
- 2011-04-06 BR BR122019026166-0A patent/BR122019026166B1/pt active IP Right Grant
- 2011-04-06 EP EP18206651.4A patent/EP3474277B1/en active Active
- 2011-04-06 CA CA2793317A patent/CA2793317C/en active Active
- 2011-04-06 BR BR112012025868-0A patent/BR112012025868B1/pt active IP Right Grant
- 2011-04-06 TR TR2019/01336T patent/TR201901336T4/tr unknown
- 2011-04-06 CA CA2992917A patent/CA2992917C/en active Active
- 2011-04-06 MX MX2012011532A patent/MX2012011532A/es active IP Right Grant
- 2011-04-06 WO PCT/EP2011/055350 patent/WO2011124608A1/en active Application Filing
- 2011-04-06 KR KR1020217031115A patent/KR102537360B1/ko active IP Right Grant
- 2011-04-06 AU AU2011237882A patent/AU2011237882B2/en active Active
- 2011-04-06 BR BR112012025878-8A patent/BR112012025878B1/pt active IP Right Grant
- 2011-04-06 CA CA3076786A patent/CA3076786C/en active Active
- 2011-04-06 AU AU2011237877A patent/AU2011237877B2/en active Active
- 2011-04-06 EP EP11713259.7A patent/EP2556502B1/en active Active
- 2011-04-06 EP EP20200782.9A patent/EP3799043B8/en active Active
- 2011-04-06 PL PL11714256T patent/PL2556504T3/pl unknown
- 2011-04-06 PL PL11713259T patent/PL2556502T3/pl unknown
- 2011-04-06 KR KR1020217001535A patent/KR20210008945A/ko not_active Application Discontinuation
- 2011-04-06 KR KR1020127029113A patent/KR101437899B1/ko active IP Right Grant
- 2011-04-06 KR KR1020127029106A patent/KR101586198B1/ko active IP Right Grant
- 2011-04-06 MX MX2012011530A patent/MX2012011530A/es active IP Right Grant
- 2011-04-06 CN CN201180025305.2A patent/CN103119647B/zh active Active
- 2011-04-06 EP EP22188294.7A patent/EP4120246A1/en active Pending
- 2011-04-06 EP EP24170668.8A patent/EP4376000A2/en active Pending
- 2011-04-06 MY MYPI2016000052A patent/MY184661A/en unknown
- 2011-04-06 CA CA3105050A patent/CA3105050C/en active Active
- 2011-04-06 KR KR1020127029111A patent/KR101437896B1/ko active IP Right Grant
- 2011-04-06 IL IL286761A patent/IL286761B/en unknown
- 2011-04-06 KR KR1020147006732A patent/KR101698438B1/ko active IP Right Grant
- 2011-04-06 SG SG2012069738A patent/SG184167A1/en unknown
- 2011-04-06 BR BR122019013299-2A patent/BR122019013299B1/pt not_active IP Right Cessation
- 2011-04-06 EP EP11714256.2A patent/EP2556504B1/en active Active
- 2011-04-06 BR BR112012025863-0A patent/BR112012025863B1/pt active IP Right Grant
- 2011-04-06 SG SG10202104412WA patent/SG10202104412WA/en unknown
- 2011-04-06 CN CN201510245573.5A patent/CN104851427B/zh active Active
- 2011-04-06 KR KR1020197023095A patent/KR102207086B1/ko active IP Right Grant
- 2011-04-06 EP EP20184885.0A patent/EP3739577B1/en active Active
- 2011-04-06 CN CN201510245509.7A patent/CN104851426B/zh active Active
- 2011-04-06 US US13/638,901 patent/US9378745B2/en active Active
- 2011-04-06 RU RU2012147499/08A patent/RU2525431C2/ru active
- 2011-04-06 ES ES18206651T patent/ES2810824T3/es active Active
- 2011-04-06 CA CA2924315A patent/CA2924315C/en active Active
- 2011-04-06 IL IL295039A patent/IL295039B2/en unknown
- 2011-04-06 CA CA3185301A patent/CA3185301A1/en active Pending
- 2011-04-06 JP JP2013503101A patent/JP5814340B2/ja active Active
- 2011-04-06 ES ES20184885T patent/ES2936278T3/es active Active
- 2011-04-06 MX MX2012011528A patent/MX2012011528A/es active IP Right Grant
- 2011-04-06 SG SG10201502597QA patent/SG10201502597QA/en unknown
- 2011-04-06 TR TR2019/01375T patent/TR201901375T4/tr unknown
- 2011-04-06 KR KR1020177001234A patent/KR101823870B1/ko active IP Right Grant
- 2011-04-06 EP EP11713754.7A patent/EP2556503B1/en active Active
- 2011-04-06 ES ES18206652T patent/ES2831357T3/es active Active
- 2011-04-06 JP JP2013503104A patent/JP5814341B2/ja active Active
- 2011-04-06 ES ES11713259T patent/ES2709755T3/es active Active
- 2011-04-06 KR KR1020197020021A patent/KR102168140B1/ko active IP Right Grant
- 2011-04-06 WO PCT/EP2011/055374 patent/WO2011124621A1/en active Application Filing
- 2011-04-06 AU AU2011237869A patent/AU2011237869B2/en active Active
- 2011-04-06 EP EP19184726.8A patent/EP3582217B1/en active Active
- 2011-04-06 EP EP18206652.2A patent/EP3474278B1/en active Active
- 2011-04-06 KR KR1020197002371A patent/KR102011793B1/ko active IP Right Grant
- 2011-04-06 US US13/638,898 patent/US9111530B2/en active Active
- 2011-04-06 ES ES11713754T patent/ES2763367T3/es active Active
- 2011-04-06 CA CA3110542A patent/CA3110542C/en active Active
- 2011-04-06 CA CA2793320A patent/CA2793320C/en active Active
- 2011-04-06 ES ES19184726T patent/ES2935962T3/es active Active
- 2011-04-06 CN CN201510437095.8A patent/CN105023578B/zh active Active
- 2011-04-06 CA CA3125378A patent/CA3125378C/en active Active
- 2011-04-06 KR KR1020157025399A patent/KR101698442B1/ko active IP Right Grant
- 2011-04-06 KR KR1020187001783A patent/KR101944328B1/ko active IP Right Grant
- 2011-04-06 KR KR1020147006735A patent/KR101698439B1/ko active IP Right Grant
- 2011-04-06 JP JP2013503096A patent/JP5813094B2/ja active Active
- 2011-04-06 RU RU2012144366/08A patent/RU2554844C2/ru active
- 2011-04-06 IL IL303558A patent/IL303558B1/en unknown
- 2011-04-06 ES ES11714256T patent/ES2712073T3/es active Active
- 2011-04-06 IL IL311483A patent/IL311483A/en unknown
- 2011-04-06 CA CA2793140A patent/CA2793140C/en active Active
- 2011-04-06 DK DK11714256.2T patent/DK2556504T3/en active
- 2011-04-06 KR KR1020237017236A patent/KR20230074851A/ko not_active Application Discontinuation
- 2011-04-06 CA CA2988745A patent/CA2988745C/en active Active
- 2011-04-06 SG SG10202101745XA patent/SG10202101745XA/en unknown
- 2011-04-06 DK DK11713259.7T patent/DK2556502T3/en active
-
2012
- 2012-09-12 IL IL221911A patent/IL221911A/en active IP Right Grant
- 2012-09-13 IL IL221962A patent/IL221962A/en active IP Right Grant
- 2012-10-09 IL IL222294A patent/IL222294A/en active IP Right Grant
-
2015
- 2015-03-02 JP JP2015040746A patent/JP6062467B2/ja active Active
- 2015-07-07 US US14/793,297 patent/US9892736B2/en active Active
- 2015-09-17 JP JP2015184492A patent/JP6197011B2/ja active Active
- 2015-09-17 JP JP2015184493A patent/JP6203799B2/ja active Active
-
2016
- 2016-05-01 IL IL245338A patent/IL245338A/en active IP Right Grant
- 2016-05-03 IL IL245444A patent/IL245444A/en active IP Right Grant
- 2016-06-01 US US15/170,100 patent/US9761233B2/en active Active
- 2016-12-14 JP JP2016242097A patent/JP6437990B2/ja active Active
-
2017
- 2017-02-20 IL IL250687A patent/IL250687B/en active IP Right Grant
- 2017-07-17 IL IL253522A patent/IL253522B/en active IP Right Grant
- 2017-08-07 US US15/670,709 patent/US10347260B2/en active Active
- 2017-08-14 IL IL253972A patent/IL253972B/en active IP Right Grant
- 2017-08-21 JP JP2017158657A patent/JP6405008B2/ja active Active
- 2017-08-30 JP JP2017165152A patent/JP6405010B2/ja active Active
- 2017-12-20 US US15/849,645 patent/US10276174B2/en active Active
- 2017-12-20 US US15/849,622 patent/US10283126B2/en active Active
- 2017-12-20 US US15/849,653 patent/US10283127B2/en active Active
-
2018
- 2018-02-28 IL IL25779218A patent/IL257792B/en active IP Right Grant
- 2018-09-13 JP JP2018171542A patent/JP6633706B2/ja active Active
- 2018-09-13 JP JP2018171632A patent/JP6633707B2/ja active Active
- 2018-11-15 JP JP2018214489A patent/JP6665260B2/ja active Active
- 2018-12-17 US US16/222,721 patent/US10360920B2/en active Active
-
2019
- 2019-02-11 IL IL264774A patent/IL264774B/en active IP Right Grant
- 2019-02-19 IL IL264905A patent/IL264905B/en active IP Right Grant
- 2019-03-11 RU RU2019106714A patent/RU2698154C1/ru active
- 2019-05-28 US US16/424,395 patent/US10586545B2/en active Active
- 2019-05-31 US US16/427,735 patent/US10475459B2/en active Active
- 2019-06-04 US US16/431,081 patent/US10475460B2/en active Active
- 2019-06-07 RU RU2019117738A patent/RU2717387C1/ru active
- 2019-06-17 IL IL267420A patent/IL267420B/en active IP Right Grant
- 2019-06-24 US US16/449,942 patent/US10553226B2/en active Active
- 2019-06-25 JP JP2019117104A patent/JP6677846B2/ja active Active
- 2019-09-23 IL IL269537A patent/IL269537B/en active IP Right Grant
- 2019-10-04 US US16/593,235 patent/US10734002B2/en active Active
- 2019-12-12 JP JP2019224408A patent/JP6833962B2/ja active Active
- 2019-12-12 JP JP2019224406A patent/JP6833961B2/ja active Active
-
2020
- 2020-02-16 IL IL272689A patent/IL272689B/en active IP Right Grant
- 2020-02-20 US US16/796,150 patent/US11264038B2/en active Active
- 2020-03-13 JP JP2020043882A patent/JP6740496B2/ja active Active
- 2020-06-23 IL IL275616A patent/IL275616B/en active IP Right Grant
- 2020-07-16 US US16/931,377 patent/US11217259B2/en active Active
- 2020-07-22 JP JP2020125072A patent/JP6817486B2/ja active Active
- 2020-12-24 JP JP2020215098A patent/JP6886069B2/ja active Active
-
2021
- 2021-01-18 IL IL280247A patent/IL280247B/en unknown
- 2021-01-28 IL IL280464A patent/IL280464B/en unknown
- 2021-05-13 JP JP2021081465A patent/JP6961854B2/ja active Active
- 2021-10-13 JP JP2021167954A patent/JP7193603B2/ja active Active
- 2021-12-23 US US17/560,295 patent/US11810582B2/en active Active
-
2022
- 2022-12-08 JP JP2022196162A patent/JP7451659B2/ja active Active
-
2023
- 2023-11-06 US US18/502,973 patent/US20240144940A1/en active Pending
-
2024
- 2024-03-06 JP JP2024033809A patent/JP2024056001A/ja active Pending
Non-Patent Citations (1)
| Title |
|---|
| Pontus carlsson et al, "technical description of ce on improved stereo coding in USAC * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101437896B1 (ko) | Mdct-기반의 복소수 예측 스테레오 코딩 | |
| AU2023204124B2 (en) | Audio Upmixer Operable in Prediction or Non-Prediction Mode | |
| AU2019240610B2 (en) | Audio Upmixer Operable in Prediction or Non-Prediction Mode |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170814 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190812 Year of fee payment: 6 |