KR102392804B1 - 인코딩된 다채널 신호를 광대역 필터에 의해 생성된 충전 신호를 사용하여 인코딩 또는 디코딩하는 장치 - Google Patents
인코딩된 다채널 신호를 광대역 필터에 의해 생성된 충전 신호를 사용하여 인코딩 또는 디코딩하는 장치 Download PDFInfo
- Publication number
- KR102392804B1 KR102392804B1 KR1020207002678A KR20207002678A KR102392804B1 KR 102392804 B1 KR102392804 B1 KR 102392804B1 KR 1020207002678 A KR1020207002678 A KR 1020207002678A KR 20207002678 A KR20207002678 A KR 20207002678A KR 102392804 B1 KR102392804 B1 KR 102392804B1
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- pass filter
- signal
- schroeder
- base channel
- Prior art date
Links
- 230000003595 spectral effect Effects 0.000 claims abstract description 208
- 238000012545 processing Methods 0.000 claims abstract description 98
- 238000001914 filtration Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims description 87
- 238000010606 normalization Methods 0.000 claims description 51
- 238000005070 sampling Methods 0.000 claims description 34
- 230000001419 dependent effect Effects 0.000 claims description 18
- 230000001052 transient effect Effects 0.000 claims description 17
- 230000005236 sound signal Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012952 Resampling Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000001934 delay Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 238000007493 shaping process Methods 0.000 claims description 3
- 239000004606 Fillers/Extenders Substances 0.000 claims 2
- 238000001514 detection method Methods 0.000 claims 2
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 230000001131 transforming effect Effects 0.000 claims 2
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 239000013078 crystal Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000003775 Density Functional Theory Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010013643 Drop attacks Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Filters And Equalizers (AREA)
Abstract
광대역 필터에 의해 생성된 충전 신호를 사용하여, 인코딩된 다채널 신호를 인코딩 또는 디코딩하는 장치로써, 인코딩된 다채널 신호를 디코딩하는 장치는, 디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700); 충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800); 및 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고, 상기 역상관 필터(800)는 광대역 필터이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱을 적용하도록 구성된다.
Description
본 발명은 오디오 프로세싱에 관한 것으로, 특히 인코딩된 다채널 신호를 디코딩하는 장치 또는 방법에서의 다채널 오디오 프로세싱에 관한 것이다.
스테레오 신호를 낮은 비트 레이트에서 파라메트릭 코딩을 하기 위한 현재 기술 상태의 코덱은 MPEG 코덱 xHE-AAC이다. 이는 모노 다운믹스 및 스테레오 파라미터 채널간 레벨차(ILD: Inter-Channel Level Difference) 및 채널간 일관성(ICC: Inter-Channel Coherence)을 - 이들은 부대역에서 추산됨 - 기반으로 하는 완전한 파라메트릭 스테레오 코딩 모드를 특징으로 한다. 각 부대역에서 부대역 다운믹스 신호와 이 부대역 다운믹스 신호의 역상관된(decorrelated) 버전 - 이는 QMF 필터뱅크 내에 부대역 필터를 적용함으로써 얻어짐 - 을 매트릭스화 함으로써 모노 다운믹스로부터 출력이 합성된다.
음성 아이템(speech item)을 코딩하기 위한 xHE-AAC와 관련된 몇 가지 단점이 있다. 합성 제2 신호를 생성시키는 필터는 더커(ducker)를 필요로 하는, 매우 반향적인 입력 신호를 생성한다. 따라서, 프로세싱은 입력 신호의 스펙트럼 형태를 시간이 지남에 따라 심하게 흐리게 한다. 이것은 많은 신호 유형에서는 잘 작용하지만 스펙트럼 포락선(envelope)이 빠르게 변하는 음성 신호에서는 그렇지 않은데, 이로 인해 이중 대화(double talk) 또는 고스트 보이스(ghost voice)와 같은 자연스럽지 않은 채색(coloration) 및 가청 아티팩트(artifact)가 발생한다. 또한, 필터는 샘플링 레이트에 따라 변하는 기본 QMF 필터 뱅크(underlying QMF filter bank)의 시간 해상도에 따라 달라진다. 따라서, 상이한 샘플링 레이트들에서 출력 신호는 일치하지 않는다.
이 외에도 3GPP 코덱 AMR-WB+는 7 내지 48 kbit/s의 비트 레이트를 지원하는 반파라메트릭 스테레오 모드를 특징으로 한다. 이는 왼쪽 및 오른쪽 입력 채널의 중앙/측면 변환을 기반으로 한다. 낮은 주파수 범위에서는, 측방 신호 s를 중앙 신호 m으로 예측하여 균형 이득을 얻으며, m과 예측 잔차(prediction residual) 둘 다가 예측 계수와 함께 인코딩되어서 디코더로 전송된다. 중앙 주파수 범위에서는, 다운믹스 신호 m만 코딩되고, 누락 신호 s는 인코더에서 계산되는 저차 FIR 필터를 사용하여 m으로부터 예측된다. 이는 두 채널을 위한 대역폭 확장과 결합된다. 코덱은 일반적으로 음성에 대해 xHE-AAC보다 더 자연스러운 소리를 생성하지만 몇 가지 문제에 직면한다. 저차 FIR 필터에 의해서 m으로 s를 예측하는 절차는 예를 들어 반향 음성 신호 또는 이중 대화의 경우와 같이 입력 채널들이 겨우 약하게 상관되어 있으면 잘 작용하지 않는다. 또한, 코덱은 위상이 맞지 않는 신호를 처리할 수 없는데, 이는 실질적인 품질 저하를 유발할 수 있고, 디코딩된 출력의 스테레오 이미지가 일반적으로 매우 압축되는 것으로 관찰된다. 또한, 이 방법은 완전한 파라메트릭이 아니므로 비트 레이트 측면에서 비효율적이다.
일반적으로, 완전한 파라메트릭 방법은 파라메트릭 인코딩으로 인해 손실된 임의의 신호 부분이 디코더 측에서 재구성되지 않는다는 점으로 인해 오디오 품질 저하를 초래할 수 있다.
한편, 중앙/측면 코딩 등과 같은 파형 보존 절차는 파라메트릭 다채널 코더로부터 얻을 수 있는 것과 같은 실질적인 비트 레이트 절약을 허용하지 않는다.
SCHUIFERS ERIK ET AL : "LOW COMPLEXITY PARAMETRIC STEREO CODING" (2004. 5. 1. 공개)
SCHROEDER M R : "NATURLA SOUNDING ARTIFICIAL REVERBERATION" (1962. 11. 1. 공개)
본 발명의 목적은 인코딩된 다채널 신호를 디코딩하기 위한 개선된 개념을 제공하는 것이다.
이 목적은 인코딩된 다채널 신호를 디코딩하는 장치, 청구항 37의 인코딩된 다채널 신호를 디코딩하는 방법, 청구항 38의 컴퓨터 프로그램과, 청구항 39의 오디오 신호 역상관기, 청구항 49의 오디오 입력 신호를 역상관하는 방법, 또는 청구항 50의 컴퓨터 프로그램에 의해 달성된다.
본 발명은 인코딩된 다채널 신호를 디코딩하는 데에는 혼합식 접근법이 유용하다는 발견에 기초한다. 이 혼합식 접근법은 역상관 필터에 의해 생성된 충전 신호를 사용하는 것에 의존하며, 이 충전 신호는 디코딩된 다채널 신호를 생성하기 위해 파라메트릭 또는 기타 다채널 프로세서와 같은 다채널 프로세서에 의해 사용된다. 특히, 역상관 필터는 광대역 필터이고, 다채널 프로세서는 스펙트럼 표현(spectral representation)에 협대역 프로세싱을 적용하도록 구성된다. 따라서, 충전 신호는 바람직하게는 예를 들어 전역 통과 필터(allpass filter) 절차에 의해 시간 영역 내에 생성되며, 다채널 프로세싱은 디코딩된 기본 채널의 스펙트럼 표현을 사용하여 그리고, 추가적으로, 상기 시간 영역에서 계산된 충전 신호로부터 생성된 충전 신호의 스펙트럼 표현을 사용하여 스펙트럼 영역 내에서 발생한다.
따라서, 높은 오디오 품질을 갖는 디코딩된 다채널 신호를 얻기 위해 한편으로는 주파수 영역 다채널 프로세싱의 장점과 다른 한편으로는 시간 영역 역상관이 유용한 방식으로 결합된다. 그럼에도 불구하고, 인코딩된 다채널 신호가 일반적으로는 파형 보존 인코딩 포맷이 아니라 예를 들어 파라메트릭 다채널 코딩 포맷이라는 사실로 인해, 인코딩된 다채널 신호를 전송하기 위한 비트레이트는 가능한 한 낮게 유지된다. 따라서, 충전 신호를 생성하기 위해, 디코딩된 기본 채널과 같은 디코더가 이용 가능한 데이터만이 사용되며, 특정 실시예에서는 이득 파라미터 또는 예측 파라미터와 같은 추가 스테레오 파라미터, 또는 대안적으로 ILD, ICC 또는 당해 기술분야에 공지된 기타 스테레오 파라미터가 사용된다.
이어서, 몇 가지 바람직한 실시예들이 논의된다. 스테레오 신호를 코딩하는 가장 효율적인 방법은 바이노럴 큐 코딩(Binaural Cue Coding) 또는 파라메트릭 스테레오(Parametric Stereo)와 같은 파라메트릭 방법을 사용하는 것이다. 이는 부대역에서 여러 공간적 큐를 복원함으로써 모노 다운믹스로부터 공간적 인상을 재구성하는 것을 목표로 하며, 그렇기 때문에 심리 음향에 기초한다. 파라메트릭 방법을 보는 또 다른 방법이 있는데, 그 하나는 단순히 한 채널을 다른 채널로 파라메트릭 방식으로 모델링하여 채널간 중복성(inter channel redundancy)을 활용하려고 하는 것이다. 이러한 방식에서, 하나는 1차 채널로부터 2차 채널의 일부를 복구할 수 있지만, 다른 하나는 일반적으로 잔차 성분으로 남는다. 이 성분을 빠뜨리게 되면 디코딩된 출력의 불안정한 스테레오 이미지가 일반적으로 야기된다. 따라서, 그러한 잔차 성분을 적절히 대체할 성분을 채워 넣을 필요가 있다. 이러한 대체는 어림짐작으로 하는 것이기 때문에, 다운믹스 신호와 유사한 시간적 특성 및 스펙트럼 특성을 갖는 제2 신호로부터 그러한 부분을 취하는 것이 가장 안전하다.
따라서, 본 발명의 실시예들은 파라메트릭 오디오 코더와 관련하여, 특히, 누락된 잔차 부분에 대한 대체 부분이 디코더 측의 역상관 필터에 의해 생성된 인공 신호로부터 추출되는 파라메트릭 오디오 디코더와 관련하여, 특히 유용하다.
추가 실시예들은 인공 신호를 생성하기 위한 절차에 관한 것이다. 실시예들은 누락된 잔차 부분에 대한 대체 부분이 추출되는 인공 제2 채널을 생성하는 방법과, 그 인공 제2 채널을 향상된 스테레오 필링이라 불리는 완전 파라메트릭 스테레오 코더에서 사용하는 것에 관한 것이다. 상기 인공 신호는 스펙트럼 형태가 일시적으로 입력 신호에 가깝기 때문에 xHE-AAC 신호보다 음성 신호를 코딩하는 데 더 적합하다. 상기 인공 신호는 특수 필터 구조를 적용함으로써 시간 영역에서 생성되므로, 스테레오 업믹스가 수행되는 필터 뱅크와 무관하다. 따라서, 상기 인공 신호는 상이한 업믹스 절차들에서 사용될 수 있다. 예를 들어, QMF 도메인으로 변환한 후 인공 신호를 대체하기 위해 xHE-AAC에 사용될 수 있는데, 이는 음성 성능을 향상시키며, 이뿐만 아니라 중앙/측방 예측에서 잔차를 대신하도록 보통의 AMR-WB+에도 사용될 수 있고, 이는 약하게 상관된 입력 채널들의 성능을 향상시켜서 스테레오 이미지를 향상시킨다. 이는 상이한 스테레오 모드들(예컨대, 시간 영역 및 주파수 영역 스테레오 프로세싱 등)을 특색 짓는 코덱에 특히 중요하다.
바람직한 실시예들에서, 역상관 필터는 적어도 하나의 전역 통과 필터 셀을 포함하고, 상기 적어도 하나의 전역 통과 필터 셀은 제3 슈뢰더 전역 통과 필터에 중첩된 2개의 슈뢰더 전역 통과 필터 셀을 포함하고/하거나, 상기 전역 통과 필터는 적어도 하나의 전역 통과 필터 셀을 포함하고, 상기 전역 통과 필터 셀은 2개의 층계형 슈뢰더 전역 통과 필터(cascaded Schroeder allpass filter)를 포함하고, 제1 층계형 슈뢰더 전역 통과 필터로의 입력과 제2 층계형 슈뢰더 전역 통과 필터로부터의 출력은 상기 제3 슈뢰더 전역 통과 필터의 지연 스테이지 전에 신호 흐름의 방향으로 연결된다.
추가적인 일 실시예에서, 스테레오 또는 다채널 디코딩을 위해 양호한 임펄스 응답을 갖는 특히 유용한 전역 통과 필터가 얻어지도록, 3개의 중첩된 슈뢰더 전역 통과 필터를 포함하는 다수의 상기 전역 통과 필터 셀들이 중첩된다.
본 발명의 여러 양태들이 모노 기본 채널로부터 왼쪽 업믹스 채널 및 오른쪽 업믹스 채널을 생성하는 스테레오 디코딩과 관련하여 논의되지만, 본 발명은 또한, 예를 들어 4개의 채널의 신호가 2개의 기본 채널을 사용하여 인코딩되되 제1 및 제2 업믹스 채널이 제1 기본 채널로부터 생성되고 제3 및 제4 업믹스 채널이 제2 기본 채널로부터 생성되는 경우에, 다채널 디코딩에도 적용 가능하다는 것을 여기서 강조하고자 한다. 다른 대안에서, 본 발명은 단일 기본 채널로부터 바람직하게는 동일한 충전 신호를 항상 사용하여 3개 이상의 업믹스 채널을 생성하는 데에도 유용하다. 그러나, 이러한 모든 절차에서, 충전 신호는 광대역 방식으로, 즉 바람직하게는 시간 영역에서 생성되고, 디코딩된 기본 채널로부터 2개 이상의 업믹스 채널을 생성하기 위한 다채널 프로세싱은 주파수 영역에서 행해진다.
역상관 필터가 시간 영역에서 완전히 작동하는 것이 바람직하다. 그러나 예를 들어 역상관이 한편으로는 저대역 부분 및 다른 한편으로는 고 대역 부분을 역상관시킴으로써 수행되는 한편 예를 들어 다채널 프로세싱이 훨씬 더 높은 스펙트럼 해상도에서 수행되는 그 밖의 다른 하이브리드 방식도 유용하다. 따라서, 예시적으로, 다채널 프로세싱의 스펙트럼 해상도는 예를 들어 각각의 DFT 또는 FFT 라인을 개별적으로 프로세싱하는 것만큼 높을 수 있고, 각각의 대역이 예를 들어 2개, 3개, 또는 더 많은 DFT/FFT/MDCT 라인을 포함하는 여러 대역에 대해 파라메트릭 데이터가 주어지며, 충전 신호를 얻기 위한 디코딩된 기본 채널의 필터링이 예를 들어 저대역 및 고대역 내에서 또는 아마도 3개의 다른 대역 내에서 광대역과 같은 방식으로, 즉 시간 영역 또는 준광대역 대역에서와 같이 행해진다. 따라서, 어떠한 경우에도, 개별 라인 또는 부대역(subband) 신호에 대해 전형적으로 수행되는 스테레오 프로세싱의 스펙트럼 해상도는 가장 높은 스펙트럼 해상도이다.
전형적으로, 인코더에서 생성되고 전송되어 바람직한 디코더에 의해 사용되는 스테레오 파라미터는 중간 스펙트럼 해상도를 갖는다. 따라서, 대역들에 대해 파라미터들이 주어지고, 대역들은 가변 대역폭을 가질 수 있지만, 각각의 대역은 적어도 다채널 프로세서들에 의해 생성되고 사용되는 2개 이상의 라인 또는 부대역 신호를 포함한다. 또한, 역상관 필터링의 스펙트럼 해상도는 매우 낮으며, 시간 영역 필터링이 매우 낮거나 중간인 경우에 상이한 대역들에 대해 상이한 역상관된 신호들을 생성하는 경우, 이러한 중간의 스펙트럼 해상도는 파라메트릭 프로세싱을 위한 파라미터들이 주어진 해상도에 비해 여전히 낮다.
바람직한 일 실시예에서, 역상관 필터의 필터 특성은 관심을 두고 있는 스펙트럼 범위 전체에 걸쳐 일정한 크기 영역을 갖는 전역 통과 필터이다. 그러나 이러한 이상적인 전역 통과 필터 거동이 없는 그 밖의 다른 역상관 필터도, 바람직한 일 실시예에서 필터 특성의 일정한 크기의 영역이 디코딩된 기본 채널의 스펙트럼 표현의 스펙트럼 입도보다 크고 충전 신호의 스펙트럼 표현의 스펙트럼 입도보다 큰 한은, 유용하다.
따라서, 다채널 프로세싱이 수행되는 충전 신호 또는 디코딩된 기본 채널의 스펙트럼 입도가 역상관 필터링에 영향을 미치지 않아서, 고품질 충전 신호가 생성되고 바람직하게는 에너지 정규화 인수를 사용하여 조정되고 나서 둘 이상의 업믹스 채널을 생성하는 데 사용되게 된다는 것이 확실하다.
또한, 이후에 논의되는 도 4, 도 5, 또는 도 6과 관련하여 설명된 바와 같은 역상관된 신호의 생성은 다채널 디코더와 관련하여 사용될 수 있지만, 역상관된 신호가 오디오 신호 렌더링, 잔향 동작 등과 같은 것에 유용하게 되는 기타 응용에서도 사용될 수 있다.
후속하여, 바람직한 실시예들이 첨부 도면과 관련하여 논의된다.
새로운 방법은 예를 들어 xHE-AAC에 적용되는 종래 기술의 방법에 비해 많은 이점과 장점을 가지고 있다.
시간 영역 프로세싱은 파라메트릭 스테레오에 적용되는 부대역 프로세싱보다 훨씬 더 높은 시간 해상도를 허용하므로 임펄스 응답이 조밀하고 빠른 감쇠인 필터를 설계할 수 있다. 이로 인해 입력 신호 스펙트럼 포락선이 시간이 지남에 따라 흐려지는 것이 적어지게 되거나, 출력 신호가 덜 채색되므로, 소리가 더 자연스럽게 들린다.
필터 임펄스 응답의 최적 피크 영역이 20 내지 40 ms에 있어야 음성에 더 적합하다.
필터 유닛은 샘플링 레이트가 상이한 입력 신호들에 대한 재샘플링 기능을 특색 짓는다. 이는 필터를 고정 샘플링 레이트로 작동할 수 있게 하는데, 이는 상이한 샘플링 레이트에서 유사한 출력을 보장하기 때문에 유리하거나, 상이한 샘플링 레이트의 신호들 간의 전환 시의 불연속성을 매끄럽게 한다. 복잡도로 인해, 필터링된 신호가 지각적으로 관련된 주파수 범위만 커버하도록 내부 샘플링 레이트를 선택해야 한다.
신호는 디코더의 입력에서 생성되고 필터 뱅크에 연결되지 않기 때문에 상이한 스테레오 프로세싱 유닛들에서 사용될 수 있다. 이는 상이한 유닛들 사이에서 전환할 때나 또는 상이한 유닛들이 신호의 상이한 부분들에서 작동할 때의 불연속성을 매끄럽게 하는 데 도움이 된다.
또한 유닛들 간의 전환 시 초기화가 필요 없으므로 복잡도를 면하게 된다.
이득 압축 체계(gain compression scheme)는 코어 코딩으로 인한 주변의 손실을 보상하는 데 도움이 된다.
ACELP 프레임의 대역폭 확장에 관한 방법은 패닝 기반 시간 영역 대역폭 확장 업믹스에서 누락되는 잔차 성분의 부족을 완화시키고, 이는 DFT 영역에서의 고대역 프로세싱과 시간 영역에서의 고대역 프로세싱 사이에서 전환할 때 안정성을 증가시킨다.
매우 미세한 시간 스케일에서 입력을 영(0)으로 대체할 수 있고, 이는 공격을 처리하는 데 유익하다.
도 1a는 EVS 코어 코더와 함께 사용될 때의 인공 신호 생성을 예시하는 도면이다.
도 1b는 EVS 코어 코더와 함께 사용될 때의 인공 신호 생성을 예시하는 것으로, 다른 일 실시예에 따른 것을 예시하는 도면이다.
도 2a는 시간 영역 대역폭 확장 업믹스를 포함하는 DFT 스테레오 프로세싱으로의 통합을 예시하는 도면이다.
도 2b는 시간 영역 대역폭 확장 업믹스를 포함하는 DFT 스테레오 프로세싱으로의 통합을 예시하는 것으로, 다른 일 실시예에 따른 것을 예시하는 도면이다.
도 3은 다수의 스테레오 프로세싱 유닛을 특색 짓는 시스템으로의 통합을 예시하는 도면이다.
도 4는 기본 전역 통과 유닛을 예시하는 도면이다.
도 5는 전역 통과 유닛을 예시하는 도면이다.
도 6은 바람직한 전역 통과 필터의 임펄스 응답을 예시하는 도면이다.
도 7a는 인코딩된 다채널 신호를 디코딩하기 위한 장치를 예시하는 도면이다.
도 7b는 역상관 필터의 바람직한 일 구현예를 예시하는 도면이다.
도 7c는 기본 채널 디코더와 스펙트럼 변환기의 조합을 예시하는 도면이다.
도 8은 다채널 프로세서의 바람직한 일 구현예를 예시하는 도면이다.
도 9a는 인코딩된 다채널 신호를 대역폭 확장 프로세싱을 사용하여 디코딩하기 위한 장치의 추가 구현예를 예시하는 도면이다.
도 9b는 압축 에너지 정규화 인자를 생성하기 위한 바람직한 실시예를 예시한 도면이다.
도 10은 인코딩된 다채널 신호를, 기본 채널 디코더에서 채널 변환을 사용하여 작동하는 또 다른 실시예에 따라, 디코딩하기 위한 장치를 예시하는 도면이다.
도 11은 기본 채널 디코더를 위한 재샘플링기(resampler)와 그 뒤에 연결된 역상관 필터 사이의 협동을 예시하는 도면이다.
도 12는 본 발명에 따른 디코딩 장치에 유용한 예시적인 파라메트릭 다채널 인코더를 예시하는 도면이다.
도 13은 인코딩된 다채널 신호를 디코딩하기 위한 장치의 바람직한 일 구현예를 예시하는 도면이다.
도 14는 다채널 프로세서의 또 다른 바람직한 구현예를 예시하는 도면이다.
도 1b는 EVS 코어 코더와 함께 사용될 때의 인공 신호 생성을 예시하는 것으로, 다른 일 실시예에 따른 것을 예시하는 도면이다.
도 2a는 시간 영역 대역폭 확장 업믹스를 포함하는 DFT 스테레오 프로세싱으로의 통합을 예시하는 도면이다.
도 2b는 시간 영역 대역폭 확장 업믹스를 포함하는 DFT 스테레오 프로세싱으로의 통합을 예시하는 것으로, 다른 일 실시예에 따른 것을 예시하는 도면이다.
도 3은 다수의 스테레오 프로세싱 유닛을 특색 짓는 시스템으로의 통합을 예시하는 도면이다.
도 4는 기본 전역 통과 유닛을 예시하는 도면이다.
도 5는 전역 통과 유닛을 예시하는 도면이다.
도 6은 바람직한 전역 통과 필터의 임펄스 응답을 예시하는 도면이다.
도 7a는 인코딩된 다채널 신호를 디코딩하기 위한 장치를 예시하는 도면이다.
도 7b는 역상관 필터의 바람직한 일 구현예를 예시하는 도면이다.
도 7c는 기본 채널 디코더와 스펙트럼 변환기의 조합을 예시하는 도면이다.
도 8은 다채널 프로세서의 바람직한 일 구현예를 예시하는 도면이다.
도 9a는 인코딩된 다채널 신호를 대역폭 확장 프로세싱을 사용하여 디코딩하기 위한 장치의 추가 구현예를 예시하는 도면이다.
도 9b는 압축 에너지 정규화 인자를 생성하기 위한 바람직한 실시예를 예시한 도면이다.
도 10은 인코딩된 다채널 신호를, 기본 채널 디코더에서 채널 변환을 사용하여 작동하는 또 다른 실시예에 따라, 디코딩하기 위한 장치를 예시하는 도면이다.
도 11은 기본 채널 디코더를 위한 재샘플링기(resampler)와 그 뒤에 연결된 역상관 필터 사이의 협동을 예시하는 도면이다.
도 12는 본 발명에 따른 디코딩 장치에 유용한 예시적인 파라메트릭 다채널 인코더를 예시하는 도면이다.
도 13은 인코딩된 다채널 신호를 디코딩하기 위한 장치의 바람직한 일 구현예를 예시하는 도면이다.
도 14는 다채널 프로세서의 또 다른 바람직한 구현예를 예시하는 도면이다.
도 7a는 인코딩된 다채널 신호를 디코딩하기 위한 장치의 바람직한 일 실시예를 예시하고 있다. 인코딩된 다채널 신호는 인코딩된 기본 채널을 디코딩하여 디코딩된 기본 채널이 수득되도록 하는 기본 채널 디코더(700)로 입력되는 인코딩된 기본 채널을 포함한다.
또한, 디코딩된 기본 채널은 디코딩된 기본 채널의 적어도 일부를 필터링하여 충전 신호(filling signal)가 수득되도록 하는 역상관 필터(800, decorrelation filter)에 입력된다.
디코딩된 기본 채널과 충전 신호는 디코딩된 기본 채널의 스펙트럼 표현과 추가로 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)로 입력된다. 다채널 프로세서는 예를 들어 스테레오 프로세싱과 관련하여 왼쪽 업믹스 채널(upmix channel) 및 오른쪽 업믹스 채널(upmix channel)을 포함하거나 또는 2개 초과한 업믹스 채널을 커버하는 다채널 프로세싱의 경우 3개 이상의 업믹스 채널을 포함하는 디코딩된 다채널 신호를 출력한다.
상기 역상관 필터(800)는 광대역 필터(broad band filter)로 구성되고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현(spectrum representation)과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band filter)을 적용하도록 구성된다. 중요하기로는, 필터링될 신호가, 22 kHz 이하와 같은 높은 샘플링 레이트로부터 16 kHz 또는 12.8 kHz로 다운샘플링되는 것과 같이, 높은 샘플링 레이트로부터 다운샘플링될 때, 광대역 필터링도 수행된다.
따라서, 다채널 프로세서는 충전 신호가 생성되는 스펙트럼 입도(spectrum granularity)보다 상당히 높은 스펙트럼 입도로 작동한다. 바꾸어 말하면, 역상관 필터의 필터 특성은 그 필터 특성의 일정한 크기의 영역이 디코딩된 기본 채널의 스펙트럼 표현의 스펙트럼 입도보다 크고 충전 신호의 스펙트럼 표현의 스펙트럼 입도보다 크도록 선택된다.
따라서, 예를 들어, 다채널 프로세서의 스펙트럼 입도가 일례로 1024 라인 DFT 스펙트럼의 각 스펙트럼 라인에 대해 업믹스 프로세싱이 수행되도록 한 경우, 역상관 필터는 역상관 필터의 필터 특성의 일정한 크기의 영역이 DFT 스펙트럼의 둘 이상의 스펙트럼 라인보다 높은 주파수 폭을 갖도록 하는 방식으로 정의된다. 전형적으로, 역상관 필터는 시간 영역에서 작동하고, 예를 들어 20 Hz 내지 20 kHz의 사용된 스펙트럼 대역에서 작동한다. 이러한 필터는 전역 통과 필터인 것으로 알려져 있으며, 여기서, 크기가 완전히 일정한 완전하게 일정한 크기 범위는 일반적으로 전역 통과 필터에 의해 얻어질 수 없지만, 일정한 크기로부터 평균값의 +/- 10%의 변동도 또한 전역 통과 필터에 유용한 것으로 밝혀지므로 "필터 특성의 일정한 크기(constant magnitude of the filter characteristic)"를 나타낸다는 점을 주지해야 한다.
도 7b는 전역 필터 스테이지(802) 및 이에 부속되어 연결된 충전 신호의 스펙트럼 표현을 생성하는 스펙트럼 변환기(804)를 포함하는 역상관 필터(800)의 바람직한 일 구현예를 예시하는 도면이다. 스펙트럼 변환기(804)는 전형적으로 FFT 또는 DFT 프로세서로서 구현되지만, 다른 시간-주파수 영역 변환 알고리즘도 유용하다.
도 7c는 기본 채널 디코더(700)와 기본 채널 스펙트럼 변환기(902) 사이의 협동의 바람직한 구현을 도시한다. 일반적으로, 기본 채널 디코더는 다채널 프로세서(900)가 스펙트럼 영역에서 작동하는 동안 시간 영역 기본 채널 신호를 생성하는 시간 영역 기본 채널 디코더로서 작동하도록 구성된다. 따라서, 도 7a의 다채널 프로세서(900)는 도 7c의 기본 채널 스펙트럼 변환기(902)를 입력 스테이지로서 구비하며, 기본 채널 스펙트럼 변환기(902)의 스펙트럼 표현은 예를 들어 도 8, 도 13, 도 14, 도 9a 또는 도 10에 예시된 다채널 프로세서 프로세싱 요소들로 보내진다.
이와 관련하여, 일반적으로 "7"로 시작하는 도면 부호는 바람직하게는 도 7a의 기본 채널 디코더(700)에 속하는 요소를 나타낸다는 개요를 설명하고자 한다. "8"로 시작하는 도면 부호를 갖는 요소들은 바람직하게는 도 7a의 역상관 필터(800)에 속하고, 도면에서 "9"로 시작하는 도면 부호를 갖는 요소들은 바람직하게는 도 7a의 다채널 프로세서(900)에 속한다. 그러나, 여기서, 개별 요소들 사이의 분리는 본 발명을 설명하기 위해서만 행해지지만, 실제의 임의의 구현은 도 7a 및 다른 도면에 예시된 논리적 분리와는 다른 방식으로 분리되는, 상이하게 다른 전형적으로 하드웨어 또는 대안적으로 소프트웨어 또는 혼합된 하드웨어/소프트웨어 프로세싱 블록들을 가질 수 있음을 주지해야 한다.
도 4는 도면 부호 802'으로 표시된 필터 스테이지(802)의 바람직한 구현을 예시하고 있다. 특히, 도 4는 예를 들어 도 5에 예시된 바와 같이 역상관 필터에 단독으로 또는 더 많은 층계형 전역 통과 유닛들(cascaded allpass unit)들과 함께 포함될 수 있는 기본 전역 통과 유닛을 예시하고 있다. 도 5는 예시적으로 5개의 층계형 기본 전역 통과 유닛(502, 504, 506, 508, 510)을 갖는 역상관 필터(802)를 예시하고 있지만, 각각의 기본 전역 통과 유닛은 도 4에 개요를 나타낸 바와 같이 구현될 수 있다. 그러나 대안적으로 역상관 필터는 도 4의 하나의 기본 전역 통과 유닛(403)을 포함할 수 있으므로 역상관 필터 스테이지(802')의 대안적인 구현을 나타낸다.
바람직하게는, 각각의 기본 전역 통과 유닛은 제3 슈뢰더 전역 통과 필터(403, Schroeder allpass filter)에 중첩된 2개의 슈뢰더 전역 통과 필터(401, 402)를 포함한다. 이 구현에서, 전역 통과 필터 셀(403)이 2개의 층계형(cascaded) 슈뢰더 전역 통과 필터(401, 402)에 연결되고, 제1 층계형 슈뢰더 전역 통과 필터(401)로의 입력과 제2 층계형 슈뢰더 전역 통과 필터(402)로부터의 출력은 제3 슈뢰더 전역 통과 필터의 지연 스테이지(423) 전에 신호 흐름의 방향으로 연결된다.
특히, 도 4에 예시된 전역 통과 필터는 제1 가산기(411, first adder), 제2 가산기(412, second adder), 제3 가산기(413, third adder), 제4 가산기(414, fourth adder), 제5 가산기(415, fifth adder), 및 제6 가산기(416, sixth adder); 제1 지연 스테이지(421, first delay stage), 제2 지연 스테이지(422, second delay stage), 및 제3 지연 스테이지(423, third delay stage); 제1 순방향 이득(first forward gain)을 갖는 제1 순방향 피드(431, first forward feed), 제1 역방향 이득(first backward gain)을 갖는 제1 역방향 피드(441, first backward feed), 제2 순방향 이득(second forward gain)을 갖는 제2 순방향 피드(442, second forward feed), 및 제2 역방향 이득(second backward gain)을 갖는 제2 역방향 피드(432, second backward feed); 및 제3 순방향 이득(third forward gain)을 갖는 제3 순방향 피드(443, third forward feed) 및 제3 역방향 이득(third backward gain)을 갖는 제3 역방향 피드(433, third backward feed)를 포함한다.
연결은 도 4에 도시되어 있고 다음과 같다: 제1 가산기(411)로의 입력이 전역 통과 필터(802)로의 입력을 나타내고, 제1 가산기(411)로의 제2 입력이 제3 지연 스테이지(423)의 출력에 연결되며, 제3 역방향 이득을 갖는 제3 역방향 피드(433)를 포함한다. 제1 가산기(411)의 출력이 상기 제2 가산기(412)로의 입력에 연결되며, 제3 순방향 이득을 갖는 제3 순방향 피드(443)를 통해 제6 가산기(416)의 입력에 연결된다. 제2 가산기(412)로의 입력이 제1 역방향 이득을 갖는 제1 역방향 피드(441)를 통해 제1 지연 스테이지(421)에 연결된다. 제2 가산기(412)의 출력이 제1 지연 스테이지(421)의 입력에 연결되고, 제1 순방향 이득을 갖는 제1 순방향 피드(431)를 통해 제3 가산기(413)의 입력에 연결된다. 제1 지연 스테이지(421)의 출력이 제3 가산기(413)의 추가 입력에 연결된다. 제3 가산기(413)의 출력이 제4 가산기(414)의 입력에 연결된다. 제4 가산기(414)로의 추가 입력이 제2 역방향 이득을 갖는 제2 역방향 피드(432)를 통해 상기 제2 지연 스테이지(422)의 출력에 연결된다. 제4 가산기(414)의 출력이 제2 지연 스테이지(422)로의 입력에 연결되며, 제2 순방향 이득을 갖는 제2 순방향 피드(442)를 통해 제5 가산기(415)로의 입력에 연결된다. 제1 지연 스테이지(421)의 출력이 제5 가산기(415)의 추가 입력에 연결된다. 제5 가산기(415)의 출력이 제3 지연 스테이지(423)의 입력에 연결된다. 제3 지연 스테이지(423)의 출력이 제6 가산기(416)로의 입력에 연결된다. 제6 가산기(416)로의 추가 입력이 제3 순방향 이득을 갖는 제3 순방향 피드(443)를 통해 제1 가산기(411)의 출력에 연결된다. 제6 가산기(416)의 출력은 전역 통과 필터(802)의 출력을 나타낸다.
바람직하게는, 도 8에 예시된 바와 같이, 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 대응하는 스펙트럼 대역의 상이한 가중치 조합들을 사용하여 제1 업믹스 채널과 제2 업믹스 채널을 결정하도록 구성된다. 특히, 상기 상이한 가중치 조합들은 인코딩된 다채널 신호 내에 포함된 인코딩된 파라메트릭 정보(encoded parametric information)로부터 도출되는 예측 인자(prediction factor) 및/또는 이득 인자(gain factor)에 의존한다. 또한, 상기 가중치 조합들은 바람직하게는 포락선 정규화 인자(envelope normalization factor), 또는 바람직하게는 디코딩된 기본 채널의 스펙트럼 대역 및 충전 신호의 대응하는 스펙트럼 대역을 사용하여 계산된 에너지 정규화 인자(energy normalization factor)에 의존한다. 따라서, 도 8의 프로세서(904)는 디코딩된 기본 채널의 스펙트럼 표현 및 충전 신호의 스펙트럼 표현을 수신하고, 바람직하게는 시간 영역에서 제1 업믹스 채널 및 제2 업믹스 채널을 출력하고, 예측 인자, 이득 인자, 및 에너지 정규화 인자가 대역별로 입력되고, 이어서 이 인자들은 대역 내의 모든 스펙트럼 라인에 사용되지만, 이 데이터가 인코딩된 신호에서 검색되거나 디코더에서 로컬 방식으로 결정되는 상이한 대역에 대해서는 변경된다.
특히, 예측 인자 및 이득 인자는, 전형적으로는, 디코더 측에서 디코딩된 다음 파라메트릭 스테레오 업믹싱에 사용되는 인코딩된 파라미터를 나타낸다. 이와 달리, 에너지 정규화 인자는 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 스펙트럼 대역을 사용하여 계산된다. 포락선 정규화 인자도 이와 마찬가지이다. 바람직하게는, 포락선 정규화는 대역마다의 에너지 정규화에 대응한다.
본 발명은 도 12에 예시된 특정 기준 인코더 및 도 13 또는 도 14에 예시된 특정 디코더를 가지고 논의되고 있지만, 협대역 스펙트럼 영역에서 동작하는 다채널 스테레오 디코딩에서의 광대역 충전 신호의 생성 및 광대역 충전 신호의 적용은 또한 당해 기술분야에 공지된 임의의 다른 파라메트릭 스테레오 인코딩 기술에도 적용될 수 있다는 점을 주지해야 한다. 이들은 HE-AAC 표준에서, 또는 MPEG 서라운드 표준에서, 또는 바이노럴 큐 코딩(Binaural Cue Coding)에서, 또는 기타 스테레오 인코딩/디코딩 도구, 또는 기타 다채널 인코딩/디코딩 도구에서 알려진 파라메트릭 스테레오 인코딩이다.
도 9a는 제1 업믹스 채널 및 제2 업믹스 채널을 생성하는 다채널 프로세서 스테이지(904)와, 상기 제1 업믹스 채널 및 상기 제2 업믹스 채널에 개별적으로 안내되거나 안내되지 않는 방식으로 시간 영역 대역폭 확장을 수행하는, 후속해서 연결된 시간 영역 대역폭 확장 요소들(908, 910)을 포함하는 다채널 디코더의 또 다른 바람직한 실시예를 예시하고 있다. 일반적으로, 다채널 프로세서(904)에 의해 사용될 에너지 정규화 인자를 계산하기 위해 윈도우 및 에너지 정규화 인자 계산기(912)가 제공된다. 그러나 도 1a 또는 도 1b 및 도 2a 또는 도 2b와 관련하여 논의된 대안적인 실시예에서 대역폭 확장은 모노 또는 디코딩된 코어 신호로 수행되고, 도 2a 또는 도 2b의 단일 스테레오 프로세싱 요소(960)만이, 가산기(994a, 994b)에 의해 저대역 좌측 채널 신호 및 저대역 우측 채널 신호에 추가되는 고대역 좌측 채널 신호 및 고대역 우측 채널 신호를 고대역 모노 신호로부터 생성하기 위해 제공된다.
도 2a 또는 도 2b에 예시된 이러한 가산은 예를 들어 시간 영역에서 수행될 수 있다. 그 다음, 블록 960이 시간 영역 신호를 생성한다. 이것이 바람직한 구현이다. 그러나, 대안적으로, 도 2a 또는 도 2b의 스테레오 프로세싱(904) 및 블록 960으로부터의 좌측 채널 및 우측 채널 신호는 스펙트럼 영역에서 생성될 수 있으며 가산기(994a, 994b)는 예를 들어 합성 필터 뱅크에 의해 구현되므로, 블록 904로부터의 저대역 데이터가 합성 필터 뱅크의 저대역 입력으로 입력되고, 블록 960의 고대역 출력이 합성 필터 뱅크의 고대역 입력으로 입력되며, 합성 필터 뱅크의 출력이 대응하는 좌측 채널 시간 영역 신호 또는 우측 채널 시간 영역 신호가 된다.
바람직하게는, 도 9a의 윈도우어(windower) 및 인자 계산기(912, factor calculator)는 예를 들어 도 1a 또는 도 1b에 도면 부호 961로도 예시된 바와 같이 고대역 신호의 에너지 값을 생성 및 계산하고, 이 에너지 추정치를 바람직한 일 실시예에서 수학식 28 내지 31과 관련하여 후술되는 바와 같이 고대역 제1 및 제2 업믹스 채널을 생성하기 위해 사용한다.
바람직하게는, 가중치 조합을 계산하는 프로세서(904)는 대역마다의 에너지 정규화 인자를 입력으로서 수신한다. 그러나 바람직한 일 실시예에서는 에너지 정규화 인자의 압축이 수행되며 그 압축된 에너지 정규화 인자를 사용하여 상이한 가중치 조합들이 계산된다. 따라서, 도 8과 관련하여, 프로세서(904)는 압축되지 않은 에너지 정규화 인자 대신에 압축된 에너지 정규화 인자를 수신한다. 이 절차는 다른 실시예들과 관련하여 도 9b에 예시되어 있다. 블록 920은 시간/주파수 빈마다의 잔차 또는 충전 신호의 에너지와, 시간 및 주파수 빈마다의 디코딩된 기본 채널의 에너지를 수신한 다음, 이러한 다수의 시간/주파수 빈을 포함하는 대역에 대한 절대 에너지 정규화 인자를 계산한다. 그 다음, 블록 921에서, 에너지 정규화 인자의 압축이 수행되고, 이 압축은 예를 들어 후술하는 수학식 22와 관련하여 논의되는 로그 함수의 사용일 수 있다.
블록 921에 의해 생성된 압축 에너지 정규화 인자에 기초하여 압축 에너지 정규화 인자를 생성하기 위한 상이한 절차들이 제공된다. 제1 대안에서, 도면 부호 922로 예시된 바와 같은 압축 인자에 함수가 적용되며, 이 함수는 비선형 함수인 것이 바람직하다. 그 다음, 블록 923에서, 평가된 인자를 확장시켜서 특정 압축 에너지 정규화 인자가 얻어지도록 한다. 따라서, 블록 922는 예를 들어 후술할 수학식 22의 함수 표현으로 구현될 수 있고, 블록 923은 수학식 22 내의 "지수(exponent)" 함수에 의해 수행된다. 그러나 유사한 압축 에너지 정규화 인자를 생겨나게 하는 다른 대안이 블록 924 및 925에 제공된다. 블록 924에서 평가 인자가 결정되고, 블록 925에서, 이 평가 인자는 블록 920에서 얻어진 에너지 정규화 인자에 적용된다. 따라서, 블록 912에 개요 설명된 바와 같은, 상기 인자를 에너지 정규화 인자에 적용하는 것은 후속해서 예시되는 수학식 27로 구현될 수 있다.
따라서, 예를 들어 뒤에서 수학식 27에 예시된 바와 같이, 평가 인자가 결정되고, 이 인자는, 실제로 특수 기능 평가를 수행하지 않고 블록 920에 의해 결정된 것과 같은 에너지 정규화 인자 gnorm이 곱해질 수 있는 간단한 인자이다. 따라서, 정규화된 충전 신호 스펙트럼 라인을 얻기 위해 원래의 비압축 에너지 정규화 인자와, 충전 신호의 스펙트럼 값과 같은 곱셈 내의 평가 인자와 추가 피연산자를 함께 곱하자마자 바로 그 때에, 블록 925의 계산은 필요 없을 수도, 즉 압축된 에너지 정규화 인자의 특정 계산이 필요하지 않을 수 있다.
도 10은 인코딩된 다채널 신호가 단순히 모노 신호가 아니라 예를 들어 인코딩된 중앙 신호 및 인코딩된 측방 신호를 포함하는 추가적인 구현을 예시하고 있다. 이러한 상황에서, 기본 채널 디코더(700)는 인코딩된 중앙 신호 및 인코딩된 측방 신호 또는 일반적으로는 인코딩된 제1 신호 및 인코딩된 제2 신호를 디코딩할 뿐만 아니라, 예를 들어, L과 같은 주채널과 R과 같은 부채널을 계산하기 위해 중앙/측방 변환 및 중앙/측방 역변환 형태 또는 카루넨 뢰브 변환(Karhunen Loeve transformation) 형태의 채널 변환(705)도 추가로 수행한다.
그러나 채널 변환의 결과, 특히 디코딩 동작의 결과는 주채널이 광대역 채널이고 부채널이 협대역 채널이라는 것이다. 그 다음, 광대역 채널이 역상관 필터(800)에 입력되고, 블록 930에서 고역 통과 필터링이 수행되어 역상관된 고역 통과 신호가 생성되고, 그 다음 이 역상관된 고역 통과 신호가 대역 결합기(934)에서 협대역 부채널에 추가되어 광대역 부채널을 얻게 되어, 결국에는 광대역 주채널과 광대역 부채널이 출력된다.
도 11은 인코딩된 기본 채널과 연관된 특정 샘플링 레이트에서 기본 채널 디코더(700)에 의해 얻어진 디코딩된 베이스 채널이 재샘플링기(710, resampler)에 입력되어 재샘플링된 기본 채널이 얻어지도록 한 다음 이를 재샘플링된 채널에서 작동하는 다채널 프로세서에 사용되도록 하는 또 다른 구현을 예시하고 있다.
도 12는 기준 스테레오 인코딩의 바람직한 구현을 예시하고 있다. 블록 1200에서, L과 같은 제1 채널 및 R과 같은 제2 채널에 대해 채널간 위상차 IPD(inter-channel phase difference)가 계산된다. 그 다음 이 IPD 값은, 일반적으로, 각각의 시간 프레임에서 각 대역에 대해 인코더 출력 데이터(1206)로서 양자화되어 출력된다. 또한, IPD 값은, 각각의 시간 프레임 t에서 각각의 대역 b에 대한 예측 파라미터 gt,b 및 각각의 시간 프레임 t에서 각각의 대역 b에 대한 이득 파라미터 rt,b와 같은, 스테레오 신호에 대한 파라메트릭 데이터를 계산하는 데 사용된다.
또한, 각 대역에 대해 중앙 신호 및 측방 신호를 계산하기 위해 제1 채널과 제2 채널 모두가 중앙/측방 프로세서(1203)에도 사용된다.
구현 여하에 따라, 중앙 신호(M)만이 인코더(1204)로 보내질 수 있고 측방 신호는 인코더(1204)로 보내지지 않으므로, 출력 데이터(1206)는 인코딩된 기본 채널, 블록 1202에 의해 생성된 파라메트릭 데이터, 및 블록 1200에 의해 생성된 IPD 정보만을 포함한다.
이어서, 바람직한 일 실시예가 기준 인코더와 관련하여 논의되지만, 전술한 바와 같은 임의의 다른 스테레오 인코더도 사용될 수 있음을 주지해야 한다.
참조용 스테레오 인코더
DFT 기반 스테레오 인코더가 참조용으로 설명된다. 통상적으로, 좌측 및 우측 채널의 시간 주파수 벡터 Lt 및 Rt는 분석 윈도우 및 이에 이어지는 이산 푸리에 변환(DFT, Discrete Fourier Transform)을 동시에 적용함으로써 생성된다. 그 다음, DFT 빈들이 부대역 
및 
로 각각 그룹화되고, 여기서 I b 는부대역 지수들의 집합을 나타낸다.
IPD 계산 및 다운믹싱. 다운믹스의 경우, 대역별(bandwise) 채널간 위상차(IPD)는 다음과 같이 계산된다.
여기서 z*는 z의 공액 복소수를 나타낸다. 이것은 하기의 대역별 중앙 및 측방 신호를 생성하는 데 사용된다.
및
단, 
이고, 여기서 β는 예를 들어 다음 식에 의해 주어진 절대 위상 회전 파라미터이다.
파라미터 계산. 상기 대역별 IPD 외에, 두 개의 추가 스테레오 파라미터가 추출된다. Mt,b로 St,b를 예측하기 위한 최적 계수, 즉 하기의 나머지 에너지가 최소가 되도록 하는 gt,b 수와,
중앙 신호 Mt에 적용되는 경우 각각의 대역에서 pt와 Mt의 에너지를 균일화하는 상대 이득 계수 rt,b, 즉
최적 예측 계수가 다음과 같은 부대역의 에너지와,
다음과 같은 Lt와 Rt의 내적의 절대 값으로부터 계산될 수 있다.
및
이로부터 gt,b는 [-1, 1]에 있게 된다. 잔차 이득은 상기 에너지와 상기 내적으로부터 유사하게 다음과 같이 계산될 수 있고,
여기에는 다음 조건이 수반된다.
도 13은 디코더 측의 바람직한 구현을 예시하고 있다. 도 7a의 기본 채널 디코더를 나타내는 블록 700에서, 인코딩된 기본 채널(M)이 디코딩된다.
이어서, 블록 940a에서, L과 같은 주 업믹스 채널이 계산된다. 또한, 블록 940b에서, 예를 들어 채널 R인 부 업믹스 채널이 계산된다.
블록 940a와 블록 940b 모두가 충전 신호 생성기(800)에 연결되고, 도 12의 블록 1200 또는 도 12의 블록 1202에 의해 생성된 파라메트릭 데이터를 수신한다.
바람직하게는, 파라메트릭 데이터는 제2 스펙트럼 해상도를 갖는 대역들에 제공되고, 블록 940a 및 블록 940b는 높은 스펙트럼 해상도 입도에서 작동하여 제2 스펙트럼 해상도보다 높은 제1 스펙트럼 해상도를 갖는 스펙트럼 라인들을 생성한다.
블록 940a 및 블록 940b의 출력은 예를 들어 주파수-시간 변환기(961, 962)로 입력된다. 이들 변환기는 DFT 또는 임의의 다른 변환일 수 있으며, 또한 일반적으로는 후속 합성 윈도우 프로세싱 및 추가적인 중첩-가산 동작을 포함한다.
부가적으로, 충전 신호 생성기는 에너지 정규화 인자, 바람직하게는 압축된 에너지 정규화 인자를 수신하고, 이 인자는 블록 940a 및 블록 940b에 대해 정확하게 평등화된/가중된 충전 신호 스펙트럼 라인을 생성하기 위해 사용된다.
이어서, 블록 940a 및 블록 940b의 바람직한 구현이 제공된다. 두 블록은 위상 회전 인자의 계산(941a)과, 도면 부호 942a 및 942b로 표시된 바와 같은, 디코딩된 기본 채널의 스펙트럼 라인에 대한 제1 가중치의 계산을 포함한다. 또한, 두 블록은 충전 신호의 스펙트럼 라인에 대한 제2 가중치를 계산하기 위한 계산(943a 및 943b)을 포함한다.
또한, 충전 신호 생성기(800)는 블록 945에 의해 생성된 에너지 정규화 인자를 수신한다. 이 블록 945는 대역마다의 충전 신호와 대역마다의 기본 채널 신호를 수신한 다음, 한 대역 내의 모든 라인에 사용되는 동일한 에너지 정규화 인자를 계산한다.
마지막으로, 이 데이터는 제1 및 제2 업믹스 채널에 대한 스펙트럼 라인들을 계산하기 위해 프로세서(946)로 보내진다. 이를 위해, 프로세서(946)는 상기 데이터를 블록들(941a, 941b, 942a, 942b, 943a, 943b)로부터 수신하고, 디코딩된 기본 채널에 대한 스펙트럼 라인 및 충전 신호에 대한 스펙트럼 라인을 수신한다. 이 때, 블록 946의 출력은 제1 및 제2 업믹스 채널에 대한 대응하는 스펙트럼 라인이다.
이어서, 디코더의 바람직한 구현이 제공된다.
참조용 디코더
전술한 인코더에 대응하는 참조용 DFT 기반 디코더가 지정된다. 두 인코더로부터의 시간-주파수 변환이 디코딩된 다운믹스에 적용되어, 시간-주파수 벡터 
를 생성한다. 역양자화 값 
, 및 
를 사용하여, 왼쪽 및 오른쪽 채널이 다음과 같이 계산된다.
및
단, 
이고, 여기서 
는 인코더로부터 누락된 잔차 
에 대한 대체이고, 
은 다음 식으로 나타내는 에너지 정규화 인자이고,
이는 상대 잔차 예측 이득 
를 절대 이득으로 변환시킨다. 
에 대한 단순한 선택은 다음 식과 같다.
여기서, db >는 대역별 프레임 지연을 나타내지만 여기에는 특정 단점들이 있다. 즉,
- 
및 
는 아주 상이한 스펙트럼 및 시간 형상을 갖는다.
- 스펙트럼 포락선과 시간 포락선을 일치시키는 경우에도, 수학식 12 및 수학식 13에서 수학식 15를 사용하게 되면 주파수 종속 ILD 및 IPD가 유도되며, 이는 저주파수에서 중간 주파수까지의 범위에서만 느리게 변동한다. 이는 예를 들어 음색 아이템에 문제를 야기한다.
- 음성 신호의 경우, 반향 문턱치 아래로 유지시키기 위해서는 지연을 작게 선택해야 하지만, 이는 콤 필터링(comb-filtering)으로 인해 강한 채색(coloration)을 야기한다.
따라서, 아래에 설명된 인공 신호의 시간-주파수 빈을 사용하는 것이 좋다.
위상 회전 인자 β가 다시 다음과 같이 계산된다.
합성 신호 생성
스테레오 업믹스에서 누락된 잔차 부분을 대체하기 위해, 시간 영역 입력 신호 m으로부터 제2 신호가 생성되어, 제2 신호 mF를 출력한다. 이 필터의 설계 제약은 짧고 밀도가 높은 임펄스 응답을 갖도록 하는 것이다. 이는 두 개의 슈뢰더 전역 통과 필터를 제3 슈뢰더 필터에 중첩시킴으로써 얻어진 여러 스테이지의 기본 전역 통과 필터들을 적용함으로써 달성된다. 즉,
여기서,
및
이러한 기본적인 전역 통과 필터들은,
인공 잔향 생성과 관련하여 슈뢰더가 제안한 바 있는데, 여기서는 필터에 큰 이득과 큰 지연이 적용된다. 이와 관련하여 잔향 출력 신호를 갖는 것은 바람직하지 않기 때문에, 이득과 지연은 오히려 작게 선택된다. 잔향의 경우와 마찬가지로, 밀도가 높고 무질서한 형태의 임펄스 응답은 모든 전역 통과 필터에 대해 짝을 이루어 서로 소(coprime)인 지연들 dt를 선택함으로써 가장 잘 얻어진다.
필터는 코어 코더가 전달하는 신호의 대역폭 또는 샘플링 레이트에 관계없이 고정된 샘플링 레이트에서 작동한다. EVS 코더와 함께 사용할 때에는 이것이 필요한데, 왜냐하면 대역폭은 작동 중에 대역폭 검출기에 의해 변경될 수 있고 고정된 샘플링 레이트는 일관된 출력을 보장하기 때문이다. 전역 통과 필터의 바람직한 샘플링 레이트는 본래의 초광대역 샘플링 레이트인 32 kHz인데, 왜냐하면 16 kHz를 초과하는 잔차 부분이 없으면 일반적으로는 더 이상 들을 수 없기 때문이다. EVS 코더와 함께 사용할 때, 상기 신호는 코어로부터 직접 구성되며, 도 1에 표시된 바와 같이 여러 재샘플링 루틴들을 통합한다.
32 kHz 샘플링 속도에서 잘 작동하는 것으로 밝혀진 필터는 다음과 같고,
여기서, Bi는 표 1에 표시된 이득 및 지연을 갖는 기본 전역 통과 필터들이다. 이 필터의 임펄스 응답은 도 6에 도시되어 있다. 복잡도 때문에, 이러한 필터를 더 낮은 샘플링 레이트에서 적용할 수도 있고/있거나 기본 전역 통과 필터 유닛들의 수를 줄일 수도 있다.
전역 통과 필터 유닛들은 또한 입력 신호의 일부를 영(0)으로 덮어쓰는 기능을 제공하며, 이는 인코더로 제어된다. 이는, 예를 들어, 필터 입력으로부터의 공격을 삭제하는 데 사용할 수 있다.
gnorm 인자의 압축
보다 평활한 출력을 얻기 위해서는, 압축기를 에너지 조정 이득 gnorm에 적용하여 값들을 하나의 값으로 압축하는 것이 유리하다는 것으로 밝혀졌다. 이것은 또한 다운믹스를 더 낮은 비트 레이트로 코딩한 후에는 분위기의 일부가 일반적으로 손실된다는 사실을 약간 보상한다.
이러한 압축기는 하기 식을 취함으로써 구성될 수 있으며,
여기서,
그리고 함수 c는 다음을 충족시킨다.
t 주위의 c 값은 이 영역이 얼마나 강력하게 압축되는지를 특정하며, 여기서 0은 압축 없음에 해당하고 1은 전체 압축에 해당한다. 또한, c가 짝수인 경우, 압축 체계는 대칭, 즉 c(t) = c(-t)이다. 한 예는 다음과 같고,
이는 다음 식을 도출한다.
이 경우, 수학식 22는 다음과 같이 단순화될 수 있으며,
특수 기능 평가를 면할 수 있다.
ACELP 프레임을 위한 대역폭 확장의 시간 영역 스테레오 업믹스와 조합한 사용
통신 시나리오를 위한 저지연 오디오 코덱인 EVS 코덱과 함께 사용될 때, 시간 영역 대역폭 확장(TBE: time domain bandwidth extension)에 의해 유도된 안전한 지연에 대해 시간 영역에서 대역폭 확장의 스테레오 업믹스를 수행하는 것이 바람직하다. 스테레오 대역폭 업믹스는 대역폭 확장 범위에서 올바른 패닝을 복원하는 것을 목표로 하지만, 누락된 잔차에 대한 대체물을 추가하지 않는다. 따라서, 도 2에 도시된 바와 같이, 주파수 영역 스테레오 프로세싱에서 대체물을 추가하는 것이 바람직하다.
디코더에서의 입력 신호에 대해서는 
을, 필터링된 입력 신호에 대해서는 
를, 
의 시간-주파수 빈에 대해서는 
를, 
의 시간-주파수 빈에 대해서는 
를 표기법으로 사용한다.
그러면, 대역폭 확장 범위에서 
가 미지인 문제에 직면하게 되므로, 아래의 에너지 정규화 인자는,
일부 지수 
가 대역폭 확장 범위에 있는 경우에는, 직접 계산할 수 없다. 이 문제는 다음과 같이 해서 풀린다: 
및 
를 주파수 빈의 고대역 지수 및 저대역 지수를 각각 나타내는 것으로 한다. 그 다음, 시간 영역 내의 윈도우된 고대역 신호(windowed high band signal)의 에너지를 계산함으로써 
의 추정치 
를 얻는다. 이제, 
및 
를 대역 b의 지수 
내의 저대역 및 고대역 지수를 나타내는 것으로 하면, 다음 식을 갖게 된다.
이제 우항의 두 번째 합계에 있는 피가수(summand)는 미지이지만, 
가 전역 통과 필터에 의해 
으로부터 얻어지기 때문에, 
및 
의 에너지가 유사하게 분포된다고 추정할 수 있으므로, 다음 식이 얻어진다.
따라서, 수학식 29의 우변에 있는 두 번째 합계는 다음과 같이 추산될 수 있다.
주채널과 부채널을 코딩하는 코더와 함께 사용
인공 신호는 또한 주채널 및 부채널을 코딩하는 스테레오 코더에도 유용하다. 이 경우, 주채널은 전역 통과 필터 유닛의 입력 역할을 한다. 그 다음, 가능하기로는 쉐이핑 필터가 적용된 후, 스테레오 프로세싱 내의 잔차 부분을 대체하는 데 필터링된 출력이 사용될 수 있다. 가장 간단한 설정에서, 주채널 및 부채널은 중앙/측방 또는 KL 변환과 같은 입력 채널의 변환일 수 있으며, 부채널은 더 작은 대역폭으로 제한될 수 있다. 그 다음, 부채널의 누락 부분은, 고역 통과 필터를 적용한 후에, 필터링된 주채널로 대체될 수 있다.
스테레오 모드들 사이에서 전환할 수 있는 디코더와 함께 사용
인공 신호의 특히 흥미로운 경우는 디코더가 도 3에 도시된 바와 같이 상이한 스테레오 프로세싱 방법들을 특색 짓는 경우이다. 방법들이 동시에(예를 들어, 대역폭에 의해 분리됨) 또는 배타적으로(예를 들어, 주파수 영역 대 시간 영역 프로세싱) 적용될 수 있고, 스위칭 결정에 연결될 수 있다. 모든 스테레오 프로세싱 방법들에 동일한 인공 신호를 사용하게 되면 전환하는 경우와 동시적 경우 모두에서 불연속성이 매끄럽게 된다.
바람직한 실시예들의 이점 및 장점
새로운 방법은 예를 들어 xHE-AAC에 적용되는 종래 기술의 방법에 비해 많은 이점과 장점을 가지고 있다.
시간 영역 프로세싱은 파라메트릭 스테레오에 적용되는 부대역 프로세싱보다 훨씬 더 높은 시간 해상도를 허용하므로 임펄스 응답이 조밀하고 빠른 감쇠인 필터를 설계할 수 있다. 이로 인해 입력 신호 스펙트럼 포락선이 시간이 지남에 따라 흐려지는 것이 적어지게 되거나, 출력 신호가 덜 채색되므로, 소리가 더 자연스럽게 들린다.
필터 임펄스 응답의 최적 피크 영역이 20 내지 40 ms에 있어야 음성에 더 적합하다.
필터 유닛은 샘플링 레이트가 상이한 입력 신호들에 대한 재샘플링 기능을 특색 짓는다. 이는 필터를 고정 샘플링 레이트로 작동할 수 있게 하는데, 이는 상이한 샘플링 레이트에서 유사한 출력을 보장하기 때문에 유리하거나, 상이한 샘플링 레이트의 신호들 간의 전환 시의 불연속성을 매끄럽게 한다. 복잡도로 인해, 필터링된 신호가 지각적으로 관련된 주파수 범위만 커버하도록 내부 샘플링 레이트를 선택해야 한다.
신호는 디코더의 입력에서 생성되고 필터 뱅크에 연결되지 않기 때문에 상이한 스테레오 프로세싱 유닛들에서 사용될 수 있다. 이는 상이한 유닛들 사이에서 전환할 때나 또는 상이한 유닛들이 신호의 상이한 부분들에서 작동할 때의 불연속성을 매끄럽게 하는 데 도움이 된다.
또한 유닛들 간의 전환 시 초기화가 필요 없으므로 복잡도를 면하게 된다.
이득 압축 체계(gain compression scheme)는 코어 코딩으로 인한 주변의 손실을 보상하는 데 도움이 된다.
ACELP 프레임의 대역폭 확장에 관한 방법은 패닝 기반 시간 영역 대역폭 확장 업믹스에서 누락되는 잔차 성분의 부족을 완화시키고, 이는 DFT 영역에서의 고대역 프로세싱과 시간 영역에서의 고대역 프로세싱 사이에서 전환할 때 안정성을 증가시킨다.
매우 미세한 시간 스케일에서 입력을 영(0)으로 대체할 수 있고, 이는 공격을 처리하는 데 유익하다.
이어서, 도 1a 또는 도 1b, 도 2a 또는 도 2b, 및 도 3과 관련하여 추가 세부 사항들에 대해 논의한다.
도 1a 또는 도 1b는 기본 채널 디코더(700)가 디코딩된 기본 채널의 제1 부분을 생성하기 위해 저대역 디코더(721) 및 대역폭 확장 디코더(720)를 구비하는 제1 디코딩 브랜치를 포함하는 것으로 예시하고 있다. 또한, 기본 채널 디코더(700)는 디코딩된 기본 채널의 제2 부분을 생성하기 위해 전대역 디코더를 구비한 제2 디코딩 브랜치(722, decording branch)를 포함한다.
두 요소들 사이의 전환은, 블록을 포함하는 제1 디코딩 브랜치(720, 721) 또는 제2 디코딩 브랜치(722)에 인코딩된 기본 채널의 일부를 공급하기 위해 인코딩된 다채널 신호에 포함된 제어 파라미터에 의해 제어되는 스위치로서 예시된 제어기(713)에 의해, 수행된다. 저대역 디코더(721)는 예를 들어 대수 코드 여기 선형 예측 코더(ACELP: algebraic code excited linear prediction coder)로서 구현되고, 제2 전대역 디코더는 변환 코드 여기(TCX: transform coded excitation)/고품질(HQ) 코어 디코더로서 구현된다.
블록들(722)로부터의 디코딩된 다운믹스 또는 블록(721)으로부터의 디코딩된 코어 신호 와, 추가로, 블록(720)으로부터의 대역폭 확장 신호가 취해져서 도 2a 또는 도 2b의 절차로 보내진다. 또한, 후속하여 연결된 역상관 필터는 재샘플링기(810, 811, 812)와, 필요한 경우, 지연 보상 요소(813, 814)를 포함한다. 가산기가 블록(720)으로부터의 시간 영역 대역폭 확장 신호와 블록(721)으로부터의 코어 신호를 결합하여, 이를, 이용 가능한 신호에 따라 달라지는 제1 코딩 브랜치 또는 제2 코딩 브랜치 사이에서 전환하기 위해 스위치 제어기의 형태의 인코딩된 다채널 데이터에 의해 제어되는 스위치(815)로 보낸다.
또한, 전환 결정(817, switching decision)이 구성되는데, 이는 예를 들어 과도 감지기(transient detector)로서 구현된다. 그러나 과도 감지기는 신호 분석에 의해 과도(transient)를 검출하기 위한 실제 검출기일 필요는 없지만, 과도 감지기는 또한 기본 채널에서 과도를 나타내는 인코딩된 다채널 신호에서 부가 정보 또는 특정 제어 파라미터를 결정하도록 구성될 수 있다.
전환 결정(817)은, 도 1a 또는 도 1b에서 도면 부호 1000으로 표시된 EVS 전역 통과 신호 발생기(APSG: allpass signal generator)가 그 시간 영역에서 완전히 작동하기 때문에 아주 구체적으로 선택 가능한 특정 시간 영역들에 대해 다채널 프로세서에서 충전 신호 추가를 실제로 비활성화시키는 결과를 일으키는 제로 입력이나 또는 전역 통과 필터 유닛(802)으로 스위치(815)로부터 출력된 신호를 공급하기 위해, 스위치를 설정한다. 따라서, 제로 입력은 스펙트럼 도메인 프로세싱에 필요한 스펙트럼 해상도를 감소시키는 임의의 윈도우 길이에 대한 참조를 하지 않고 샘플 방식으로 선택될 수 있다.
도 1a에 예시된 장치는, 재샘플링기들과 지연 스테이지들이 도 1b에서 생략된다는 점, 즉 요소들(810, 811, 812, 813, 814)이 도 1b의 장치에 필요하지 않다는 점에서, 도 1b에 예시된 장치와 다르다. 따라서, 도 1b의 실시예에서, 전역 통과 필터 유닛들은 도 1a에서와 같이 32 kHz가 아닌 16 kHz에서 작동한다.
도 2a 또는 도 2b는 전역 통과 신호 생성기(1000, allpass signal generator)가 시간 영역 대역폭 확장 업믹스를 포함하는 DFT 스테레오 프로세싱에 통합된 것을 예시한다. 블록 1000은, 블록 720에 의해 생성된 대역폭 확장 신호를, 블록 720에 의해 생성된 모노 대역 폭 확장 신호로부터 고대역 왼쪽 신호 및 고대역 오른쪽 신호를 생성하기 위한 고대역 업믹서(960)(TBE 업믹스-(시간 영역) 대역폭 확장 업믹스)로 출력한다. 또한, 도면 부호 804로 표시된 충전 신호에 대한 DFT 전에 연결된 재샘플링기(821)가 제공된다. 또한, (전대역) 디코딩된 다운믹스이거나 또는 (저대역) 디코딩된 코어 신호인 디코딩된 기본 채널에 대한 DFT(922)가 제공된다.
구현 여하에 따라, 전대역 디코더(722)로부터의 디코딩된 다운믹스 신호가 이용 가능할 때, 블록 960이 비활성화되고, 스테레오 프로세싱 블록 904는 전대역 좌/우 채널과 같은 전대역 업믹스 신호를 이미 출력한다.
그러나, 디코딩된 코어 신호가 DFT 블록 922에 입력된 때, 블록 960이 활성화되고, 좌측 채널 신호와 우측 채널 신호가 가산기(994a, 994b)에 의해 추가된다. 그러나, 충전 신호의 추가는 그럼에도 불구하고 예를 들어 수학식 28 내지 31에 기초하여 바람직한 실시예에서 논의된 바와 같은 절차에 따라 블록 904로 표시된 스펙트럼 영역에서 수행된다. 따라서, 이러한 상황에서, 저대역 중앙 신호에 대응하는 DFT 블록 902에 의해 출력된 신호는 어떠한 고대역 데이터도 갖지 않는다. 그러나, 블록 804에 의해 출력된 신호, 즉 충전 신호는 저대역 데이터와 고대역 데이터를 갖는다.
스테레오 프로세싱 블록에서, 블록 904에 의해 출력된 저대역 데이터는 디코딩된 기본 채널 및 충전 신호에 의해 생성되지만, 블록 904에 의해 출력된 고대역 데이터는 충전 신호로만 구성되고 디코딩된 기본 채널로부터의 어떠한 고대역 정보도 갖지 않는데, 이는 디코딩된 기본 채널이 대역 제한되었기 때문이다. 디코딩된 기본 채널로부터의 고대역 정보는 대역폭 확장 블록 720에 의해 생성되고, 블록 960에 의해 왼쪽 고대역 채널 및 오른쪽 고대역 채널로 업믹싱된 다음 가산기(994a, 994b)에 의해 추가된다.
도 2a에 예시된 장치는, 재샘플링기가 도 2b에서 생략된다는 점, 즉 요소(821)가 도 2b의 장치에 필요하지 않다는 점에서, 도 2b에 예시된 장치와 다르다.
도 3은 스테레오 모드들 사이의 전환과 관련하여 전술한 바와 같이 다수의 스테레오 프로세싱 유닛(904a 내지 904b, 904c)을 갖는 시스템의 바람직한 구현을 예시하고 있다. 각각의 스테레오 프로세싱 블록은 부가 정보를 수신하며, 부가적으로, 특정 1차 신호이지만, 입력 신호의 특정 시간 부분이 스테레오 프로세싱 알고리즘(904a), 스테레오 프로세싱 알고리즘(904b), 또는 다른 스테레오 프로세싱 알고리즘(904c)을 사용하여 처리되는지에 관계없이 정확히 동일한 충전 신호를 수신한다.
일부 양태들은 장치와 관련하여 설명되었지만, 이들 양태들은 또한 대응하는 방법에 대한 설명을 나타내는 것이 명백하며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 해당한다. 유사하게, 방법 단계와 관련하여 설명된 양태들은 또한 대응하는 장치의 대응하는 블록 또는 세목 또는 특징에 대한 설명을 나타낸다. 방법 단계들 중 일부 또는 전부는 예를 들어 마이크로프로세서, 프로그램 가능 컴퓨터, 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상이 이러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 오디오 신호는 디지털 저장 매체에 저장되거나, 인터넷과 같은 유선 전송 매체 또는 무선 전송 매체와 같은 전송 매체에서 전송될 수 있다.
특정 구현 요건에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 이러한 구현은 전자적으로 판독 가능한 제어 신호가 저장되어 있고 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협동하는(또는 협동할 수 있는) 비일시적 저장 매체 또는 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM, 또는 FLASH 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터로 판독될 수 있다.
본 발명에 따른 일부 실시예들은 본원에 기술된 방법들 중 하나가 수행되도록 프로그램 가능 컴퓨터 시스템과 협동할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 방법들 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어 기계 판독 가능 캐리어에 저장될 수 있다.
다른 실시예들은 기계 판독 가능 캐리어에 저장된, 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
따라서, 바꾸어 말하면, 본 발명의 방법의 일 실시예는, 컴퓨터에서 실행될 때 본원에 기술된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 본 발명의 방법의 추가 실시예는 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 기록해서 포함하고 있는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다. 데이터 캐리어, 디지털 저장 매체, 또는 기록 매체는 전형적으로 유형 및/또는 비일시적이다.
따라서, 본 발명의 방법의 추가 실시예는 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는, 예를 들면, 데이터 통신 연결을 통해서, 일례로 인터넷을 통해서, 전송되도록 구성될 수 있다.
추가 실시예는 본원에 기술된 방법들 중 하나를 수행하도록 구성되거나 적응된 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그램 가능 논리 디바이스를 포함한다.
추가 실시예는 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가 실시예는 본원에 기술된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기로 (예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 상기 수신기는 예를 들면 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 상기 장치 또는 시스템은 예를 들면 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그램 가능 논리 디바이스(예를 들어, 필드 프로그램 가능 게이트 어레이)는 본원에 기술된 방법들의 기능들 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시예들에서, 필드 프로그램 가능 게이트 어레이는 본원에 기술된 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협동할 수 있다. 일반적으로, 본 발명의 방법들은 임의의 하드웨어 장치에 의해 수행되는 것이 바람직하다.
본원에 기술된 장치는 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본원에 기술된 장치, 또는 본원에 기술된 장치의 임의의 구성 요소들은 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본원에 기술된 방법들은 하드웨어 장치를 사용하거나, 컴퓨터를 사용하거나, 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
본원에 기술된 방법들, 또는 본원에 기술된 장치의 임의의 구성 요소들은 적어도 부분적으로 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
전술한 실시예들은 단지 본 발명의 원리를 예시하는 것일 뿐이다. 본원에 기술된 배치들과 세부 사항들에 대한 수정 및 변형은 당업자에게 명백할 것이라고 이해된다. 따라서, 본 발명은 임박한 특허청구범위의 범위에 의해서만 제한되고 본원의 실시예들에 대한 기술 및 설명에 의해 제시된 특정 세부 사항들에 의해서는 제한되지 않는 것으로 의도되어 있다.
전술한 설명에서, 본 개시를 간소화하기 위해 다양한 특징들이 실시예들에서 함께 그룹화 됨을 알 수 있다. 이러한 개시 방법은 청구된 실시예들이 각 청구항에 명시적으로 언급된 것보다 더 많은 특징을 요구한다는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 다음의 청구범위가 반영하는 바와 같이, 본 발명의 기술 요지는 하나의 개시된 실시예의 모든 특징들보다 적을 수 있다. 따라서, 다음의 청구범위는 상세한 설명에 포함되며, 각 청구항은 별도의 실시예로서 자체적으로 존립할 수 있다. 각 청구항은 별도의 실시예로서 자체적으로 존립할 수 있는 한편, 종속항은 청구범위에서 하나 이상의 다른 청구항과의 특정 조합을 인용할 수 있지만, 다른 실시예들은 또한 해당 종속항과 각각의 다른 종속항의 기술 요지와의 조합 또는 다른 종속항 또는 독립항과의 각 특징의 조합을 포함할 수 있음을 유의해야 한다. 이러한 조합은 특정 조합이 의도되지 않은 것으로 언급되지 않는 한 본원에서 제안되는 것이다. 또한, 한 청구항이 임의의 다른 독립항에 직접적으로 종속되지 않더라도 그 임의의 다른 독립항에 대한 그 청구항의 특징들도 포함하도록 의도되어 있다.
또한, 명세서 또는 청구범위에 개시된 방법들은 이들 방법의 각각의 단계를 수행하기 위한 수단을 갖는 장치에 의해 구현될 수 있음을 유의해야 한다.
또한, 일부 실시예들에서, 단일 단계는 다수의 하위 단계를 포함하거나, 다수의 하위 단계로 나누어질 수 있다. 이러한 하위 단계들은 명시적으로 배제되지 않는 한 그 단일 단계의 개시에 포함되거나 단일 단계의 개시의 일부일 수 있다.
Claims (50)
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 역상관 필터(800)에 사용된 필터 특성은 그 필터 특성의 일정한 크기의 영역이 디코딩된 기본 채널의 스펙트럼 표현의 스펙트럼 입도보다 크고 충전 신호의 스펙트럼 표현의 스펙트럼 입도보다 크도록 선택된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 삭제
- 제1항에 있어서,
상기 역상관 필터(800)는,
광대역 충전 신호 또는 시간 영역 충전 신호를 얻기 위해, 디코딩된 기본 채널을 필터링하는 필터 스테이지(802); 및
상기 광대역 충전 신호 또는 시간 영역 충전 신호를 상기 충전 신호의 스펙트럼 표현으로 변환하는 스펙트럼 변환기(804)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제1항에 있어서,
상기 디코딩된 기본 채널을 상기 디코딩된 기본 채널의 스펙트럼 표현으로 변환하는 기본 채널 스펙트럼 변환기(902)를 추가로 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제1항에 있어서,
상기 역상관 필터(800)는 전역 통과 시간 영역 필터(802, allpass time domain filter) 또는 적어도 하나의 슈뢰더 전역 통과 필터(802, Schroeder allpass filter)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제1항에 있어서,
상기 역상관 필터(800)는, 제1 가산기(411), 지연 스테이지(423), 제2 가산기(416), 순방향 이득을 갖는 순방향 피드(443), 및 역방향 이득을 갖는 역방향 피드(433)를 구비하는 적어도 하나의 슈뢰더 전역 통과 필터를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제5항에 있어서,
상기 전역 통과 필터(802)는 적어도 하나의 전역 통과 필터 셀을 포함하고, 상기 적어도 하나의 전역 통과 필터 셀은 제3 슈뢰더 전역 통과 필터(403)에 중첩된 2개의 슈뢰더 전역 통과 필터(401, 402)를 포함하거나; 또는
상기 전역 통과 필터는 적어도 하나의 전역 통과 필터 셀(403)을 포함하고, 상기 적어도 하나의 전역 통과 필터 셀은 2개의 층계형 슈뢰더 전역 통과 필터(401, 402)를 포함하고, 제1 층계형 슈뢰더 전역 통과 필터로의 입력과 제2 층계형 슈뢰더 전역 통과 필터로부터의 출력은 상기 제3 슈뢰더 전역 통과 필터의 지연 스테이지(423) 전에 신호 흐름의 방향으로 연결되는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제5항에 있어서,
상기 전역 통과 필터는, 제1 가산기(411), 제2 가산기(412), 제3 가산기(413), 제4 가산기(414), 제5 가산기(415), 및 제6 가산기(416);
제1 지연 스테이지(421), 제2 지연 스테이지(422), 및 제3 지연 스테이지(423);
제1 순방향 이득을 갖는 제1 순방향 피드(431), 제1 역방향 이득을 갖는 제1 역방향 피드(441);
제2 순방향 이득을 갖는 제2 순방향 피드(442) 및 제2 역방향 이득을 갖는 제2 역방향 피드(432); 및
제3 순방향 이득을 갖는 제3 순방향 피드(443) 및 제3 역방향 이득을 갖는 제3 역방향 피드(433)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제8항에 있어서,
상기 제1 가산기(411)로의 입력이 상기 전역 통과 필터(802)로의 입력을 나타내고, 상기 제1 가산기(411)로의 제2 입력이 제3 지연 스테이지(423)의 출력에 연결되며, 제3 역방향 이득을 갖는 제3 역방향 피드(433)를 포함하고,
상기 제1 가산기(411)의 출력이 상기 제2 가산기(412)로의 입력에 연결되며, 제3 순방향 이득을 갖는 상기 제3 순방향 피드를 통해 제6 가산기의 입력에 연결되고,
상기 제2 가산기(412)로의 추가 입력이 제1 역방향 이득을 갖는 상기 제1 역방향 피드(441)를 통해 제1 지연 스테이지(421)에 연결되고,
상기 제2 가산기(412)의 출력이 상기 제1 지연 스테이지(421)의 입력에 연결되며, 제1 순방향 이득을 갖는 상기 제1 순방향 피드(431)를 통해 상기 제3 가산기(413)의 입력에 연결되고,
상기 제1 지연 스테이지(421)의 출력이 상기 제3 가산기(413)의 추가 입력에 연결되고,
상기 제3 가산기(413)의 출력이 상기 제4 가산기(414)의 입력에 연결되고,
상기 제4 가산기(414)로의 추가 입력이 제2 역방향 이득을 갖는 상기 제2 역방향 피드(432)를 통해 상기 제2 지연 스테이지(422)의 출력에 연결되고,
상기 제4 가산기(414)의 출력이 상기 제2 지연 스테이지(422)로의 입력에 연결되며, 제2 순방향 이득을 갖는 상기 제2 순방향 피드(442)를 통해 제5 가산기(415)로의 입력에 연결되고,
상기 제2 지연 스테이지(422)의 출력이 상기 제5 가산기(415)로의 추가 입력에 연결되고,
상기 제5 가산기(415)의 출력이 상기 제3 지연 스테이지(423)의 입력에 연결되고,
상기 제3 지연 스테이지(423)의 출력이 상기 제6 가산기(416)로의 입력에 연결되고,
상기 제6 가산기(416)로의 추가 입력이 제3 순방향 이득을 갖는 상기 제3 순방향 피드(443)를 통해 상기 제1 가산기(411)의 출력에 연결되고,
상기 제6 가산기(416)의 출력은 전역 통과 필터(802)의 출력을 나타내는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제7항에 있어서,
상기 전역 통과 필터(802)는 둘 이상의 전역 통과 필터 셀(401, 402, 403, 502, 504, 506, 508, 510)을 포함하고, 상기 전역 통과 필터 셀들의 지연의 지연 값들은 서로 소수(prime)인 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제5항에 있어서,
슈뢰더 전역 통과 필터의 순방향 이득과 역방향 이득은 해당 순방향 이득 및 해당 역방향 이득의 더 큰 이득 값의 10% 미만으로 서로 같거나 다른 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제5항에 있어서,
상기 역상관 필터(800)는 둘 이상의 전역 통과 필터 셀을 포함하고, 상기 전역 통과 필터 셀들 중 하나는 두 개의 양의 이득(positive gain)과 하나의 음의 이득(negative gain)을 가지며, 상기 전역 통과 필터 셀들 중 다른 것은 하나의 양의 이득과 두 개의 음의 이득을 가지는, 인코딩된 다채널 신호를 디코딩하는 장치.
- 제5항에 있어서,
제1 지연 스테이지(421)의 지연 값이 제2 지연 스테이지(422)의 지연 값보다 낮고, 상기 제2 지연 스테이지(422)의 지연 값이 세 개의 슈뢰더 전역 통과 필터를 포함하는 전역 통과 필터 셀의 제3 지연 스테이지(423)의 지연 값보다 낮고,
제1 지연 스테이지(421)의 지연 값과 제2 지연 스테이지(422)의 지연 값의 합이 세 개의 슈뢰더 전역 통과 필터를 포함하는 전역 통과 필터 셀(502, 504, 506, 508, 510)의 제3 지연 스테이지(423)의 지연 값보다 작은 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제5항에 있어서,
상기 전역 통과 필터(802)는 캐스케이드 내에 적어도 두 개의 전역 통과 필터 셀(502, 504, 506, 508, 510)을 포함하고, 상기 캐스케이드에서의 나중의 전역 통과 필터의 최소 지연 값이 상기 캐스케이드에서의 초기의 전역 통과 필터 셀의 최고 또는 두 번째 최고 지연 값보다 작은 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제5항에 있어서,
상기 전역 통과 필터는 캐스케이드 내에 적어도 두 개의 전역 통과 필터 셀(502, 504, 506, 508, 510)을 포함하고,
각 전역 통과 필터 셀(502, 504, 506, 508, 510)은 제1 순방향 이득 또는 제1 역방향 이득, 제2 순방향 이득 또는 제2 역방향 이득, 및 제3 순방향 이득 또는 제3 역방향 이득, 제1 지연 스테이지(421), 제2 지연 스테이지(422), 및 제3 지연 스테이지를 가지며,
상기 이득들 및 상기 지연들의 값은 다음 표에 표시된 값의 ±20%의 공차 범위 내에서 설정되고,
여기서, B1(z)는 캐스케이드 내의 제1 전역 통과 필터 셀(502)이고,
B2(z)는 캐스케이드 내의 제2 전역 통과 필터 셀(504)이고,
B3(z)는 캐스케이드 내의 제3 전역 통과 필터 셀(506)이고,
B4(z)는 캐스케이드 내의 제4 전역 통과 필터 셀(508)이고,
B5(z)는 캐스케이드 내의 제5 전역 통과 필터 셀(510)이고,
상기 캐스케이드는 B1 내지 B5로 구성된 전역 통과 필터 셀들의 그룹 중 제1 전역 통과 필터 셀(B1)과 제2 전역 통과 필터 셀(B2)만을 또는 임의의 다른 두 개의 전역 통과 필터 셀만을 포함하거나, 또는
상기 캐스케이드는 5개의 전역 통과 필터 셀들(B1 내지 B5)의 그룹에서 선택된 3개의 전역 통과 필터 셀을 포함하거나, 또는
상기 캐스케이드는 B1 내지 B5로 구성되는 전역 통과 필터 셀들의 그룹에서 선택된 4개의 전역 통과 필터 셀을 포함하거나, 또는
상기 캐스케이드는 5개의 전역 통과 필터 셀(B1 내지 B5) 모두를 포함하고,
g1은 전역 통과 필터 셀의 제1 순방향 이득 또는 역방향 이득을 나타내고, g2는 전역 통과 필터 셀의 제2 순방향 이득 또는 역방향 이득을 나타내고, g3은 전역 통과 필터 셀의 제3 순방향 이득 또는 역방향 이득을 나타내고, d1은 전역 통과 필터 셀의 제1 지연 스테이지의 지연을 나타내고, d2는 전역 통과 필터 셀의 제2 지연 스테이지의 지연을 나타내고, d3은 전역 통과 필터 셀의 제3 지연 스테이지의 지연을 나타내거나, 또는
g1은 전역 통과 필터 셀의 제2 순방향 이득 또는 역방향 이득을 나타내고, g2는 전역 통과 필터 셀의 제1 순방향 이득 또는 역방향 이득을 나타내고, g3은 전역 통과 필터 셀의 제3 순방향 이득 또는 역방향 이득을 나타내고, d1은 전역 통과 필터 셀의 제2 지연 스테이지의 지연을 나타내고, d2는 전역 통과 필터 셀의 제1 지연 스테이지의 지연을 나타내고, d3은 전역 통과 필터 셀의 제3 지연 스테이지의 지연을 나타내는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 대응하는 스펙트럼 대역의 상이한 가중치 조합들을 사용하여 제1 업믹스 채널 및 제2 업믹스 채널을 결정하도록(946) 구성되고,
상기 상이한 가중치 조합들은, 상기 디코딩된 기본 채널의 스펙트럼 대역 및 상기 충전 신호의 대응하는 스펙트럼 대역을 사용하여 계산된, 예측 인자 및/또는 이득 인자 및/또는 포락선(envelope) 또는 에너지 정규화 인자(energy normalization factor)에 따라 달라지고,
상기 다채널 프로세서(900)는 상기 에너지 정규화 인자를 압축하고(945) 압축된 에너지 정규화 인자를 사용하여 상이한 가중치 조합들을 계산하도록 구성되는것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 삭제
- 제16항에 있어서,
상기 에너지 정규화 인자는, 에너지 정규화 인자의 로그를 계산하는 것(921);
상기 로그를 비선형 함수에 적용(subjecting)하는 것(922); 및
상기 비선형 함수의 결과에 지수 함수를 적용하는 것(923)을 이용하여 압축되는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제18항에 있어서,
상기 비선형 함수는에 기초하여 정의되고,
상기 함수 c는에 기초하고,
t는 실수이고 T는 적분 변수인 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제16항에 있어서,
상기 다채널 프로세서(900)는, 압축된 에너지 정규화 인자를 획득하기 위해 상기 에너지 정규화 인자를 압축하고(921) 상기 압축된 에너지 정규화 인자와 비선형 함수를 사용하여 상이한 가중치 조합들을 계산하도록 구성되고,
상기 비선형 함수는에 기초하여 정의되고,
α는 미리 결정된 경계 값이고 t는 -α와 +α 사이의 값인 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 다채널 프로세서(900)는 저대역 제1 업믹스 채널 및 저대역 제2 업믹스 채널을 계산하도록(904) 구성되고,
상기 인코딩된 다채널 신호를 디코딩하는 장치는 상기 저대역 제1 업믹스 채널 및 상기 저대역 제2 업 믹스 채널, 또는 저대역 기본 채널을 확장하는 시간 영역 대역폭 확장기(960)를 더 포함하고,
상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 대응하는 스펙트럼 대역의 상이한 가중치 조합들을 사용하여 제1 업믹스 채널 및 제2 업믹스 채널을 결정하도록(946) 구성되고, 상기 상이한 가중치 조합들은, 상기 디코딩된 기본 채널의 스펙트럼 대역 및 상기 충전 신호의 스펙트럼 대역을 사용하여 계산된(945) 에너지 정규화 인자에 따라 달라지며,
상기 에너지 정규화 인자는 윈도우된(windowed) 고대역 신호의 에너지로부터 도출된(961) 에너지 추정치를 사용하여 계산되는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제21항에 있어서,
상기 시간 영역 대역폭 확장기(960)는 상기 에너지 정규화 인자 계산에 사용되는 윈도잉 조작(windowing operation) 없이 고대역 신호를 사용하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 기본 채널 디코더(700, 705)는 디코딩된 주 기본 채널 및 디코딩된 부 기본 채널을 제공하도록 구성되고,
상기 역상관 필터(800)는 충전 신호를 얻기 위해 상기 디코딩된 주 기본 채널을 필터링하도록 구성되고,
상기 다채널 프로세서(900)는 충전 신호를 사용하여 다채널 프로세싱에서 하나 이상의 잔차 부분을 합성함으로써 다채널 프로세싱을 수행하도록 구성되거나, 또는
쉐이핑 필터(930)가 상기 충전 신호에 적용되는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제23항에 있어서,
상기 주 기본 채널과 상기 부 기본 채널은 원래 입력 채널들의 변환 결과이고, 상기 변환은 중앙/측부 변환 또는 카루넨 뢰브(Karhunen Loeve, KL) 변환을 포함하고, 상기 디코딩된 부 기본 채널은 더 작은 대역폭으로 제한되고,
상기 다채널 프로세서는 충전 신호를 고역 통과 필터링하도록(930) 구성되며 또한 고역 통과 필터링된 충전 신호를 대역폭 제한 디코딩된 부 기본 채널에 포함되지 않은 대역폭에 대한 부 채널로서 사용하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 다채널 프로세서(900)는 상이한 다채널 프로세싱 방법들(904a, 904b, 904c)을 수행하도록 구성되고,
상기 다채널 프로세서(900)는, 추가로, 상이한 다채널 프로세싱 방법들을 대역폭에 의해 분리된 상태에서 동시에 수행하거나 또는 주파수 영역 대 시간 영역 프로세싱으로 배타적으로 수행하도록 구성되며 그리고 전환 결정에 연결되고,
상기 다채널 프로세서(900)는 모든 다채널 프로세싱 방법들(904a, 904b, 904c)에서 동일한 충전 신호를 사용하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 역상관 필터(800)는 20 ms 내지 40 ms의 시간 영역 필터 임펄스 응답의 최적 피크 영역을 갖는 시간 영역 필터(802)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 역상관 필터(800)는 시간 부분에 디코딩된 기본 채널을 미리 정의된 또는 입력-의존적 타겟 샘플링 레이트로 재샘플링하도록(811, 812) 구성되고,
상기 역상관 필터(800)는 역상관 필터(802) 스테이지를 사용하여 재샘플링된 디코딩된 기본 채널을 필터링하도록 구성되고,
상기 다채널 프로세서(900)가, 상기 시간 부분과 추가 시간 부분에 대한 디코딩된 기본 채널의 상이한 샘플링 레이트에 상관없이 상기 미리 정의된 또는 입력-의존적 타겟 샘플링 레이트에 기초하는 충전 신호 및 디코딩된 기본 채널의 스펙트럼 표현들을 사용하여 작동하도록, 상기 다채널 프로세서(900)는 상기 추가 시간 부분에 대한 디코딩된 기본 채널을 상기 미리 정의된 또는 입력-의존적 타겟 샘플링 레이트로 변환하도록(710) 구성되거나, 또는
상기 인코딩된 다채널 신호를 디코딩하는 장치가, 주파수 영역으로 변환하기 전 또는 변환할 때(804, 702) 또는 주파수 영역으로의 변환(804, 702)에 후속해서 재샘플링을 수행하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
인코딩 또는 디코딩된 기본 채널에서 과도(transient)를 찾기 위한 과도 감지기(transient detector)를 더 포함하고,
상기 역상관 필터(800)는 과도 감지기가 과도 신호 샘플을 발견한 소정의 시간 부분에서 잡음 또는 제로 값(816)을 역상관 필터 스테이지(802)에 공급하도록 구성되고, 상기 역상관 필터(800)는 과도 감지기가 인코딩 또는 디코딩된 기본 채널에서 과도를 발견하지 못한 또 다른 시간 부분에서 디코딩된 기본 채널의 샘플을 역상관 필터 스테이지(802)에 공급하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 기본 채널 디코더(700)는
디코딩된 채널의 제1 부분을 생성하기 위해 저대역 디코더(721) 및 대역폭 확장 디코더(720)를 포함하는 제1 디코딩 브랜치;
디코딩된 기본 채널의 제2 부분을 생성하기 위해 전체 대역 디코더를 갖는 제2 디코딩 브랜치(722); 및
인코딩된 기본 채널의 일부를 제어 신호에 따라 제1 디코딩 브랜치 또는 제2 디코딩 브랜치로 공급하는 제어기(713)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 역상관 필터(800)는, 제1 부분을 미리 결정된 샘플링 레이트로 재샘플링하기 위한 제1 재샘플링기(810, 811);
제2 부분을 미리 결정된 샘플링 레이트로 재샘플링하기 위한 제2 재샘플링기(812);
충전 신호를 얻기 위해 전역 통과 필터 입력 신호를 전역 통과 필터링하는 전역 통과 필터 유닛(802); 및
재샘플링된 제1 부분 또는 재샘플링된 제2 부분을 전역 통과 필터 유닛(802)으로 공급하기 위한 제어기(815)를 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제30항에 있어서,
상기 제어기(815)는 제어 신호에 응답하여, 재샘플링된 제1 부분 또는 재샘플링된 제2 부분 또는 제로 데이터(816)를 전역 통과 필터 유닛으로 공급하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 역상관 필터(800)는 충전 신호를 제1 스펙트럼 해상도를 갖는 스펙트럼 라인들을 포함하는 스펙트럼 표현으로 변환하는 시간-스펙트럼 변환기(804)를 포함하고,
상기 다채널 프로세서(900)는 디코딩된 기본 채널을 제1 스펙트럼 해상도를 갖는 스펙트럼 라인들을 사용하는 스펙트럼 표현으로 변환하는 시간-스펙트럼 변환기(902)를 포함하고,
상기 다채널 프로세서(900)는 제1 업믹스 채널 또는 제2 업믹스 채널에 대한 제1 해상도를 갖는 스펙트럼 라인들을, 특정 스펙트럼 라인에 대해 충전 신호의 스펙트럼 라인, 디코딩된 기본 채널의 스펙트럼 라인, 및 하나 이상의 파라미터를 사용하여, 생성하도록 구성되고,
상기 하나 이상의 파라미터는 이와 연관된, 상기 제1 스펙트럼 해상도보다 낮은 제2 스펙트럼 해상도를 가지며,
상기 하나 이상의 파라미터는 스펙트럼 라인들의 그룹을 생성하는 데 사용되며, 상기 스펙트럼 라인들의 그룹은 특정 스펙트럼 라인과, 적어도 하나의 주파수 인접 스펙트럼 라인을 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 다채널 프로세서(900)는 제1 업믹스 채널 또는 제2 업믹스 채널에 대한 스펙트럼 라인을 생성하되,
하나 이상의 전송된 파라미터에 의존하는 위상 회전 인자(941a, 941b, phase rotation factor);
디코딩된 기본 채널의 스펙트럼 라인;
디코딩된 기본 채널의 스펙트럼 라인에 대한 제1 가중치(942a, 942b)로서, 전송된 파라미터에 의존하는 제1 가중치;
충전 신호의 스펙트럼 라인;
충전 신호의 스펙트럼 라인에 대한 제2 가중치(943a, 943b)로서, 전송된 파라미터에 의존하는 제2 가중치; 및
에너지 표준화 인자(945)를 사용하여 생성하도록 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제33항에 있어서,
상기 제2 업믹스 채널을 계산함에 있어서, 상기 제2 가중치의 부호가 상기 제1 업믹스 채널을 계산하는 데 사용되는 상기 제2 가중치의 부호와 다르거나, 또는
상기 제2 업믹스 채널을 계산함에 있어서, 상기 위상 회전 인자가 상기 제1 업믹스 채널을 계산하는 데 사용되는 위상 회전 계수와 다르거나, 또는
상기 제2 업믹스 채널을 계산함에 있어서, 상기 제1 가중치는 상기 제1 업믹스 채널을 계산하는 데 사용되는 상기 제1 가중치와 다른 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 장치로서,
디코딩된 기본 채널을 얻기 위해, 인코딩된 기본 채널을 디코딩하는 기본 채널 디코더(700);
충전 신호를 얻기 위해, 디코딩된 기본 채널의 적어도 일부를 필터링하는 역상관 필터(800, decorrelation filter); 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 다채널 프로세서(900)를 포함하고,
상기 역상관 필터(800)는 광대역 필터(broad band filter)이고, 상기 다채널 프로세서(900)는 디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현에 협대역 프로세싱(narrow band processing)을 적용하도록 구성되며,
상기 기본 채널 디코더(700)는 제1 대역폭을 갖는 디코딩된 기본 채널이 얻어지도록 구성되고,
상기 다채널 프로세서(900)는 제1 업믹스 채널 및 제2 업믹스 채널의 스펙트럼 표현을 생성하도록 구성되고, 상기 스펙트럼 표현은 제1 대역폭과, 주파수에 대하여 상기 제1 대역폭을 초과한 대역을 포함하는 추가의 제 2 대역폭을 가지며, 상기 제1 대역폭은 상기 디코딩된 기본 채널과 상기 충전 신호를 사용하여 생성되고,
상기 제2 대역폭은 상기 디코딩된 기본 채널 없이 상기 충전 신호를 사용하여 생성되고,
상기 다채널 프로세서(900)는 상기 제1 업믹스 채널 또는 상기 제2 업믹스 채널을 시간 영역 표현으로 변환하도록 구성되고,
상기 다채널 프로세서(900)는 상기 제1 업믹스 채널 또는 상기 제2 업믹스 채널 또는 상기 기본 채널에 대한 시간 영역 확장 신호를 생성하는 시간 영역 대역폭 확장 프로세서(960), 상기 시간 영역 확장 신호는 상기 제2 대역폭을 포함하고;
광대역 업믹스 채널이 얻어지도록 시간 영역 확장 신호와 제1 또는 제2 업믹스 채널의 시간 영역 표현 또는 기본 채널의 시간 표현을 결합시키는 결합기(994a, 994b)를 추가로 포함하는 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 제35항에 있어서,
상기 다채널 프로세서(900)는 상기 제2 대역폭에서 상기 제1 또는 제2 업믹스 채널을 계산하는 데 사용되는 에너지 정규화 인수를 계산하되,
상기 제1 대역폭에 있어서의 디코딩된 기본 채널의 에너지를 사용하고,
상기 제1 업믹스 채널 또는 상기 제2 업믹스 채널 또는 대역폭 확장 다운믹스 신호에 대한 윈도잉된 버전의 시간 확장 신호의 에너지를 사용하고,
상기 제2 대역폭에 있어서의 충전 신호의 에너지를 사용하여 계산하도록(945) 구성된 것을 특징으로 하는 인코딩된 다채널 신호를 디코딩하는 장치.
- 인코딩된 다채널 신호를 디코딩하는 방법으로서,
디코딩된 기본 채널을 얻기 위해 인코딩된 기본 채널을 디코딩하는 단계;
충전 신호를 얻기 위해 디코딩된 기본 채널의 적어도 일부를 역상관 필터링하는 단계; 및
디코딩된 기본 채널의 스펙트럼 표현과 충전 신호의 스펙트럼 표현을 사용하여 다채널 프로세싱을 수행하는 단계를 포함하고,
상기 역상관 필터링은 광대역 필터링이고, 상기 다채널 프로세싱은 상기 디코딩된 기본 채널의 스펙트럼 표현과 상기 충전 신호의 스펙트럼 표현에 협대역 프로세싱을 적용하는 것을 포함하며,
상기 역상관 필터링에 사용된 필터 특성이, 그 필터 특성의 일정한 크기의 영역이 디코딩된 기본 채널의 스펙트럼 표현의 스펙트럼 입도보다 크고 충전 신호의 스펙트럼 표현의 스펙트럼 입도보다 크도록 선택되거나, 또는
상기 다채널 프로세싱을 수행하는 단계가, 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 대응하는 스펙트럼 대역의 상이한 가중치 조합들을 사용하여 제1 업믹스 채널 및 제2 업믹스 채널을 결정(946) - 상기 상이한 가중치 조합들은, 상기 디코딩된 기본 채널의 스펙트럼 대역 및 상기 충전 신호의 대응하는 스펙트럼 대역을 사용하여 계산된, 예측 인자 및/또는 이득 인자 및/또는 포락선(envelope) 또는 에너지 정규화 인자(energy normalization factor)에 따라 달라짐 - 하는 것과, 상기 에너지 정규화 인자를 압축(945)하는 것과, 압축된 에너지 정규화 인자를 사용하여 상이한 가중치 조합들을 계산하는 것을 포함하거나, 또는
상기 다채널 프로세싱을 수행하는 단계가, 저대역 제1 업믹스 채널 및 저대역 제2 업믹스 채널을 계산(904)하는 것을 포함하고, 상기 방법이 상기 저대역 제1 업믹스 채널 및 상기 저대역 제2 업 믹스 채널, 또는 저대역 기본 채널을 확장하는 단계를 더 포함하며, 상기 다채널 프로세싱을 수행하는 단계가, 디코딩된 기본 채널의 스펙트럼 대역과 충전 신호의 대응하는 스펙트럼 대역의 상이한 가중치 조합들을 사용하여 제1 업믹스 채널 및 제2 업믹스 채널을 결정(946)하는 것을 포함하고, 상기 상이한 가중치 조합들은, 상기 디코딩된 기본 채널의 스펙트럼 대역 및 상기 충전 신호의 스펙트럼 대역을 사용하여 계산된(945) 에너지 정규화 인자에 따라 달라지며, 상기 에너지 정규화 인자는 윈도우된(windowed) 고대역 신호의 에너지로부터 도출된(961) 에너지 추정치를 사용하여 계산되거나, 또는
상기 디코딩하는 단계가, 디코딩된 주 기본 채널 및 디코딩된 부 기본 채널을 제공하는 것을 포함하고, 상기 역상관 필터링하는 단계가, 상기 충전 신호를 얻기 위해 상기 디코딩된 주 기본 채널을 필터링하는 것을 포함하며, 상기 다채널 프로세싱을 수행하는 단계가, 상기 충전 신호를 사용하여 다채널 프로세싱에서 하나 이상의 잔차 부분을 합성함으로써 다채널 프로세싱을 수행하는 것을 포함하고, 쉐이핑 필터(930)가 상기 충전 신호에 적용되거나, 또는
상기 다채널 프로세싱을 수행하는 단계가, 상이한 다채널 프로세싱 방법들(904a, 904b, 904c)을 대역폭에 의해 분리된 상태에서 동시에 수행하거나 또는 주파수 영역 대 시간 영역 프로세싱으로 배타적으로 수행하는 것을 포함하며 전환 결정에 연결되고, 모든 다채널 프로세싱 방법들(904a, 904b, 904c)에서 상기 동일한 충전 신호를 사용하거나, 또는
상기 역상관 필터링에 사용되는 역상관 필터(800)가 20 ms 내지 40 ms의 시간 영역 필터 임펄스 응답의 최적 피크 영역을 갖는 시간 영역 필터(802)를 포함하거나, 또는
상기 역상관 필터링에 사용되는 역상관 필터(800)가 시간 부분에 디코딩된 기본 채널을 미리 정의된 또는 입력-의존적 타겟 샘플링 레이트로 재샘플링하도록(811, 812) 구성되고, 상기 역상관 필터(800)가 역상관 필터(802) 스테이지를 사용하여 재샘플링된 디코딩된 기본 채널을 필터링하도록 구성되고, 상기 다채널 프로세싱이 상기 시간 부분과 추가 시간 부분에 대한 디코딩된 기본 채널의 상이한 샘플링 레이트에 상관없이 상기 미리 정의된 또는 입력-의존적 타겟 샘플링 레이트에 기초하는 충전 신호 및 디코딩된 기본 채널의 스펙트럼 표현들을 사용하여 동작하도록, 상기 다채널 프로세싱을 수행하는 단계가, 상기 추가 시간 부분에 대한 디코딩된 기본 채널을 상기 미리 정의된 또는 입력-의존적 타겟 샘플링 레이트로 변환(710)하는 것을 포함하거나, 상기 방법이 상기 주파수 영역으로 변환하기 전 또는 변환할 때(804, 702) 또는 주파수 영역으로의 변환(804, 702)에 후속해서 재샘플링을 수행하는 단계를 포함하거나, 또는
인코딩 또는 디코딩된 기본 채널에서 과도(transient)를 찾기 위한 과도 감지 단계를 더 포함하고, 상기 역상관 필터링 단계에서 사용되는 역상관 필터(800)는 과도 감지 단계에서 과도 신호 샘플을 발견한 소정의 시간 부분에서 잡음 또는 제로 값(816)을 역상관 필터 스테이지(802)에 공급하도록 구성되며, 상기 역상관 필터(800)가 과도 감지기가 인코딩 또는 디코딩된 기본 채널에서 과도를 발견하지 못한 또 다른 시간 부분에서 디코딩된 기본 채널의 샘플이 공급되거나, 또는
상기 디코딩 단계에서 사용되는 기본 채널 디코더(700)가, 디코딩된 채널의 제1 부분을 생성하기 위해 저대역 디코더(721) 및 대역폭 확장 디코더(720)를 포함하는 제1 디코딩 브랜치; 디코딩된 기본 채널의 제2 부분을 생성하기 위해 전체 대역 디코더를 갖는 제2 디코딩 브랜치(722); 및 인코딩된 기본 채널의 일부를 제어 신호에 따라 제1 디코딩 브랜치 또는 제2 디코딩 브랜치로 공급하는 제어기(713)를 포함거나, 또는
상기 역상관 필터링 단계는, 제1 부분을 미리 결정된 샘플링 레이트로 재샘플링하는 것; 제2 부분을 미리 결정된 샘플링 레이트로 재샘플링하는 것; 상기 충전 신호를 얻기 위해 전역 통과 필터 입력 신호를 전역 통과 필터링하는 것; 및 재샘플링된 제1 부분 또는 재샘플링된 제2 부분을 전역 통과 필터 유닛(802)으로 공급하는 것을 포함하거나, 또는
상기 역상관 필터링하는 단계가, 상기 충전 신호를 제1 스펙트럼 해상도를 갖는 스펙트럼 라인들을 포함하는 스펙트럼 표현으로 변환하는 것을 포함하고, 상기 다채널 프로세싱을 수행하는 단계가, 상기 디코딩된 기본 채널을 제1 스펙트럼 해상도를 갖는 스펙트럼 라인들을 사용하는 스펙트럼 표현으로 변환하는 것, 그리고 제1 업믹스 채널 또는 제2 업믹스 채널에 대한 제1 해상도를 갖는 스펙트럼 라인들을, 특정 스펙트럼 라인에 대해 상기 충전 신호의 스펙트럼 라인, 상기 디코딩된 기본 채널의 스펙트럼 라인, 및 하나 이상의 파라미터를 사용하여, 생성하는 것을 포함하고, 상기 하나 이상의 파라미터는 이와 연관된, 상기 제1 스펙트럼 해상도보다 낮은 제2 스펙트럼 해상도를 가지며, 상기 하나 이상의 파라미터는 스펙트럼 라인들의 그룹을 생성하는 데 사용되며, 상기 스펙트럼 라인들의 그룹은 특정 스펙트럼 라인과, 적어도 하나의 주파수 인접 스펙트럼 라인을 포함하거나, 또는
상기 다채널 프로세싱을 수행하는 단계가, 하나 이상의 전송된 파라미터에 의존하는 위상 회전 인자(941a, 941b, phase rotation factor); 디코딩된 기본 채널의 스펙트럼 라인; 디코딩된 기본 채널의 스펙트럼 라인에 대한 제1 가중치(942a, 942b)로서, 전송된 파라미터에 의존하는 제1 가중치; 충전 신호의 스펙트럼 라인; 충전 신호의 스펙트럼 라인에 대한 제2 가중치(943a, 943b)로서, 전송된 파라미터에 의존하는 제2 가중치; 및 에너지 표준화 인자(945)를 사용하여, 상기 제1 업믹스 채널 또는 제2 업믹스 채널에 대한 스펙트럼 라인을 생성하거나, 또는
상기 디코딩 단계가, 제1 대역폭을 갖는 상기 디코딩된 기본 채널을 획득하는 것을 포함하고, 상기 다채널 프로세싱을 수행하는 단계가, 상기 제1 업믹스 채널 및 제2 업믹스 채널의 스펙트럼 표현을 생성하는 것을 포함하고, 상기 스펙트럼 표현은 제1 대역폭과, 주파수에 대하여 상기 제1 대역폭을 초과한 대역을 포함하는 추가의 제 2 대역폭을 가지며, 상기 제1 대역폭은 상기 디코딩된 기본 채널과 상기 충전 신호를 사용하여 생성되고, 상기 제2 대역폭은 상기 디코딩된 기본 채널 없이 상기 충전 신호를 사용하여 생성되고, 상기 다채널 프로세싱을 수행하는 단계가, 상기 제1 업믹스 채널 또는 상기 제2 업믹스 채널을 시간 영역 표현으로 변환하는 것, 상기 제1 업믹스 채널 또는 상기 제2 업믹스 채널 또는 상기 기본 채널에 대한 시간 영역 확장 신호 - 상기 시간 영역 확장 신호는 상기 제2 대역폭을 포함 - 를 생성하는 것, 광대역 업믹스 채널이 얻어지도록 상기 제1 또는 제2 업믹스 채널의 시간 영역 확장 또는 상기 기본 채널의 시간 영역 확장과 상기 시간 영역 확장 신호를 결합하는 것을 포함하는
것을 특징으로 하는, 인코딩된 다채널 신호를 디코딩하는 방법.
- 컴퓨터 또는 프로세서에서 실행될 때 제37항의 방법을 수행하는 컴퓨터 프로그램을 저장한 저장 매체.
- 역상관된 신호(decorrelated signal)를 얻기 위해 오디오 입력 신호를 역상관시키는 오디오 신호 역상관기(800, audio signal decorrelator)로서,
적어도 하나의 전역 통과 필터 셀을 포함하는 전역 통과 필터(802)를 포함하고,
상기 전역 통과 필터 셀은 제1 슈뢰더 전역 통과 필터(401), 상기 제1 슈뢰더 전역 통과 필터(401)에 층계된(cascaded) 제2 슈뢰더 전역 통과 필터(402), 및제3 슈뢰더 전역 통과 필터(403)를 포함하고, 상기 제1 슈뢰더 전역 통과 필터로의 입력과 상기 제3 슈뢰더 전역 통과 필터의 제1 가산기의 출력에 연결되고, 상기 제2 슈뢰더 전역 통과 필터로부터의 출력은 상기 제3 슈뢰더 전역 통과 필터의 지연 스테이지(423)에 연결되며,
상기 제1 슈뢰더 전역 통과 필터 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나는 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 제1 가산기, 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 지연 스테이지, 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 제2 가산기, 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 순방향 이득을 가지는 순방향 피드, 및 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 역방향 이득을 가지는 역방향 피드를 포함하고, 상기 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 순방향 이득은 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 출력과 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 상기 제2 가산기를 연결하고, 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 역방향 이득은 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 상기 지연 스테이지의 출력과 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 상기 제1 가산기를 연결하는 것을 특징으로 하는 오디오 신호 역상관기(800).
- 제39항에 있어서,
상기 제3 슈뢰더 전역 통과 필터는, 상기 제3 슈뢰더 전역 통과 필터(403)의 제1 가산기(411), 상기 제3 슈뢰더 전역 통과 필터(403)의 지연 스테이지, 상기 제3 슈뢰더 전역 통과 필터(403)의 제2 가산기(412), 상기 제3 슈뢰더 전역 통과 필터(403)의 순방향 이득을 갖는 순방향 피드, 및 상기 제3 슈뢰더 전역 통과 필터(403)의 역방향 이득을 갖는 역방향 피드를 포함하는 것을 특징으로 하는 오디오 신호 역상관기(800).
- 제39항에 있어서,
상기 전역 통과 필터 셀은,
제1 가산기(411), 제2 가산기(412), 제3 가산기(413), 제4 가산기(414), 제5 가산기(415), 및 제6 가산기(416) - 상기 제1 가산기 및 제6 가산기는 상기 제3 슈뢰더 전역 통과 필터에 속하고, 상기 제2 가산기 및 제3 가산기는 제1 슈뢰더 전역 통과 필터에 속하며, 상기 제4 가산기 및 제5 가산기는 제2 슈뢰더 전역 통과 필터에 속함-;
제1 지연 스테이지(421), 제2 지연 스테이지(422), 및 제3 지연 스테이지(423) - 상기 제1 지연 스테이지는 제1 슈뢰더 전역 통과 필터에 속하고, 상기 제2 지연 스테이지는 제2 슈뢰더 전역 통과 필터에 속하며, 상기 제3 지연 스테이지는 제3 슈뢰더 전역 통과 필터에 속함 - ;
제1 순방향 이득을 갖는 제1 순방향 피드(431), 제1 역방향 이득을 갖는 제1 역방향 피드(441) - 제1 순방향 피드 및 제1 역방향 피드는 제1 슈뢰더 전역 통과 필터에 속함 - ;
제2 순방향 이득을 갖는 제2 순방향 피드(442) 및 제2 역방향 이득을 갖는 제2 역방향 피드(432) - 제2 순방향 피드 및 제2 역방향 피드는 제2 슈뢰더 전역 통과 필터에 속함 - ;
제3 순방향 이득을 갖는 제3 순방향 피드(443) 및 제3 역방향 이득을 갖는 제3 역방향 피드(433) - 제3 순방향 피드 및 제3 역방향 피드는 제3 슈뢰더 전역 통과 필터에 속함 - ;
를 포함하는 것을 특징으로 하는 오디오 신호 역상관기(800).
- 제41항에 있어서,
상기 제1 가산기(411)로의 입력이 상기 전역 통과 필터 셀로의 입력을 나타내고, 상기 제1 가산기(411)로의 제2 입력이 제3 지연 스테이지(423)의 출력에 연결되며, 제3 역방향 이득을 갖는 제3 역방향 피드(433)를 포함하고,
상기 제1 가산기(411)의 출력이 상기 제2 가산기(412)의 입력에 연결되며, 제3 순방향 이득(433)을 갖는 상기 제3 순방향 피드(443)를 통해 제6 가산기(416)의 입력에 연결되고,
상기 제2 가산기(412)로의 추가 입력이 제1 역방향 이득을 갖는 상기 제1 역방향 피드(441)를 통해 제1 지연 스테이지(421)에 연결되고,
상기 제2 가산기(412)의 출력이 상기 제1 지연 스테이지(421)의 입력에 연결되며, 제1 순방향 이득을 갖는 상기 제1 순방향 피드(431)를 통해 상기 제3 가산기(413)의 입력에 연결되고,
상기 제1 지연 스테이지(421)의 출력이 상기 제3 가산기(413)의 추가 입력에 연결되고,
상기 제3 가산기(413)의 출력이 상기 제4 가산기(414)의 입력에 연결되고,
상기 제4 가산기(414)로의 추가 입력이 제2 역방향 이득을 갖는 상기 제2 역방향 피드(432)를 통해 상기 제2 지연 스테이지(422)의 출력에 연결되고,
상기 제4 가산기(414)의 출력이 상기 제2 지연 스테이지(422)로의 입력에 연결되며, 제2 순방향 이득을 갖는 상기 제2 순방향 피드를 통해 제5 가산기(415)로의 입력에 연결되고,
상기 제2 지연 스테이지(422)의 출력이 상기 제5 가산기(415)로의 추가 입력에 연결되고,
상기 제5 가산기(415)의 출력이 상기 제3 지연 스테이지(423)의 입력에 연결되고,
상기 제3 지연 스테이지(423)의 출력이 상기 제6 가산기(416)로의 입력에 연결되고,
상기 제6 가산기(416)로의 추가 입력이 제3 순방향 이득을 갖는 상기 제3 순방향 피드(443)를 통해 상기 제1 가산기(411)의 출력에 연결되고,
상기 제6 가산기(416)의 출력은 전역 통과 필터(802)의 출력을 나타내는 것을 특징으로 하는 오디오 신호 역상관기(800).
- 제39항에 있어서,
상기 전역 통과 필터(802)는 상기 전역 통과 필터 셀 및 적어도 하나의 추가전역 통과 필터 셀을 포함하고, 상기 전역 통과 필터 셀 및 적어도 하나의 추가전역 통과 필터 셀의 지연들의 지연 값들은 서로 소수(prime)인 것을 특징으로 하는 오디오 신호 역상관기(800).
- 제39항에 있어서,
상기 제1 슈뢰더 전역 통과 필터, 제2 슈뢰더 전역 통과 필터, 제3 슈뢰더 전역 통과 필터 중 적어도 하나의 순방향 이득과 역방향 이득은, 해당 순방향 이득 및 해당 역방향 이득 중 더 큰 이득 값의 10% 미만만큼 서로 같거나 다른 것을 특징으로 하는 오디오 신호 역상관기(800).
- 제39항에 있어서,
상기 전역 통과 필터 셀 및 적어도 하나의 추가 전역 통과 필터 셀을 포함하고,
상기 전역 통과 필터 셀 및 적어도 하나의 추가전역 통과 필터 셀 중 적어도 하나가 두 개의 양의 이득과 하나의 음의 이득을 가지며, 상기 전역 통과 필터 셀 및 적어도 하나의 추가전역 통과 필터 셀 중 다른 것이 하나의 양의 이득과 두 개의 음의 이득을 가지는 것을 특징으로 하는 오디오 신호 역상관기(800).
- 제39항에 있어서,
상기 제1 슈뢰더 전역 통과 필터의 제1 지연 스테이지(421)의 지연 값이 상기 제2 슈뢰더 전역 통과 필터의 제2 지연 스테이지(422)의 지연 값보다 낮고, 상기 제2 슈뢰더 전역 통과 필터의 상기 제2 지연 스테이지(422)의 지연 값이, 상기 제1 슈뢰더 전역 통과 필터, 제2 슈뢰더 전역 통과 필터, 제3 슈뢰더 전역 통과 필터를 포함하는 전역 통과 필터 셀의 상기 제3 슈뢰더 전역 통과 필터의 제3 지연 스테이지(423)의 지연 값보다 낮고,
상기 제1 슈뢰더 전역 통과 필터의 제1 지연 스테이지(421)의 지연 값과 상기 제2 슈뢰더 전역 통과 필터의 제2 지연 스테이지(422)의 지연 값의 합이, 상기 제1 슈뢰더 전역 통과 필터, 제2 슈뢰더 전역 통과 필터, 제3 슈뢰더 전역 통과 필터를 포함하는 전역 통과 필터 셀의 상기 제3 슈뢰더 전역 통과 필터의 제3 지연 스테이지(423)의 지연 값보다 작은 것을 특징으로 하는 오디오 신호 역상관기(800).
- 제39항에 있어서,
상기 전역 통과 필터(802)는 캐스케이드 내에 상기 전역 통과 필터 셀 및 적어도 하나의 추가 전역 통과 필터 셀을 포함하고, 상기 캐스케이드에서의 나중의 전역 통과 필터 셀(802)의 최소 지연 값이 상기 캐스케이드에서의 초기의 전역 통과 필터 셀의 최고 또는 두 번째 최고 지연 값보다 작은 것을 특징으로 하는 오디오 신호 역상관기(800).
- 제39항에 있어서,
상기 전역 통과 필터(802)는 캐스케이드 내에 상기 전역 통과 필터 셀 및 적어도 하나의 추가 전역 통과 필터 셀을 포함하고,
상기 적어도 하나의 추가 전역 통과 필터 셀은 제1 순방향 이득 또는 제1 역방향 이득, 제2 순방향 이득 또는 제2 역방향 이득, 및 제3 순방향 이득 또는 제3 역방향 이득, 제1 지연 스테이지(421), 제2 지연 스테이지(422), 및 제3 지연 스테이지(423)를 가지며,
상기 이득들 및 상기 지연들의 값은 다음 표에 표시된 값의 ±20%의 공차 범위 내에서 설정되고,
여기서, B1(z)는 캐스케이드 내의 제1 전역 통과 필터 셀이고,
B2(z)는 캐스케이드 내의 제2 전역 통과 필터 셀이고,
B3(z)는 캐스케이드 내의 제3 전역 통과 필터 셀이고,
B4(z)는 캐스케이드 내의 제4 전역 통과 필터 셀이고,
B5(z)는 캐스케이드 내의 제5 전역 통과 필터 셀이고,
상기 캐스케이드는 B1 내지 B5로 구성된 전역 통과 필터 셀들의 그룹 중 제1 전역 통과 필터 셀(B1)과 제2 전역 통과 필터 셀(B2)만을 또는 임의의 다른 두 개의 전역 통과 필터 셀만을 포함하거나, 또는
상기 캐스케이드는 5 개의 전역 통과 필터 셀들(B1 내지 B5)의 그룹에서 선택된 3개의 전역 통과 필터 셀을 포함하거나, 또는
상기 캐스케이드는 B1 내지 B5로 구성되는 전역 통과 필터 셀들의 그룹에서 선택된 4개의 전역 통과 필터 셀을 포함하거나, 또는
상기 캐스케이드는 5개의 전역 통과 필터 셀(B1 내지 B5) 모두를 포함하고,
g1은 상기 전역 통과 필터 셀의 제1 슈뢰더 전역 통과 필터의 제1 순방향 이득 또는 역방향 이득을 나타내고, g2는 상기 전역 통과 필터 셀의 제2 슈뢰더 전역 통과 필터의 제2 순방향 이득 또는 역방향 이득을 나타내고, g3은 상기 전역 통과 필터 셀의 제3 슈뢰더 전역 통과 필터의 제3 순방향 이득 또는 역방향 이득을 나타내고, d1은 상기 전역 통과 필터 셀의 제1 슈뢰더 전역 통과 필터의 제1 지연 스테이지(421)의 지연을 나타내고, d2는 상기 전역 통과 필터 셀의 제2 슈뢰더 전역 통과 필터의 제2 지연 스테이지의 지연(422)을 나타내고, d3은 상기 전역 통과 필터 셀의 제3 슈뢰더 전역 통과 필터의 제3 지연 스테이지의 지연(423)을 나타내거나, 또는
g1은 상기 전역 통과 필터 셀의 제2 슈뢰더 전역 통과 필터의 제2 순방향 이득 또는 역방향 이득을 나타내고, g2는 상기 전역 통과 필터 셀의 제1 슈뢰더 전역 통과 필터의 제1 순방향 이득 또는 역방향 이득을 나타내고, g3은 상기 전역 통과 필터 셀의 제3 슈뢰더 전역 통과 필터의 제3 순방향 이득 또는 역방향 이득을 나타내고, d1은 상기 전역 통과 필터 셀의 제2 슈뢰더 전역 통과 필터의 제2 지연 스테이지(422)의 지연을 나타내고, d2는 상기 전역 통과 필터 셀의 제1 슈뢰더 전역 통과 필터의 제1 지연 스테이지(421)의 지연을 나타내고, d3은 상기 전역 통과 필터 셀의 제3 슈뢰더 전역 통과 필터의 제3 지연 스테이지(423)의 지연을 나타내는 것을 특징으로 하는 오디오 신호 역상관기(800).
- 역상관된 신호를 얻기 위해 오디오 입력 신호를 역상관시키는 방법으로서,
적어도 하나의 전역 통과 필터 셀을 사용하는 전역 통과 필터링 단계로서, 상기 적어도 하나의 전력통과 필터 셀은 2개의 층계형(cascaded) 슈뢰더 전역 통과 필터들 (제1 층계형 슈뢰더 전역 통과 필터 및 제2 층계형 슈뢰더 전역 통과 필터) 및 제3 슈뢰더 전역 통과 필터를 포함하고, 상기 제1 층계형 슈뢰더 전역 통과 필터로의 입력은 상기 제3 슈뢰더 전역 통과 필터의 제1 가산기의 출력에 연결되고, 상기 제2 층계형 슈뢰더 전역 통과 필터로부터의 출력은 상기 제3 슈뢰더 전역 통과 필터의 지연 스테이지에 연결되며,
상기 제1 슈뢰더 전역 통과 필터 및 상기 제2 슈뢰더 전역 통과 필터 중 적어도 하나는 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 상기 적어도 하나의 제1 가산기, 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 지연 스테이지, 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 제2 가산기, 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 순방향 이득을 가지는 순방향 피드, 및 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 역방향 이득을 가지는 역방향 피드를 포함하고, 상기 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 순방향 이득은 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 출력과 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 상기 제2 가산기를 연결하고, 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 역방향 이득은 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 상기 지연 스테이지의 출력과 상기 제1 및 제2 슈뢰더 전역 통과 필터 중 적어도 하나의 상기 제1 가산기를 연결하는 것을 특징으로 하는, 오디오 입력 신호를 역상관시키는 방법.
- 컴퓨터 또는 프로세서에서 실행될 때 제49항의 방법을 수행하는 컴퓨터 프로그램을 저장한 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17183841.0 | 2017-07-28 | ||
| EP17183841 | 2017-07-28 | ||
| PCT/EP2018/070326 WO2019020757A2 (en) | 2017-07-28 | 2018-07-26 | APPARATUS FOR ENCODING OR DECODING A MULTI-CHANNEL SIGNAL ENCODED USING A FILLING SIGNAL GENERATED BY A BROADBAND FILTER |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200041312A KR20200041312A (ko) | 2020-04-21 |
| KR102392804B1 true KR102392804B1 (ko) | 2022-04-29 |
Family
ID=59655866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207002678A KR102392804B1 (ko) | 2017-07-28 | 2018-07-26 | 인코딩된 다채널 신호를 광대역 필터에 의해 생성된 충전 신호를 사용하여 인코딩 또는 디코딩하는 장치 |
Country Status (15)
| Country | Link |
|---|---|
| US (3) | US11341975B2 (ko) |
| EP (2) | EP3659140B1 (ko) |
| JP (5) | JP7161233B2 (ko) |
| KR (1) | KR102392804B1 (ko) |
| CN (3) | CN117612542A (ko) |
| AR (1) | AR112582A1 (ko) |
| AU (2) | AU2018308668A1 (ko) |
| BR (1) | BR112020001660A2 (ko) |
| CA (1) | CA3071208A1 (ko) |
| ES (1) | ES2965741T3 (ko) |
| PL (1) | PL3659140T3 (ko) |
| RU (1) | RU2741379C1 (ko) |
| SG (1) | SG11202000510VA (ko) |
| TW (2) | TWI695370B (ko) |
| WO (1) | WO2019020757A2 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2017357453B2 (en) * | 2016-11-08 | 2021-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding or decoding a multichannel signal using a side gain and a residual gain |
| EP3928315A4 (en) * | 2019-03-14 | 2022-11-30 | Boomcloud 360, Inc. | SPATIALLY SENSITIVE MULTIBAND COMPRESSION SYSTEM WITH PRIORITY |
| JPWO2022050087A1 (ko) * | 2020-09-03 | 2022-03-10 | ||
| TWI805019B (zh) | 2020-10-09 | 2023-06-11 | 弗勞恩霍夫爾協會 | 使用參數平滑處理編碼音頻場景的裝置、方法或電腦程式 |
| EP4226366A2 (en) | 2020-10-09 | 2023-08-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method, or computer program for processing an encoded audio scene using a bandwidth extension |
| MX2023003962A (es) | 2020-10-09 | 2023-05-25 | Fraunhofer Ges Forschung | Aparato, metodo, o programa de computadora para procesar una escena de audio codificada utilizando una conversion de parametros. |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6111958A (en) | 1997-03-21 | 2000-08-29 | Euphonics, Incorporated | Audio spatial enhancement apparatus and methods |
| DE60311794T2 (de) | 2002-04-22 | 2007-10-31 | Koninklijke Philips Electronics N.V. | Signalsynthese |
| US7502743B2 (en) * | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
| ATE527654T1 (de) * | 2004-03-01 | 2011-10-15 | Dolby Lab Licensing Corp | Mehrkanal-audiodecodierung |
| SE0400998D0 (sv) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| TWI393121B (zh) * | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
| SE0402649D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
| WO2007026821A1 (ja) * | 2005-09-02 | 2007-03-08 | Matsushita Electric Industrial Co., Ltd. | エネルギー整形装置及びエネルギー整形方法 |
| US20090052676A1 (en) | 2007-08-20 | 2009-02-26 | Reams Robert W | Phase decorrelation for audio processing |
| US20100040243A1 (en) | 2008-08-14 | 2010-02-18 | Johnston James D | Sound Field Widening and Phase Decorrelation System and Method |
| WO2009045649A1 (en) * | 2007-08-20 | 2009-04-09 | Neural Audio Corporation | Phase decorrelation for audio processing |
| BR122020009727B1 (pt) * | 2008-05-23 | 2021-04-06 | Koninklijke Philips N.V. | Método |
| JP5711555B2 (ja) * | 2010-02-15 | 2015-05-07 | クラリオン株式会社 | 音像定位制御装置 |
| MY178197A (en) * | 2010-08-25 | 2020-10-06 | Fraunhofer Ges Forschung | Apparatus for generating a decorrelated signal using transmitted phase information |
| AU2015201672B2 (en) * | 2010-08-25 | 2016-12-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus for generating a decorrelated signal using transmitted phase information |
| EP2477188A1 (en) * | 2011-01-18 | 2012-07-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoding and decoding of slot positions of events in an audio signal frame |
| MX2013010537A (es) | 2011-03-18 | 2014-03-21 | Koninkl Philips Nv | Codificador y decodificador de audio con funcionalidad de configuracion. |
| EP2830053A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
| EP2830336A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Renderer controlled spatial upmix |
| TWI579831B (zh) * | 2013-09-12 | 2017-04-21 | 杜比國際公司 | 用於參數量化的方法、用於量化的參數之解量化方法及其電腦可讀取的媒體、音頻編碼器、音頻解碼器及音頻系統 |
| KR102244379B1 (ko) | 2013-10-21 | 2021-04-26 | 돌비 인터네셔널 에이비 | 오디오 신호들의 파라메트릭 재구성 |
| CN104581610B (zh) | 2013-10-24 | 2018-04-27 | 华为技术有限公司 | 一种虚拟立体声合成方法及装置 |
| EP2980795A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
| EP2980794A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
-
2018
- 2018-07-26 WO PCT/EP2018/070326 patent/WO2019020757A2/en active Application Filing
- 2018-07-26 SG SG11202000510VA patent/SG11202000510VA/en unknown
- 2018-07-26 EP EP18742830.5A patent/EP3659140B1/en active Active
- 2018-07-26 CN CN202410041929.2A patent/CN117612542A/zh active Pending
- 2018-07-26 CN CN202410041942.8A patent/CN117690442A/zh active Pending
- 2018-07-26 ES ES18742830T patent/ES2965741T3/es active Active
- 2018-07-26 RU RU2020108472A patent/RU2741379C1/ru active
- 2018-07-26 AU AU2018308668A patent/AU2018308668A1/en not_active Abandoned
- 2018-07-26 BR BR112020001660-8A patent/BR112020001660A2/pt unknown
- 2018-07-26 EP EP23188147.5A patent/EP4243453A3/en active Pending
- 2018-07-26 CN CN202410037965.1A patent/CN117854515A/zh active Pending
- 2018-07-26 CA CA3071208A patent/CA3071208A1/en active Pending
- 2018-07-26 KR KR1020207002678A patent/KR102392804B1/ko active IP Right Grant
- 2018-07-26 JP JP2020504101A patent/JP7161233B2/ja active Active
- 2018-07-26 PL PL18742830.5T patent/PL3659140T3/pl unknown
- 2018-07-27 TW TW107126083A patent/TWI695370B/zh active
- 2018-07-27 AR ARP180102127 patent/AR112582A1/es unknown
- 2018-07-27 TW TW108134227A patent/TWI697894B/zh active
-
2020
- 2020-01-09 US US16/738,301 patent/US11341975B2/en active Active
-
2021
- 2021-08-24 AU AU2021221466A patent/AU2021221466B2/en active Active
- 2021-12-07 US US17/543,819 patent/US11790922B2/en active Active
-
2022
- 2022-10-06 JP JP2022161637A patent/JP7401625B2/ja active Active
-
2023
- 2023-09-11 US US18/464,574 patent/US20230419976A1/en active Pending
- 2023-12-07 JP JP2023206541A patent/JP2024023574A/ja active Pending
- 2023-12-07 JP JP2023206540A patent/JP2024023573A/ja active Pending
- 2023-12-07 JP JP2023206539A patent/JP2024023572A/ja active Pending
Non-Patent Citations (2)
| Title |
|---|
| SCHROEDER, Manfred R. Natural sounding artificial reverberation. Audio Engineering Society Convention 13. 1961.* |
| SCHUIJERS, Erik, et al. Low complexity parametric stereo coding. Audio Engineering Society Convention 116. 2004.* |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11017785B2 (en) | Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding | |
| JP6633706B2 (ja) | デコーダシステム、復号方法及びコンピュータプログラム | |
| KR102392804B1 (ko) | 인코딩된 다채널 신호를 광대역 필터에 의해 생성된 충전 신호를 사용하여 인코딩 또는 디코딩하는 장치 | |
| CN107430863B (zh) | 用于编码的音频编码器及用于解码的音频解码器 | |
| KR20180105682A (ko) | 광대역 정렬 파라미터 및 복수의 협대역 정렬 파라미터들을 사용하여 다채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 | |
| JP2020500336A (ja) | 位相補償を使用してマルチチャネル信号をダウンミックスまたはアップミックスするための装置および方法 | |
| CN110998721B (zh) | 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置 | |
| RU2799737C2 (ru) | Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания | |
| CN115843378A (zh) | 使用针对多声道音频信号的声道的缩放参数的联合编码的音频解码器、音频编码器以及相关方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |