KR20150109416A - 에너지 제한 작업을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 - Google Patents
에너지 제한 작업을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 Download PDFInfo
- Publication number
- KR20150109416A KR20150109416A KR1020157022258A KR20157022258A KR20150109416A KR 20150109416 A KR20150109416 A KR 20150109416A KR 1020157022258 A KR1020157022258 A KR 1020157022258A KR 20157022258 A KR20157022258 A KR 20157022258A KR 20150109416 A KR20150109416 A KR 20150109416A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- energy
- frequency
- enhancement
- subband
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 87
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 21
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 21
- 238000009499 grossing Methods 0.000 claims description 57
- 230000003595 spectral effect Effects 0.000 claims description 52
- 238000007493 shaping process Methods 0.000 claims description 31
- 230000002123 temporal effect Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 8
- 230000001939 inductive effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 6
- 230000006854 communication Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000004606 Fillers/Extenders Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- 238000000465 moulding Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010367 cloning Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0012—Smoothing of parameters of the decoder interpolation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L2019/0001—Codebooks
- G10L2019/0016—Codebook for LPC parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
- G10L21/0388—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Testing Relating To Insulation (AREA)
- Picture Signal Circuits (AREA)
- Superheterodyne Receivers (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Circuit Arrangements For Discharge Lamps (AREA)
- Stereophonic System (AREA)
- Dc-Dc Converters (AREA)
- Electrotherapy Devices (AREA)
- Plasma Technology (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Error Detection And Correction (AREA)
Abstract
코어 신호(120)로부터 향상 신호를 발생시키는 신호 발생기(200); 및 상기 향상 신호(130)를 이용하여 주파수 향상 신호(140)를 발생시키는 합성 필터뱅크(300)를 포함하며, 상기 향상 신호는 상기 코어 신호에 포함되지 않는 향상 주파수 범위를 포함하며, 상기 향상 신호의 시간 부분은 단일 부대역 또는 복수의 부대역들에 대한 하나 이상의 부대역 신호들을 포함하며, 상기 신호 발생기(200)는 합성 필터뱅크(300)에 의해 얻어지는 주파수 향상 신호(140)가, 고대역의 에너지가, 최대한, 저대역의 에너지와 동일하거나, 최대한, 미리 정의된 임계까지, 고대역의 에너지보다 크도록, 확실히 하기 위해 상기 신호 발생기(200)가 에너지 제한을 수행하도록 구성되는, 주파수 향상 신호(130)를 발생시키는 장치.
Description
본 발명은 오디오 코딩 및 특히 지능적 갭 필링 또는 스펙트럼 대역 복제, 대역폭 확장 같은 주파수 향상 절차에 기반한다.
본 발명은 디코더 측면이 부가 정보가 없이 또는 오직 부가 정보의 최소량만 가지고 작동하는, 비-유도(non-guided) 주파수 향상 절차에 특히 관련된다.
특히 (상대적으로) 낮은 비트레이트에서 작동될 때, 지각적 오디오 코덱들은 오디오 신호의 전체 지각가능 주파수 범위의 로패스(lowpass) 부분만을 종종 양자화하고 코딩한다. 비록 이 접근이 코딩된 저-주파수 신호에 대한 허용가능 품질을 보장하지만, 대부분의 청취자들은 하이패스(highpass) 부분의 손실을 품질 저하로 인식한다. 이러한 이슈를 극복하기 위해, 손실된 고-주파수 부분은 대역폭 확장 설계에 의해 합성될 수 있다.
최신 코덱들은 종종, 저-주파수 신호를 코딩하기 위한, 음성 코더 같은, 파라메트릭 코더 또는 AAC 같은, 파형-보존 코더들을 이용할 수 있다. 이러한 코더들은 특정 정지 주파수까지 작동한다. 이 주파수는 크로스오버 주파수(교차 주파수, crossover frequency)라고 불린다.
교차 주파수 밑의 주파수 부분은 저대역(low band)으로 불린다. 교차 주파수 위의 부분은, 대역폭 확장 설계 수단에 의해 합성되며, 고대역(high band)으로 불린다. 대역폭 확장은 일반적으로 전송된 신호(저대역) 및 추가 부가 정보(extra side information) 수단에 의해 손실 대역폭(고대역)을 합성한다. 그것은 저-비트레이트 오디오 코딩 분야에 적용되며, 추가 정보는 가능한 추가 비트레이트 만큼만 적게 소모해야 한다. 이와 같이, 일반적으로 파라메트릭(매개변수, parametric) 표현은 추가 정보에 대해 선택된다.
파라메트릭 표현은 비교적 낮은 비트레이트(유도된 대역폭 확장)에서 인코더로부터 전송되거나 특정 신호 특성들(유도되지 않은 대역폭 확장)에 기반하여 디코더에서 측정된다. 후자의 경우에, 파라미터들은 비트레이트를 전혀 소모하지 않는다.
비-유도 주파수 향상 기술들의 컨텍스트에서 오디오 처리에 대한 향상된 개념을 제공하는 것이 본 발명의 목적이다.
본 발명은 오디오 코덱들에 대한 대역폭 확장 설계같은 주파수 향상 설계를 제공한다. 이 설계는 유도된 대역폭 확장 설계에서처럼 손실 대역들의 전체 파라메트릭 설명(full parametric description)과 비교하여 상당히 감소된 최소량만을 가지고 또는 추가 부가-정보의 필요 없이 오디오 코덱의 주파수 대역폭을 확장하는 데 목적이 있다.
주파수 향상 신호(140)를 발생시키기 위한 장치는 코어 신호의 주파수에 관한 에너지 분포를 기술하는 값을 계산하는 계산기를 포함한다. 상기 코어 신호로부터, 코어 신호에 포함되지 않는 향상 주파수를 포함하는 향상 신호를 발생시키는 신호 발생기는 코어 신호를 이용하여 작동하며 향상 신호 또는 코어 신호의 성형을 수행하며 향상 신호의 스펙트럼 포락선은 에너지 분포를 나타내는 값에 의존한다.
이와 같이, 향상 신호의 포락선, 또는 향상 신호는 에너지 분포를 기술하는 값에 기반하여 성형된다(쉐이핑된다, shaped). 이 값은 쉽게 계산될 수 있고 이 값은 향상 신호의 전체 형상 또는 전체 포락선 형상을 정의한다. 이와 같이, 디코더는 낮은 복잡성으로 작동할 수 있고 동시에 좋은 오디오 품질이 얻어진다. 구체적으로, 코어 신호의 스펙트럼 중심 같은 에너지 분포의 값을 계산하는 절차 및 이 스펙트럼 중심(도심, centroid)에 기반한 향상 신호의 조정은 간단하고 낮은 계산적 리소스들과 함께 수행될 수 있는 절차이지만, 주파수 향상 신호를 스펙트럼 성형하기 위해 이용될 때 코어 신호에서의 에너지 분포는 좋은 오디오 품질을 도출한다.
본 발명의 바람직한 실시예들은 첨부된 도면에 관해 이후 설명된다:
도 1은 에너지 제한 및 부대역 신호의 평활, 주파수 향상 신호를 성형하는 기술을 포함하는 실시예를 나타낸다;
도 2a-2c는 도 1의 신호 발생기의 상이한 실시예들을 나타낸다;
도 3은 개별 시간 부분들(individual time portions)을 나타내며, 하나의 프레임은 하나의 시간 부분을 가지며 슬롯은 하나의 짧은 시간 부분(short time portion)을 가지며 각 프레임은 복수의 슬롯들을 포함한다;
도 4는 대역폭 확장 응용의 실시에서 향상 신호 및 코어 신호의 스펙트럼 위치를 나타내는 스펙트럼 챠트를 나타낸다;
도 5는 코어 신호의 에너지 분포를 나타내는 값에 기반하여 스펙트럼 성형을 이용하는 주파수 향상 신호를 발생시키는 장치를 나타낸다;
도 6은 성형 기술의 실시예를 나타낸다;
도 7은 특정 스펙트럼의 중심(spectral centroid)에 의해 결정된 상이한 롤-오프들(roll-offs)을 나타낸다;
도 8은 주파수 향상 신호 또는 코어 신호의 부대역 신호들을 평활하기 위한 동일 평활 정보를 포함하는 주파수 향상 신호를 발생시키는 장치를 나타낸다;
도 9는 도 8의 신호 발생기 및 제어기에 의해 적용되는 바람직한 절차를 도시한다;
도 10은 도 8의 신호 발생기 및 제어기에 의해 적용되는 추가 절차를 나타낸다;
도 11은 주파수 향상 신호를 발생시키는 장치를 나타내며, 이는 향상 신호의 고대역이, 최대한, 인접 저대역과 동일한 에너지를 가질 수 있거나 또는, 최대한, 미리 정의된 임계에 의한 에너지보다 큰 에너지를 가질 수 있도록, 향상 신호에서 에너지 제한 절차를 수행한다;
도 12a는 제한 이전의 향상 신호의 스펙트럼을 도시한다;
도 12b는 제한 이후의 도 12a의 스펙트럼을 도시한다;
도 13은 실시예에서 신호 발생기에 의해 수행되는 프로세스를 도시한다;
도 14는 필터뱅크 영역 내에서 에너지 제한 및 평활, 성형 기술의 일관된 응용을 도시한다; 그리고,
도 15는 비-유도 주파수 향상 디코더 및 인코더를 포함하는 시스템을 도시한다.
도 1은 에너지 제한 및 부대역 신호의 평활, 주파수 향상 신호를 성형하는 기술을 포함하는 실시예를 나타낸다;
도 2a-2c는 도 1의 신호 발생기의 상이한 실시예들을 나타낸다;
도 3은 개별 시간 부분들(individual time portions)을 나타내며, 하나의 프레임은 하나의 시간 부분을 가지며 슬롯은 하나의 짧은 시간 부분(short time portion)을 가지며 각 프레임은 복수의 슬롯들을 포함한다;
도 4는 대역폭 확장 응용의 실시에서 향상 신호 및 코어 신호의 스펙트럼 위치를 나타내는 스펙트럼 챠트를 나타낸다;
도 5는 코어 신호의 에너지 분포를 나타내는 값에 기반하여 스펙트럼 성형을 이용하는 주파수 향상 신호를 발생시키는 장치를 나타낸다;
도 6은 성형 기술의 실시예를 나타낸다;
도 7은 특정 스펙트럼의 중심(spectral centroid)에 의해 결정된 상이한 롤-오프들(roll-offs)을 나타낸다;
도 8은 주파수 향상 신호 또는 코어 신호의 부대역 신호들을 평활하기 위한 동일 평활 정보를 포함하는 주파수 향상 신호를 발생시키는 장치를 나타낸다;
도 9는 도 8의 신호 발생기 및 제어기에 의해 적용되는 바람직한 절차를 도시한다;
도 10은 도 8의 신호 발생기 및 제어기에 의해 적용되는 추가 절차를 나타낸다;
도 11은 주파수 향상 신호를 발생시키는 장치를 나타내며, 이는 향상 신호의 고대역이, 최대한, 인접 저대역과 동일한 에너지를 가질 수 있거나 또는, 최대한, 미리 정의된 임계에 의한 에너지보다 큰 에너지를 가질 수 있도록, 향상 신호에서 에너지 제한 절차를 수행한다;
도 12a는 제한 이전의 향상 신호의 스펙트럼을 도시한다;
도 12b는 제한 이후의 도 12a의 스펙트럼을 도시한다;
도 13은 실시예에서 신호 발생기에 의해 수행되는 프로세스를 도시한다;
도 14는 필터뱅크 영역 내에서 에너지 제한 및 평활, 성형 기술의 일관된 응용을 도시한다; 그리고,
도 15는 비-유도 주파수 향상 디코더 및 인코더를 포함하는 시스템을 도시한다.
고대역 합성은 일반적으로 두개의 부분으로 구성된다:
1. 고-주파수 컨텐츠의 발생. 이는 고대역으로 다른 인공 신호 부분들 또는 화이트 노이즈 또는 성형된 노이즈를 삽입하거나, 고대역에 저 주파수 컨텐츠(의 부분들)을 카피하거나 플리핑(flipping)하여 수행될 수 있다.
2. 파라메트릭 정보에 따라 발생된 고주파수 컨텐츠의 조정. 이는 파라메트릭 표현에 따라 형태, 조성(tonality)/노이즈 및 에너지의 조작을 포함한다.
합성의 목표는 일반적으로 원래 신호에 지각적으로 근접한 신호를 달성하는 것이다. 만약 이러한 목적이 달성될 수 없다면, 합성된 부분은 청취자를 최소로 방해해야 한다.
유도된(가이드된, guided) BWE 설계외에, 비-유도된 대역폭 확장은 고대역의 합성에 대해 추가 정보에 의존할 수 없다. 대신에, 저대역 및 고대역 사이의 연관을 이용하기 위한 경험적 규칙들을 일반적으로 이용한다. 대부분의 음악 조각들(music pieces) 및 유성음 스피치 세그먼트들이 고대역 및 저대역 사이의 높은 연관관계를 이용하는 반면, 이는 일반적으로 무성음 또는 마찰 스피치 세그먼트들에 대한 경우는 아니다. 마찰 사운드들은 특정 주파수 위의 높은 에너지를 갖는 반면 저주파수 범위에서 아주 적은 에너지를 갖는다. 만약 이러한 주파수가 크로스오버 주파수(crossover ferquency)에 근접한 경우, 이러한 경우에 저대역이 관련이 적은 신호 부분들을 포함하기 때문에 크로스오버 주파수 위의 인공 신호를 발생시키는데 문제가 될 수 있다. 이러한 문제를 다루기 위해, 그러한 사운드의 좋은 감지(good detection)가 도움이 된다.
HE-AAC는 고대역(SBR)에 대한 파라메트릭 코덱 및 저대역(AAC)에 대한 파형 보존 코덱으로 구성되는 잘 알려진 코덱이다. 디코더 측면에서, 고대역 신호는 QMF 필터뱅크를 이용하여 주파수 영역으로 디코딩된 AAC 신호를 변환시켜(transforming) 발생된다. 이후에, 저대역 신호의 부대역들(subbands)은 고대역에 복제(카피)된다(고주파수 컨텐츠의 발생). 이 고대역 신호는 이후 전송된 파라메트릭 부가-정보에 기반하여 스펙트럼 포락선, 조성(tonality) 및 노이즈 플로어(noise floor)에서 조정된다(발생된 고주파수 컨텐츠 조정). 이러한 방법이 유도된 BWE 접근을 이용하기 때문에, 고대역 및 저대역 사이의 약한 연관은 일반적으로 문제가 되지 않으며 적절한 파라미터 집합을 전송하여 극복될 수 있다. 그러나, 이는 추가적인 비트레이트를 요구하며, 이는 주어진 응용 시나리오에 수용 가능하지 않을 수 있다.
ITU Standard G.722.2는 시간 영역에서만 작동하는 스피치 코덱이며, 즉 주파수 영역에서 어떠한 계산도 수행하지 않는다. 그러한 디코더는 이후 16kHz로 업샘플링(upsampled)되는, 12.8kHz의 샘플링 레이트(sampling rate)로 시간 영역 신호를 출력한다. 대부분의 작업 모드들에서 어떠한 부가-정보를 이용하지 않고 노이즈의 스펙트럼 성형이 수행되며, 오직 최고 비트레이트(highest bitrate)를 갖는 작업 모드에서만 노이즈 에너지에 대한 정보가 비트스트림에서 전송된다. 단순성의 이유를 위해, 모든 응용 시나리오들이 추가 파라미터 집합들의 전송을 수용할 수는 없기 때문에, 다음에서 오직 어떠한 부가-정보도 이용하지 않는 고대역 신호의 발생이 설명된다.
고대역 신호를 발생시키기 위해, 노이즈 신호는 코어 여기 신호(core excitation signal)와 동일한 에너지를 갖도록 스케일링된다(scaled). 신호의 무성음 부분에 더 많은 에너지를 주기 위해, 스펙트럼 경사(spectral tilt) e가 계산된다:
s는 400 Hz의 차단 주파수(cut-off frequency)를 갖는 고-대역 필터링되어 디코딩된 코어 신호이다. n 은 샘플 지수(sample index)이다. 더 적은 에너지가 고주파수에서 존재하는 유성음(voiced) 세그먼트들의 경우에, e 는 1에 접근하며, 반면 무성음(unvoiced) 세그먼트들에 대해서 e는 0에 근접한다.
고대역 신호에서 에너지를 더 갖기 위해서, 무성음 스피치(unvoiced speech)에 대해 노이즈의 에너지는 (1-e)로 곱해진다. 최종적으로, 스케일링된 노이즈 신호는 라인 스펙트럼 주파수 (Line Spectral Frequency, LSF) 영역에서 외삽(extrapolation)에 의해 코어 선형 예측 코딩(LPC)로부터 유도되는 필터에 의해 필터링된다.
시간 영역에서 완전히 작동하는, G.722.2으로부터의 비-유도 대역폭 확장은, 다음 결점들을 갖는다:
1. 발생된 HF 컨텐츠는 노이즈에 기반한다. 이는 HF 신호가 조성, 하모닉 저-주파수 신호(예를 들어, 음악)과 결합하는 경우에 들을 수 있는 아티팩트(artifacts)들을 생성한다. 그러한 아티팩트들을 피하기 위해, G.722.2는 발생된 HF 신호의 에너지를 강하게 제한하며, 이는 또한 대역폭 확장의 잠재적 이익을 제한한다. 이와 같이, 불행하게도 사운드 선명함의 최대로 가능한 개선 또는 음성 신호 명료성의 최대 획득가능한 증가가 제한된다.
2. 이러한 비-유도 대역폭 확장은 시간 영역에서 작동하기 때문에, 필터 작업들은 추가 알고리즘 지연을 야기한다. 이 추가적인 지연은 양-방향 통신 시나리오에서 사용자 경험의 품질을 낮추거나 주어진 통신 기술 기준의 요구 관점에 의해 허용되지 않을 수 있다.
3. 신호 프로세싱이 시간 영역에서 수행되기 때문에, 필터 작업은 불안정에 취약하다. 게다가, 시간 영역 필터들은 높은 계산적 복잡성을 갖는다.
4. 오직 고대역 신호의 에너지의 전체 합이 코어 신호의 에너지에 적용되기 때문에(그리고 스펙트럼 틸트에 의해 가중되기 때문에), 코어 신호(크로스오버 주파수 바로 밑의 신호)의 상부 주파수 범위 및 고대역 신호 사이의 크로스오버 주파수에서 에너지의 상당한 지역적 미스매치(mismatch)가 있을 수 있다. 예를 들어, 이는 특히 아주 낮은 주파수 범위에서 에너지 집중을 보이지만 상부 주파수 범위에서 적은 에너지를 포함하는 음색 신호(tonal signal)에 대한 경우가 될 것이다.
5. 게다가, 시간 영역 표현에서 스펙트럼 경사를 추정하는 것이 계산적으로 복잡하다. 주파수 영역에서, 스펙트럼 경사의 외삽(extrapolation)은 아주 효율적으로 수행될 수 있다. 예를 들어, 마찰의 대부분 에너지는 고주파수 범위에 집중되며, 이것들은 G.722.2에서와 비슷한 보존 에너지 및 스펙트럼 경사 측정 전략이 적용되는 경우 둔탁하게 들릴 수 있다(참조 1).
요약하자면, 선행 기술 비-유도 또는 블라인드 대역폭 확장 설계들은 디코더 측면에서 상당한 계산적 복잡성을 요구할 수 있고 그럼에도 불구하고 특정적으로 마찰처럼 문제가 되는 음성 사운드에 대해 제한된 오디오 품질을 도출한다. 게다가, 유도된 대역폭 확장 설계들은, 비록 더 나은 오디오 품질을 제공하고 때때로 디코더 측면에서 더 적은 계산적 복잡성을 요구하지만, 고대역의 추가 파라메트릭 정보가 인코딩된 코어 오디오 신호에 관해 추가 비트레이트의 상당한 양을 요구할 수 있다는 사실 때문에 실질적 비트레이트 감소를 제공할 수 없다.
그래서 비-유도 주파수 향상 기술들의 컨텍스트에서 오디오 처리에 대한 향상된 개념을 제공하는 것이 본 발명의 목적이다.
이러한 목적은 제1항의 주파수 향상 신호를 발생시키는 장치, 제11항의 주파수 향상 신호를 발생시키는 방법, 제12항의 주파수 향상 신호를 발생시키는 장치 및 인코더를 포함하는 시스템, 제13항의 관련 방법, 제14항의 컴퓨터 프로그램에 의해 달성된다.
본 발명은 오디오 코덱들에 대한 대역폭 확장 설계같은 주파수 향상 설계를 제공한다. 이 설계는 유도된 대역폭 확장 설계에서처럼 손실 대역들의 전체 파라메트릭 설명(full parametric description)과 비교하여 상당히 감소된 최소량만을 가지고 또는 추가 부가-정보의 필요 없이 오디오 코덱의 주파수 대역폭을 확장하는 데 목적이 있다.
주파수 향상 신호(140)를 발생시키기 위한 장치는 코어 신호의 주파수에 관한 에너지 분포를 기술하는 값을 계산하는 계산기를 포함한다. 상기 코어 신호로부터, 코어 신호에 포함되지 않는 향상 주파수를 포함하는 향상 신호를 발생시키는 신호 발생기는 코어 신호를 이용하여 작동하며 향상 신호 또는 코어 신호의 성형을 수행하며 향상 신호의 스펙트럼 포락선은 에너지 분포를 나타내는 값에 의존한다.
이와 같이, 향상 신호의 포락선, 또는 향상 신호는 에너지 분포를 기술하는 값에 기반하여 성형된다(쉐이핑된다, shaped). 이 값은 쉽게 계산될 수 있고 이 값은 향상 신호의 전체 형상 또는 전체 포락선 형상을 정의한다. 이와 같이, 디코더는 낮은 복잡성으로 작동할 수 있고 동시에 좋은 오디오 품질이 얻어진다. 구체적으로, 코어 신호의 스펙트럼 중심 같은 에너지 분포의 값을 계산하는 절차 및 이 스펙트럼 중심(도심, centroid)에 기반한 향상 신호의 조정은 간단하고 낮은 계산적 리소스들과 함께 수행될 수 있는 절차이지만, 주파수 향상 신호를 스펙트럼 성형하기 위해 이용될 때 코어 신호에서의 에너지 분포는 좋은 오디오 품질을 도출한다.
게다가, 이 절차는 고대역 신호의 경사(롤-오프, roll-off) 및 절대 에너지가 코어 신호의 경사(롤-오프, roll-off) 및 절대 에너지로부터, 각각, 유도되는 것을 가능하게 한다. 스펙트럼 포락선의 성형은 이득 곡선(gain curve)의 주파수 표현을 단순히 곱하는 것과 동등하고, 이러한 이득 곡선은 코어 신호의 주파수에 관해 에너지 분포를 설명하는 값으로부터 유도되기 때문에, 계산적으로 효율적으로 수행되도록 주파수 영역의 이러한 작업들을 수행하는 것이 바람직하다. 게다가 시간 영역에서 주어진 스펙트럼 성형을 정확하고 측정하고 외삽하는 것은 계산적으로 복잡하다. 이와 같이, 그러한 작업들은 주파수 영역에서 수행되는 것이 바람직하다. 예를 들어, 마찰 사운드는 일반적으로 고주파수에서 고 에너지량 그리고 낮은 주파수에서 저 에너지량을 갖는다. 에너지 증가는 실제 마찰 사운드에 의존적이며 크로스오버 주파수 약간 아래에서 시작할 수 있다. 시간 영역에서, 이러한 상황을 감지하는 것은 어려우며 그것으로부터 유효한 외삽(extrapolation)을 얻는 것은 계산적으로 복잡하다. 비-마찰 사운드들에 대해 주파수 증가와 함께 인공적 발생 스펙트럼의 에너지가 언제나 떨어진다는 것이 확인된다. 추가 관점에서, 시간적 평활(temporal smoothing) 절차가 적용된다. 코어 신호로부터 향상 신호를 발생시키는 신호 발생기가 제공된다. 향상 신호 또는 코어 신호의 시간 부분은 복수의 부대역들에 대한 부대역 신호들을 포함한다. 향상 주파수 범위의 복수의 부대역 신호들에 대한 동일 평활 정보를 계산하는 컨트롤러가 제공되며 이 평활 정보는, 특히 동일 평활 정보를 이용하여, 이후 향상 주파수 범위의 복수의 부대역 신호들을 평활하는 신호 발생기에 의해 이용되고, 또는 대안적으로 평활이 고주파수 발생 이전에 수행될 때, 이후 코어 신호의 복수의 부대역 신호들은 동일 평활 정보를 모두 이용하여 평활된다. 이 시간적 평활은, 저대역으로부터, 고대역으로, 이어지는, 아주 작은 빠른 에너지 변동의 연속을 피하며, 더 들을만한 지각적 인상을 도출한다. 저-대역 에너지 변동들은 불안정을 야기하는 기본적인 코어-코더의 양자화 에러들에 의해 일반적으로 야기된다. 평활은 신호의 (장기) 정체(stationary)에 의존하기 때문에 신호 적응적(signal adaptive)이다. 게다가, 모든 개별 부대역들에 대한 하나 그리고 동일 평활 정보의 활용은 부대역들 사이의 일관성이 시간적 평활에 의해 변경되지 않는다는 것을 확실히 한다. 대신에, 모든 부대역들은 동일한 방식으로 평활되며, 평활 정보는 오직 향상 주파수 범위의 부대역들로부터 또는 모든 부대역들로부터 유도된다. 이와 같이, 각 부대역 신호의 개별 평활과 비교하여 상당히 더 나은 오디오 품질이 얻어진다.
추가 관점은, 바람직하게는 향상 신호를 발생시키기 위한 전체 절차의 끝에서, 에너지 제한을 수행하는 것에 관련된다. 코어 신호로부터 향상 신호를 발생시키는 신호 발생기가 제공되며, 여기서 향상 신호는 코어 신호에 포함되지 않는 향상 주파수 범위를 포함하며, 여기서 향상 신호의 시간 부분은 하나 또는 복수의 부대역들에 대한 부대역 신호들을 포함한다. 향상 신호를 이용하여 주파수 향상 신호를 발생시키는 합성 필터뱅크가 제공되며, 여기서 신호 발생기는 합성 필터뱅크에 의해 얻어지는 주파수 향상 신호가 고대역의 에너지가, 최대한, 저대역의 에너지와 동일하거나, 최대한, 미리 정의된 임계(threshold)까지, 크도록 확실히 하기 위해 에너지 제한을 수행하도록 구성된다. 이는 단일 확장 대역에 대해 적용될 수 있다. 이후, 비교(comparison) 또는 에너지 제한(energy limitation)은 최고 코어 대역의 에너지를 이용하여 수행된다. 이는 복수의 확장 대역들에 대해서도 적용될 수 있다. 이후 최저 확장 대역은 최고 코어 대역을 이용하여 에너지 제한되고, 최고 확장 대역은 최고 확장 대역에 관한 두번째에 대해 에너지 제한된다.
이러한 절차는 비-유도 대역폭 확장 설계에 대해 특히 유용하지만, 유도된 대역폭 확장 설계들도 도울 수 있으며, 이는 비-유도 대역폭 확장 설계가 특히, 음의 스펙트럼 경사(틸트, tilt)를 갖는 세그먼트들에서, 부자연스럽게 눈에 띄는 스펙트럼 구성요소들에 의해 야기되는 아티팩트들에 취약하기 때문이다. 이러한 구성요소들은 고-주파수 노이즈-파열(noise-bursts)을 야기할 수 있다. 그러한 상황을 피하기 위해, 에너지 제한은 바람직하게는 주파수에 관해 에너지 증가를 제한하는, 처리의 끝에서 적용된다. 실시예에서, QMF (Quadrature Mirror Filtering) 부대역 k에서의 에너지는 QMF 부대역 k-1 에서의 에너지를 초과하지 말아야 한다. 이 에너지 제한은 프레임 당 오직 한번만, 계산을 절약하기 위해 타임-슬롯(시간-슬롯, time-slot) 기반으로 수행될 수 있다. 이와 같이, 대역폭 확장 설계에서 어떠한 부자연스러운 상황도 피해지는 것을 확실히하며, 이는 고주파수 대역은 저주파수 대역보다 더 많은 에너지를 가지거나 고주파수 대역의 에너지가, 3dB의 임계 같은, 미리 결정된 임계 이상으로, 낮은 대역의 에너지보다 더 크다는 것은 아주 부자연스럽기 때문이다. 일반적으로, 모든 음성/음악 신호들은 로-패스(low-pass) 특성을 가지며, 즉 주파수에 대해 다소 점증적으로(monotonically) 감소하는 에너지 컨테츠를 갖는다. 이는 단일 확장 대역에 적용될 수 있다. 이후, 비교 또는 에너지 제한은 이는 최고 코어 대역의 에너지를 이용하여 수행된다. 이는 복수의 확장 대역들에 적용할 수도 있다. 이후 최저 확장 대역은 최고 코어 대역을 이용하여 에너지 제한되며, 최고 확장 대역은 최고 확장 대역에서 두번째(the second to highest extension band)에 관해 에너지 제한된다.
비록 주파수 향상 신호의 성형 기술, 에너지 제한 및 주파수 향상 부대역 신호들의 시간적 평활이 개별적으로 그리고 서로로부터 분리되어 수행될 수 있다 하더라도, 이러한 절차들은 바람직하게는 비-유도 주파수 향상 설계 내에서 모두 함께 수행될 수도 있다.
게다가, 특정 실시예들을 인용하는 종속 청구항들이 언급된다.
도 1은 바람직한 실시예에서 주파수 향상 신호(140)을 발생시키는 장치를 도시하며, 성형 기술에서, 시간적 평활 및 에너지 제한은 함께 수행된다. 그러나, 이러한 기술들은 에너지 제한 기술에 대한 도 11 내지 13 그리고 평활 기술에 대한 도 8 내지 10, 성형 기술에 대한 도 5 내지 7의 컨텍스트에서 논의되는 것처럼, 개별적으로 적용될 수도 있다.
바람직하게는, 도 1의 주파수 향상 신호(140)를 발생시키는 장치는, 코어 디코더가 QMF부대역 신호들을 출력할 때, QMF 영역에서와 같이 필터뱅크 영역에서 코어 신호를 제공하는 어떠한 다른 장치 또는 코어 디코더(100) 또는 분석 필터뱅크를 포함한다. 대안적으로, 분석 필터뱅크(100)는, 코어 신호가 시간 영역 신호이거나 스펙트럼 또는 부대역 영역보다 다른 어떠한 영역에서 제공되는 경우에, 또다른 QMF 필터뱅크 또는 또다른 분석 필터뱅크일 수 있다.
(120)에서 이용가능한 코어 신호(110)의 개별 부대역 신호들은 이후 신호 발생기(200)로 입력되고 신호 발생기(200)의 출력은 향상 신호(130)이다. 이 향상 신호(130)는 코어 신호(110)에 포함되지 않는 향상 주파수 범위를 포함하고 상기 신호 발생기는 예를 들어, (오직) 성형 노이즈(shaping noise) 등에 의해서가 아니라, 코어 신호(110)를 이용하여 또는 바람직하게는 코어 신호 부대역들(120)을 이용하여 이 향상 신호를 발생시킨다. 합성 필터뱅크는 이후 코어 신호 부대역들(120) 및 주파수 향상 신호(130)를 결합하며, 합성 필터뱅크(300)은 이후 주파수 향상 신호를 출력한다.
기본적으로, 신호 발생기(200)는 "HF 발생(HF generation)"으로 표시되는 신호 발생 블록(202)를 포함하며 여기서 HF는 고주파수(high frequency)를 나타낸다. 그러나, 도 1의 주파수 향상은 고주파수가 발생되는 기술에 제한되지 않는다. 대신에, 저주파수 또는 중간 주파수 또한 발생될 수 있고, 예를 들어 지능형 갭 필링(intelligent gap filling, IGF)로부터 알려진 것처럼, 즉 코어 신호가 고대역 및 저대역을 가질 때 그리고 손실된 중간 대역이 있을 때, 코어 신호의 스펙트럼 홀(spectral hole)의 재발생이 있을 수도 있다. 즉, 주파수 향상 범위 또는 고주파수 범위를 발생시키기 위해, 신호 발생(202)은 HE-AAC 또는 미러링 절차(mirroring procedures)로부터 알려진 것처럼 복제(카피-업, copy-up) 절차들을 포함할 수 있고, 코어 신호는 복제(copied up)보다 미러링된다(mirrored).
게다가, 신호 발생기는 성형 기능(shaping functionality, 204)을 포함하며, 이는 코어 신호(120)의 주파수에 관한 에너지 분포를 나타내는 값을 계산하는 계산에 의해 제어된다. 이 성형은 블록(202)에 의해 발생되는 신호의 성형일 수 있거나 기능 202 및 204 사이의 순서가 도 2a 내지 도 2c의 컨텍스트에서 논의되는 것처럼 역전될 때(reversed), 대안적으로는 저주파수의 성형일 수 있다.
추가 기능은 시간적 평활 기능(206)이며, 이는 평활 제어기(smoothing controller, 800)에 의해 제어된다. 에너지 제한(208)은 절차(procedure)의 끝에서 바람직하게 수행되지만, 합성 필터뱅크(300)에 의해 출력되는 결합 신호가, 고주파수 대역이 인접 저주파수 대역보다 더 많은 에너지를 가져서는 안되며 고주파수 대역이 인접 저주파수 대역과 비교하여 더 많은 에너지를 가져서는 안된다는, 에너지 제한 기준을 만족시키는 것을 보장하는 한 처리 기능 202 내지 208 의 연속(chain)의 다른 어떤 위치에든 위치될 수 있으며, 여기서 증가(increment)는, 최대한, 3dB 같이 미리 설정된 임계까지 제한된다.
도 2a는 상이한 순서를 도시하며, 여기에서 성형(204)은 HF 발생(202)을 수행하기 전 에너지 제한(208) 및 시간적 평활(temporal smoothing, 206)과 함께 수행된다. 이와 같이, 코어 신호는 성형/평활/제한되며 이후 이미 완성된 성형/평활/제한된 신호는 향상 주파수 범위로 복제되거나 미러링된다. 게다가, 블록들(204, 206, 208)의 순서가 도 2a가 도 1의 대응 블록들의 순서와 비교할 때 보여질 수 있는 것처럼 어떠한 방식으로든 수행될 수 있다는 것을 이해하는 것이 중요하다.
도 2b는 시간적 평활 및 성형이 저주파수 또는 코어 신호에서 수행되고, HF 발생(202)이 이후 에너지 제한(208) 전에 수행되는 상황을 나타낸다. 게다가, 도 2c는 신호 성형이 저주파수 신호에 대해 수행되며 복제 또는 미러링 같은 것에 의한 이후 HF 발생이 향상 주파수 범위에 대한 신호를 얻기 위해 수행되며, 이 신호는 이후 평활화되고(206) 에너지 제한되는(208) 상황을 도시한다.
게다가, 예를 들어, 도 14에서 도시되는 것처럼, 성형, 시간적 평활 및 에너지 제한 기능들은 부대역 신호에 특정 인수들(factors)을 적용하여 모두 수행될 수 있다는 것이 강조될 것이다. 성형은 개별 대역들 i, i+1, i+2 에 대한 승수(곱하는 수, multipliers)(1402a, 1401a 및 1400a)에 의해 실행된다.
게다가, 시간적 평활은 승수들(1402b, 1401b and 1400b)에 의해 수행된다. 추가적으로, 에너지 제한은 개별 대역들 i + 2, i + 1 및 i 에 대한 제한 인수들(1402c, 1401c 및 1400c)에 의해 수행된다. 곱셈 인수(증배율, multiplication factors)에 의해 이 실시예에서 이러한 기능들 모두가 실행된다는 사실 때문에, 모든 이러한 기능들이 각 개별 대역들에 대해 단일 곱셈 인수(1402, 1401, 1400)에 의해 개별 부대역 신호들에 적용될 수 있고, 이 단일 "마스터(master)" 곱셈 인수는 대역 i + 2에 대한 개별 인수들(1402a, 1402b 및 1402c)의 곱셈이 될 것이고, 상기 상황은 다른 대역들 i + 1 및 i 에도 유사할 것이다. 이와 같이, 부대역들에 대한 실수/허수 부대역 샘플들 값들(real/imaginary subband samples values)은 이 단일 "마스터" 곱셈 인수에 의해 곱해지고 출력은 블록(1402, 1401 또는 1400)의 출력에서 곱해진 실수/허수 부대역 샘플 값들로 얻어지며, 이는 도 1의 합성 필터뱅크(300)으로 도입된다. 이와 같이, 블록들(1400, 1401, 1402)의 출력은 코어 신호에 포함되지 않는 향상 주파수 범위를 일반적으로 커버하는 향상 신호(1300)에 대응한다.
도 3은 신호 발생 처리에 이용되는 상이한 시간 해상도들(time resolutions)을 나타내는 챠트이다. 기본적으로, 신호는 프레임별로(frame-wise) 처리된다. 이는 분석 필터뱅크(100)가 바람직하게는 부대역 신호의 시간적-이후(time-subsequent) 프레임들(320)을 발생시키도록 수행되고, 여기서 부대역 신호들의 각 프레임(320)은 하나 또는 복수의 슬롯들 또는 필터뱅크 슬롯들(340)을 포함한다는 것을 의미한다. 비록 도 3은 프레임 당 네개의 슬롯을 도시하지만, 프레임 당 2, 3, 또는 네개보다 더 많은 슬롯도 있을 수 있다. 도 14에서 도시되는 것처럼, 코어 신호의 에너지 분포에 기반하여 향상 신호 또는 코어 신호의 성형은 프레임 당 한번 수행된다. 다른 한편으로, 시간적 평활은 높은 시간 해상도로 수행되며, 즉 바람직하게는 슬롯(340)당 한번이며, 낮은 복잡성이 요구될 때 에너지 제한은 다시 한번 프레임 당(per frame) 한번 수행될 수 있고, 또는 높은 복잡성이 특정 실시예에서 문제가 되지 않을 때 슬롯 당(per slot) 한번 수행될 수 있다.
도 4는 코어 신호 주파수 범위에서 다섯개의 부대역들(1, 2, 3, 4, 5)을 갖는 스펙트럼의 표현을 나타낸다. 게다가, 도 4의 예는 향상 신호에서 네개의 부대역 신호들 또는 부대역들 (6, 7, 8, 9)을 가지며 코어 신호 범위 및 향상 신호 범위는 크로스오버 주파수(crossover frequency, 420)에 의해 분리된다. 게다가, 시작 주파수 대역(410)이 도시되며, 이는 나중에 논의되는 것처럼, 성형(204) 목적으로 주파수에 관한 에너지 분포를 나타내는 값을 계산하는데 이용된다. 이 절차는 상기 최저 또는 복수의 최저 부대역들이 더 나은 향상 신호 조정을 얻기 위해 주파수에 관한 에너지 분포를 나타내는 값의 계산을 위해 이용되지 않는다는 것을 확실히 한다.
이후, 코어 신호를 이용하는 코어 신호에 포함되지 않는 향상 주파수 범위의 발생(202)의 실행이 도시된다.
교차 주파수 위의 인공 신호(artificial signal)을 발생시키기 위해, 일반적으로 교차 주파수 아래의 주파수 범위로부터 QMF 값들이 고대역으로 복제("패치(patched)")된다. 이 복제-작업은 저주파수 범위서부터 크로스오버 주파수 위의 영역까지 QMF 샘플들을 그냥 이동(shifting)시키는 것에 의해 또는 추가적으로 이러한 샘플들을 미러링하는 것에 의해 수행될 수 있다. 미러링의 이점은 인공적으로 발생된 신호 및 크로스오버 주파수 바로 아래의 신호가 크로스 오버 주파수에서 고조파(harmonic) 구조 및 아주 유사한 에너지를 갖는다는 것이다. 미러링 또는 복제(카피 업,copy up)는 코어 신호의 복수의 부대역들에 또는 코어 신호의 단일 부대역에 적용될 수 있다.
상기 QMF 필터뱅크의 경우에, 미러링된 패치는 바람직하게는 전이 영역(transition region)에서 에일리어싱(aliasing)하는 부대역을 최소화하기 위해 베이스 대역의 음의 공액 복소수(negative complex conjugate)로 구성된다:
여기서 는 시간 지수 t 및 부대역 지수 f에서 QMF의 실수 값(real value)이며 는 허수 값(imaginary value)이다; 는 크로스오버 주파수를 언급하는 QMF 부대역이다; 는 외삽될 대역들의 정수(interger number)이다. 실수 부분에서 마이너스 부호는 음의 공액 복소수 작업을 나타낸다.
바람직하게는, HF 발생(202) 또는 일반적으로 향상 주파수 범위의 발생은 블록(100)에 의해 공급되는 부대역 표현에 의존한다. 바람직하게는, 주파수 향상 신호를 발생시키는 발명의 장치는, 예를 들어, 협대역(narrow band), 광대역 및 초-광대역 출력(super-wideband output)를 지원하기 위해, 샘플링 주파수를 변화시키도록 디코딩된 신호(110)를 리샘플링(resample) 할 수 있는 멀티-대역폭 디코더이어야 한다. 그래서, QMF 필터뱅크(100)는 입력으로 디코딩된 시간 영역 신호를 취한다. 주파수 영역에서 0들(zeroes)을 패딩(padding)하여, QMF 필터뱅크는 디코딩된 신호를 리샘플링하는데 이용될 수 있고, 동일한 QMF 필터뱅크는 바람직하게는 고대역 신호를 생성하는데도 이용된다.
바람직하게는, 주파수 향상 신호를 발생시키는 장치는 주파수 영역에서 모든 작업들을 수행하도록 작동할 수 있다. 이와 같이, 이미 디코더 측면에서 내부 주파수 영역 표현을 갖는 현존 시스템은, 예를 들어, 이미 QMF 필터 뱅크 영역 출력 신호를 제공하는 "코어 디코더(core decoder)"로 블록(100)을 표시하여 도 1에서 도시되는 것처럼 확장된다.
이 표현은 바람직하게는 주파수 영역에서 수행되는 다른 신호 조작 (예를 들어, 하이-패스/로-패스 필터링, 성형된 완화 잡음(shaped comfort noise)의 삽입) 및 샘플링 레이트 변환 같은 추가 작업들에 대해 간단히 재사용된다. 이와 같이, 추가적인 시간-주파수 변환이 계산될 필요가 없다.
HF 컨텐츠에 대한 노이즈를 이용하는 것 대신에, 고대역 신호는 이 실시예에서만 저대역 신호에 기반하여 발생된다. 이는 주파수 영역에서 복제 또는 폴딩-업(folding-up) (미러링) 작업 수단에 의해 수행될 수 있다. 저대역 신호처럼 시간 미세-구조(temporal fine-structure) 또는 동일 고조파를 갖는 고대역 신호가 보장된다. 이는 시간 영역 신호의 계산적 비용이 드는 폴딩(folding) 및 추가적인 지연을 피한다.
이후, 도 1의 성형(204) 기술의 기능은 도 5, 6, 및 7의 컨텍스트에서 논의되며, 여기서 상기 성형은 도 1, 2a-2c 또는 다른 유도 또는 비-유도 주파수 향상 기술들로부터 알려진 다른 기능들과 함께 분리되어 그리고 개별적으로 수행의 컨텍스트에서 수행될 수 있다.
도 5는 코어 신호(120)의 주파수에 관한 에너지 분포를 나타내는 값을 계산하는 계산기(calculator, 500)을 포함하는 주파수 향상 신호(140)를 발생시키는 장치를 도시한다. 게다가, 신호 발생기(200)는 라인(502)에 의해 도시되는 것처럼 코어 신호로부터 코어 신호에 포함되지 않는 향상 주파수 범위를 포함하는 향상 신호를 발생시키도록 구성된다. 게다가, 신호 발생기(200)는 향상 신호의 스펙트럼 포락선이 에너지 분포를 나타내는 값에 의존하도록 도 2a의 컨텍스트에서 코어 신호(120) 또는 도 1의 블록(202)에 의한 출력 같이 향상 신호를 성형하도록 구성된다.
바람직하게는, 상기 장치는 주파수 향상 신호(140)를 얻기 위해 코어 신호(120) 및 블록(200)에 의해 출력되는 향상 신호(130)를 결합하기 위한 결합기(300)를 추가적으로 포함한다. 시간적 평활(206) 또는 에너지 제한(208) 같은 추가적인 작업들은 성형된 신호를 더 처리하는 것이 바람직하지만, 특정 실시예들에서 반드시 요구되는 것은 아니다.
신호 발생기(200)는 향상 주파수 범위의 제1주파수로부터 향상 주파수 범위의 제2고주파수(두번째로 높은 주파수)까지의 제1스펙트럼 포락선 감소가 에너지 분포를 나타내는 제1값에 대해 얻어지도록 향상 신호를 성형하도록 구성된다. 게다가, 향상 범위의 제1주파수로부터 향상 범위의 제2주파수까지의 제2스펙트럼 포락선 감소는 제2에너지 분포를 나타내는 제2값에 대해 얻어진다. 제2주파수가 제1주파수보다 큰 경우, 제2스펙트럼 포락선 감소는 제1스펙트럼 포락선 감소보다 크며, 제1값은 코어 신호가 코어 신호의 낮은 주파수 범위에서의 에너지 집중을 나타내는 제2값과 비교하여 코어 신호의 고주파수 범위에서의 에너지 집중을 갖는다는 것을 나타낸다.
바람직하게는, 계산기(500)는 에너지 분포에 정보 값으로서 현재 프레임의 스펙트럼 중심에 대한 측정(measure)을 계산하도록 구성된다. 이후, 고주파수에서의 스펙트럼 중심이 낮은 주파수에서 스펙트럼 중심과 비교하여 스펙트럼 포락선의 더 낮은 경사를 도출하도록, 신호 발생기(200)는 스펙트럼 중심에 대한 이 측정에 따라 성형한다.
에너지 분포 계산기(500)에 의해 계산되는 에너지 분포에 대한 정보는 제1주파수에서의 시작 및 제1주파수보다 더 높은 제2주파수에서의 종결하는 코어 신호의 주파수 부분에 대해 계산된다. 제1주파수는, 예를 들어 도 4의 (410)에서 도시되는 것처럼, 코어 신호의 최저 주파수보다 낮다. 바람직하게는, 제2주파수는 크로스오버 주파수(420)이지만 상기 경우가 그럴 수 있는 것처럼 크로스오버 주파수(420)보다 낮은 주파수일 수도 있다. 그러나, 크로스오버 주파수(420)에 가능한 많이 스펙트럼 분포에 대한 측정을 계산하는데 이용되는 제2주파수를 확장하는 것이 바람직하며 최적의 오디오 품질의 도출한다.
실시예에서, 도 6의 절차는 에너지 분포 계산기(500) 및 신호 발생기(200)에 의해 적용된다. 단계 602에서, E(i)에서 표시되는 코어 신호의 각 대역에 대한 에너지 값이 계산된다. 이후, 향상 주파수 범위의 모든 대역들의 조정에 대해 이용되는 sp 같은 단일 에너지 분포 값은 블록 604에서 계산된다. 이후, 단계 606에서, 가중 인수들(weighting factors)은 이 단일 값에 대해 이용하는 향상 주파수 범위의 모든 대역들에 대해 계산되고, 여기서 가중 인수들은 바람직하게는 att f 이다.
이후, 신호 발생기(208)에 의해 수행되는 단계 608에서, 가중 인수들은 부대역 샘플들의 실수 및 허수 부분들에 적용된다.
마찰 사운드들은 QMF 영역에서 현재 프레임의 스펙트럼 중심을 계산하여 감지된다. 스펙트럼 중심은 0.0 에서 1.0의 범위를 갖는 단위(측정)이다. 높은 스펙트럼 중심(1에 가까운 값)은 사운드의 스펙트럼 포락선이 상승하는 경사를 갖는다는 것을 의미한다. 음성 신호들에 대해 이는 현재 프레임이 아마도 마찰음을 포함한다는 것을 의미한다. 스펙트럼 중심의 값이 1에 더 가까울수록, 스펙트럼 포락선의 경사는 더 가파르게 되거나 더 많은 에너지가 고주파수 범위에 집중된다.
스펙트럼 중심은 다음에 따라 계산된다:
여기서 E(i)는 QMF부대역 i 의 에너지이고 start 는 1kHz를 인용하는 QMF 부대역-지수이다. 복제된 QMF 부대역들은 인수 att f 로 가중된다:
여기서 p는 다항식이다. 바람직하게, 상기 다항식은 1차이다:
여기서 a, b 또는 일반적으로 다항식 계수는 모두 0 및 1 사이이다.
위 방정식을 제외하고, 비슷한 성능을 갖는 다른 방정식들이 적용될 수 있다. 그러한 다른 방정식들은 다음과 같다:
특히, a i 값은 높은 i 보다 더 높아야 하고, 중요하게는, bi 값은 적어도 지수 i > 1 에 대해 a i 값보다 낮아야 한다. 이와 같이, 상기 방정식과 비교하여 상이한 방정식으로, 유사한 결과가 얻어진다. 일반적으로, ai, bi 는 i와 함께 점증적으로 증가 또는 감소하는 값이다.
게다가, 도 7이 언급된다. 도 7은 상이한 에너지 분포 값 sp에 대한 개별 가중 인수들 att f 를 도시한다. sp가 1과 같을 때, 코어 신호의 전체 에너지는 코어 신호의 최고 대역에 집중된다. 이후, att 가 1과 같고 가중 인수들 att f 은 도 700에서 도시되는 것처럼 주파수에 대해 일정하다. 다른 한편으로, 코어 신호의 완전한 에너지가 코어 신호의 최저 대역에 집중될 때, sp는 0과 같고 att는 0.5와 같으며 주파수에 대한 조정 인수들의 대응 과정(course)은 706으로 도시되었다.
(702) 및 (704)로 표시된 주파수에 대한 성형 인수들(shaping factors)의 과정은 대응하여 증가하는 스펙트럼 분포 값들에 대한 것들이다. 이와 같이, 항목(704) 에 대해, 에너지 분포 값은 0보다 크지만 파라메트릭 화살표(708)로 표시되는 것처럼 항목(702)에 대한 에너지 분포 값보다 작다.
도 8은 시간적 평활 기술을 이용하여 주파수 향상 신호를 발생시키는 장치를 도시한다. 상기 장치는 코어 신호(120, 110)로부터 향상 신호를 발생시키는 신호 발생기(200)를 포함하며, 여기서 향상 신호는 코어 신호에 포함되지 않는 향상 주파수 범위를 포함한다. 프레임(320)같은 현재 시간 부분(current time portion) 및 향상 신호 또는 코어 신호의 슬롯(340)은 바람직하게는 복수의 부대역들에 대한 부대역 신호들을 포함한다.
제어기(controller, 800)는 코어 신호 또는 향상 주파수 범위의 복수의 부대역 신호들에 대한 동일 평활 정보(802)를 계산한다. 게다가, 신호 발생기(200)는 동일 평활 정보(802)를 이용하여 코어 신호의 복수의 부대역을 평활하도록 또는 동일 평활 정보(802)를 이용하여 향상 주파수 범위의 복수의 부대역 신호들을 평활하도록 구성된다. 신호 발생기(200)의 출력은, 도 8에서, 이후 결합기(300)로 입력될 수 있는 평활 향상 신호(smooth enhancement signal)이다. 도 2a-2c의 컨텍스트에서 논의되는 것처럼, 평활(206)은 도 1의 프로세싱 체인(processing chain)의 어느 위치에서든 수행될 수 있고 또는 다른 어떠한 주파수 향상 설계의 컨텍스트에서 개별적으로도 수행될 수 있다.
제어기(800)는 바람직하게는 시간 부분의 주파수 향상 신호만을 이용하여 또는 주파수 향상 신호 및 코어 신호의 복수의 부대역 신호들의 결합된 에너지를 이용하여 평활 정보를 계산하도록 구성된다. 게다가, 코어 신호 및 주파수 향상 신호의 또는 현재 시간 부분을 선행하는 하나 이상의 초기(앞의, earlier) 시간 부분의 코어 신호의 복수의 부대역 신호들의 평균 에너지가 이용된다. 평활 정보는 모든 대역들에서 향상 주파수 범위의 복수의 부대역 신호들에 대한 단일 보정 인수이며, 그래서 신호 발생기(200)는 향상 주파수 범위의 복수의 부대역 신호들에 대해 보정 인수(correction factor)를 적용하도록 구성된다.
도 1의 컨텍스트에서 논의되는 것처럼, 상기 장치는 복수의 시간적-이후(time-subsequent) 필터뱅크 슬롯들에 대한 코어 신호의 복수의 부대역 신호들을 제공하는 제공자(provider) 또는 필터뱅크(100)를 더 포함한다. 게다가, 신호 발생기는 코어 신호의 복수의 부대역 신호들을 이용하여 복수의 시간적-이후 필터뱅크 슬롯들에 대한 향상 주파수 범위의 복수의 부대역 신호들을 유도하도록 구성되며, 제어기(800)는 각 필터뱅크 슬롯에 대해 개별 평활 정보(802)를 계산하도록 구성되며 평활은 이후, 새로운 개별 평활 정보와 함께, 각 필터뱅크 슬롯에 대해, 수행된다.
제어기(800)는 하나 이상의 선행 시간 부분들에 기반하여 그리고 현재 시간 부분의 주파수 향상 신호 또는 코어 신호에 기반하여 평활 강도 제어 값(smoothing intensity control value)을 계산하도록 구성되며, 상기 제어기(800)는 평활 강도가 하나 이상의 선행 시간 부분들의 주파수 향상 신호 또는 코어 신호의 평균 에너지 및 현재 시간 부분의 주파수 향상 신호 또는 코어 신호의 에너지 사이의 차이에 의존하여 변하는 평활 제어 값을 이용하여 평활 정보를 계산하도록 구성된다.
신호 발생기(200) 및 제어기(800)에 의해 수행되는 절차를 도시하는 도 9가 언급된다. 제어기(800)에 의해 수행되는, 단계(900)은, 예를 들어 하나 이상의 선행 시간 부분들에서 평균 에너지 및 현재 시간 부분에서 에너지 사이의 차이에 기반하여 발견될 수 있지만, 평활 강도에 관한 결정을 위한 다른 어떤 절차에서도 이용될 수 있다. 하나의 대안은 대신에 또는 추가적으로 장래의 시간 슬롯들이 이용되는 것이다. 추가 대안은 프레임 당 단일 변환만을 갖는 것이고 시간적으로 이후 프레임들에 대해 평활할(smooth) 것이다. 이는 스트리밍 응용 같은, 지연이 문제가 되지 않는 응용들에서 문제가 되지 않을 수 있다. 예를 들어 모바일 폰들을 이용하는, 쌍 방향 통신(two way communication)에 대한 것처럼 지연이 문제가 되는 응용들에 대해서는, 과거 또는 선행 프레임들이 장래 프레임들보다 선호되며, 이는 과거 프레임들의 이용은 지연을 야기하지 않기 때문이다.
이후, 단계 902에서, 평활 정보는 단계 900의 평활 강도의 결정에 기반하여 계산된다. 이 단계 902는 제어기(800)에 의해서도 수행된다. 이후, 신호 발생기(200)는 몇몇 대역들에 대한 평활 정보의 응용을 포함하며, 여기서 하나(one) 및 동일 평활 정보(802)는 향상 주파수 범위에서 또는 코어 신호에서 이러한 몇몇 대역들에 적용된다.
도 10은 단계들의 도 9 시퀀스(sequence) 실시의 바람직한 절차를 도시한다. 단계 1000에서, 현재 슬롯의 에너지가 계산된다. 이후, 단계 1020에서, 하나 이상의 이전 슬롯들의 평균 에너지가 계산된다. 이후, 단계 1040에서, 현재 슬롯에 대한 평활 계수는 블록 1000 및 1020에 의해 얻어지는 값들 사이의 차이에 기반하여 결정된다. 이후, 단계 1060은 현재 슬롯에 대한 보정 인수의 계산을 포함하며 단계 1000 내지 1060은 제어기(800)에 의해 모두 수행된다. 이후, 신호 발생기(200)에 의해 수행되는, 단계 1080에서, 실제 평활 작업이 수행되며, 즉 대응 보정 인수가 하나의 슬롯 내의 모든 부대역 신호들에 적용된다.
하나의 실시예에서, 시간적 평활이 두 단계로 수행된다:
평활 강도에 대한 결정. 평활 강도에 대한 결정을 위해, 시간에 대한 신호의 고정(stationary)이 측정된다. 이러한 측정을 수행하는 가능한 방법은 QMF 시간-슬롯들 또는 이전 단기 윈도우들(previous short-term windows)의 평균 에너지 값들과 QMF 시간-슬롯 또는 현재 단기 위도우의 에너지를 비교하는 것이다. 계산을 절약하기 위해, 이는 고-대역 부분에서만 측정될 수도 있다. 비교된 에너지 값들이 근접할수록, 평활 강도가 더 낮아져야 한다. 이는 평활 계수 α에서 반영되며, 여기서 0<α≤1이다. α가 더 클수록, 평활 강도가 더 높다.
고- 대역에 대한 평활의 적용 . 상기 평활은 QMF 시간-슬롯 베이스에 고-대역 부분에 대해 적용된다. 그래서, 현재 시간-슬롯의 고-대역 에너지 Ecurr t 는 하나 또는 복수의 이전 QMF 시간-슬롯들의 평균 고-대역 에너지 Eavg t 에 적용된다.
Ecurr 은 하나의 시간 슬롯에서 고-대역 QMF 에너지들의 합으로 계산된다:
Eavg 는 에너지들의 시간에 이동 평균(moving average)이다:
여기서 start 및 stop 은 이동 평균을 계산하는데 이용되는 간격의 경계들(borders)이다.
합성을 위해 이용되는 실수 및 허수 QMF 값들은 보정 인수 currFac와 곱해진다.
이는 Ecurr 및 Eavg 로부터 유도된다:
인수 α는 고정되거나 또는 Ecurr 및 Eavg 의 에너지 차이에 의존할 수 있다.
이미 도 14에서 논의된 것처럼, 시간적 평활에 대한 시간 해상도는 에너지 제한 기술의 시간 해상도 또는 성형의 시간 해상도보다 높게 설정된다. 이는 부대역 신호들의 일시적인 평활 과정이 얻어지며 반면, 동시에, 계산적으로 더 집중적인 성형은 프레임 당 단 한번만 수행된다는 것을 확실히 한다. 그러나, 하나의 부대역으로부터 다른 부대역으로, 즉 주파수 방향으로, 어떠한 평활이든 수행되지 않는데, 이는 이미 발견된 바와 같이, 이는 실질적으로 주관적 청취 품질을 감소시키기 때문이다.
향상 범위에서 모든 부대역들에 대한 보정 인수 같은 동일 평활 정보를 이용하는 것이 바람직하다. 그러나, 동일 평활 정보가 모든 대역들에 대해서가 아니라 대역들의 그룹에 대해서 적용되고 그러한 그룹이 적어도 두개의 부대역들을 갖는 실시예가 가능할 수도 있다.
도 11은 도 1에서 도시된 에너지 제한 기술(208)을 겨냥하는 추가 관점을 도시한다. 구체적으로, 도 11은 향상 신호를 발생시키는 신호 발생기(200)을 포함하는 주파수 향상 신호를 발생시키는 장치를 도시하며, 향상 신호는 코어 신호에 포함되지 않는 향상 주파수 범위를 포함한다. 게다가, 향상 신호의 시간 부분은 복수의 부대역들에 대한 부대역 신호들을 포함한다. 추가적으로, 상기 장치는 향상 신호(130)를 이용하여 주파수 향상 신호(140)를 발생시키는 합성 필터뱅크(300)를 포함한다.
에너지 제한 절차를 실행하기 위해, 신호 발생기(200)는 상기 합성 필터뱅크(300)에 의해 얻어지는 주파수 향상 신호(140)가 고대역의 에너지가 저대역의 에너지와, 최대한, 동일하거나, 최대한, 미리 결정된 임계까지, 저대역의 에너지보다 크도록 보장하기 위해, 에너지 제한을 수행하도록 구성된다.
신호 발생기는 높은 QMF 부대역 k 가 QMF 부대역 k-1에서의 에너지를 초과하지 않게 보장하도록 구현되는 것이 바람직하다. 그럼에도 불구하고, 신호 발생기(200)는 바람직하게는 3dB의 임계(threshold)일 수 있는 특정 점진적 증가를 허용하도록 구성될 수도 있고 임계는 바람직하게는 2dB 그리고 더 바람직하게는 1dB 또는 그보다 더 작을 수 있다. 미리 결정된 임계는 이전에 계산된 스펙트럼 중심에 의존하거나 각 대역에 대해 일정할 수 있다. 바람직한 의존도는 상기 중심이 낮은 주파수에 접근할 때, 임계가 더 낮아지는 것, 즉 더 작아지는 것이며, 반면 더 가까운 중심이 더 높은 주파수에 접근하거나 sp가 1에 접근할 때 상기 임계가 더 커질 수 있다.
추가 실시예에서, 신호 발생기(200)는 제1부대역의 제1부대역 신호를 검사하고 그리고 제1부대역의 중심 주파수보다 더 높은 중심 주파수를 가지고 제1부대역에 주파수에 인접한 제2부대역의 부대역 신호를 검사하도록 구성되며, 제2부대역 신호의 에너지가 제1부대역 신호의 에너지와 동일할 때 또는 제2부대역 신호의 에너지가 미리 정의된 임계 이하로 제1부대역 신호의 에너지보다 클 때 상기 신호 발생기는 제2부대역 신호를 제한하지 않을 것이다.
게다가, 예를 들어, 신호 발생기는 도 1 또는 도 2a-2c에서 도시되는 것처럼 복수의 처리 작업을 일련의 순서로 형성하도록 구성된다. 이후, 신호 발생기는 바람직하게는 합성 필터뱅크(300)로 입력되는 향상 신호(130)를 얻기 위해 순서(sequence)의 끝에 에너지 제한을 수행한다. 이와 같이, 합성 필터뱅크(300)는 에너지 제한의 최종 처리에 의해 순서의 끝에서 발생되는 향상 신호(130)를, 입력으로서, 받도록 구성된다.
게다가, 신호 발생기는 에너지 제한 전에 스펙트럼 성형(204) 또는 시간적 평활(206)을 수행하도록 구성된다.
바람직한 실시예에서, 신호 발생기(200)는 코어 신호의 복수의 부대역들을 미러링하여 향상 신호의 복수의 부대역 신호들을 발생시키도록 구성된다.
미러링을 위해, 바람직하게는 실수 부분 또는 허수 부분을 부정(negating)하는 절차가 앞서 논의된 것처럼 수행된다.
추가 실시예에서, 신호 발생기는 보정 인수 limFac 를 계산하도록 구성되며 이후 이 제한 인수 limFac 는 다음에 따라 향상 주파수 범위 또는 코어의 부대역 신호들에 적용된다.
E f 가 시간 범위 stop-start에 대해 평균내어진 한 대역의 에너지라고 해보자:
만약 이 에너지가 이전 대역의 평균 에너지를 몇몇 레벨만큼 초과하는 경우, 이 대역의 에너지는 보정/제한 인수 limFac 에 의해 곱해진다:
실수 및 허수 QMF 값들은 다음에 의해 보정된다:
미리 결정된 임계 fac는 는 이전에 계산된 스펙트럼 중심에 의존하거나 각 대역에 대해 일정할 수 있다.
는 f에 의해 표시되는 부대역에서 부대역 신호의 에너지 제한된 실수 부분이다. 는 부대역 f에서 에너지 제한 이후의 부대역 신호의 대응 허수 부분이다. 및 는 성형된 그리고 시간적으로 평활된 부대역 신호들 또는 바로 아무런 성형 또는 시간적 평활이 일어나지 않을 때의 부대역 신호들 같은 에너지 제한 전의 부대역 신호들의 대응하는 실수 및 허수 부분들이다.
또다른 실시예에서, 제한 인수 limFac 는 다음 방정식을 이용하여 계산된다:
이 방정식에서, E lim 은 일반적으로 저대역의 에너지 또는 특정 임계 fac만큼 증가된 저대역의 에너지인, 제한 에너지이고, E f (i) 은 현재 대역 f 또는 i의 에너지이다.
향상 주파수 범위에서 7개의 대역들이 있는 특정 예를 나타내는 도 12a 및 도 12b가 언급된다. 대역 1202는 에너지에 관해 대역 1201 보다 더 크다. 이와 같이, 도 12b로부터 명확해지는 것처럼, 대역 1202는 이 대역에 대한 도 12b의 1250에서 표시되는 것처럼 에너지-제한된다. 게다가, 대역들 1205, 1204 및 1206은 모두 대역 1203보다 크다. 이와 같이, 세 대역들 모두 도 12b의 1250로 도시되는 것처럼 에너지-제한된다. 남아있는 오직 비-제한 대역들은 대역들 1201 (이는 복원 범위에서 첫번째 대역이다) 및 대역들 1203 및 1207이다.
요약된 것처럼, 도 12a/12b는 고대역이 저대역보다 더 많은 에너지를 가지지 않도록 제한하는 상황을 도시한다. 그러나, 상기 상황은 특정 증가가 허용될 때 조금 다르게 보일 것이다.
에너지 제한은 단일 확장 대역에 대해 적용될 수 있다. 이후, 비교 또는 에너지 제한이 최고 코어 대역의 에너지를 이용하여 수행된다. 이는 복수의 확장 대역들에 대해 적용될 수도 있다. 최저 확장 대역은 최고 코어 대역을 이용하여 에너지 제한되고, 최고 확장 대역은 최고 확장 대역에 대한 두번째 것(the second)에 관해 에너지 제한된다.
도 15는 전송 시스템 또는, 일반적으로 인코더(1500) 및 디코더(1510)를 포함하는 시스템을 도시한다. 상기 인코더는 바람직하게는 대역폭 감소를 수행하는, 또는 완전한 상부 주파수 범위 또는 상부 대역일 필요가 없지만, 코어 주파수 대역들 사이에서 어떠한 주파수 대역이든 될 수 있는, 일반적으로 원래 오디오 신호(1501)의 몇몇 주파수 범위들을 삭제하는 인코딩된 코어 신호를 발생시키는 인코더이다. 이후, 인코딩된 코어 신호는 어떠한 부가 정보도 없이 인코더(1500)로부터 디코더(1510)까지 전송되며 상기 디코더(1510)는 주파수 향상 신호(140)를 얻기 위해 비-유도 주파수 향상을 수행한다. 이와 같이, 상기 디코더는 도 1 내지 14 중 어느 것에서 논의되는 것처럼 실행될 수 있다.
비록 본 발명이 블록들이 실제 또는 논리적인 하드웨어 부품들을 나타내는 블록 다이어그램의 컨텍스트에서 설명되었지만, 본 발명은 컴퓨터-실행 방법에 의해 실행될 수 있다. 후자의 경웅, 상기 블록들은 단계들이 대응하는 논리적 또는 물리적 하드웨어 블록들에 의해 수행되는 기능들을 나타내는 대응 방법 단계들을 나타낸다.
비록 몇몇 관점들이 장치의 관점에서 설명되었지만, 이러한 관점들은 또한 대응하는 방법의 묘사도 나타낸다는 것이 명백하며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 관점들은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명 또한 나타낸다. 방법 발명의 몇몇 또는 전체는, 마이크로프로세서, 프로그래밍 가능한 컴퓨터 또는 전기 회로같은, 하드웨어 장치에 의해 (또는 그것을 이용하여) 실행될 수 있다. 몇몇 실시예들에서, 가장 중요한 방법 단계들 중 몇몇 또는 그 이상은 그러한 장치에 의해 실행될 수 있다.
발명의 전송되는 또는 인코딩된 신호는 인터넷 같은 유선 통신 매체 또는 무선 통신 매체 같은 전송 매체에서 전송될 수 있고 또는 디지털 저장 매체에 저장될 수 있다.
특정한 실행의 요구들에 의존하여, 이 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 실행될 수 있다. 실행들은 전자적으로 읽을 수 있는 컨트롤 신호들을 그곳에 저장하고 있는 디지털 저장매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리,를 이용하여 수행될 수 있고 그것은, 각 방법이 수행되는, 프로그래밍 가능한 컴퓨터 시스템과 연동한다(또는 연동할 수 있다).
본 발명에 따른 몇몇 실시 예들은 전자적 판독 가능한 컨트롤 신호들을 갖는 데이터 캐리어를 포함하며, 그것은 여기서 설명된 방법 중 하나가 수행되는 프로그래밍 가능한 컴퓨터 시스템과 연동 가능하다.
일반적으로 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 실행될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 수행될 때 상기 방법 중 하나를 수행하도록 작동되는 것이다. 프로그램 코드는 예시적으로 기계 판독가능 캐리어에 저장될 수도 있다.
다른 실시 예들은 여기에 설명되고, 기계 판독가능 캐리어에 저장된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다른 말로, 발명의 방법의 실시 예는, 컴퓨터 프로그램이 컴퓨터에서 운영될 때 여기서 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
발명의 방법의 추가 실시 예는, 거기에 저장된, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어이다(또는 디지털 저장 매체, 또는 컴퓨터 판독가능 매체). 데이터 캐리어, 디지털 저장 매체 또는 레코딩 매체는 일반적으로 유형 및/또는 무형이다.
발명의 방법의 또 다른 실시 예는, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 순서 또는 데이터 스트림이다. 데이터 스트림 또는 신호들의 순서는, 예를 들어 인터넷 같은 데이터 통신 연결을 통해 전송되기 위해 예시적으로 구성될 수 있다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위해 구성되거나 적응되기 위하여 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그래밍 가능한 논리 장치를 포함한다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 그 자체에 설치된 컴퓨터를 포함한다.
발명에 따른 추가 실시예는 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 리시버에 (예를 들어, 전기적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 리시버는, 예를 들어, 컴퓨터, 모바일 장치, 메모리 장치 또는 유사품일 수 있다. 장치 또는 시스템은, 예를 들어, 컴퓨터 프로그램을 리시버에 전송하기 위한 파일 서버를 포함할 수 있다.
몇몇 실시예들에서, 프로그램가능한 논리 장치(예를 들어, 필드 프로그래밍가능 게이트 어레이)는 여기서 설명된 방버들의 기능 중 몇몇 또는 전체를 수행하도록 이용될 수 있다. 몇몇 실시 예에서, 프로그래밍 가능한 논리 장치(예를 들어 필드 프로그래밍 가능한 게이트 어레이)는 여기서 설명된 방법 중 모든 기능 또는 몇몇을 수행하도록 사용될 수 있다. 몇몇 실시 예에서, 필드 프로그래밍 가능한 게이트 어레이는 여기서 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 연동될 수 있다. 일반적으로, 상기 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해서도 수행된다.
상기 설명된 실시 예들은 단지 본 발명의 원리를 위해 예시적일 뿐이다. 본 상기 배열의 변형, 변화, 그리고 여기서 설명된 자세한 내용들을 기술분야의 다른 숙련자에게 명백하다고 이해되어야 한다. 그것의 의도는, 따라서, 여기의 실시 예의 설명 또는 묘사의 방법에 의해 표현된 특정 세부사항들에 의해 제한되는 것이 아닌 오직 목전의 특허 청구항의 범위에 의해서만 제한된다는 것이다.
Claims (17)
- 코어 신호(120)로부터 향상 신호를 발생시키는 신호 발생기(200);
상기 향상 신호(130)를 이용하여 주파수 향상 신호(140)를 발생시키는 합성 필터뱅크(300);를 포함하며,
상기 향상 신호는 상기 코어 신호에 포함되지 않는 향상 주파수 범위를 포함하며, 상기 향상 신호의 시간 부분은 단일 부대역 또는 복수의 부대역들에 대한 하나 이상의 부대역 신호들을 포함하며,
상기 신호 발생기(200)는 합성 필터뱅크(300)에 의해 얻어지는 주파수 향상 신호(140)가, 고대역의 에너지가, 최대한, 저대역의 에너지와 동일하거나, 최대한, 미리 정의된 임계까지, 고대역의 에너지보다 크도록, 확실히 하기 위해 상기 신호 발생기(200)가 에너지 제한을 수행하도록 구성되는, 주파수 향상 신호(130)를 발생시키는 장치. - 제1항에 있어서,
상기 신호 발생기(200)는, 미리 정의된 임계로, 상기 코어 신호에서 에너지의 스펙트럼 분포를 나타내는 값으로부터 유도되는 임계 또는 3dB 또는 그보다 작은 임계를 이용하도록 구성되는, 주파수 향상 신호를 발생시키는 장치. - 제1항 또는 제2항에 있어서,
상기 신호 발생기(200)는, 제2부대역의 에너지가 제1부대역 신호의 에너지와 동일할 때 또는 상기 제2부대역 신호의 에너지가 상기 미리 정의된 임계 이하로 상기 제1부대역 신호의 에너지보다 클 때, 제1부대역의 제1부대역 신호를 검사하도록, 그리고 제1부대역의 중심 주파수보다 높은 중심 주파수를 갖고 제1부대역에 대한 주파수에 인접한 제2부대역의 제2부대역 신호를 검사하도록, 그리고 상기 제2부대역 신호를 제한하지 않도록 구성되는, 주파수 향상 신호를 발생시키는 장치. - 상기 선행 청구항들 중 어느 한 항에 있어서,
상기 신호 발생기(200)는 일련의 순서로 복수의 처리 작업들(202, 204, 206, 208)을 수행하도록 구성되며,
신호 발생기(200)는 상기 향상 신호를 얻기 위해 순서의 끝에 에너지 제한을 수행하도록 구성되며,
합성 필터뱅크(300)는 에너지 제한의 최종 처리에 의해 순서의 끝에서 발생되는 향상 신호를, 입력으로서, 받도록 구성되는, 주파수 향상 신호를 발생시키는 장치. - 상기 선행 청구항들 중 어느 한 항에 있어서,
상기 신호 발생기(200)는 상기 에너지 제한(208) 전에 스펙트럼 성형(204) 또는 시간적 평활(206)을 수행하도록 구성되는, 주파수 향상 신호를 발생시키는 장치. - 상기 선행 청구항들 중 어느 한 항에 있어서,
상기 신호 발생기는 상기 코어 신호(120)의 복수의 부대역들을 미러링(202)하여 상기 향상 신호의 복수의 부대역 신호들을 발생시키도록 구성되는, 주파수 향상 신호를 발생시키는 장치. - 상기 선행 청구항들 중 어느 한 항에 있어서,
상기 신호 발생기(200)는 다음 방정식에 기반하여 상기 제한 작업을 수행하도록 구성되며:
fac는 스펙트럼 중심에 의존하거나 각 대역에 대해 일정할 수 있는 미리 결정된 임계이며, 는 f에 의해 표시되는 부대역에서 부대역 신호의 에너지 제한된 실수 부분이고, 는 부대역 f에서 에너지 제한 이후의 부대역 신호의 대응 허수부분이며, limFac은 제한 인수이며, E f 는 현재 부대역의 에너지이고, E f -1 은 더 낮은 중심 주파수를 갖는 부대역인, 주파수 향상 신호를 발생시키는 장치. - 제8항에 있어서,
더 낮은 중심 주파수를 갖는 상기 부대역은 현재 부대역에 인접한 것을 특징으로 하는, 주파수 향상 신호를 발생시키는 장치. - 제5항에 있어서,
상기 신호 발생기(200)는 제1시간 해상도(320)와 에너지 제한을 수행하도록 구성되며,
스펙트럼 성형(204)은 제2시간 해상도로 수행되고, 또는
상기 시간적 평활(206)은 제3시간 해상도도 수행되며,
상기 제1시간 해상도는 제2시간 해상도와 동일하고, 또는 상기 제3시간 해상도는 제1시간 해상도보다 높은, 주파수 향상 신호를 발생시키는 장치. - 상기 선행 청구항들 중 어느 한 항에 있어서,
상기 장치는 상기 코어 신호에 포함되지 않은 향상 주파수 범위를 나타내는 파라메트릭 부가 정보를 이용하지 않고, 비-유도 주파수 향상을 수행하도록 구성되는 것을 특징으로 하는, 주파수 향상 신호를 발생시키는 장치. - 제5항에 있어서,
상기 신호 발생기(200)는 필터뱅크 영역의 현재 프레임의 스펙트럼 중심에 대한 정보를 이용하여 스펙트럼 성형(204)을 수행하도록 구성되는, 주파수 향상 신호를 발생시키는 장치. - 제5항에 있어서,
상기 신호 발생기(200)는 상기 향상 신호 또는 코어 신호의 복수의 부대역 신호들로부터 계산되는 동일 평활 정보를 이용하여 코어 신호 또는 향상 신호의 복수의 부대역들의 시간적 평활(206)을 수행하도록 구성되는, 주파수 향상 신호를 발생시키는 장치. - 코어 신호(120)로부터 향상 신호를 발생시키는 단계(200);
합성 필터뱅크에 의해, 상기 향상 신호(130)를 이용하여 주파수 향상 신호(140)를 발생시키는 단계(300);를 포함하며,
상기 향상 신호는 상기 코어 신호에 포함되지 않는 향상 주파수 범위를 포함하며, 상기 향상 신호의 시간 부분은 단일 부대역 또는 복수의 부대역들에 대한 하나 이상의 부대역 신호들을 포함하며,
상기 발생시키는 단계(200)는 합성 필터뱅크(300)에 의해 얻어지는 주파수 향상 신호(140)가, 고대역의 에너지가, 최대한, 저대역의 에너지와 동일하거나, 최대한, 미리 정의된 임계까지, 고대역의 에너지보다 크도록, 확실히 하기 위해 상기 신호 발생기(200)가 에너지 제한을 수행하도록 구성되는, 주파수 향상 신호(130)를 발생시키는 방법. - 인코딩된 코어 신호(110)를 발생시키는 인코더(1500); 및
제1항 내지 제13항 중 어느 한 항의 주파수 향상 신호를 발생시키는 장치;를 포함하는, 오디오 신호들을 처리하는 시스템. - 인코딩된 코어 신호(110)를 발생시키는 단계(1500); 및
제14항의 방법을 이용하여 주파수 향상 신호를 발생시키는 단계;를 포함하는, 오디오 신호들을 처리하는 방법. - 컴퓨터 또는 프로세서 상에서 수행될 때, 제14항 또는 제16항의 방법을 수행하기 위한 컴퓨터 프로그램.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361758090P | 2013-01-29 | 2013-01-29 | |
US61/758,090 | 2013-01-29 | ||
PCT/EP2014/051603 WO2014118161A1 (en) | 2013-01-29 | 2014-01-28 | Apparatus and method for generating a frequency enhancement signal using an energy limitation operation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150109416A true KR20150109416A (ko) | 2015-10-01 |
KR101762225B1 KR101762225B1 (ko) | 2017-07-28 |
Family
ID=50029033
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157020470A KR101787497B1 (ko) | 2013-01-29 | 2014-01-28 | 향상 신호의 성형을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 |
KR1020157022257A KR101757349B1 (ko) | 2013-01-29 | 2014-01-28 | 부대역들의 시간적 평활을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 |
KR1020157022258A KR101762225B1 (ko) | 2013-01-29 | 2014-01-28 | 에너지 제한 작업을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157020470A KR101787497B1 (ko) | 2013-01-29 | 2014-01-28 | 향상 신호의 성형을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 |
KR1020157022257A KR101757349B1 (ko) | 2013-01-29 | 2014-01-28 | 부대역들의 시간적 평활을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 |
Country Status (20)
Country | Link |
---|---|
US (4) | US9552823B2 (ko) |
EP (4) | EP2951826B1 (ko) |
JP (3) | JP6289507B2 (ko) |
KR (3) | KR101787497B1 (ko) |
CN (3) | CN105103228B (ko) |
AR (3) | AR094670A1 (ko) |
AU (3) | AU2014211528B2 (ko) |
BR (3) | BR112015017866B1 (ko) |
CA (3) | CA2899072C (ko) |
ES (3) | ES2914614T3 (ko) |
HK (2) | HK1218019A1 (ko) |
MX (3) | MX346944B (ko) |
MY (3) | MY185159A (ko) |
PL (1) | PL2951825T3 (ko) |
PT (1) | PT2951825T (ko) |
RU (3) | RU2625945C2 (ko) |
SG (3) | SG11201505908QA (ko) |
TW (2) | TWI524332B (ko) |
WO (3) | WO2014118160A1 (ko) |
ZA (2) | ZA201506265B (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014118160A1 (en) | 2013-01-29 | 2014-08-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands |
TWI557727B (zh) * | 2013-04-05 | 2016-11-11 | 杜比國際公司 | 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品 |
US9418671B2 (en) * | 2013-08-15 | 2016-08-16 | Huawei Technologies Co., Ltd. | Adaptive high-pass post-filter |
US10146500B2 (en) * | 2016-08-31 | 2018-12-04 | Dts, Inc. | Transform-based audio codec and method with subband energy smoothing |
US10825467B2 (en) * | 2017-04-21 | 2020-11-03 | Qualcomm Incorporated | Non-harmonic speech detection and bandwidth extension in a multi-source environment |
EP3671741A1 (en) * | 2018-12-21 | 2020-06-24 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Audio processor and method for generating a frequency-enhanced audio signal using pulse processing |
CN109841223B (zh) * | 2019-03-06 | 2020-11-24 | 深圳大学 | 一种音频信号处理方法、智能终端及存储介质 |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2009A (en) * | 1841-03-18 | Improvement in machines for boring war-rockets | ||
US5765127A (en) * | 1992-03-18 | 1998-06-09 | Sony Corp | High efficiency encoding method |
US5581653A (en) | 1993-08-31 | 1996-12-03 | Dolby Laboratories Licensing Corporation | Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder |
US20020002455A1 (en) | 1998-01-09 | 2002-01-03 | At&T Corporation | Core estimator and adaptive gains from signal to noise ratio in a hybrid speech enhancement system |
SE0004163D0 (sv) * | 2000-11-14 | 2000-11-14 | Coding Technologies Sweden Ab | Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering |
US7197458B2 (en) | 2001-05-10 | 2007-03-27 | Warner Music Group, Inc. | Method and system for verifying derivative digital files automatically |
CN1328707C (zh) * | 2002-07-19 | 2007-07-25 | 日本电气株式会社 | 音频解码设备以及解码方法 |
US7318035B2 (en) | 2003-05-08 | 2008-01-08 | Dolby Laboratories Licensing Corporation | Audio coding systems and methods using spectral component coupling and spectral component regeneration |
EP1758099A1 (en) | 2004-04-30 | 2007-02-28 | Matsushita Electric Industrial Co., Ltd. | Scalable decoder and expanded layer disappearance hiding method |
JP4168976B2 (ja) | 2004-05-28 | 2008-10-22 | ソニー株式会社 | オーディオ信号符号化装置及び方法 |
JP4771674B2 (ja) | 2004-09-02 | 2011-09-14 | パナソニック株式会社 | 音声符号化装置、音声復号化装置及びこれらの方法 |
SE0402652D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
US8249861B2 (en) * | 2005-04-20 | 2012-08-21 | Qnx Software Systems Limited | High frequency compression integration |
US8260609B2 (en) | 2006-07-31 | 2012-09-04 | Qualcomm Incorporated | Systems, methods, and apparatus for wideband encoding and decoding of inactive frames |
US8285555B2 (en) | 2006-11-21 | 2012-10-09 | Samsung Electronics Co., Ltd. | Method, medium, and system scalably encoding/decoding audio/speech |
KR101355376B1 (ko) | 2007-04-30 | 2014-01-23 | 삼성전자주식회사 | 고주파수 영역 부호화 및 복호화 방법 및 장치 |
US20110022924A1 (en) | 2007-06-14 | 2011-01-27 | Vladimir Malenovsky | Device and Method for Frame Erasure Concealment in a PCM Codec Interoperable with the ITU-T Recommendation G. 711 |
US8209190B2 (en) | 2007-10-25 | 2012-06-26 | Motorola Mobility, Inc. | Method and apparatus for generating an enhancement layer within an audio coding system |
WO2009066960A1 (en) * | 2007-11-21 | 2009-05-28 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
US8560307B2 (en) | 2008-01-28 | 2013-10-15 | Qualcomm Incorporated | Systems, methods, and apparatus for context suppression using receivers |
DE102008015702B4 (de) * | 2008-01-31 | 2010-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals |
US20090201983A1 (en) * | 2008-02-07 | 2009-08-13 | Motorola, Inc. | Method and apparatus for estimating high-band energy in a bandwidth extension system |
CN101335000B (zh) | 2008-03-26 | 2010-04-21 | 华为技术有限公司 | 编码的方法及装置 |
CN101281748B (zh) * | 2008-05-14 | 2011-06-15 | 武汉大学 | 用编码索引实现的空缺子带填充方法及编码索引生成方法 |
WO2010003543A1 (en) * | 2008-07-11 | 2010-01-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for calculating bandwidth extension data using a spectral tilt controlling framing |
MX2011000375A (es) * | 2008-07-11 | 2011-05-19 | Fraunhofer Ges Forschung | Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada. |
EP2144230A1 (en) * | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
MX2011000367A (es) | 2008-07-11 | 2011-03-02 | Fraunhofer Ges Forschung | Un aparato y un metodo para calcular una cantidad de envolventes espectrales. |
JP2010079275A (ja) * | 2008-08-29 | 2010-04-08 | Sony Corp | 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム |
US8352279B2 (en) | 2008-09-06 | 2013-01-08 | Huawei Technologies Co., Ltd. | Efficient temporal envelope coding approach by prediction between low band signal and high band signal |
TWI413109B (zh) | 2008-10-01 | 2013-10-21 | Dolby Lab Licensing Corp | 用於上混系統之解相關器 |
EP3640941A1 (en) | 2008-10-08 | 2020-04-22 | Fraunhofer Gesellschaft zur Förderung der Angewand | Multi-resolution switched audio encoding/decoding scheme |
FR2938688A1 (fr) | 2008-11-18 | 2010-05-21 | France Telecom | Codage avec mise en forme du bruit dans un codeur hierarchique |
PL4231291T3 (pl) * | 2008-12-15 | 2024-04-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy |
RU2523035C2 (ru) * | 2008-12-15 | 2014-07-20 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Аудио кодер и декодер, увеличивающий полосу частот |
US8153010B2 (en) | 2009-01-12 | 2012-04-10 | American Air Liquide, Inc. | Method to inhibit scale formation in cooling circuits using carbon dioxide |
EP2214161A1 (en) * | 2009-01-28 | 2010-08-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for upmixing a downmix audio signal |
CA2749239C (en) | 2009-01-28 | 2017-06-06 | Dolby International Ab | Improved harmonic transposition |
JP4945586B2 (ja) * | 2009-02-02 | 2012-06-06 | 株式会社東芝 | 信号帯域拡張装置 |
JP4892021B2 (ja) * | 2009-02-26 | 2012-03-07 | 株式会社東芝 | 信号帯域拡張装置 |
JP4932917B2 (ja) * | 2009-04-03 | 2012-05-16 | 株式会社エヌ・ティ・ティ・ドコモ | 音声復号装置、音声復号方法、及び音声復号プログラム |
PL2405425T3 (pl) * | 2009-04-08 | 2014-12-31 | Fraunhofer Ges Forschung | Urządzenie, sposób i program komputerowy do realizacji upmixu sygnału audio downmixu z użyciem wygładzania wartości faz |
US8392200B2 (en) | 2009-04-14 | 2013-03-05 | Qualcomm Incorporated | Low complexity spectral band replication (SBR) filterbanks |
EP2273493B1 (en) * | 2009-06-29 | 2012-12-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bandwidth extension encoding and decoding |
EP2704143B1 (en) * | 2009-10-21 | 2015-01-07 | Panasonic Intellectual Property Corporation of America | Apparatus, method and computer program for audio signal processing |
US8929568B2 (en) | 2009-11-19 | 2015-01-06 | Telefonaktiebolaget L M Ericsson (Publ) | Bandwidth extension of a low band audio signal |
US9165567B2 (en) | 2010-04-22 | 2015-10-20 | Qualcomm Incorporated | Systems, methods, and apparatus for speech feature detection |
WO2011148230A1 (en) * | 2010-05-25 | 2011-12-01 | Nokia Corporation | A bandwidth extender |
US9047875B2 (en) * | 2010-07-19 | 2015-06-02 | Futurewei Technologies, Inc. | Spectrum flatness control for bandwidth extension |
JP6075743B2 (ja) | 2010-08-03 | 2017-02-08 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
CN102436820B (zh) * | 2010-09-29 | 2013-08-28 | 华为技术有限公司 | 高频带信号编码方法及装置、高频带信号解码方法及装置 |
CN103460286B (zh) * | 2011-02-08 | 2015-07-15 | Lg电子株式会社 | 带宽扩展的方法和设备 |
US8908377B2 (en) * | 2011-07-25 | 2014-12-09 | Ibiden Co., Ltd. | Wiring board and method for manufacturing the same |
US20130259254A1 (en) | 2012-03-28 | 2013-10-03 | Qualcomm Incorporated | Systems, methods, and apparatus for producing a directional sound field |
WO2014118160A1 (en) | 2013-01-29 | 2014-08-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands |
-
2014
- 2014-01-28 WO PCT/EP2014/051601 patent/WO2014118160A1/en active Application Filing
- 2014-01-28 MX MX2015009597A patent/MX346944B/es active IP Right Grant
- 2014-01-28 AU AU2014211528A patent/AU2014211528B2/en active Active
- 2014-01-28 SG SG11201505908QA patent/SG11201505908QA/en unknown
- 2014-01-28 JP JP2015555675A patent/JP6289507B2/ja active Active
- 2014-01-28 PL PL14701750T patent/PL2951825T3/pl unknown
- 2014-01-28 EP EP14702224.8A patent/EP2951826B1/en active Active
- 2014-01-28 AU AU2014211529A patent/AU2014211529B2/en active Active
- 2014-01-28 RU RU2015136768A patent/RU2625945C2/ru active
- 2014-01-28 CA CA2899072A patent/CA2899072C/en active Active
- 2014-01-28 SG SG11201505883WA patent/SG11201505883WA/en unknown
- 2014-01-28 PT PT147017503T patent/PT2951825T/pt unknown
- 2014-01-28 CA CA2899078A patent/CA2899078C/en active Active
- 2014-01-28 ES ES14702224T patent/ES2914614T3/es active Active
- 2014-01-28 CA CA2899080A patent/CA2899080C/en active Active
- 2014-01-28 MX MX2015009598A patent/MX346945B/es active IP Right Grant
- 2014-01-28 KR KR1020157020470A patent/KR101787497B1/ko active IP Right Grant
- 2014-01-28 MY MYPI2015001894A patent/MY185159A/en unknown
- 2014-01-28 EP EP14701750.3A patent/EP2951825B1/en active Active
- 2014-01-28 MY MYPI2015001892A patent/MY172710A/en unknown
- 2014-01-28 KR KR1020157022257A patent/KR101757349B1/ko active IP Right Grant
- 2014-01-28 JP JP2015555673A patent/JP6301368B2/ja active Active
- 2014-01-28 ES ES16190670T patent/ES2899781T3/es active Active
- 2014-01-28 BR BR112015017866-9A patent/BR112015017866B1/pt active IP Right Grant
- 2014-01-28 AU AU2014211527A patent/AU2014211527B2/en active Active
- 2014-01-28 EP EP14702513.4A patent/EP2951827A1/en not_active Withdrawn
- 2014-01-28 ES ES14701750T patent/ES2905846T3/es active Active
- 2014-01-28 JP JP2015555674A patent/JP6321684B2/ja active Active
- 2014-01-28 CN CN201480006625.7A patent/CN105103228B/zh active Active
- 2014-01-28 MY MYPI2015001902A patent/MY172161A/en unknown
- 2014-01-28 MX MX2015009536A patent/MX351191B/es active IP Right Grant
- 2014-01-28 BR BR112015017868-5A patent/BR112015017868B1/pt active IP Right Grant
- 2014-01-28 WO PCT/EP2014/051599 patent/WO2014118159A1/en active Application Filing
- 2014-01-28 CN CN201480019085.6A patent/CN105229738B/zh active Active
- 2014-01-28 BR BR112015017632-1A patent/BR112015017632B1/pt active IP Right Grant
- 2014-01-28 KR KR1020157022258A patent/KR101762225B1/ko active IP Right Grant
- 2014-01-28 CN CN201480019526.2A patent/CN105264601B/zh active Active
- 2014-01-28 RU RU2015136470A patent/RU2608447C1/ru active
- 2014-01-28 EP EP16190670.6A patent/EP3136386B1/en active Active
- 2014-01-28 WO PCT/EP2014/051603 patent/WO2014118161A1/en active Application Filing
- 2014-01-28 SG SG11201505906RA patent/SG11201505906RA/en unknown
- 2014-01-28 RU RU2015136799A patent/RU2624104C2/ru active
- 2014-01-29 AR ARP140100286A patent/AR094670A1/es active IP Right Grant
- 2014-01-29 AR ARP140100288A patent/AR094672A1/es active IP Right Grant
- 2014-01-29 AR ARP140100287A patent/AR094671A1/es active IP Right Grant
- 2014-01-29 TW TW103103525A patent/TWI524332B/zh active
- 2014-01-29 TW TW103103521A patent/TWI529701B/zh active
-
2015
- 2015-07-28 US US14/811,790 patent/US9552823B2/en active Active
- 2015-07-28 US US14/811,285 patent/US9640189B2/en active Active
- 2015-07-29 US US14/812,682 patent/US9741353B2/en active Active
- 2015-08-27 ZA ZA2015/06265A patent/ZA201506265B/en unknown
- 2015-08-27 ZA ZA2015/06268A patent/ZA201506268B/en unknown
-
2016
- 2016-05-25 HK HK16105948.4A patent/HK1218019A1/zh unknown
- 2016-05-26 HK HK16106006.1A patent/HK1218020A1/zh unknown
-
2017
- 2017-07-26 US US15/660,899 patent/US10354665B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101762225B1 (ko) | 에너지 제한 작업을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 | |
TWI544482B (zh) | 用於使用能量限制操作產生頻率增強信號之裝置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |