KR20150114483A - 향상 신호의 성형을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 - Google Patents

향상 신호의 성형을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 Download PDF

Info

Publication number
KR20150114483A
KR20150114483A KR1020157020470A KR20157020470A KR20150114483A KR 20150114483 A KR20150114483 A KR 20150114483A KR 1020157020470 A KR1020157020470 A KR 1020157020470A KR 20157020470 A KR20157020470 A KR 20157020470A KR 20150114483 A KR20150114483 A KR 20150114483A
Authority
KR
South Korea
Prior art keywords
signal
frequency
enhancement
core
energy
Prior art date
Application number
KR1020157020470A
Other languages
English (en)
Other versions
KR101787497B1 (ko
Inventor
사샤 디쉬
랄프 가이거
크리스티안 헴리히
마르쿠스 물트루스
콘스탄틴 슈미트
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20150114483A publication Critical patent/KR20150114483A/ko
Application granted granted Critical
Publication of KR101787497B1 publication Critical patent/KR101787497B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0012—Smoothing of parameters of the decoder interpolation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0016—Codebook for LPC parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Picture Signal Circuits (AREA)
  • Superheterodyne Receivers (AREA)
  • Testing Relating To Insulation (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Circuit Arrangements For Discharge Lamps (AREA)
  • Stereophonic System (AREA)
  • Dc-Dc Converters (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Plasma Technology (AREA)
  • Electrotherapy Devices (AREA)
  • Error Detection And Correction (AREA)

Abstract

코어 신호(110, 120)의 주파수에 관한 에너지 분포를 기술하는 값을 계산하는 계산기(500); 상기 코어 신호(502)로부터, 코어 신호에 포함되지 않는 향상 주파수를 포함하는 향상 신호(130)를 발생시키는 신호 발생기(200);를 포함하며, 상기 향상 신호 또는 상기 코어 신호의 스펙트럼 포락선이 상기 코어 신호의 주파수에 관한 에너지 분포를 기술하는 값(501)에 의존하도록 신호 발생기(200)가 상기 향상 신호 또는 코어 신호를 성형(shaping)하도록 구성되는, 주파수 향상 신호(140)를 발생시키기 위한 장치.

Description

향상 신호의 성형을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법{APPARATUS AND METHOD FOR GENERATING A FREQUENCY ENHANCED SIGNAL USING SHAPING OF THE ENHANCEMENT SIGNAL}
본 발명은 오디오 코딩 및 특히 지능적 갭 필링 또는 스펙트럼 대역 복제, 대역폭 확장 같은 주파수 향상 절차에 기반한다.
본 발명은 디코더 측면이 부가 정보가 없이 또는 오직 부가 정보의 최소량만 가지고 작동하는, 비-유도(non-guided) 주파수 향상 절차에 특히 관련된다.
특히 (상대적으로) 낮은 비트레이트에서 작동될 때, 지각적 오디오 코덱들은 오디오 신호의 전체 지각가능 주파수 범위의 로패스(lowpass) 부분만을 종종 양자화하고 코딩한다. 비록 이 접근이 코딩된 저-주파수 신호에 대한 허용가능 품질을 보장하지만, 대부분의 청취자들은 하이패스(highpass) 부분의 손실을 품질 저하로 인식한다. 이러한 이슈를 극복하기 위해, 손실된 고-주파수 부분은 대역폭 확장 설계에 의해 합성될 수 있다.
최신 코덱들은 종종, 저-주파수 신호를 코딩하기 위한, 음성 코더 같은, 파라메트릭 코더 또는 AAC 같은, 파형-보존 코더들을 이용할 수 있다. 이러한 코더들은 특정 정지 주파수까지 작동한다. 이 주파수는 크로스오버 주파수(교차 주파수, crossover frequency)라고 불린다.
교차 주파수 밑의 주파수 부분은 저대역(low band)으로 불린다. 교차 주파수 위의 부분은, 대역폭 확장 설계 수단에 의해 합성되며, 고대역(high band)으로 불린다. 대역폭 확장은 일반적으로 전송된 신호(저대역) 및 추가 부가 정보(extra side information) 수단에 의해 손실 대역폭(고대역)을 합성한다. 그것은 저-비트레이트 오디오 코딩 분야에 적용되며, 추가 정보는 가능한 추가 비트레이트 만큼만 적게 소모해야 한다. 이와 같이, 일반적으로 파라메트릭(매개변수, parametric) 표현은 추가 정보에 대해 선택된다.
파라메트릭 표현은 비교적 낮은 비트레이트(유도된 대역폭 확장)에서 인코더로부터 전송되거나 특정 신호 특성들(유도되지 않은 대역폭 확장)에 기반하여 디코더에서 측정된다. 후자의 경우에, 파라미터들은 비트레이트를 전혀 소모하지 않는다.
비-유도 주파수 향상 기술들의 컨텍스트에서 오디오 처리에 대한 향상된 개념을 제공하는 것이 본 발명의 목적이다.
본 발명은 오디오 코덱들에 대한 대역폭 확장 설계같은 주파수 향상 설계를 제공한다. 이 설계는 유도된 대역폭 확장 설계에서처럼 손실 대역들의 전체 파라메트릭 설명(full parametric description)과 비교하여 상당히 감소된 최소량만을 가지고 또는 추가 부가-정보의 필요 없이 오디오 코덱의 주파수 대역폭을 확장하는 데 목적이 있다.
주파수 향상 신호(140)를 발생시키기 위한 장치는 코어 신호의 주파수에 관한 에너지 분포를 기술하는 값을 계산하는 계산기를 포함한다. 상기 코어 신호로부터, 코어 신호에 포함되지 않는 향상 주파수를 포함하는 향상 신호를 발생시키는 신호 발생기는 코어 신호를 이용하여 작동하며 향상 신호 또는 코어 신호의 성형을 수행하며 향상 신호의 스펙트럼 포락선은 에너지 분포를 나타내는 값에 의존한다.
이와 같이, 향상 신호의 포락선, 또는 향상 신호는 에너지 분포를 기술하는 값에 기반하여 성형된다(쉐이핑된다, shaped). 이 값은 쉽게 계산될 수 있고 이 값은 향상 신호의 전체 형상 또는 전체 포락선 형상을 정의한다. 이와 같이, 디코더는 낮은 복잡성으로 작동할 수 있고 동시에 좋은 오디오 품질이 얻어진다. 구체적으로, 코어 신호의 스펙트럼 중심 같은 에너지 분포의 값을 계산하는 절차 및 이 스펙트럼 중심(도심, centroid)에 기반한 향상 신호의 조정은 간단하고 낮은 계산적 리소스들과 함께 수행될 수 있는 절차이지만, 주파수 향상 신호를 스펙트럼 성형하기 위해 이용될 때 코어 신호에서의 에너지 분포는 좋은 오디오 품질을 도출한다.
본 발명의 바람직한 실시예들은 첨부된 도면에 관해 이후 설명된다:
도 1은 에너지 제한 및 부대역 신호의 평활, 주파수 향상 신호를 성형하는 기술을 포함하는 실시예를 나타낸다;
도 2a-2c는 도 1의 신호 발생기의 상이한 실시예들을 나타낸다;
도 3은 개별 시간 부분들(individual time portions)을 나타내며, 하나의 프레임은 하나의 시간 부분을 가지며 슬롯은 하나의 짧은 시간 부분(short time portion)을 가지며 각 프레임은 복수의 슬롯들을 포함한다;
도 4는 대역폭 확장 응용의 실시에서 향상 신호 및 코어 신호의 스펙트럼 위치를 나타내는 스펙트럼 챠트를 나타낸다;
도 5는 코어 신호의 에너지 분포를 나타내는 값에 기반하여 스펙트럼 성형을 이용하는 주파수 향상 신호를 발생시키는 장치를 나타낸다;
도 6은 성형 기술의 실시예를 나타낸다;
도 7은 특정 스펙트럼의 중심(spectral centroid)에 의해 결정된 상이한 롤-오프들(roll-offs)을 나타낸다;
도 8은 주파수 향상 신호 또는 코어 신호의 부대역 신호들을 평활하기 위한 동일 평활 정보를 포함하는 주파수 향상 신호를 발생시키는 장치를 나타낸다;
도 9는 도 8의 신호 발생기 및 제어기에 의해 적용되는 바람직한 절차를 도시한다;
도 10은 도 8의 신호 발생기 및 제어기에 의해 적용되는 추가 절차를 나타낸다;
도 11은 주파수 향상 신호를 발생시키는 장치를 나타내며, 이는 향상 신호의 고대역이, 최대한, 인접 저대역과 동일한 에너지를 가질 수 있거나 또는, 최대한, 미리 정의된 임계에 의한 에너지보다 큰 에너지를 가질 수 있도록, 향상 신호에서 에너지 제한 절차를 수행한다;
도 12a는 제한 이전의 향상 신호의 스펙트럼을 도시한다;
도 12b는 제한 이후의 도 12a의 스펙트럼을 도시한다;
도 13은 실시예에서 신호 발생기에 의해 수행되는 프로세스를 도시한다;
도 14는 필터뱅크 영역 내에서 에너지 제한 및 평활, 성형 기술의 일관된 응용을 도시한다; 그리고,
도 15는 비-유도 주파수 향상 디코더 및 인코더를 포함하는 시스템을 도시한다.
고대역 합성은 일반적으로 두개의 부분으로 구성된다:
1. 고-주파수 컨텐츠의 발생. 이는 고대역으로 다른 인공 신호 부분들 또는 화이트 노이즈 또는 성형된 노이즈를 삽입하거나, 고대역에 저 주파수 컨텐츠(의 부분들)을 카피하거나 플리핑(flipping)하여 수행될 수 있다.
2. 파라메트릭 정보에 따라 발생된 고주파수 컨텐츠의 조정. 이는 파라메트릭 표현에 따라 형태, 조성(tonality)/노이즈 및 에너지의 조작을 포함한다.
합성의 목표는 일반적으로 원래 신호에 지각적으로 근접한 신호를 달성하는 것이다. 만약 이러한 목적이 달성될 수 없다면, 합성된 부분은 청취자를 최소로 방해해야 한다.
유도된(가이드된, guided) BWE 설계외에, 비-유도된 대역폭 확장은 고대역의 합성에 대해 추가 정보에 의존할 수 없다. 대신에, 저대역 및 고대역 사이의 연관을 이용하기 위한 경험적 규칙들을 일반적으로 이용한다. 대부분의 음악 조각들(music pieces) 및 유성음 스피치 세그먼트들이 고대역 및 저대역 사이의 높은 연관관계를 이용하는 반면, 이는 일반적으로 무성음 또는 마찰 스피치 세그먼트들에 대한 경우는 아니다. 마찰 사운드들은 특정 주파수 위의 높은 에너지를 갖는 반면 저주파수 범위에서 아주 적은 에너지를 갖는다. 만약 이러한 주파수가 크로스오버 주파수(crossover ferquency)에 근접한 경우, 이러한 경우에 저대역이 관련이 적은 신호 부분들을 포함하기 때문에 크로스오버 주파수 위의 인공 신호를 발생시키는데 문제가 될 수 있다. 이러한 문제를 다루기 위해, 그러한 사운드의 좋은 감지(good detection)가 도움이 된다.
HE-AAC는 고대역(SBR)에 대한 파라메트릭 코덱 및 저대역(AAC)에 대한 파형 보존 코덱으로 구성되는 잘 알려진 코덱이다. 디코더 측면에서, 고대역 신호는 QMF 필터뱅크를 이용하여 주파수 영역으로 디코딩된 AAC 신호를 변환시켜(transforming) 발생된다. 이후에, 저대역 신호의 부대역들(subbands)은 고대역에 복제(카피)된다(고주파수 컨텐츠의 발생). 이 고대역 신호는 이후 전송된 파라메트릭 부가-정보에 기반하여 스펙트럼 포락선, 조성(tonality) 및 노이즈 플로어(noise floor)에서 조정된다(발생된 고주파수 컨텐츠 조정). 이러한 방법이 유도된 BWE 접근을 이용하기 때문에, 고대역 및 저대역 사이의 약한 연관은 일반적으로 문제가 되지 않으며 적절한 파라미터 집합을 전송하여 극복될 수 있다. 그러나, 이는 추가적인 비트레이트를 요구하며, 이는 주어진 응용 시나리오에 수용 가능하지 않을 수 있다.
ITU Standard G.722.2는 시간 영역에서만 작동하는 스피치 코덱이며, 즉 주파수 영역에서 어떠한 계산도 수행하지 않는다. 그러한 디코더는 이후 16kHz로 업샘플링(upsampled)되는, 12.8kHz의 샘플링 레이트(sampling rate)로 시간 영역 신호를 출력한다. 대부분의 작업 모드들에서 어떠한 부가-정보를 이용하지 않고 노이즈의 스펙트럼 성형이 수행되며, 오직 최고 비트레이트(highest bitrate)를 갖는 작업 모드에서만 노이즈 에너지에 대한 정보가 비트스트림에서 전송된다. 단순성의 이유를 위해, 모든 응용 시나리오들이 추가 파라미터 집합들의 전송을 수용할 수는 없기 때문에, 다음에서 오직 어떠한 부가-정보도 이용하지 않는 고대역 신호의 발생이 설명된다.
고대역 신호를 발생시키기 위해, 노이즈 신호는 코어 여기 신호(core excitation signal)와 동일한 에너지를 갖도록 스케일링된다(scaled). 신호의 무성음 부분에 더 많은 에너지를 주기 위해, 스펙트럼 경사(spectral tilt) e가 계산된다:
Figure pct00001
s는 400 Hz의 차단 주파수(cut-off frequency)를 갖는 고-대역 필터링되어 디코딩된 코어 신호이다. n 은 샘플 지수(sample index)이다. 더 적은 에너지가 고주파수에서 존재하는 유성음(voiced) 세그먼트들의 경우에, e 는 1에 접근하며, 반면 무성음(unvoiced) 세그먼트들에 대해서 e는 0에 근접한다.
고대역 신호에서 에너지를 더 갖기 위해서, 무성음 스피치(unvoiced speech)에 대해 노이즈의 에너지는 (1-e)로 곱해진다. 최종적으로, 스케일링된 노이즈 신호는 라인 스펙트럼 주파수 (Line Spectral Frequency, LSF) 영역에서 외삽(extrapolation)에 의해 코어 선형 예측 코딩(LPC)로부터 유도되는 필터에 의해 필터링된다.
시간 영역에서 완전히 작동하는, G.722.2으로부터의 비-유도 대역폭 확장은, 다음 결점들을 갖는다:
1. 발생된 HF 컨텐츠는 노이즈에 기반한다. 이는 HF 신호가 조성, 하모닉 저-주파수 신호(예를 들어, 음악)과 결합하는 경우에 들을 수 있는 아티팩트(artifacts)들을 생성한다. 그러한 아티팩트들을 피하기 위해, G.722.2는 발생된 HF 신호의 에너지를 강하게 제한하며, 이는 또한 대역폭 확장의 잠재적 이익을 제한한다. 이와 같이, 불행하게도 사운드 선명함의 최대로 가능한 개선 또는 음성 신호 명료성의 최대 획득가능한 증가가 제한된다.
2. 이러한 비-유도 대역폭 확장은 시간 영역에서 작동하기 때문에, 필터 작업들은 추가 알고리즘 지연을 야기한다. 이 추가적인 지연은 양-방향 통신 시나리오에서 사용자 경험의 품질을 낮추거나 주어진 통신 기술 기준의 요구 관점에 의해 허용되지 않을 수 있다.
3. 신호 프로세싱이 시간 영역에서 수행되기 때문에, 필터 작업은 불안정에 취약하다. 게다가, 시간 영역 필터들은 높은 계산적 복잡성을 갖는다.
4. 오직 고대역 신호의 에너지의 전체 합이 코어 신호의 에너지에 적용되기 때문에(그리고 스펙트럼 틸트에 의해 가중되기 때문에), 코어 신호(크로스오버 주파수 바로 밑의 신호)의 상부 주파수 범위 및 고대역 신호 사이의 크로스오버 주파수에서 에너지의 상당한 지역적 미스매치(mismatch)가 있을 수 있다. 예를 들어, 이는 특히 아주 낮은 주파수 범위에서 에너지 집중을 보이지만 상부 주파수 범위에서 적은 에너지를 포함하는 음색 신호(tonal signal)에 대한 경우가 될 것이다.
5. 게다가, 시간 영역 표현에서 스펙트럼 경사를 추정하는 것이 계산적으로 복잡하다. 주파수 영역에서, 스펙트럼 경사의 외삽(extrapolation)은 아주 효율적으로 수행될 수 있다. 예를 들어, 마찰의 대부분 에너지는 고주파수 범위에 집중되며, 이것들은 G.722.2에서와 비슷한 보존 에너지 및 스펙트럼 경사 측정 전략이 적용되는 경우 둔탁하게 들릴 수 있다(참조 1).
요약하자면, 선행 기술 비-유도 또는 블라인드 대역폭 확장 설계들은 디코더 측면에서 상당한 계산적 복잡성을 요구할 수 있고 그럼에도 불구하고 특정적으로 마찰처럼 문제가 되는 음성 사운드에 대해 제한된 오디오 품질을 도출한다. 게다가, 유도된 대역폭 확장 설계들은, 비록 더 나은 오디오 품질을 제공하고 때때로 디코더 측면에서 더 적은 계산적 복잡성을 요구하지만, 고대역의 추가 파라메트릭 정보가 인코딩된 코어 오디오 신호에 관해 추가 비트레이트의 상당한 양을 요구할 수 있다는 사실 때문에 실질적 비트레이트 감소를 제공할 수 없다.
그래서 비-유도 주파수 향상 기술들의 컨텍스트에서 오디오 처리에 대한 향상된 개념을 제공하는 것이 본 발명의 목적이다.
이러한 목적은 제1항의 주파수 향상 신호를 발생시키는 장치, 제14항의 주파수 향상 신호를 발생시키는 방법, 제15항의 주파수 향상 신호를 발생시키는 장치 및 인코더를 포함하는 시스템, 제16항의 관련 방법, 제17항의 컴퓨터 프로그램에 의해 달성된다.
본 발명은 오디오 코덱들에 대한 대역폭 확장 설계같은 주파수 향상 설계를 제공한다. 이 설계는 유도된 대역폭 확장 설계에서처럼 손실 대역들의 전체 파라메트릭 설명(full parametric description)과 비교하여 상당히 감소된 최소량만을 가지고 또는 추가 부가-정보의 필요 없이 오디오 코덱의 주파수 대역폭을 확장하는 데 목적이 있다.
주파수 향상 신호(140)를 발생시키기 위한 장치는 코어 신호의 주파수에 관한 에너지 분포를 기술하는 값을 계산하는 계산기를 포함한다. 상기 코어 신호로부터, 코어 신호에 포함되지 않는 향상 주파수를 포함하는 향상 신호를 발생시키는 신호 발생기는 코어 신호를 이용하여 작동하며 향상 신호 또는 코어 신호의 성형을 수행하며 향상 신호의 스펙트럼 포락선은 에너지 분포를 나타내는 값에 의존한다.
이와 같이, 향상 신호의 포락선, 또는 향상 신호는 에너지 분포를 기술하는 값에 기반하여 성형된다(쉐이핑된다, shaped). 이 값은 쉽게 계산될 수 있고 이 값은 향상 신호의 전체 형상 또는 전체 포락선 형상을 정의한다. 이와 같이, 디코더는 낮은 복잡성으로 작동할 수 있고 동시에 좋은 오디오 품질이 얻어진다. 구체적으로, 코어 신호의 스펙트럼 중심 같은 에너지 분포의 값을 계산하는 절차 및 이 스펙트럼 중심(도심, centroid)에 기반한 향상 신호의 조정은 간단하고 낮은 계산적 리소스들과 함께 수행될 수 있는 절차이지만, 주파수 향상 신호를 스펙트럼 성형하기 위해 이용될 때 코어 신호에서의 에너지 분포는 좋은 오디오 품질을 도출한다.
게다가, 이 절차는 고대역 신호의 경사(롤-오프, roll-off) 및 절대 에너지가 코어 신호의 경사(롤-오프, roll-off) 및 절대 에너지로부터, 각각, 유도되는 것을 가능하게 한다. 스펙트럼 포락선의 성형은 이득 곡선(gain curve)의 주파수 표현을 단순히 곱하는 것과 동등하고, 이러한 이득 곡선은 코어 신호의 주파수에 관해 에너지 분포를 설명하는 값으로부터 유도되기 때문에, 계산적으로 효율적으로 수행되도록 주파수 영역의 이러한 작업들을 수행하는 것이 바람직하다. 게다가 시간 영역에서 주어진 스펙트럼 성형을 정확하고 측정하고 외삽하는 것은 계산적으로 복잡하다. 이와 같이, 그러한 작업들은 주파수 영역에서 수행되는 것이 바람직하다. 예를 들어, 마찰 사운드는 일반적으로 고주파수에서 고 에너지량 그리고 낮은 주파수에서 저 에너지량을 갖는다. 에너지 증가는 실제 마찰 사운드에 의존적이며 크로스오버 주파수 약간 아래에서 시작할 수 있다. 시간 영역에서, 이러한 상황을 감지하는 것은 어려우며 그것으로부터 유효한 외삽(extrapolation)을 얻는 것은 계산적으로 복잡하다. 비-마찰 사운드들에 대해 주파수 증가와 함께 인공적 발생 스펙트럼의 에너지가 언제나 떨어진다는 것이 확인된다. 추가 관점에서, 시간적 평활(temporal smoothing) 절차가 적용된다. 코어 신호로부터 향상 신호를 발생시키는 신호 발생기가 제공된다. 향상 신호 또는 코어 신호의 시간 부분은 복수의 부대역들에 대한 부대역 신호들을 포함한다. 향상 주파수 범위의 복수의 부대역 신호들에 대한 동일 평활 정보를 계산하는 컨트롤러가 제공되며 이 평활 정보는, 특히 동일 평활 정보를 이용하여, 이후 향상 주파수 범위의 복수의 부대역 신호들을 평활하는 신호 발생기에 의해 이용되고, 또는 대안적으로 평활이 고주파수 발생 이전에 수행될 때, 이후 코어 신호의 복수의 부대역 신호들은 동일 평활 정보를 모두 이용하여 평활된다. 이 시간적 평활은, 저대역으로부터, 고대역으로, 이어지는, 아주 작은 빠른 에너지 변동의 연속을 피하며, 더 들을만한 지각적 인상을 도출한다. 저-대역 에너지 변동들은 불안정을 야기하는 기본적인 코어-코더의 양자화 에러들에 의해 일반적으로 야기된다. 평활은 신호의 (장기) 정체(stationary)에 의존하기 때문에 신호 적응적(signal adaptive)이다. 게다가, 모든 개별 부대역들에 대한 하나 그리고 동일 평활 정보의 활용은 부대역들 사이의 일관성이 시간적 평활에 의해 변경되지 않는다는 것을 확실히 한다. 대신에, 모든 부대역들은 동일한 방식으로 평활되며, 평활 정보는 오직 향상 주파수 범위의 부대역들로부터 또는 모든 부대역들로부터 유도된다. 이와 같이, 각 부대역 신호의 개별 평활과 비교하여 상당히 더 나은 오디오 품질이 얻어진다.
추가 관점은, 바람직하게는 향상 신호를 발생시키기 위한 전체 절차의 끝에서, 에너지 제한을 수행하는 것에 관련된다. 코어 신호로부터 향상 신호를 발생시키는 신호 발생기가 제공되며, 여기서 향상 신호는 코어 신호에 포함되지 않는 향상 주파수 범위를 포함하며, 여기서 향상 신호의 시간 부분은 하나 또는 복수의 부대역들에 대한 부대역 신호들을 포함한다. 향상 신호를 이용하여 주파수 향상 신호를 발생시키는 합성 필터뱅크가 제공되며, 여기서 신호 발생기는 합성 필터뱅크에 의해얻어지는 주파수 향상 신호가 고대역의 에너지가, 최대한, 저대역의 에너지와 동일하거나, 미리 정의된 임계(threshold)에 의해, 최대한, 크도록 확실히 하기 위해 에너지 제한을 수행하도록 구성된다. 이는 단일 확장 대역에 대해 적용될 수 있다. 이후, 비교(comparison) 또는 에너지 제한(energy limitation)은 최고 코어 대역의 에너지를 이용하여 수행된다. 이는 복수의 확장 대역들에 대해서도 적용될 수 있다. 이후 최저 확장 대역은 최고 코어 대역을 이용하여 에너지 제한되고, 최고 확장 대역은 최고 확장 대역에 관한 두번째에 대해 에너지 제한된다.
이러한 절차는 비-유도 대역폭 확장 설계에 대해 특히 유용하지만, 유도된 대역폭 확장 설계들도 도울 수 있으며, 이는 비-유도 대역폭 확장 설계가 특히, 음의 스펙트럼 경사(틸트, tilt)를 갖는 세그먼트들에서, 부자연스럽게 눈에 띄는 스펙트럼 구성요소들에 의해 야기되는 아티팩트들에 취약하기 때문이다. 이러한 구성요소들은 고-주파수 노이즈-파열(noise-bursts)을 야기할 수 있다. 그러한 상황을 피하기 위해, 에너지 제한은 바람직하게는 주파수에 관해 에너지 증가를 제한하는, 처리의 끝에서 적용된다. 실시예에서, QMF (Quadrature Mirror Filtering) 부대역 k에서의 에너지는 QMF 부대역 k-1 에서의 에너지를 초과하지 말아야 한다. 이 에너지 제한은 프레임 당 오직 한번만, 계산을 절약하기 위해 타임-슬롯(시간-슬롯, time-slot) 기반으로 수행될 수 있다. 이와 같이, 대역폭 확장 설계에서 어떠한 부자연스러운 상황도 피해지는 것을 확실히하며, 이는 고주파수 대역은 저주파수 대역보다 더 많은 에너지를 가지거나 고주파수 대역의 에너지가, 3dB의 임계 같은, 미리 결정된 임계 이상에 의해, 낮은 대역의 에너지보다 더 크다는 것은 아주 부자연스럽기 때문이다. 일반적으로, 모든 음성/음악 신호들은 로-패스(low-pass) 특성을 가지며, 즉 주파수에 대해 다소 점증적으로(monotonically) 감소하는 에너지 컨테츠를 갖는다. 이는 단일 확장 대역에 적용될 수 있다. 이후, 비교 또는 에너지 제한은 이는 최고 코어 대역의 에너지를 이용하여 수행된다. 이는 복수의 확장 대역들에 적용할 수도 있다. 이후 최저 확장 대역은 최고 코어 대역을 이용하여 에너지 제한되며, 최고 확장 대역은 최고 확장 대역에서 두번째(the second to highest extension band)에 관해 에너지 제한된다.
비록 주파수 향상 신호의 성형 기술, 에너지 제한 및 주파수 향상 부대역 신호들의 시간적 평활이 개별적으로 그리고 서로로부터 분리되어 수행될 수 있다 하더라도, 이러한 절차들은 바람직하게는 비-유도 주파수 향상 설계 내에서 모두 함께 수행될 수도 있다.
게다가, 특정 실시예들을 인용하는 종속 청구항들이 언급된다.
도 1은 바람직한 실시예에서 주파수 향상 신호(140)을 발생시키는 장치를 도시하며, 성형 기술에서, 시간적 평활 및 에너지 제한은 함께 수행된다. 그러나, 이러한 기술들은 에너지 제한 기술에 대한 도 11 내지 13 그리고 평활 기술에 대한 도 8 내지 10, 성형 기술에 대한 도 5 내지 7의 컨텍스트에서 논의되는 것처럼, 개별적으로 적용될 수도 있다.
바람직하게는, 도 1의 주파수 향상 신호(140)를 발생시키는 장치는, 코어 디코더가 QMF부대역 신호들을 출력할 때, QMF 영역에서와 같이 필터뱅크 영역에서 코어 신호를 제공하는 어떠한 다른 장치 또는 코어 디코더(100) 또는 분석 필터뱅크를 포함한다. 대안적으로, 분석 필터뱅크(100)는, 코어 신호가 시간 영역 신호이거나 스펙트럼 또는 부대역 영역보다 다른 어떠한 영역에서 제공되는 경우에, 또다른 QMF 필터뱅크 또는 또다른 분석 필터뱅크일 수 있다.
(120)에서 이용가능한 코어 신호(110)의 개별 부대역 신호들은 이후 신호 발생기(200)로 입력되고 신호 발생기(200)의 출력은 향상 신호(130)이다. 이 향상 신호(130)는 코어 신호(110)에 포함되지 않는 향상 주파수 범위를 포함하고 상기 신호 발생기는 예를 들어, (오직) 성형 노이즈(shaping noise) 등에 의해서가 아니라, 코어 신호(110)를 이용하여 또는 바람직하게는 코어 신호 부대역들(120)을 이용하여 이 향상 신호를 발생시킨다. 합성 필터뱅크는 이후 코어 신호 부대역들(120) 및 주파수 향상 신호(130)를 결합하며, 합성 필터뱅크(300)은 이후 주파수 향상 신호를 출력한다.
기본적으로, 신호 발생기(200)는 "HF 발생(HF generation)"으로 표시되는 신호 발생 블록(202)를 포함하며 여기서 HF는 고주파수(high frequency)를 나타낸다. 그러나, 도 1의 주파수 향상은 고주파수가 발생되는 기술에 제한되지 않는다. 대신에, 저주파수 또는 중간 주파수 또한 발생될 수 있고, 예를 들어 지능형 갭 필링(intelligent gap filling, IGF)로부터 알려진 것처럼, 즉 코어 신호가 고대역 및 저대역을 가질 때 그리고 손실된 중간 대역이 있을 때, 코어 신호의 스펙트럼 홀(spectral hole)의 재발생이 있을 수도 있다. 즉, 주파수 향상 범위 또는 고주파수 범위를 발생시키기 위해, 신호 발생(202)은 HE-AAC 또는 미러링 절차(mirroring procedures)로부터 알려진 것처럼 복제(카피-업, copy-up) 절차들을 포함할 수 있고, 코어 신호는 복제(copied up)보다 미러링된다(mirrored).
게다가, 신호 발생기는 성형 기능(shaping functionality, 204)을 포함하며, 이는 코어 신호(120)의 주파수에 관한 에너지 분포를 나타내는 값을 계산하는 계산에 의해 제어된다. 이 성형은 블록(202)에 의해 발생되는 신호의 성형일 수 있거나 기능 202 및 204 사이의 순서가 도 2a 내지 도 2c의 컨텍스트에서 논의되는 것처럼 역전될 때(reversed), 대안적으로는 저주파수의 성형일 수 있다.
추가 기능은 시간적 평활 기능(206)이며, 이는 평활 제어기(smoothing controller, 800)에 의해 제어된다. 에너지 제한(208)은 절차(procedure)의 끝에서 바람직하게 수행되지만, 합성 필터뱅크(300)에 의해 출력되는 결합 신호가, 고주파수 대역이 인접 저주파수 대역보다 더 많은 에너지를 가져서는 안되며 고주파수 대역이 인접 저주파수 대역과 비교하여 더 많은 에너지를 가져서는 안된다는, 에너지 제한 기준을 만족시키는 것을 보장하는 한 처리 기능 202 내지 208 의 연속(chain)의 다른 어떤 위치에든 위치될 수 있으며, 여기서 증가(increment)는, 최대한, 3dB 같이 미리 설정된 임계까지 제한된다.
도 2a는 상이한 순서를 도시하며, 여기에서 성형(204)은 HF 발생(202)을 수행하기 전 에너지 제한(208) 및 시간적 평활(temporal smoothing, 206)과 함께 수행된다. 이와 같이, 코어 신호는 성형/평활/제한되며 이후 이미 완성된 성형/평활/제한된 신호는 향상 주파수 범위로 복제되거나 미러링된다. 게다가, 블록들(204, 206, 208)의 순서가 도 2a가 도 1의 대응 블록들의 순서와 비교할 때 보여질 수 있는 것처럼 어떠한 방식으로든 수행될 수 있다는 것을 이해하는 것이 중요하다.
도 2b는 시간적 평활 및 성형이 저주파수 또는 코어 신호에서 수행되고, HF 발생(202)이 이후 에너지 제한(208) 전에 수행되는 상황을 나타낸다. 게다가, 도 2c는 신호 성형이 저주파수 신호에 대해 수행되며 복제 또는 미러링 같은 것에 의한 이후 HF 발생이 향상 주파수 범위에 대한 신호를 얻기 위해 수행되며, 이 신호는 이후 평활화되고(206) 에너지 제한되는(208) 상황을 도시한다.
게다가, 예를 들어, 도 14에서 도시되는 것처럼, 성형, 시간적 평활 및 에너지 제한 기능들은 부대역 신호에 특정 인수들(factors)을 적용하여 모두 수행될 수 있다는 것이 강조될 것이다. 성형은 개별 대역들 i, i+1, i+2 에 대한 승수(곱하는 수, multipliers)(1402a, 1401a 및 1400a)에 의해 실행된다.
게다가, 시간적 평활은 승수들(1402b, 1401b and 1400b)에 의해 수행된다. 추가적으로, 에너지 제한은 개별 대역들 i + 2, i + 1 및 i 에 대한 제한 인수들(1402c, 1401c 및 1400c)에 의해 수행된다. 곱셈 인수(증배율, multiplication factors)에 의해 이 실시예에서 이러한 기능들 모두가 실행된다는 사실 때문에, 모든 이러한 기능들이 각 개별 대역들에 대해 단일 곱셈 인수(1402, 1401, 1400)에 의해 개별 부대역 신호들에 적용될 수 있고, 이 단일 "마스터(master)" 곱셈 인수는 대역 i + 2에 대한 개별 인수들(1402a, 1402b 및 1402c)의 곱셈이 될 것이고, 상기 상황은 다른 대역들 i + 1 및 i 에도 유사할 것이다. 이와 같이, 부대역들에 대한 실수/허수 부대역 샘플들 값들(real/imaginary subband samples values)은 이 단일 "마스터" 곱셈 인수에 의해 곱해지고 출력은 블록(1402, 1401 또는 1400)의 출력에서 곱해진 실수/허수 부대역 샘플 값들로 얻어지며, 이는 도 1의 합성 필터뱅크(300)으로 도입된다. 이와 같이, 블록들(1400, 1401, 1402)의 출력은 코어 신호에 포함되지 않는 향상 주파수 범위를 일반적으로 커버하는 향상 신호(1300)에 대응한다.
도 3은 신호 발생 처리에 이용되는 상이한 시간 해상도들(time resolutions)을 나타내는 챠트이다. 기본적으로, 신호는 프레임별로(frame-wise) 처리된다. 이는 분석 필터뱅크(100)가 바람직하게는 부대역 신호의 시간적-이후(time-subsequent) 프레임들(320)을 발생시키도록 수행되고, 여기서 부대역 신호들의 각 프레임(320)은 하나 또는 복수의 슬롯들 또는 필터뱅크 슬롯들(340)을 포함한다는 것을 의미한다. 비록 도 3은 프레임 당 네개의 슬롯을 도시하지만, 프레임 당 2, 3, 또는 네개보다 더 많은 슬롯도 있을 수 있다. 도 14에서 도시되는 것처럼, 코어 신호의 에너지 분포에 기반하여 향상 신호 또는 코어 신호의 성형은 프레임 당 한번 수행된다. 다른 한편으로, 시간적 평활은 높은 시간 해상도로 수행되며, 즉 바람직하게는 슬롯(340)당 한번이며, 낮은 복잡성이 요구될 때 에너지 제한은 다시 한번 프레임 당(per frame) 한번 수행될 수 있고, 또는 높은 복잡성이 특정 실시예에서 문제가 되지 않을 때 슬롯 당(per slot) 한번 수행될 수 있다.
도 4는 코어 신호 주파수 범위에서 다섯개의 부대역들(1, 2, 3, 4, 5)을 갖는 스펙트럼의 표현을 나타낸다. 게다가, 도 4의 예는 향상 신호에서 네개의 부대역 신호들 또는 부대역들 (6, 7, 8, 9)을 가지며 코어 신호 범위 및 향상 신호 범위는 크로스오버 주파수(crossover frequency, 420)에 의해 분리된다. 게다가, 시작 주파수 대역(410)이 도시되며, 이는 나중에 논의되는 것처럼, 성형(204) 목적으로 주파수에 관한 에너지 분포를 나타내는 값을 계산하는데 이용된다. 이 절차는 상기 최저 또는 복수의 최저 부대역들이 더 나은 향상 신호 조정을 얻기 위해 주파수에 관한 에너지 분포를 나타내는 값의 계산을 위해 이용되지 않는다는 것을 확실히 한다.
이후, 코어 신호를 이용하는 코어 신호에 포함되지 않는 향상 주파수 범위의 발생(202)의 실행이 도시된다.
교차 주파수 위의 인공 신호(artificial signal)을 발생시키기 위해, 일반적으로 교차 주파수 아래의 주파수 범위로부터 QMF 값들이 고대역으로 복제("패치(patched)")된다. 이 복제-작업은 저주파수 범위서부터 크로스오버 주파수 위의 영역까지 QMF 샘플들을 그냥 이동(shifting)시키는 것에 의해 또는 추가적으로 이러한 샘플들을 미러링하는 것에 의해 수행될 수 있다. 미러링의 이점은 인공적으로 발생된 신호 및 크로스오버 주파수 바로 아래의 신호가 크로스 오버 주파수에서 고조파(harmonic) 구조 및 아주 유사한 에너지를 갖는다는 것이다. 미러링 또는 복제(카피 업,copy up)는 코어 신호의 복수의 부대역들에 또는 코어 신호의 단일 부대역에 적용될 수 있다.
상기 QMF 필터뱅크의 경우에, 미러링된 패치는 바람직하게는 전이 영역(transition region)에서 에일리어싱(aliasing)하는 부대역을 최소화하기 위해 베이스 대역의 음의 공액 복소수(negative complex conjugate)로 구성된다:
Figure pct00002
Figure pct00003
여기서
Figure pct00004
는 시간 지수 t 및 부대역 지수 f에서 QMF의 실수 값(real value)이며
Figure pct00005
는 허수 값(imaginary value)이다;
Figure pct00006
는 크로스오버 주파수를 언급하는 QMF 부대역이다;
Figure pct00007
는 외삽될 대역들의 정수(interger number)이다. 실수 부분에서 마이너스 부호는 음의 공액 복소수 작업을 나타낸다.
바람직하게는, HF 발생(202) 또는 일반적으로 향상 주파수 범위의 발생은 블록(100)에 의해 공급되는 부대역 표현에 의존한다. 바람직하게는, 주파수 향상 신호를 발생시키는 발명의 장치는, 예를 들어, 협대역(narrow band), 광대역 및 초-광대역 출력(super-wideband output)를 지원하기 위해, 샘플링 주파수를 변화시키도록 디코딩된 신호(110)를 리샘플링(resample) 할 수 있는 멀티-대역폭 디코더이어야 한다. 그래서, QMF 필터뱅크(100)는 입력으로 디코딩된 시간 영역 신호를 취한다. 주파수 영역에서 0들(zeroes)을 패딩(padding)하여, QMF 필터뱅크는 디코딩된 신호를 리샘플링하는데 이용될 수 있고, 동일한 QMF 필터뱅크는 바람직하게는 고대역 신호를 생성하는데도 이용된다.
바람직하게는, 주파수 향상 신호를 발생시키는 장치는 주파수 영역에서 모든 작업들을 수행하도록 작동할 수 있다. 이와 같이, 이미 디코더 측면에서 내부 주파수 영역 표현을 갖는 현존 시스템은, 예를 들어, 이미 QMF 필터 뱅크 영역 출력 신호를 제공하는 "코어 디코더(core decoder)"로 블록(100)을 표시하여 도 1에서 도시되는 것처럼 확장된다.
이 표현은 바람직하게는 주파수 영역에서 수행되는 다른 신호 조작 (예를 들어, 하이-패스/로-패스 필터링, 성형된 완화 잡음(shaped comfort noise)의 삽입) 및 샘플링 레이트 변환 같은 추가 작업들에 대해 간단히 재사용된다. 이와 같이, 추가적인 시간-주파수 변환이 계산될 필요가 없다.
HF 컨텐츠에 대한 노이즈를 이용하는 것 대신에, 고대역 신호는 이 실시예에서만 저대역 신호에 기반하여 발생된다. 이는 주파수 영역에서 복제 또는 폴딩-업(folding-up) (미러링) 작업 수단에 의해 수행될 수 있다. 저대역 신호처럼 시간 미세-구조(temporal fine-structure) 또는 동일 고조파를 갖는 고대역 신호가 보장된다. 이는 시간 영역 신호의 계산적 비용이 드는 폴딩(folding) 및 추가적인 지연을 피한다.
이후, 도 1의 성형(204) 기술의 기능은 도 5, 6, 및 7의 컨텍스트에서 논의되며, 여기서 상기 성형은 도 1, 2a-2c 또는 다른 유도 또는 비-유도 주파수 향상 기술들로부터 알려진 다른 기능들과 함께 분리되어 그리고 개별적으로 수행의 컨텍스트에서 수행될 수 있다.
도 5는 코어 신호(120)의 주파수에 관한 에너지 분포를 나타내는 값을 계산하는 계산기(calculator, 500)을 포함하는 주파수 향상 신호(140)를 발생시키는 장치를 도시한다. 게다가, 신호 발생기(200)는 라인(502)에 의해 도시되는 것처럼 코어 신호로부터 코어 신호에 포함되지 않는 향상 주파수 범위를 포함하는 향상 신호를 발생시키도록 구성된다. 게다가, 신호 발생기(200)는 향상 신호의 스펙트럼 포락선이 에너지 분포를 나타내는 값에 의존하도록 도 2a의 컨텍스트에서 코어 신호(120) 또는 도 1의 블록(202)에 의한 출력 같이 향상 신호를 성형하도록 구성된다.
바람직하게는, 상기 장치는 주파수 향상 신호(140)를 얻기 위해 코어 신호(120) 및 블록(200)에 의해 출력되는 향상 신호(130)를 결합하기 위한 결합기(300)를 추가적으로 포함한다. 시간적 평활(206) 또는 에너지 제한(208) 같은 추가적인 작업들은 성형된 신호를 더 처리하는 것이 바람직하지만, 특정 실시예들에서 반드시 요구되는 것은 아니다.
신호 발생기(200)는 향상 주파수 범위의 제1주파수로부터 향상 주파수 범위의 제2고주파수(두번째로 높은 주파수)까지의 제1스펙트럼 포락선 감소가 에너지 분포를 나타내는 제1값에 대해 얻어지도록 향상 신호를 성형하도록 구성된다. 게다가, 향상 범위의 제1주파수로부터 향상 범위의 제2주파수까지의 제2스펙트럼 포락선 감소는 제2에너지 분포를 나타내는 제2값에 대해 얻어진다. 제2주파수가 제1주파수보다 큰 경우, 제2스펙트럼 포락선 감소는 제1스펙트럼 포락선 감소보다 크며, 제1값은 코어 신호가 코어 신호의 낮은 주파수 범위에서의 에너지 집중을 나타내는 제2값과 비교하여 코어 신호의 고주파수 범위에서의 에너지 집중을 갖는다는 것을 나타낸다.
바람직하게는, 계산기(500)는 에너지 분포에 정보 값으로서 현재 프레임의 스펙트럼 중심에 대한 측정(measure)을 계산하도록 구성된다. 이후, 고주파수에서의 스펙트럼 중심이 낮은 주파수에서 스펙트럼 중심과 비교하여 스펙트럼 포락선의 더 낮은 경사를 도출하도록, 신호 발생기(200)는 스펙트럼 중심에 대한 이 측정에 따라 성형한다.
에너지 분포 계산기(500)에 의해 계산되는 에너지 분포에 대한 정보는 제1주파수에서의 시작 및 제1주파수보다 더 높은 제2주파수에서의 종결하는 코어 신호의 주파수 부분에 대해 계산된다. 제1주파수는, 예를 들어 도 4의 (410)에서 도시되는 것처럼, 코어 신호의 최저 주파수보다 낮다. 바람직하게는, 제2주파수는 크로스오버 주파수(420)이지만 상기 경우가 그럴 수 있는 것처럼 크로스오버 주파수(420)보다 낮은 주파수일 수도 있다. 그러나, 크로스오버 주파수(420)에 가능한 많이 스펙트럼 분포에 대한 측정을 계산하는데 이용되는 제2주파수를 확장하는 것이 바람직하며 최적의 오디오 품질의 도출한다.
실시예에서, 도 6의 절차는 에너지 분포 계산기(500) 및 신호 발생기(200)에 의해 적용된다. 단계 602에서, E(i)에서 표시되는 코어 신호의 각 대역에 대한 에너지 값이 계산된다. 이후, 향상 주파수 범위의 모든 대역들의 조정에 대해 이용되는 sp 같은 단일 에너지 분포 값은 블록 604에서 계산된다. 이후, 단계 606에서, 가중 인수들(weighting factors)은 이 단일 값에 대해 이용하는 향상 주파수 범위의 모든 대역들에 대해 계산되고, 여기서 가중 인수들은 바람직하게는 att f 이다.
이후, 신호 발생기(208)에 의해 수행되는 단계 608에서, 가중 인수들은 부대역 샘플들의 실수 및 허수 부분들에 적용된다.
마찰 사운드들은 QMF 영역에서 현재 프레임의 스펙트럼 중심을 계산하여 감지된다. 스펙트럼 중심은 0.0 에서 1.0의 범위를 갖는 단위(측정)이다. 높은 스펙트럼 중심(1에 가까운 값)은 사운드의 스펙트럼 포락선이 상승하는 경사를 갖는다는 것을 의미한다. 음성 신호들에 대해 이는 현재 프레임이 아마도 마찰음을 포함한다는 것을 의미한다. 스펙트럼 중심의 값이 1에 더 가까울수록, 스펙트럼 포락선의 경사는 더 가파르게 되거나 더 많은 에너지가 고주파수 범위에 집중된다.
스펙트럼 중심은 다음에 따라 계산된다:
Figure pct00008
여기서 E(i)는 QMF부대역 i 의 에너지이고 start 는 1kHz를 인용하는 QMF 부대역-지수이다. 복제된 QMF 부대역들은 인수 att f 로 가중된다:
Figure pct00009
여기서
Figure pct00010
이다. 일반적으로, att 는 다음 방정식을 이용하여 계산될 수 있다:
Figure pct00011
,
여기서 p는 다항식이다. 바람직하게, 상기 다항식은 1차이다:
Figure pct00012
,
여기서 a, b 또는 일반적으로 다항식 계수는 모두 0 및 1 사이이다.
위 방정식을 제외하고, 비슷한 성능을 갖는 다른 방정식들이 적용될 수 있다. 그러한 다른 방정식들은 다음과 같다:
Figure pct00013
특히, a i 값은 높은 i 보다 더 높아야 하고, 중요하게는, bi 값은 적어도 지수 i > 1 에 대해 a i 값보다 낮아야 한다. 이와 같이, 상기 방정식과 비교하여 상이한 방정식으로, 유사한 결과가 얻어진다. 일반적으로, ai, bi 는 i와 함께 점증적으로 증가 또는 감소하는 값이다.
게다가, 도 7이 언급된다. 도 7은 상이한 에너지 분포 값 sp에 대한 개별 가중 인수들 att f 를 도시한다. sp가 1과 같을 때, 코어 신호의 전체 에너지는 코어 신호의 최고 대역에 집중된다. 이후, att 가 1과 같고 가중 인수들 att f 은 도 700에서 도시되는 것처럼 주파수에 대해 일정하다. 다른 한편으로, 코어 신호의 완전한 에너지가 코어 신호의 최저 대역에 집중될 때, sp는 0과 같고 att는 0.5와 같으며 주파수에 대한 조정 인수들의 대응 과정(course)은 706으로 도시되었다.
(702) 및 (704)로 표시된 주파수에 대한 성형 인수들(shaping factors)의 과정은 대응하여 증가하는 스펙트럼 분포 값들에 대한 것들이다. 이와 같이, 항목(704) 에 대해, 에너지 분포 값은 0보다 크지만 파라메트릭 화살표(708)로 표시되는 것처럼 항목(702)에 대한 에너지 분포 값보다 작다.
도 8은 시간적 평활 기술을 이용하여 주파수 향상 신호를 발생시키는 장치를 도시한다. 상기 장치는 코어 신호(120, 110)로부터 향상 신호를 발생시키는 신호 발생기(200)를 포함하며, 여기서 향상 신호는 코어 신호에 포함되지 않는 향상 주파수 범위를 포함한다. 프레임(320)같은 현재 시간 부분(current time portion) 및 향상 신호 또는 코어 신호의 슬롯(340)은 바람직하게는 복수의 부대역들에 대한 부대역 신호들을 포함한다.
제어기(controller, 800)는 코어 신호 또는 향상 주파수 범위의 복수의 부대역 신호들에 대한 동일 평활 정보(802)를 계산한다. 게다가, 신호 발생기(200)는 동일 평활 정보(802)를 이용하여 코어 신호의 복수의 부대역을 평활하도록 또는 동일 평활 정보(802)를 이용하여 향상 주파수 범위의 복수의 부대역 신호들을 평활하도록 구성된다. 신호 발생기(200)의 출력은, 도 8에서, 이후 결합기(300)로 입력될 수 있는 평활 향상 신호(smooth enhancement signal)이다. 도 2a-2c의 컨텍스트에서 논의되는 것처럼, 평활(206)은 도 1의 프로세싱 체인(processing chain)의 어느 위치에서든 수행될 수 있고 또는 다른 어떠한 주파수 향상 설계의 컨텍스트에서 개별적으로도 수행될 수 있다.
제어기(800)는 바람직하게는 시간 부분의 주파수 향상 신호만을 이용하여 또는 주파수 향상 신호 및 코어 신호의 복수의 부대역 신호들의 결합된 에너지를 이용하여 평활 정보를 계산하도록 구성된다. 게다가, 코어 신호 및 주파수 향상 신호의 또는 현재 시간 부분을 선행하는 하나 이상의 초기 시간 부분의 코어 신호의 복수의 부대역 신호들의 평균 에너지가 이용된다. 평활 정보는 모든 대역들에서 향상 주파수 범위의 복수의 부대역 신호들에 대한 단일 보정 인수이며, 그래서 신호 발생기(200)는 향상 주파수 범위의 복수의 부대역 신호들에 대해 보정 인수(correction factor)를 적용하도록 구성된다.
도 1의 컨텍스트에서 논의되는 것처럼, 상기 장치는 복수의 시간적-이후(time-subsequent) 필터뱅크 슬롯들에 대한 코어 신호의 복수의 부대역 신호들을 제공하는 제공자(provider) 또는 필터뱅크(100)를 더 포함한다. 게다가, 신호 발생기는 코어 신호의 복수의 부대역 신호들을 이용하여 복수의 시간적-이후 필터뱅크 슬롯들에 대한 향상 주파수 범위의 복수의 부대역 신호들을 유도하도록 구성되며, 제어기(800)는 각 필터뱅크 슬롯에 대해 개별 평활 정보(802)를 계산하도록 구성되며 평활은 이후, 새로운 개별 평활 정보와 함께, 각 필터뱅크 슬롯에 대해, 수행된다.
제어기(800)는 하나 이상의 선행 시간 부분들에 기반하여 그리고 현재 시간 부분의 주파수 향상 신호 또는 코어 신호에 기반하여 평활 강도 제어 값(smoothing intensity control value)을 계산하도록 구성되며, 상기 제어기(800)는 평활 강도가 하나 이상의 선행 시간 부분들의 주파수 향상 신호 또는 코어 신호의 평균 에너지 및 현재 시간 부분의 주파수 향상 신호 또는 코어 신호의 에너지 사이의 차이에 의존하여 변하는 평활 제어 값을 이용하여 평활 정보를 계산하도록 구성된다.
신호 발생기(200) 및 제어기(800)에 의해 수행되는 절차를 도시하는 도 9가 언급된다. 제어기(800)에 의해 수행되는, 단계(900)은, 예를 들어 하나 이상의 선행 시간 부분들에서 평균 에너지 및 현재 시간 부분에서 에너지 사이의 차이에 기반하여 발견될 수 있지만, 평활 강도에 관한 결정을 위한 다른 어떤 절차에서도 이용될 수 있다. 하나의 대안은 대신에 또는 추가적으로 장래의 시간 슬롯들이 이용되는 것이다. 추가 대안은 프레임 당 단일 변환만을 갖는 것이고 시간적으로 이후 프레임들에 대해 평활할(smooth) 것이다. 이는 스트리밍 응용 같은, 지연이 문제가 되지 않는 응용들에서 문제가 되지 않을 수 있다. 예를 들어 모바일 폰들을 이용하는, 쌍 방향 통신(two way communication)에 대한 것처럼 지연이 문제가 되는 응용들에 대해서는, 과거 또는 선행 프레임들이 장래 프레임들보다 선호되며, 이는 과거 프레임들의 이용은 지연을 야기하지 않기 때문이다.
이후, 단계 902에서, 평활 정보는 단계 900의 평활 강도의 결정에 기반하여 계산된다. 이 단계 902는 제어기(800)에 의해서도 수행된다. 이후, 신호 발생기(200)는 몇몇 대역들에 대한 평활 정보의 응용을 포함하며, 여기서 하나(one) 및 동일 평활 정보(802)는 향상 주파수 범위에서 또는 코어 신호에서 이러한 몇몇 대역들에 적용된다.
도 10은 단계들의 도 9 시퀀스(sequence) 실시의 바람직한 절차를 도시한다. 단계 1000에서, 현재 슬롯의 에너지가 계산된다. 이후, 단계 1020에서, 하나 이상의 이전 슬롯들의 평균 에너지가 계산된다. 이후, 단계 1040에서, 현재 슬롯에 대한 평활 계수는 블록 1000 및 1020에 의해 얻어지는 값들 사이의 차이에 기반하여 결정된다. 이후, 단계 1060은 현재 슬롯에 대한 보정 인수의 계산을 포함하며 단계 1000 내지 1060은 제어기(800)에 의해 모두 수행된다. 이후, 신호 발생기(200)에 의해 수행되는, 단계 1080에서, 실제 평활 작업이 수행되며, 즉 대응 보정 인수가 하나의 슬롯 내의 모든 부대역 신호들에 적용된다.
하나의 실시예에서, 시간적 평활이 두 단계로 수행된다:
평활 강도에 대한 결정. 평활 강도에 대한 결정을 위해, 시간에 대한 신호의 고정(stationary)이 측정된다. 이러한 측정을 수행하는 가능한 방법은 QMF 시간-슬롯들 또는 이전 단기 윈도우들(previous short-term windows)의 평균 에너지 값들과 QMF 시간-슬롯 또는 현재 단기 위도우의 에너지를 비교하는 것이다. 계산을 절약하기 위해, 이는 고-대역 부분에서만 측정될 수도 있다. 비교된 에너지 값들이 근접할수록, 평활 강도가 더 낮아져야 한다. 이는 평활 계수 α에서 반영되며, 여기서 0<α≤1이다. α가 더 클수록, 평활 강도가 더 높다.
고- 대역에 대한 평활의 적용 . 상기 평활은 QMF 시간-슬롯 베이스에 고-대역 부분에 대해 적용된다. 그래서, 현재 시간-슬롯의 고-대역 에너지 Ecurr t 는 하나 또는 복수의 이전 QMF 시간-슬롯들의 평균 고-대역 에너지 Eavg t 에 적용된다.
Figure pct00014
Ecurr 은 하나의 시간 슬롯에서 고-대역 QMF 에너지들의 합으로 계산된다:
Figure pct00015
Eavg 는 에너지들의 시간에 이동 평균(moving average)이다:
Figure pct00016
여기서 start 및 stop 은 이동 평균을 계산하는데 이용되는 간격의 경계들(borders)이다.
합성을 위해 이용되는 실수 및 허수 QMF 값들은 보정 인수 currFac와 곱해진다.
Figure pct00017
Figure pct00018
이는 Ecurr 및 Eavg 로부터 유도된다:
Figure pct00019
인수 α는 고정되거나 또는 Ecurr 및 Eavg 의 에너지 차이에 의존할 수 있다.
이미 도 14에서 논의된 것처럼, 시간적 평활에 대한 시간 해상도는 에너지 제한 기술의 시간 해상도 또는 성형의 시간 해상도보다 높게 설정된다. 이는 부대역 신호들의 일시적인 평활 과정이 얻어지며 반면, 동시에, 계산적으로 더 집중적인 성형은 프레임 당 단 한번만 수행된다는 것을 확실히 한다. 그러나, 하나의 부대역으로부터 다른 부대역으로, 즉 주파수 방향으로, 어떠한 평활이든 수행되지 않는데, 이는 이미 발견된 바와 같이, 이는 실질적으로 주관적 청취 품질을 감소시키기 때문이다.
향상 범위에서 모든 부대역들에 대한 보정 인수 같은 동일 평활 정보를 이용하는 것이 바람직하다. 그러나, 동일 평활 정보가 모든 대역들에 대해서가 아니라 대역들의 그룹에 대해서 적용되고 그러한 그룹이 적어도 두개의 부대역들을 갖는 실시예가 가능할 수도 있다.
도 11은 도 1에서 도시된 에너지 제한 기술(208)을 겨냥하는 추가 관점을 도시한다. 구체적으로, 도 11은 향상 신호를 발생시키는 신호 발생기(200)을 포함하는 주파수 향상 신호를 발생시키는 장치를 도시하며, 향상 신호는 코어 신호에 포함되지 않는 향상 주파수 범위를 포함한다. 게다가, 향상 신호의 시간 부분은 복수의 부대역들에 대한 부대역 신호들을 포함한다. 추가적으로, 상기 장치는 향상 신호(130)를 이용하여 주파수 향상 신호(140)를 발생시키는 합성 필터뱅크(300)를 포함한다.
에너지 제한 절차를 실행하기 위해, 신호 발생기(200)는 상기 합성 필터뱅크(300)에 의해 얻어지는 주파수 향상 신호(140)가 고대역의 에너지가 저대역의 에너지와, 최대한, 동일하거나, 미리 결정된 임계에 의해, 최대한, 저대역의 에너지보다 크도록 보장하기 위해, 에너지 제한을 수행하도록 구성된다.
신호 발생기는 높은 QMF 부대역 k 가 QMF 부대역 k-1에서의 에너지를 초과하지 않게 보장하도록 구현되는 것이 바람직하다. 그럼에도 불구하고, 신호 발생기(200)는 바람직하게는 3dB의 임계(threshold)일 수 있는 특정 점진적 증가를 허용하도록 구성될 수도 있고 임계는 바람직하게는 2dB 그리고 더 바람직하게는 1dB 또는 그보다 더 작을 수 있다. 미리 결정된 임계는 이전에 계산된 스펙트럼 중심에 의존하거나 각 대역에 대해 일정할 수 있다. 바람직한 의존도는 상기 중심이 낮은 주파수에 접근할 때, 임계가 더 낮아지는 것, 즉 더 작아지는 것이며, 반면 더 가까운 중심이 더 높은 주파수에 접근하거나 sp가 1에 접근할 때 상기 임계가 더 커질 수 있다.
추가 실시예에서, 신호 발생기(200)는 제1부대역의 제1부대역 신호를 검사하고 그리고 제1부대역의 중심 주파수보다 더 높은 중심 주파수를 가지고 제1부대역에 주파수에 인접한 제2부대역의 부대역 신호를 검사하도록 구성되며, 제2부대역 신호의 에너지가 제1부대역 신호의 에너지와 동일할 때 또는 제2부대역 신호의 에너지가 미리 정의된 임계 이하로 제1부대역 신호의 에너지보다 클 때 상기 신호 발생기는 제2부대역 신호를 제한하지 않을 것이다.
게다가, 예를 들어, 신호 발생기는 도 1 또는 도 2a-2c에서 도시되는 것처럼 복수의 처리 작업을 일련의 순서로 형성하도록 구성된다. 이후, 신호 발생기는 바람직하게는 합성 필터뱅크(300)로 입력되는 향상 신호(130)를 얻기 위해 순서(sequence)의 끝에 에너지 제한을 수행한다. 이와 같이, 합성 필터뱅크(300)는 에너지 제한의 최종 처리에 의해 순서의 끝에서 발생되는 향상 신호(130)를, 입력으로서, 받도록 구성된다.
게다가, 신호 발생기는 에너지 제한 전에 스펙트럼 성형(204) 또는 시간적 평활(206)을 수행하도록 구성된다.
바람직한 실시예에서, 신호 발생기(200)는 코어 신호의 복수의 부대역들을 미러링하여 향상 신호의 복수의 부대역 신호들을 발생시키도록 구성된다.
미러링을 위해, 바람직하게는 실수 부분 또는 허수 부분을 부정(negating)하는 절차가 앞서 논의된 것처럼 수행된다.
추가 실시예에서, 신호 발생기는 보정 인수 limFac 를 계산하도록 구성되며 이후 이 제한 인수 limFac 는 다음에 따라 향상 주파수 범위 또는 코어의 부대역 신호들에 적용된다.
E f 가 시간 범위 stop-start에 대해 평균내어진 한 대역의 에너지라고 해보자:
Figure pct00020
만약 이 에너지가 이전 대역의 평균 에너지를 몇몇 레벨만큼 초과하는 경우, 이 대역의 에너지는 보정/제한 인수 limFac 에 의해 곱해진다:
Figure pct00021
Figure pct00022
실수 및 허수 QMF 값들은 다음에 의해 보정된다:
Figure pct00023
미리 결정된 임계 fac는 는 이전에 계산된 스펙트럼 중심에 의존하거나 각 대역에 대해 일정할 수 있다.
Figure pct00024
는 f에 의해 표시되는 부대역에서 부대역 신호의 에너지 제한된 실수 부분이다.
Figure pct00025
는 부대역 f에서 에너지 제한 이후의 부대역 신호의 대응 이미지 부분이다.
Figure pct00026
및
Figure pct00027
는 성형된 그리고 시간적으로 평활된 부대역 신호들 또는 바로 아무런 성형 또는 시간적 평활이 일어나지 않을 때의 부대역 신호들 같은 에너지 제한 전의 부대역 신호들의 대응하는 실수 및 허수 부분들이다.
또다른 실시예에서, 제한 인수 limFac 는 다음 방정식을 이용하여 계산된다:
Figure pct00028
이 방정식에서, E lim 은 일반적으로 저대역의 에너지 또는 특정 임계 fac만큼 증가된 저대역의 에너지인, 제한 에너지이고, E f (i) 은 현재 대역 f 또는 i의 에너지이다.
향상 주파수 범위에서 7개의 대역들이 있는 특정 예를 나타내는 도 12a 및 도 12b가 언급된다. 대역 1202는 에너지에 관해 대역 1201 보다 더 크다. 이와 같이, 도 12b로부터 명확해지는 것처럼, 대역 1202는 이 대역에 대한 도 12b의 1250에서 표시되는 것처럼 에너지-제한된다. 게다가, 대역들 1205, 1204 및 1206은 모두 대역 1203보다 크다. 이와 같이, 세 대역들 모두 도 12b의 1250로 도시되는 것처럼 에너지-제한된다. 남아있는 오직 비-제한 대역들은 대역들 1201 (이는 복원 범위에서 첫번째 대역이다) 및 대역들 1203 및 1207이다.
요약된 것처럼, 도 12a/12b는 고대역이 저대역보다 더 많은 에너지를 가지지 않도록 제한하는 상황을 도시한다. 그러나, 상기 상황은 특정 증가가 허용될 때 조금 다르게 보일 것이다.
에너지 제한은 단일 확장 대역에 대해 적용될 수 있다. 이후, 비교 또는 에너지 제한이 최고 코어 대역의 에너지를 이용하여 수행된다. 이는 복수의 확장 대역들에 대해 적용될 수도 있다. 최저 확장 대역은 최고 코어 대역을 이용하여 에너지 제한되고, 최고 확장 대역은 최고 확장 대역에 대한 두번째 것(the second)에 관해 에너지 제한된다.
도 15는 전송 시스템 또는, 일반적으로 인코더(1500) 및 디코더(1510)를 포함하는 시스템을 도시한다. 상기 인코더는 바람직하게는 대역폭 감소를 수행하는, 또는 완전한 상부 주파수 범위 또는 상부 대역일 필요가 없지만, 코어 주파수 대역들 사이에서 어떠한 주파수 대역이든 될 수 있는, 일반적으로 원래 오디오 신호(1501)의 몇몇 주파수 범위들을 삭제하는 인코딩된 코어 신호를 발생시키는 인코더이다. 이후, 인코딩된 코어 신호는 어떠한 부가 정보도 없이 인코더(1500)로부터 디코더(1510)까지 전송되며 상기 디코더(1510)는 주파수 향상 신호(140)를 얻기 위해 비-유도 주파수 향상을 수행한다. 이와 같이, 상기 디코더는 도 1 내지 14 중 어느 것에서 논의되는 것처럼 실행될 수 있다.
비록 본 발명이 블록들이 실제 또는 논리적인 하드웨어 부품들을 나타내는 블록 다이어그램의 컨텍스트에서 설명되었지만, 본 발명은 컴퓨터-실행 방법에 의해 실행될 수 있다. 후자의 경웅, 상기 블록들은 단계들이 대응하는 논리적 또는 물리적 하드웨어 블록들에 의해 수행되는 기능들을 나타내는 대응 방법 단계들을 나타낸다.
비록 몇몇 관점들이 장치의 관점에서 설명되었지만, 이러한 관점들은 또한 대응하는 방법의 묘사도 나타낸다는 것이 명백하며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 관점들은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명 또한 나타낸다. 방법 발명의 몇몇 또는 전체는, 마이크로프로세서, 프로그래밍 가능한 컴퓨터 또는 전기 회로같은, 하드웨어 장치에 의해 (또는 그것을 이용하여) 실행될 수 있다. 몇몇 실시예들에서, 가장 중요한 방법 단계들 중 몇몇 또는 그 이상은 그러한 장치에 의해 실행될 수 있다.
발명의 전송되는 또는 인코딩된 신호는 인터넷 같은 유선 통신 매체 또는 무선 통신 매체 같은 전송 매체에서 전송될 수 있고 또는 디지털 저장 매체에 저장될 수 있다.
특정한 실행의 요구들에 의존하여, 이 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 실행될 수 있다. 실행들은 전자적으로 읽을 수 있는 컨트롤 신호들을 그곳에 저장하고 있는 디지털 저장매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리,를 이용하여 수행될 수 있고 그것은, 각 방법이 수행되는, 프로그래밍 가능한 컴퓨터 시스템과 연동한다(또는 연동할 수 있다).
본 발명에 따른 몇몇 실시 예들은 전자적 판독 가능한 컨트롤 신호들을 갖는 데이터 캐리어를 포함하며, 그것은 여기서 설명된 방법 중 하나가 수행되는 프로그래밍 가능한 컴퓨터 시스템과 연동 가능하다.
일반적으로 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로 실행될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 수행될 때 상기 방법 중 하나를 수행하도록 작동되는 것이다. 프로그램 코드는 예시적으로 기계 판독가능 캐리어에 저장될 수도 있다.
다른 실시 예들은 여기에 설명되고, 기계 판독가능 캐리어에 저장된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다른 말로, 발명의 방법의 실시 예는, 컴퓨터 프로그램이 컴퓨터에서 운영될 때 여기서 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
발명의 방법의 추가 실시 예는, 거기에 저장된, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어이다(또는 디지털 저장 매체, 또는 컴퓨터 판독가능 매체). 데이터 캐리어, 디지털 저장 매체 또는 레코딩 매체는 일반적으로 유형 및/또는 무형이다.
발명의 방법의 또 다른 실시 예는, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 순서 또는 데이터 스트림이다. 데이터 스트림 또는 신호들의 순서는, 예를 들어 인터넷 같은 데이터 통신 연결을 통해 전송되기 위해 예시적으로 구성될 수 있다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위해 구성되거나 적응되기 위하여 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그래밍 가능한 논리 장치를 포함한다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 그 자체에 설치된 컴퓨터를 포함한다.
발명에 따른 추가 실시예는 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 리시버에 (예를 들어, 전기적으로 또는 광학적으로) 전송하도록 구성된 장치 또는 시스템을 포함한다. 리시버는, 예를 들어, 컴퓨터, 모바일 장치, 메모리 장치 또는 유사품일 수 있다. 장치 또는 시스템은, 예를 들어, 컴퓨터 프로그램을 리시버에 전송하기 위한 파일 서버를 포함할 수 있다.
몇몇 실시예들에서, 프로그램가능한 논리 장치(예를 들어, 필드 프로그래밍가능 게이트 어레이)는 여기서 설명된 방버들의 기능 중 몇몇 또는 전체를 수행하도록 이용될 수 있다. 몇몇 실시 예에서, 프로그래밍 가능한 논리 장치(예를 들어 필드 프로그래밍 가능한 게이트 어레이)는 여기서 설명된 방법 중 모든 기능 또는 몇몇을 수행하도록 사용될 수 있다. 몇몇 실시 예에서, 필드 프로그래밍 가능한 게이트 어레이는 여기서 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 연동될 수 있다. 일반적으로, 상기 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해서도 수행된다.
상기 설명된 실시 예들은 단지 본 발명의 원리를 위해 예시적일 뿐이다. 본 상기 배열의 변형, 변화, 그리고 여기서 설명된 자세한 내용들을 기술분야의 다른 숙련자에게 명백하다고 이해되어야 한다. 그것의 의도는, 따라서, 여기의 실시 예의 설명 또는 묘사의 방법에 의해 표현된 특정 세부사항들에 의해 제한되는 것이 아닌 오직 목전의 특허 청구항의 범위에 의해서만 제한된다는 것이다.

Claims (17)

  1. 코어 신호(110, 120)의 주파수에 관한 에너지 분포를 기술하는 값을 계산하는 계산기(500);
    상기 코어 신호(502)로부터, 코어 신호에 포함되지 않는 향상 주파수를 포함하는 향상 신호(130)를 발생시키는 신호 발생기(200);를 포함하며,
    상기 향상 신호 또는 상기 코어 신호의 스펙트럼 포락선이 상기 코어 신호의 주파수에 관한 에너지 분포를 기술하는 값(501)에 의존하도록 신호 발생기(200)가 상기 향상 신호 또는 코어 신호를 성형(shaping)하도록 구성되는, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  2. 제1항에 있어서,
    주파수 향상 신호(300, 140)를 얻기 위해 상기 코어 신호(120) 및 상기 향상 신호(130)를 결합하는 결합기(300)를 더 포함하는, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 신호 발생기(200)는 향상 주파수 범위의 첫번째 주파수로부터 향상 주파수 범위의 두번째 높은 주파수까지의 제1스펙트럼 포락선 감소(first spectral envelope decrease)가 제1에너지 분포를 기술하는 제1값에 대해 얻어지도록, 그리고 향상 범위의 첫번째 주파수로부터 향상 범위의 두번째 주파수까지의 제2스펙트럼 포락선 감소(second spectral envelope decrease)가 제2에너지 분포를 기술하는 제2값에 대해 얻어지도록, 상기 향상 신호 또는 상기 코어 신호를 성형하도록 구성되며,
    상기 두번째 주파수는 상기 첫번째 주파수보다 크고,
    상기 제2스펙트럼 포락선 감소는 제1스펙트럼 포락선 감소보다 크며,
    상기 제1값은 상기 코어 신호가 상기 제2값과 비교하여 코어 신호의 고 주파수에서 에너지 집중을 갖는다는 것을 나타내는, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  4. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 계산기(500)는 상기 에너지 분포상의 값으로 현재 프레임의 스펙트럼 중심(centroid)에 대한 측정을 계산하도록 구성되며,
    상기 신호 발생기(200)는, 고 주파수의 스펙트럼 중심이 저 주파수의 스펙트럼 중심보다 스펙트럼 포락선의 더 낮은 경사를 도출하도록, 스펙트럼 중심에 대한 값에 따라, 성형하도록 구성되는, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  5. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 계산기(500)는 상기 코어 신호의 주파수 부분만을 이용하여 에너지 분포의 정보를 계산하도록 구성되며, 상기 코어 신호의 주파수 부분은 제1주파수(410)에서 시작하고 상기 제1주파수(410)보다 높은 제2주파수에서 끝나며, 상기 제1주파수는 상기 코어 신호의 최저 주파수보다 크거나 또는 상기 제2주파수는 상기 코어 신호의 최고 주파수인, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  6. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 에너지 분포를 기술하는 값은 다음 방정식을 이용하여 계산되며:
    Figure pct00029

    sp는 에너지 분포를 기술하는 값이고, xover는 크로스오버 주파수(420)이며, E(i)는 부대역 i의 에너지이고 start는 상기 코어 신호의 최저 주파수보다 높은 주파수(410)를 인용하는 부대역 지수이며, i는 정수 부대역 지수인, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  7. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 신호 발생기는 입력 신호에 성형 인수를 적용하도록 구성되며, 상기 성형 인수는 다음 방정식에 기반하며 계산되고:
    Figure pct00030
    ;
    att는 성형 인수에 영향을 주는 값이며, p는 다항식(polynomial)이며, sp는 상기 계산기(500)에 의해 계산되는 주파수 분포에 대한 값인, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  8. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 신호 발생기(200)는 다음 방정식을 이용하여 성형을 수행하도록 구성되며:
    Figure pct00031
    , 또는
    Figure pct00032
    ,
    Figure pct00033
    는 성형 부대역 샘플의 실수 부분이며, t는 시간 지수이고, xover는 크로스오버 주파수(420)이며, f는 주파수 지수이고 att는 스펙트럼 분포상의 값으로부터 유도된 상수이며, Q r 은 성형 전 부대역 샘플의 실수 부분이고, Q i 는 성형 전 부대역 샘플의 허수 부분인, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  9. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 코어 신호는 복수의 코어 신호 대역들을 포함하며,
    상기 계산기(500)는 코어 신호 대역들의 개별 에너지들을 계산하고 상기 개별 에너지들(604)을 이용하여 에너지 분포에 대한 정보를 계산하도록 구성되는, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  10. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 코어 신호는 복수의 코어 신호 대역들을 포함하며,
    상기 신호 발생기(200)는 상기 향상 주파수 범위를 성형하는 복수의 향상 신호 대역들을 얻기 위해 하나 또는 복수의 코어 신호 대역들을 복제(copy-up)하거나 미러링(mirror, 202)하도록 구성되는, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  11. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 계산기(500)는 다음 방정식에 기반하여 상기 값을 계산하도록 구성되며:
    Figure pct00034

    ai는 코어 신호의 대역 i에 대한 상수 파라미터이며, E(i)는 대역 i의 에너지이고, 상수 파라미터들은 더 높은 지수 i를 갖는 대역에 대한 파라미터가 더 낮은 지수 i를 갖는 대역에 대한 파라미터보다 더 큰 것을 특징으로 하는, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  12. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 신호 발생기(200)는, 향상 신호 또는 코어 신호의 성형(204)과 동시에 또는 그 이후에, 시간적 평활 작업(206)을 수행하도록 구성되며, 시간적 평활 작업은 평활 강도에 대한 결정을 검색하고 상기 결정에 기반하여 상기 코어 신호 또는 향상 주파수 범위에 대해 평활 작업을 적용하는 것을 포함하는, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  13. 상기 선행 청구항들 중 어느 한 항에 있어서,
    상기 신호 발생기(200)는 성형(204) 또는 시간적 평활(206) 이후에 또는 성형(204) 또는 시간적 평활(206)과 동시에 밴드-방향 에너지 제한(208)을 적용하도록 구성되는, 주파수 향상 신호(140)를 발생시키기 위한 장치.
  14. 주파수 향상 신호(140)를 발생시키는 방법은,
    코어 신호(110, 120)의 주파수에 관한 에너지 분포를 기술하는 값을 계산하는 단계(500);
    상기 코어 신호(502)로부터, 코어 신호에 포함되지 않는 향상 주파수 범위를 포함하는 향상 신호(130)를 발생시키는 단계(200)를 포함하고,
    상기 향상 신호 또는 상기 코어 신호의 스펙트럼 포락선이 상기 코어 신호의 주파수에 관한 에너지 분포를 기술하는 값(501)에 의존하도록 상기 발생시키는 단계(200)는 상기 향상 신호 또는 코어 신호를 성형하는 단계를 포함하는, 주파수 향상 신호(140)를 발생시키는 방법.
  15. 인코딩된 코어 신호(110)를 발생시키는 인코더(1500); 및
    제1항 내지 제13항 중 어느 한 항의 주파수 향상 신호를 발생시키는 장치;를 포함하는, 오디오 신호들을 처리하는 시스템.
  16. 인코딩된 코어 신호(110)를 발생시키는 단계(1500); 및
    제14항의 방법에 따라 주파수 향상 신호를 발생시키는 단계;를 포함하는,
    오디오 신호들을 처리하는 방법.
  17. 컴퓨터 또는 프로세서 상에서 수행될 때, 제14항 또는 제16항의 방법을 수행하기 위한 컴퓨터 프로그램.
KR1020157020470A 2013-01-29 2014-01-28 향상 신호의 성형을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법 KR101787497B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361758090P 2013-01-29 2013-01-29
US61/758,090 2013-01-29
PCT/EP2014/051599 WO2014118159A1 (en) 2013-01-29 2014-01-28 Apparatus and method for generating a frequency enhanced signal using shaping of the enhancement signal

Publications (2)

Publication Number Publication Date
KR20150114483A true KR20150114483A (ko) 2015-10-12
KR101787497B1 KR101787497B1 (ko) 2017-10-18

Family

ID=50029033

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020157022257A KR101757349B1 (ko) 2013-01-29 2014-01-28 부대역들의 시간적 평활을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법
KR1020157020470A KR101787497B1 (ko) 2013-01-29 2014-01-28 향상 신호의 성형을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법
KR1020157022258A KR101762225B1 (ko) 2013-01-29 2014-01-28 에너지 제한 작업을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157022257A KR101757349B1 (ko) 2013-01-29 2014-01-28 부대역들의 시간적 평활을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020157022258A KR101762225B1 (ko) 2013-01-29 2014-01-28 에너지 제한 작업을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법

Country Status (20)

Country Link
US (4) US9640189B2 (ko)
EP (4) EP2951825B1 (ko)
JP (3) JP6289507B2 (ko)
KR (3) KR101757349B1 (ko)
CN (3) CN105103228B (ko)
AR (3) AR094672A1 (ko)
AU (3) AU2014211527B2 (ko)
BR (3) BR112015017632B1 (ko)
CA (3) CA2899078C (ko)
ES (3) ES2914614T3 (ko)
HK (2) HK1218019A1 (ko)
MX (3) MX346944B (ko)
MY (3) MY172161A (ko)
PL (1) PL2951825T3 (ko)
PT (1) PT2951825T (ko)
RU (3) RU2625945C2 (ko)
SG (3) SG11201505883WA (ko)
TW (2) TWI529701B (ko)
WO (3) WO2014118159A1 (ko)
ZA (2) ZA201506265B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2951825B1 (en) 2013-01-29 2021-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands
TWI557727B (zh) 2013-04-05 2016-11-11 杜比國際公司 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品
US9418671B2 (en) * 2013-08-15 2016-08-16 Huawei Technologies Co., Ltd. Adaptive high-pass post-filter
US10146500B2 (en) * 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
CN109841223B (zh) * 2019-03-06 2020-11-24 深圳大学 一种音频信号处理方法、智能终端及存储介质

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2009A (en) * 1841-03-18 Improvement in machines for boring war-rockets
US5765127A (en) 1992-03-18 1998-06-09 Sony Corp High efficiency encoding method
US5581653A (en) 1993-08-31 1996-12-03 Dolby Laboratories Licensing Corporation Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder
US20020002455A1 (en) 1998-01-09 2002-01-03 At&T Corporation Core estimator and adaptive gains from signal to noise ratio in a hybrid speech enhancement system
SE0004163D0 (sv) * 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
WO2002091388A1 (en) * 2001-05-10 2002-11-14 Warner Music Group, Inc. Method and system for verifying derivative digital files automatically
EP2019391B1 (en) * 2002-07-19 2013-01-16 NEC Corporation Audio decoding apparatus and decoding method and program
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
CN1950883A (zh) 2004-04-30 2007-04-18 松下电器产业株式会社 可伸缩性解码装置及增强层丢失的隐藏方法
JP4168976B2 (ja) 2004-05-28 2008-10-22 ソニー株式会社 オーディオ信号符号化装置及び方法
JP4771674B2 (ja) 2004-09-02 2011-09-14 パナソニック株式会社 音声符号化装置、音声復号化装置及びこれらの方法
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US8249861B2 (en) * 2005-04-20 2012-08-21 Qnx Software Systems Limited High frequency compression integration
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US8285555B2 (en) 2006-11-21 2012-10-09 Samsung Electronics Co., Ltd. Method, medium, and system scalably encoding/decoding audio/speech
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
US20110022924A1 (en) * 2007-06-14 2011-01-27 Vladimir Malenovsky Device and Method for Frame Erasure Concealment in a PCM Codec Interoperable with the ITU-T Recommendation G. 711
US8209190B2 (en) 2007-10-25 2012-06-26 Motorola Mobility, Inc. Method and apparatus for generating an enhancement layer within an audio coding system
RU2010125221A (ru) * 2007-11-21 2011-12-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. (KR) Способ и устройство для обработки сигнала
US8554551B2 (en) 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
DE102008015702B4 (de) * 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
US20090201983A1 (en) * 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
CN101335000B (zh) * 2008-03-26 2010-04-21 华为技术有限公司 编码的方法及装置
CN101281748B (zh) * 2008-05-14 2011-06-15 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
EP2176862B1 (en) * 2008-07-11 2011-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for calculating bandwidth extension data using a spectral tilt controlling framing
EP2301028B1 (en) * 2008-07-11 2012-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus and a method for calculating a number of spectral envelopes
MX2011000375A (es) * 2008-07-11 2011-05-19 Fraunhofer Ges Forschung Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada.
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
JP2010079275A (ja) 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
US8352279B2 (en) 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
TWI413109B (zh) 2008-10-01 2013-10-21 Dolby Lab Licensing Corp 用於上混系統之解相關器
KR20130069833A (ko) 2008-10-08 2013-06-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중 분해능 스위치드 오디오 부호화/복호화 방법
FR2938688A1 (fr) * 2008-11-18 2010-05-21 France Telecom Codage avec mise en forme du bruit dans un codeur hierarchique
RU2523035C2 (ru) * 2008-12-15 2014-07-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Аудио кодер и декодер, увеличивающий полосу частот
HUE064767T2 (hu) * 2008-12-15 2024-04-28 Fraunhofer Ges Forschung Audió sávszélesség kiterjesztés dekódoló, megfelelõ eljárás és számítógépi program
US8153010B2 (en) 2009-01-12 2012-04-10 American Air Liquide, Inc. Method to inhibit scale formation in cooling circuits using carbon dioxide
EP2214161A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
EP2953131B1 (en) 2009-01-28 2017-07-26 Dolby International AB Improved harmonic transposition
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
JP4892021B2 (ja) * 2009-02-26 2012-03-07 株式会社東芝 信号帯域拡張装置
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
MX2011006248A (es) * 2009-04-08 2011-07-20 Fraunhofer Ges Forschung Aparato, metodo y programa de computacion para mezclar en forma ascendente una señal de audio con mezcla descendente utilizando una suavizacion de valor de fase.
US8392200B2 (en) 2009-04-14 2013-03-05 Qualcomm Incorporated Low complexity spectral band replication (SBR) filterbanks
EP2273493B1 (en) * 2009-06-29 2012-12-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bandwidth extension encoding and decoding
EP2704143B1 (en) * 2009-10-21 2015-01-07 Panasonic Intellectual Property Corporation of America Apparatus, method and computer program for audio signal processing
RU2568278C2 (ru) * 2009-11-19 2015-11-20 Телефонактиеболагет Лм Эрикссон (Пабл) Расширение полосы пропускания звукового сигнала нижней полосы
EP2561508A1 (en) 2010-04-22 2013-02-27 Qualcomm Incorporated Voice activity detection
KR101461774B1 (ko) * 2010-05-25 2014-12-02 노키아 코포레이션 대역폭 확장기
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
CN102436820B (zh) * 2010-09-29 2013-08-28 华为技术有限公司 高频带信号编码方法及装置、高频带信号解码方法及装置
EP2674942B1 (en) 2011-02-08 2017-10-25 LG Electronics Inc. Method and device for audio bandwidth extension
US8908377B2 (en) * 2011-07-25 2014-12-09 Ibiden Co., Ltd. Wiring board and method for manufacturing the same
US20130259254A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Systems, methods, and apparatus for producing a directional sound field
EP2951825B1 (en) 2013-01-29 2021-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands

Also Published As

Publication number Publication date
EP3136386B1 (en) 2021-10-20
SG11201505883WA (en) 2015-08-28
WO2014118161A1 (en) 2014-08-07
EP3136386A1 (en) 2017-03-01
AR094670A1 (es) 2015-08-19
US20150332706A1 (en) 2015-11-19
JP6301368B2 (ja) 2018-03-28
US9640189B2 (en) 2017-05-02
JP2016510428A (ja) 2016-04-07
BR112015017866B1 (pt) 2021-12-21
KR20150109416A (ko) 2015-10-01
AU2014211529A1 (en) 2015-09-17
CA2899072C (en) 2017-12-19
ES2899781T3 (es) 2022-03-14
WO2014118160A1 (en) 2014-08-07
RU2624104C2 (ru) 2017-06-30
CN105103228B (zh) 2019-04-09
BR112015017632A2 (pt) 2018-05-02
CA2899072A1 (en) 2014-08-07
AU2014211528B2 (en) 2016-10-20
JP6321684B2 (ja) 2018-05-09
TWI524332B (zh) 2016-03-01
KR20150108395A (ko) 2015-09-25
ES2914614T3 (es) 2022-06-14
ES2905846T3 (es) 2022-04-12
US20170323651A1 (en) 2017-11-09
EP2951826A1 (en) 2015-12-09
EP2951827A1 (en) 2015-12-09
EP2951826B1 (en) 2022-04-20
CN105264601B (zh) 2019-05-31
TW201443887A (zh) 2014-11-16
AU2014211527A1 (en) 2015-08-06
BR112015017868B1 (pt) 2022-02-15
HK1218019A1 (zh) 2017-01-27
CA2899080A1 (en) 2014-08-07
US10354665B2 (en) 2019-07-16
MX2015009597A (es) 2015-11-25
CN105264601A (zh) 2016-01-20
JP2016507080A (ja) 2016-03-07
MX351191B (es) 2017-10-04
CN105103228A (zh) 2015-11-25
RU2625945C2 (ru) 2017-07-19
ZA201506268B (en) 2016-11-30
EP2951825A1 (en) 2015-12-09
CN105229738A (zh) 2016-01-06
US9552823B2 (en) 2017-01-24
AU2014211529B2 (en) 2016-12-22
US20150332697A1 (en) 2015-11-19
BR112015017632B1 (pt) 2022-06-07
BR112015017868A2 (ko) 2017-08-22
KR101757349B1 (ko) 2017-07-14
MX2015009536A (es) 2015-10-30
HK1218020A1 (zh) 2017-01-27
AR094671A1 (es) 2015-08-19
SG11201505908QA (en) 2015-09-29
KR101787497B1 (ko) 2017-10-18
CN105229738B (zh) 2019-07-26
JP2016510429A (ja) 2016-04-07
RU2608447C1 (ru) 2017-01-18
WO2014118159A1 (en) 2014-08-07
KR101762225B1 (ko) 2017-07-28
US9741353B2 (en) 2017-08-22
MX346944B (es) 2017-04-06
MX346945B (es) 2017-04-06
MY172710A (en) 2019-12-11
SG11201505906RA (en) 2015-08-28
PL2951825T3 (pl) 2022-03-14
MY185159A (en) 2021-04-30
ZA201506265B (en) 2016-07-27
CA2899078C (en) 2018-09-25
MY172161A (en) 2019-11-15
US20150332707A1 (en) 2015-11-19
CA2899078A1 (en) 2014-08-07
MX2015009598A (es) 2015-11-25
PT2951825T (pt) 2022-02-02
TW201435860A (zh) 2014-09-16
RU2015136799A (ru) 2017-03-13
TWI529701B (zh) 2016-04-11
CA2899080C (en) 2018-10-02
BR112015017866A2 (pt) 2018-05-08
EP2951825B1 (en) 2021-11-24
JP6289507B2 (ja) 2018-03-07
AU2014211528A1 (en) 2015-09-03
RU2015136768A (ru) 2017-03-10
AU2014211527B2 (en) 2017-03-30
AR094672A1 (es) 2015-08-19

Similar Documents

Publication Publication Date Title
KR101787497B1 (ko) 향상 신호의 성형을 이용하여 주파수 향상 신호를 발생시키는 장치 및 방법
TWI544482B (zh) 用於使用能量限制操作產生頻率增強信號之裝置及方法

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant