KR20130018847A - 가이드된 대역폭 확장 및 블라인드 대역폭 확장을 이용하여 광대역 신호를 생성하는 장치, 방법 및 컴퓨터 프로그램 - Google Patents

가이드된 대역폭 확장 및 블라인드 대역폭 확장을 이용하여 광대역 신호를 생성하는 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20130018847A
KR20130018847A KR1020127028959A KR20127028959A KR20130018847A KR 20130018847 A KR20130018847 A KR 20130018847A KR 1020127028959 A KR1020127028959 A KR 1020127028959A KR 20127028959 A KR20127028959 A KR 20127028959A KR 20130018847 A KR20130018847 A KR 20130018847A
Authority
KR
South Korea
Prior art keywords
frequency
frequency content
signal
bandwidth extension
parameter set
Prior art date
Application number
KR1020127028959A
Other languages
English (en)
Other versions
KR101430335B1 (ko
Inventor
프레더릭 나겔
막스 누엔도르프
마커스 슈넬
마커스 물토스
Original Assignee
프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 filed Critical 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Publication of KR20130018847A publication Critical patent/KR20130018847A/ko
Application granted granted Critical
Publication of KR101430335B1 publication Critical patent/KR101430335B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmitters (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Complex Calculations (AREA)

Abstract

저대역 입력 신호를 이용하여 광대역 신호를 생성하는 장치, 방법 및 컴퓨터 프로그램은 전송되는 파라미터를 이용하여 가이드된 대역폭 확장 동작을 수행하고 전송된 파라미터 대신에 얻은 파라미터를 이용하여 블라인드 대역폭 확장 동작을 수행하는 프로세서(23)를 포함한다. 이를 위해, 상기 프로세서는 상기 블라인드 대역폭 확장 동작을 위한 파라미터를 생성하는 파라미터 생성기(24)를 포함한다.

Description

가이드된 대역폭 확장 및 블라인드 대역폭 확장을 이용하여 광대역 신호를 생성하는 장치, 방법 및 컴퓨터 프로그램{APPARATUS, METHOD AND COMPUTER PROGRAM FOR GENERATING A WIDEBAND SIGNAL USING GUIDED BANDWIDTH EXTENSION AND BLIND BANDWIDTH EXTENSION}
본 발명은 오디오 프로세싱에 연관되며, 특히 블라인드 및 가이드된 대역폭 확장을 결합하는 방법 및 컴퓨터 프로그램에 연관된다.
오디오 신호의 저장 및 전송은 종종 엄격한 비트레이트 제약에 따라 달라질 수 있다(is often subject to strict bitrate constraints). 종래에서, 코드는 매우 낮은 비트레이트가 이용되었던 경우에만 전송되는 오디오 대역폭을 철저하게 줄이는 것에 초점이 맞춰졌다. 현대 오디오 코덱(Modern audio codecs)은 오늘날 대역폭 확장(bandwidth extension)(BWE) 방법을 이용함으로써 광대역 신호를 코딩할 수 있다. 이러한 알고리즘은 포스트 프로세싱으로 구동되는 파라미터의 어플리케이션 및 HF 스펙트럼 영역("패치(patching)")으로의 트랜스포지션의 수단으로 디코딩된 신호의 저-주파수 부분(LF)으로 코딩된 파형으로부터 생성되는 고-주파수 컨텐트(HF)의 파라메트릭 표현에 의존한다.
상기 포스트 프로세싱(post processing)은 오리지널 신호의 분포를 목표하기 위한 에너지 레벨의 어댑테이션(또한 인벨롭 섀이핑으로 알려져있음)뿐만 아니라 대역 선택적 인버스 필터링(토널리티 감소(decreasing tonality)), 합성 노이즈 플로어의 추가(토널리티 감소) 또는 개별 사이너소이드(individual sinusoids)의 추가(토널리티 증가)의 도움으로 트랜스포즈되는 HF 대역에서의 지각되는 토널리티의 어댑테이션(the adaptation of the perceived tonality in the transposed HF bands)을 포함한다.
상기 BWE는 LF와 HF 사이의 코릴레이션을 이용하고, 가능한 오리지널 HF 컨텐트와 유사한 HF 정보를 생성하는데 목적을 갖는다. 이러한 BWE는 특정한 가장 높은 주파수(Fmax)까지 상기 주파수를 확장한다. 그러므로 가장 높은 주파수의 결정은 품질과 비트레이트의 트레이드-오프에 따라 달라진다.
미국 특허 제6,680,972 B1호는 스펙트럼 대역 복제를 이용하는 소스 코딩 향상된 기술을 공개한다. 인코더에서 또는 이전의 대역폭 감소는 디코더에서 스펙트럼 대역 복제가 잇따른다(is followed by spectral band replication). 이것은 스펙트럼 인벨롭 조정(spectral envelope adjustments)과 함께 트랜스포지션 방법(transposition methods)의 사용에 의해 수행된다. 주어진 지각 품질 또는 주어진 비트레이트에서의 개선된 지각 품질에서 감소된 비트레이트가 획득된다.
관련되는 기술은 MPEG-4 표준(ISO/IEC 14496-3: 2005(E))에 포함된다. 특히 이 표준의 섹션 4.6.18은 스펙트럼 대역 복제(SBR) 툴을 포함한다. 이 툴은 디코딩된 대역폭-제한 오디오 신호(decoded bandwidth-limited audio signal)의 오디오 대역폭을 확장한다. 이 프로세스는 이용 가능한 대역폭 제한된 신호로부터 데이터 레이트를 감소하고 인코더로부터 획득되는 데이터를 컨트롤하기 위해 이전에 잘린 하모닉의 시퀀스의 복제에 기초가 된다(This process is based on replication of the sequences of harmonics, previously truncated in order to reduce data rate from the available bandwidth limited signal and control data obtained from the encoder). 상기 토널 및 노이즈와-같은 구성 요소 사이의 비율은 적응적 인버스 필터링(adaptive inverse filtering)뿐만 아니라 노이즈 및 사인 곡선의 추가(addition of noise and sinusoidals)에 의해 유지된다. 상기 인코더로부터 얻은 컨트롤 데이터는 패치된 신호(patched signal)의 스펙트럼 인벨롭을 조정하기 위한 스펙트럼 인벨롭 조정 데이터(spectral envelope adjustment data), 및, 게다가, 토널과 노이즈와-같은 구성 요소 사이의 비율을 설정하기 위한 인버스 필터링 데이터(inverse filtering data), 광대역 신호를 생성하기 위한 SBR 동작 내에서 상기 패치된 신호에 추가되는 미싱 하모닉 상의 정보(information on missing harmonics to be added to the patched signal within an SBR operation for generating a wideband signal) 및 패치된 신호에 추가되는 노이즈 상의 정보(information on noise to be added to the patched signal)를 포함한다.
광대역 신호까지 생성되는 최대 주파수가 저대역 고해상도 신호에 첨가된 파라메트릭 데이터에 의해 반영되기 때문에(since the maximum frequency up to which a wideband signal is generated is also reflected by the parametric data attached to the lowband high resolution signal) 이 표준화된 절차는 가이드된 대역폭 확장을 수행한다. 따라서, 높은 대역폭 신호를 생성하여 상기 오디오 신호의 품질을 향상시키기 위해, 추가적인 파라메트릭 데이터는 전송되는 데이터의 비트레이트를 추가적으로 향상시키기 위한 것을 필요로 한다(is required which additionally enhances the bitrate of the transmitted data). 반면, 상기 비트레이트가 전송 채널 용량 이유로 인해 감소되는 경우, 상기 인코더에서 복제된 신호의 가장 높은 대역 중 일부 또는 가장 높은 것에 대한 파라메트릭 데이터를 커트할 수 있다(one might cut parametric data for the highest or some of the highest bands of the replicated signal at the encoder). 이것은 SBR 디코더가 파라메트릭 데이터가 수신되는 데이터 또는 비트스트림에 포함되는 이를 테면, 특정한 대역까지의 주파수까지 높은 주파수 포션을 생성하기 때문에 자동적으로 상기 오디오 품질의 감소의 결과를 야기한다(This automatically results in a reduction of the audio quality, since an SBR decoder will only generate a high frequency portion up to a frequency, i.e. up to a certain band, for which parametric data is included in the incoming data or bitstream). 따라서, 상기 비트레이트의 감소는 상기 오디오 품질의 감소를 야기하거나 상기 오디오 품질의 향상은 상기 비트레이트의 증가를 야기한다.
본 발명의 목적은 높은 품질 및 낮은 비트레이트를 허용하는 개선된 대역폭 확장 컨셉을 제공하는 것이다.
이 목적은 청구항 제1항에 따른 광대역 신호를 생성하는 장치, 청구항 제14항에 따른 광대역 신호를 생성하는 방법, 또는 청구항 제15항에 따른 컴퓨터 프로그램에 의해 달성된다.
본 발명은 오디오 품질의 개선 및/또는 비트레이트의 감소의 연구 결과에 기초하며, 가이드된 대역폭 확장 동작은 블라인드 대역폭 확장 동작과 결합된다(is combined with). 어떠한 파라미터도 전송되지 않은 블라인드 대역폭 확장 동작은 블라인드 대역폭 확장 동작이다(A blind bandwidth extension operation is a bandwidth extension operation, for which no parameters have been transmitted). 다르게 명시된, 블라인드 대역폭 확장 동작은 대역폭 확장 파라미터가 비트스트림으로 전송된 최대 주파수 이상의 주파수에 속하는 신호의 스펙트럼 구성 요소의 결과가 된다(Stated differently, a blind bandwidth extension operation will result in spectral components of a signal which belong to frequencies above a maximum frequency, for which bandwidth extension parameters have been transmitted in the bitstream).
상기 제1 주파수까지 확장하는 제1 주파수 컨텐트를 생성하도록 전송되는 파라미터(transmitted parameter) 및 저대역 입력 신호를 이용하여 가이드된 대역폭 확장 동작의 수행하는 프로세서는 상기 제1 주파수 보다 높은 제2 주파수까지 확장하는 제2 주파수 컨텐트를 생성하도록 상기 저대역 신호 또는 상기 제1 주파수 컨텐트 및 제2 파라미터 세트를 이용하여 블라인드 대역폭 확장 동작을 수행하도록 추가적으로 구성된다. 상기 제2 파라미터는 대역폭 확장 인코더로부터 전송되지 않고, 상기 대역폭 확장 디코더 사이드 상의 상기 제1 주파수 컨텐트로부터 또는 상기 제1 파라미터 세트로부터(from the first parameter set or from the first frequency content alone on the bandwidth extension decoder side) 상기 제2 파라미터 세트를 생성하는 파라미터 생성기에 의해 생성된다. 다르게 명시되는(Stated differently), 상기 블라인드 대역폭 확장 동작은 상기 가이드된 대역폭 확장 동작과 유사하게 동작할 수 있다. 그러나, 차이점은 상기 대역폭 확장 동작에 의해 사용되는 모든 파라메트릭 데이터가 인코더-사이드에서 생성되고 상기 인코더로부터 상기 디코더로 전송된다는 것이다. 그러나, 블라인드 대역폭 확장 동작을 위해, 파리미터는 상기 인코더 사이드 상에서 생성되지 않고 상기 인코더로부터 상기 디코더로 전송되지 않지만(no parameters are generated on the encoder side and are not transmitted from the encoder to the decoder), 오리지널 신호의 상응하는 주파수 컨텐트 상의 모든 정보를 사용하지 않고 상기 디코더에서 이용 가능한 정보를 이용하여 오로지 상기 디코더-사이드에서 생성된다(solely and only produced on the decoder-side using the information available on the decoder). 상기 제1 주파수 컨텐트를 위한 상기 전송되는 파라메트릭 데이터 또는 상기 저대역 신호가 상기 제2 주파수 컨텐트의 모든 정보를 포함하고 있기 때문에, 상기 블라인드 대역폭 확장 동작에 의해 생성되는 주파수 구성 요소에 상응하는 상기 오리지널 오디오 신호의 정보는 상기 디코더에서 모두 이용 가능하지 않는다(Information on the original audio signal corresponding to the frequency components generated by the blind bandwidth extension operation are not at all available at the decoder). 이 정보는 이를 테면, "블라인드" 방법과 같이 어떠한 전송되는 파라메트릭 데이터 없이 상기 디코더-사이드에서 생성된다(This information is generated on the decoder-side alone).
본 발명이 가이드된 대역폭 확장(guided bandwidth extension)(gBWE)과 블라인드 대역폭 확장(blind bandwidth extension)(bBWE)을 결합함으로써 대역폭 확장된 신호의 지각 품질을 더 개선한다는 점은 본 발명의 이점이다(It is an advantage of the present invention that). 본 발명은 높은 주파수 컨텐트가 위에서 참조되는 현대의 대역폭 확장 기법으로 사용되는 상기 전송되는 파라메트릭 데이터에 의해 커버되는 상기 주파수 대역폭에 상응하는 곳에서(where the high frequency content corresponds to the frequency bandwidth) 높은 주파수 컨텐트와 매우 높은 주파수 컨텐트의 코릴레이션을 이용하는 것을 필요로 한다.
본 발명의 내용은 가이드된 BWE(gBWE)와 블라인드 BWE(bBWE)를 결합함으로써 BWE 신호의 지각 품질(perceptual quality)을 더 개선하기 위한 것이다. 이것은 높은 주파수 컨텐트와 매우 높은 주파수 컨텐트의 코릴레이션을 이용함으로써 달성된다(is achieved by exploiting the correlation of high and very high frequency content).
스펙트럼 대역 복제(SBR) 또는 하모닉 대역폭 확장(HBE)와 같은, 현대의 대역폭 확장 기법(Contemporary bandwidth extension schemes)은 HF 컨텐트를 생성하기 위해 먼저 패치 동작(patching operation)을 수행한다. 이 패치는 클리핑, 절대값을 취하기 또는 위상 보코더와 같은 비 선형 프로세싱의 모든 종류일 수 있다. 이것은 싱들 사이드대역 변조, 또는 보간이 될 수 있다(it can also incorporate single sideband modulation, or interpolation). 상기 생성된 패치들은 추가적인 파라미터의 도움으로 상기 오리지널 HF 컨텐트에 적응된다(The generated patches are then adapted to the original HF content).
gBWE 이외에도, 오디오 신호의 대역폭을 단순히 확장하는 것을 목표로 하는 bBWE 방법이 있다. 이것은 어떠한 사이드 정보 없이 HF 노이즈 삽입, 클리핑 등등에 의해 수행될 수 있다.
최신 BWE 방법의 어플리케이션은 제한된 신호를 생성하고 신호의 HF 컨텐트 내에서 리던던시를 완전히 이용하지 않는다(does not fully exploit redundancy within HF content of signals). 그러므로, 최대로 가능한 대역폭은 달성되지 않는다. 게다가 하드 로우-패스 필터된 신호는 특히, 상기 신호가 노이즈와-같은 경우, 상기 로우 패스 필터의 컷오프 주파수의 피치와 토널로 인식될 수 있다(A hard low-pass filtered signal can additionally perceived as tonal with the pitch). 또한, 이러한 로우 패스 필터는 시간적인 왜곡(temporal distortions)을 일으킬 수 있다.
이러한 단점은 상기 블라인드 대역폭 확장 동작이 이를 테면, 상기 제1 주파수 보다 높은 상기 제2 주파수로 확장하는 상기 제2 주파수 컨텐츠와 같은 매우 높은 주파수 컨텐트에 적용되므로 본 발명에 의해 해결된다. 그럼에도 불구하고 전송 레이트를 낮게 유지하기 위해, 파라메트릭 데이터는 제2 주파수 컨텐츠에 대하여 인코더로부터 디코더로 전송되지 않고 광대역 신호를 생성하는 상기 장치에 의해 수신되지 않는다.
그러므로, 제안된 컨셉은 신호의 컷오프 주파수에서 스팁 필터 기울기로 인한 토널리티를 방지한다(avoids a tonality due a steep filter slope). 또한, 시간적인 왜곡은 이러한 필터 특성들(filter characteristics)로 인해 감소된다. 게다가, 본 발명은 추가적인 또는 적은 사이드 정보 없이(without additional or only small side information) 상기 신호의 감지되는 대역폭의 확대를 야기한다. 이것은 모든 기본 대역폭 확장 방법의 상단의 포스트 프로세서(post processor)로 적용될 수 있다.
그러므로, 본 발명의 컨셉은 대역폭 확장 기법으로 구동되는 파라미터를 사용하는 오디오 어플리케이션에 적합하고, 또한 향상된 오디오 품질을 위해 디코더-사이드 대역폭 확장 동작으로 향상되는 음성 코더(speech coder) 또는 모든 오디오를 위해 유용하다.
본 발명의 바람직한 실시예들은 다음의 첨부되는 도면에 대해 설명된다:
도 1a 내지 도 1c는 가이드된 및 블라인드 대역폭 확장 콘셉의 다른 어플리케이션을 도시한다;
도 2a는 제1 주파수 컨텐트를 생성하기 위한 가이드된 대역폭 확장 및 제2 주파수 컨텐트를 생성하기 위한 블라인드 대역폭 확장을 이용하여 저대역 신호로부터 생성되는 광대역 신호의 주파수 컨텐트의 다이어그램을 도시한다;
도 2b는 광대역 신호를 생성하기 위한 장치의 바람직한 실시예를 도시한다;
도 3은 광대역 신호를 생성하기 위한 장치 또는 방법의 더 바람직한 일실시예를 도시한다; 및
도 4는 본 발명의 콘셉의 바람직한 일실시예를 구현하기 위한 흐름도를 도시한다.
도 2b는 저대역 입력 신호(20) 및 제2 파라미터 세트(21)를 이용하여 광대역 신호를 생성하기 위한 장치를 도시한다. 상기 제1 파라미터 세트는 상기 저대역 입력 신호의 최대 주파수 이상 및 제1 주파수까지 주파수 컨텐트를 설명한다(describes a frequency content above a maximum frequency of the lowband input signal and up to a first frequency). 상기 제1 주파수 위의 주파수 컨텐트를 설명하는 파라미터들은 제1 파라미터 세트(21)에서 포함되지 않는다. 이 데이터는 저대역 신호(20)를 파라메트릭 데이터(21)로부터 저대역 신호(20)를 분리하는 입력 인터페이스(22)에 입력한다. 이 데이터는 상기 제1 주파수까지 확장하는 제1 주파수 컨텐트를 생성하도록 제1 파라미터 세트(21) 및 저대역 입력 신호(20)를 이용하여 가이드된 대역폭 확장 동작(guided bandwidth extension operation)(BWE)을 수행하기 위해 프로세서(23)에 전달된다. 게다가, 프로세서(23)는 상기 제1 주파수 보다 높은 제2 주파수까지 확장하는 제2 주파수 컨텐트를 생성하도록 제2 파라미터 세트 및/또는 상기 제1 주파수 컨텐트 또는 상기 저대역 입력 신호를 이용하여 블라인드 대역폭 확장 동작을 수행하도록 구성된다. 상기 프로세서는 상기 제2 파라미터 세트를 생성하기 위해, 제1 파라미터 세트(21)로부터 또는 상기 제1 주파수 컨텐트로부터 상기 제2 파라미터 세트를 생성하기 위한(for generating the second parameter set from the first parameter set 21 or from the first frequency content alone) 파라미터 생성기(parameter generator)(24)를 포함한다. 상기 제2 파라미터 세트가 상기 제1 주파수 컨텐트로부터(from the first frequency content alone) 생성되는 경우, 제1 파라미터 세트(21)는 상기 파라미터 생성기에 도입되지 않는다. 하지만, 파라미터 생성기(24)가 상기 제2 파라미터 세트를 생성하기 위해 제1 파라메트릭 데이터(21)를 사용하는 경우, 상황은 입력 인터페이스(22)가 파라미터 생성기(24)에 연결되어 있는 도 2b에서 도시된 것과 같다.
도 2a는 상기 주파수 상황을 설명하기 위해 주파수 차트를 도시한다. 저대역 입력 신호는 저대역 대역 폭(25a)만을 갖는다. 저대역 대역폭(25a)은 이를 테면, 20 Hz 와 같은 최소 주파수로부터 또는 이를 테면, 4 kHz가 될 수 있는 저대역 최대 주파수(25b)까지 확장한다(extends from a minimum frequency such as e.g. 20 Hz or so until a lowband maximum frequency 25b, which can, for example, be 4 kHz). 제1 주파수 컨텐트(25c)는 전송되는 파라메트릭 데이터에 의해 커버되고 제1 주파수(25d)까지 확장하는 상기 가이드된 대역폭 확장 컨셉에 의해 생성된다(The first frequency content 25c covered by the transmitted parametric data and generated by the guided bandwidth extension concept extends up to a first frequency 25d). 제1 주파수(25d)는 이를 테면, 12 kHz가 될 수 있다. 제2 주파수 컨텐트(25e)는 제2 주파수(25f)까지 확장하고, 제2 주파수 컨텐트(25e)는 제1 주파수(25d)와 제2 주파수(25f) 사이에서 확장하고, 파라메트릭 데이터는 인코더-측에서 전송되거나 생성되지 않는다(no parametric data has been transmitted or generated on an encoder-side). 바람직하게(Exemplarily), 제2 주파수(25f)는 이를 테면, 16 kHz가 될 수 있다.
도 2a에서 도시된 바와 같이, 상기 가이드된 대역폭 확장 동작은 상기 제1 주파수 컨텐트를 생성하기 위해 수행되고 상기 블라인드 대역폭 동작은 주파수 상에서 상기 제1 주파수 컨텐트 보다 높은 상기 제2 주파수 컨텐트를 생성하기 위해 수행된다. 상기 제1 및 상기 제2 주파수 컨텐트는 오버랩핑 되지 않을 수 있다(may be non-overlapping).
제1 주파수 컨텐트(25c) 및 제2 주파수 컨텐트(25d)는 저대역 입력 신호와 함께 도 2b에서 광대역 신호를 생성하는 결합기(combiner)(26)로 전송된다. 어플리케이션에 따라, 상기 결합기는 합성 필터뱅크(synthesis filterbank)가 될 수 있거나 시간 도메인 결합기(time domain combiner)가 될 수 있다. 결합기(26)의 특정한 구현은 이를 테면, 상기 저대역 신호, 상기 제1 주파수 컨텐트 및 상기 제2 주파수 컨텐트가 상응하는 주파수 컨텐트를 갖는 시간 도메인 신호로 이용 가능한지, 이를 테면, 주파수 표현에서 사용할 수 있는 신호인 변환 신호 또는 서브대역 신호로 이용 가능한지의 여부에 따라 프로세서(23)의 구현에 따른다.
도 1은 상기 가이드된 대역폭 확장 동작 및 상기 블라인드 대역폭 확장 동작을 적용하는 프로세서(23)의 구현을 위한 제1 구현을 도시한다. 저대역 신호(21)는 패치어(patcher)(10)의 출력에서 패치된 신호를 생성하기 위해 패치어(patcher)(10)로 입력된다. 상기 패치 동작(patching operation)은 기본적으로 저 주파수 부분을 사용하고 고 주파수 부분에서 신호를 생성한다(generates a signal in a higher frequency portion). 바람직하게 가이드된 대역폭 확장을 위한 패치 동작은 필터뱅크의 목표 범위에서의 인접한 서브대역들에 필터뱅크의 소스 범위에서 인접한 서브대역들의 패치, 상기 목표 범위에 상기 소스 범위에서의 서브대역들을 조화롭게 패치, 클리핑, 절대 값을 취하거나 또는 위상 보코더의 사용, 싱글 사이드대역 변조 또는 보간을 포함한다(comprise the patching of adjacent subbands in a source range in a filterbank to adjacent subbands in a target range of the filterbank, harmonically patching subbands in the source range to the target range, clipping, taking absolute values or using a phase vocoder, a single sideband modulation or an interpolation). 상기 블라인드 대역폭 확장을 위한 패치 동작은 상기 제2 주파수 컨텐트에 노이즈를 삽입하거나 더 높은 스펙트럼 구성 요소를 생성하도록 상기 저대역 또는 상기 제2 주파수 컨텐트를 포함하는 신호를 클리핑하는 것을 포함한다.
상기 패치된 신호는 섀이퍼(11)에 입력되고 섀이퍼(11)의 출력에서 섀이프되고, 패치된 신호(a shaped, patched signal)가 획득된다. 그때, 결합기(12)에서 섀이퍼(11)에 의한 출력인 상기 섀이프되고, 패치된 신호와 저대역 신호(21)는 사기 결합기의 출력에서 광대역 신호(13)를 얻기 위해 결합된다.
도 1b는 패치어(10)와 섀이퍼(11)의 순서가 반대인 다른 수행을 도시한다. 섀이퍼(11)는 상기 가이드된 대역폭 확장 프로세싱과 상기 제2 파라미터 세트를 위한 상기 제1 파라미터 세트 및/또는 섀이프된 저대역 신호를 생성하기 위한 상기 제1 주파수 컨텐트에 대한 정보를 이용하여 저대역 신호(21)의 섀이핑에 대해 구성된다. 섀이퍼(11)의 출력에서 이 섀이프된 저대역 신호는 오리지널 저대역 신호와 동일한 주파수 컨텐트를 갖지만, 도 2a에서 도시된 바와 같은 제1 주파수 컨텐트(25a)와 제2 주파수 컨텐트(25e)를 포함하는 높은 주파수 범위로 패치어(10)에 의해 패치된다. 그때, 상기 패치어의 출력에서의 상기 섀이핑이 패치 전에 수행되었다는 사실로 인해 이미 섀이프된 상기 패치된 신호(the patched signal at the output of the patcher, which is already shaped due to the fact that the shaping was performed before patching)는 결합기(12)에서 저대역 신호(21)와 결합된다.
그러므로, 도 1b와 도 1a 사이의 차이점은 섀이퍼(11)와 패치어(10) 사이의 순서가 반대인 것이다.
또 다른 구현에서, 상기 패치어는 도 1a와 같이 저대역 신호에 직접 적용된다. 그러나, 저대역 신호(21)와 상기 패치되었지만 아직 섀이프되지 않은 신호(patched but not yet shaped signal)는 블록(12)의 출력에서 결합된 신호를 얻기 위해 결합된다. 이 결합된 신호는 이미 도 2a의 주파수 컨텐트(25a, 25c, 25e)를 갖지만, 제1 주파수 컨텐트(25c)와 제2 주파수 컨텐트(25e)는 아직 섀이프되지 않는다(are not yet shaped). 상기 결합된 신호의 고 주파수 컨텐트의 섀이핑은 결합기(12) 다음에 연결된 섀이퍼(11)에 의해 수행된다.
도 1a, 도 1b 및 도 1c에서의 섀이퍼의 모든 수행에서, 상기 섀이퍼는 상기 가이드된 대역폭 확장을 수행하기 위한 파라미터들의 상기 제1 세트 및 상기 블라인드 대역폭 확장을 수행하기 위한 파라미터들의 상기 제2 세트를 사용하고, 여기서 파라미터들의 상기 제2 세트는 도 2b에 도시되어 있지만, 도 1a, 도 1b 또는 도 1c에는 도시되어 있지 않은 파라미터 생성기(24)에 의한 상기 제1 주파수 컨텐트 및/또는 파라미터들의 상기 제1 세트로부터 얻는다(is derived).
도 3은 본 발명의 추가적인 바람직한 일실시예를 도시한다. 비트스트림(20)은 도 3에 도시되지 않은 인코더로부터 수신된다. 상기 비트스트림은 저대역(lowband) 또는 저역(low pass)(LP) 입력 신호(20)와 도 3에서의 "대역폭 사이드 정보"(사이드 정보(sideinfo))에서 도시된 제1 파라미터 세트(21)로 구분된다. 저역 입력 신호(20)는 도 1a, 도 1b 또는 도 1c에서 상기 패치어에 의해 설명된 패치를 수행하기 위해 대역폭 확장 I 블록(30)에 전달된다. 그리고, 상기 가이드된 대역폭 확장 동작의 구현을 위해 상기 대역폭 확장 블록(20)에 의해 생성된 상기 패치된 신호는 상기 비트스트림에 포함되는 대역폭 사이드 정보(21)를 이용하여 상기 스펙트럼 섀이핑의 구현을 위해 스펙트럼 섀이퍼(11a)로 전달된다. 상기 스펙트럼 섀이핑 블록(11a)의 출력은 상기 가이드된 대역폭 확장의 출력 신호를 얻기 위해 토널리티 보정 블록(tonality correction block)(21)에 전달된다. 제1 주파수 컨텐트(25c)를 커버하는 이 출력 신호(This output signal covering the first frequency content)는 결합기(12)에 전달되고 한편으로는 블라인드 대역폭 확장 II 블록(32)에 전달된다. 상기 대역폭 확장 II 블록(32)은 또한 저대역 신호를 이용할 수 있지만, 대역폭 확장 II 블록(32)은 이 바람직한 실시예에서, 제1 주파수 컨텐트(25c)를 이용하여 패치를 수행한다. 그러나, 상기 제1 주파수 컨텐트와 상기 제2 주파수 컨텐트 사이의 좋은 코릴레이션으로 인해(due to the better correlation), 블록(32)에서 블라인드 대역폭 확장의 수행을 위해 제1 주파수 컨텐트(25c)의 사용은 바람직하다. 그리고 스펙트럼 섀이핑은 제2 주파수 컨텐트(25e)와 함께 블록(11b)에서 수행되고, 여기서 이 스펙트럼 섀이핑을 수행하기 위한 정보는 상기 제1 파라미터 세트로부터 상기 제2 파라미터 세트를 계산하는 사이드 정보 외삽 블록(sideinfo extrapolation block)(24) 또는 상기 파라미터 생성기에 의해 전달된다(is forwarded by the parameter generator). 스펙트럼으로 섀이프된 제2 주파수 컨텐트(25e)는 광대역 신호(13)를 얻기 위해 결합기(12)에서 제1 주파수 컨텐트(25c) 및 저대역 신호(20)와 결합된다.
본 발명의 바람직한 실시예들에서, 블라인드 대역폭 확장 동작은 상기 가이드된 대역폭 확장 동작의 상단에 적용된다(is applied on top of the guided bandwidth extension operation). 도 3에서, 이것은 블록(11a 및 31)에서 상기 전송되는 제1 파라미터 세트를 사용함으로써 설명되고, 블록(11b)에 의해 상기 인코더로부터 상기 디코더로 전송되지 않는 상기 제2 파라미터 세트를 이용함으로써 설명된다. 상기 가이드된 대역폭 확장 동작의 출력은 도 3에서 블록(32)에 상기 제1 주파수 컨텐트(25c)를 전달함으로써 설명되는 것과 같은 모든 추가적인 사이드 정보 없이(without any additional side information as illustrated by forwarding the first frequency content 25c to block 32 in Fig. 3) 상기 신호의 상기 대역폭을 더 확장하는데 사용된다. 토널리티 및 스펙트럼 섀이프가 이미 상기 신호에 적응되고 하나는 고 주파수 컨텐트가 매우 높은 주파수를 크게 변화하지 않는 다는 것으로 간주할 수 있으므로, 블록(31)에서 프로세스되고 확장된 신호는 더 연장하기 위해 패치된다(is patched in order to further extend it). 상기 블라인드 대역폭 확장 부분을 위해 더 위에 있는 주파수 컨텐트 이를 테면, 상기 제1 주파수 컨텐트를 사용하는 것은 바람직하지만, 상기 스펙트럼의 임의의 부분 또한 사용될 수 있다.
상기 블라인드 대역폭 확장을 위해, 상기 가이드된 대역폭 확장을 위해 사용되었던 상기 사이드 정보는 상기 파라미터 생성기(parameter generator) 또는 사이드 정보 외삽 블록(sideinfo extrapolation block)(24)에 의해 설명된 것으로 외삽될 수 있다(can be extrapolated). 상기 블라인드 대역폭 확장 부분의 스펙트럼 섀이핑 이를 테면, 상기 블라인드 대역폭 확장 부분 당 파워 파라미터 또는 에너지의 어플리케이션(i.e. the application of energy or power parameters per band of the blind bandwidth extension part)은 블록(11b)에서 스펙트럼 섀이핑에 상응한다. 이를 위해(To this end), 상기 제2 주파수 컨텐트(25e)의 상기 주파수 밴드에 대한 에너지 파라미터들 이를 테면, 주파수 대역에서 에너지에 따른 양인 파라미터는(parameters being a measure depending on the energy in a frequency band) 계산되어야 한다. 이것은 상기 가이드된 대역폭 확장 신호의 최고 1 내지 4 kHz의 에너지의 로그에 대해 회귀선을 정의함으로써(by defining the regression line for a logarithm of the energy of the highest 1 to 4 kHz) 수행될 수 있다. 이 회귀선은 도 2a에서의 29에서 도시된다. 이 외삽된 라인의 데리버티브가 1 보다 작게 되도록 하는 것은 바람직하다(It is preferable that the derivative of this extrapolated line is smaller than one).
대안의 구현은 도 2a에서의 14에서 도시된 상기 제1 주파수 컨텐트의 가장 높은 대역의 에너지가 측정되고 상기 제2 주파수 컨텐트(25e)의 다음 대역들(41, 42, 43 및 44)에 대한 에너지들은 1.5 또는 3 dB와 같은 임의의 양으로 감소된다(are reduced by an arbitrary amount).
따라서, 상기 제2 파라미터 세트는, 최소로(as a minimum), 상기 제2 주파수 컨텐트의 대역(41 내지 44)에 대한 에너지 값들을 포함한다. 이러한 에너지 값들은 상기 제1 파라미터 세트에 포함되는 상기 에너지 값들을 이용하여 계산될 수 있고, 도 2a의 컨텍스트에서 도시된 것과 같이, 상기 제1 파라미터 세트 없이 계산될 수도 있다(but can, as illustrated in the context of Fig. 2a, also be calculated without the first parameter set). 그러므로, 파라미터 생성기(24)는 상기 회귀선을 결정하거나 상기 제1 주파수 컨텐트의 가장 높은 대역(highest band)(40)의 에너지를 결정하기 위해 상기 제1 파라미터 세트를 선택적으로 수신하고 상기 제1 주파수 컨텐트를 수신한다. 그러나, 대역(41 내지 44)에 대한 상기 에너지 값이 상기 제1 파라미터 세트로부터 계산되는 경우(are calculated from the first parameter set alone), 상기 제1 주파수 컨텐트는 상기 제2 파라미터 세트를 계산하는 것을 필요로 하지 않는다(is not required for calculating the second parameter set). 다른 실시예들에서 상기 제2 주파수 컨텐트에 대한 상기 에너지 값들은 또한 상기 제1 파라미터 세트에 포함되는 상기 에너지 값들과 상기 제1 주파수 컨텐트의 조합을 이용하여 계산될 수 있다.
게다가 반전 필터링(inverse filtering) 및 노이즈 플로어(noise floor)와 같은 파라미터들은 상기 블라인드 대역폭 확장에 대하여 외삽되거나 또는 무시될 수 있다(can either be extrapolated or neglected). 그것들이 상기 블라인드 대역폭 확장에 고려되지 않을 경우(If they are not taken into account in the blind bandwidth extension), 이를 테면, 전송되는 파라미터(transmitted parameters)(21)와 같은, 가이드된 대역폭 확장에 사용되는 상기 파라미터들은 도 3의 (32)에서 도시된 블라인드 대역폭 확장(BWE II)에 의해 프로세스되는 상기 스펙트럼 부분을 컨트롤 하도록 적용된다. 또는, 상기 에너지 파리미터들을 사용하는 스펙트럼 섀이핑과는 다른 모든 다른 섀이핑 동작은 생략될 수 있다.
도 4는 흐름도의 형태로 본 발명의 콘셉의 바람직한 구현을 도시한다. 도 2b의 입력 인터페이스(22)에 의해 수행되는 단계(50)에서, 상기 저대역 신호 및 상기 제1 파라미터 세트는 상기 전송되는 신호(비트스트림)에서 추출된다(extracted from the transmitted signal). 저대역 신호(20)는 상기 제1 주파수까지의 확장하는 대역폭을 갖는 제1 패치된 신호를 얻기 위해 상기 저대역 신호를 패치하기 위한 단계(51)에서 사용된다. 그리고, 단계(52)에서 단계(51)에 의해 생성되는 상기 제1 패치되는 신호는 도 3의 (25c)에서 도시된 토널리티 보정 블록(tonality correction block)(31)에 의한 상기 신호 출력에 상응하는 상기 제1 섀이프된 신호를 얻기 위해 상기 제1 파라미터를 사용하여 섀이프된다. 단계(53)는 상기 제1 파라미터 세트 및/또는 상기 제1 섀이프된 신호를 이용하여 상기 제2 파라미터 세트의 계산을 나타낸다. 단계(54)는 도 2a에서 도시된 제2 주파수(25f)까지 확장하는 제2 패치된 신호를 얻기 위해 상기 제1 섀이프된 신호의 패치를 나타낸다(illustrates a patching of the first shaped signal). 단계(55)에서 도시된 바와 같이, 상기 제2 패치 신호는 상기 제2 섀이프된 신호를 얻기 위해 섀이프되고, 추가의 단계(56)에서, 상기 저대역, 상기 제1 섀이프된 신호 및 상기 제2 섀이프된 신호는 마지막으로 광대역 신호(13)를 얻기 위해 결합된다.
앞서서 논의된 바와 같이, 상기 제2 파라미터 세트는 일부 구현을 위해 상기 제1 주파수 컨텐트가 사용되고 상기 제1 파라미터는 사용되지 않거나, 다른 어플리케이션을 위해 상기 제1 파라미터 세트는 사용되고 상기 제1 주파수 컨텐트는 사용되지 않거나, 및 추가 구현을 위해 상기 제1 파라미터 세트와 상기 제 주파수 컨텐트의 조합이 사용되는 다른 방식으로 상기 제1 주파수 컨텐트 및/또는 제1 파라미터 세트에서 얻을 수 있다(can be derived from the first parameter set and/or the first frequency content in different manners). 또한, 상기 인벨롭 조정 에너지 파라미터(envelope adjustment energy parameters) 외의 파라미터에 대하여, 이러한 파라미터들은 추론하는 매우 간단한 방법은 제1 주파수 컨텐트(25c)를 위해 상기 인코더에 의해 생성되는 제2 주파수 컨텐트(25e)에서 동일한 파라미터들을 사용하는 상기 제1 파라미터 세트로부터 추정될 수 있거나 또는 상기 블라인드 대역폭 확장 동작의 모두에서 사용될 수 없다는 것으로 명시된다. 게다가, 상기 인벨롭 조정 에너지 파라미터 이외의 파라미터들에 대하여, 이러한 파라미터들은 상기 블라인드 대역폭 확장 동작의 모두에서 사용될 수 없거나 또는 제1 주파수 컨텐트(25c)를 위해 상기 인코더에 의해 생성된 제2 주파수 컨텐트(25e)에서 동일한 파라미터를 사용하는 외삽하기의 매우 간단한 방법에서 상기 제1 파라미터 세트로부터 외삽될 수 있다(can be extrapolated from the first parameter set where a very straightforward way of extrapolating is using the same parameters in the second frequency content 25e which have been generated by the encoder for the first frequency content 25c). 이를 테면, 20개의 대역들로 구성되는 상기 제1 주파수 컨텐트의 경우, 및 30개 대역들로 구성되는 상기 제2 주파수 컨텐트의 경우를 고려하면, 상기 제2 주파수 컨텐트의 상기 제1 20개의 대역들에 대한 파라미터들은 상기 제1 주파수 컨텐트의 상기 제1 20개의 대역들에 대한 파라미터들과 동일하게 되고(the parameters for the first twenty bands of the second frequency content would be identical to the parameters for the first twenty bands of the first frequency content), 상기 제2 주파수 컨텐트의 마지막 10개의 주파수 대역들에 대한 남아있는 10개의 파라미터들은 외삽법에 의해 얻거나(the remaining ten parameters for the last ten frequency bands of the second frequency content would be derived by extrapolation), 또는 토널리티 코릴레이션은 이러한 마지막 열 개의 주파수 대역들에서 전혀 적용되지 않을 수 있다(a tonality correction would not be applied in these last ten frequency bands at all).
일부 측면들은 장치의 컨텍스트에서 설명되었지만, 이러한 측면들은 방법 단계의 기능 또는 방법의 단계에 상응하는 블록 또는 디바이스에서 상응하는 방법의 설명을 나타낸다. 유사하게 방법 단계의 컨텍스트에서 설명된 측면들은 또한 상응하는 장치의 기능 또는 아이템 또는 상응하는 블록의 설명을 나타낸다. 본 발명의 전송되는 신호는 디지털 저장 매체에 저장될 수 있거나 인터넷과 같은 유선 전송 매체 또는 무선 전송 매체와 같은 전송 매체에서 전송될 수 있다.
특정한 구현 요구 사항에 따라, 본 발명의 실시예들은 하드웨어나 소프트웨어에서 구현될 수 있다. 상기 구현은 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력하는 것에 대해 저장되는 전자적으로 판독 가능한 컨트롤 신호를 갖는(having electronically readable control signals stored thereon) 이를 테면, 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리와 같은 디지털 저장 매체를 이용하여 수행될 수 있다.
본 발명에 따른 몇몇의 실시예들은 여기서 기술된 방법 중 하나를 수행하도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는(which are capable of cooperating with a programmable computer system) 전자적으로 판독 가능한 컨트롤 신호를 갖는 비-일시적인 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드와 함께 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 상기 컴퓨터 프로그램 제품이 컴퓨터에서 실행되는 경우 방법들 중 하나를 수행하기 위해 동작 가능하다. 상기 프로그램 코드는 이를 테면 기계 판독 가능한 캐리어(machine readable carrier)에 저장될 수 있다.
다른 실시예들은 여기서 기술되고 기계 판독 가능한 캐리어에 저장되는 상기 방법들 중 하나를 수행하기 위한 상기 컴퓨터 프로그램을 포함한다.
그러므로, 본 발명의 방법의 실시예는 상기 컴퓨터 프로그램이 컴퓨터에서 실행되는 경우, 여기서 기술된 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 추가 일실시예는 여기에 기술된 상기 방법들 중 하나를 수행하기 위한 그 위에 기록되는(recorded thereon) 상기 컴퓨터 프로그램을 포함하는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터-판독 가능 매체)이다.
그러므로 본 발명의 방법의 추가 일실시예는 여기에 기술되는 상기 방법들 중 하나를 수행하기 위한 상기 컴퓨터 프로그램을 나타내는 신호의 시퀀스 또는 데이터 스트림이다. 신호들의 상기 시퀀스 또는 데이터 스트림은 이를 테면, 인터넷을 통한 것과 같은 데이터 통신 연결을 통해 전송되도록 구성된다.
추가 일실시예는 여기에 기술된 상기 방법들 중 하나를 수행하도록 구성되는 이를 테면, 컴퓨터 또는 프로그램 가능한 로직 디바이스와 같은 프로세싱 수단을 포함한다.
추가 일실시예는 여기서 기술된 상기 방법들 중 하나를 수행하기 위해 상기 컴퓨터 프로그램이 그 위에 설치되는 컴퓨터를 포함한다(comprises a computer having installed thereon the computer program).
몇몇의 실시예들에서, 프로그램 가능한 로직 디바이스(이를 테, 필드 프로그래밍 게이트 어레이)는 여기서 기술된 상기 방법들의 기능의 전체 또는 일부를 수행하도록 사용될 수 있다. 몇몇의 실시예들에서, 필드 프로그램 가능한 게이트 어레이는 여기서 기술된 상기 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다(may cooperate with a microprocessor). 일반적으로 상기 방법들은 바람직하게도 모든 하드웨어 장치에 의해 수행된다.
위에서 기술된 실시예들은 단지 본 발명의 원리에 대한 설명이다. 여기서 기술된 세부 사항 및 어그리먼트의 수정 및 변형은 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에게 명백한 것으로 인지된다. 그러므로, 다음의 특허 청구항의 범위에 의해서만 제한되며 여기서의 실시예들의 예시 및 설명의 방법으로 나타낸 특정한 세부 사항에 의해 제한되지 않는 것으로 의도된다.

Claims (15)

  1. 저대역 입력 신호(20) 및 상기 저대역 입력 신호(20)의 최대 주파수(25b)를 넘어 제1 주파수(25d)까지의 주파수 컨텐트를 기술하는 제1 파라미터 세트(21)를 이용하여 광대역 신호(13)를 생성하는 장치에 있어서, 상기 제1 주파수(25d)를 넘어서는 주파수 컨텐트를 기술하는 파라미터는 상기 제1 파라미터 세트(21)에 포함되지 않고, 상기 장치는:
    상기 저대역 입력 신호 및 상기 제1 파라미터 세트를 이용하여 가이드된 대역폭 확장 동작을 수행하여 상기 제1 주파수(25d) 까지 확장하는 제1 주파수 컨텐트(25c)를 생성하고, 상기 저대역 입력 신호(20) 또는 상기 제1 주파수 컨텐트(25c) 및 제2 파라미터 세트를 이용하여 블라인드 대역폭 확장 동작을 수행하여 상기 제1 주파수(25d) 보다 높은 제2 주파수(25f)까지 확장하는 제2 주파수 컨텐트(25e)를 생성하는 프로세서(23)를 포함하고,
    상기 프로세서(23)는 상기 제1 파라미터 세트(21)로부터 또는 상기 제1 주파수 컨텐트(25c)로부터 상기 제2 파라미터 세트를 생성하는 파라미터 생성기(24)를 포함하는 장치.
  2. 제1항에 있어서,
    상기 프로세서(23)는, 상기 제1 주파수까지 확장하는 상기 제1 주파수 컨텐트와 상기 제2 주파수까지 확장하는 상기 제2 주파수 컨텐트를 갖는 패치된 신호를 생성하는 패치어(10);
    상기 패치된 신호를 생성하기 전에 상기 저대역 입력 신호를 섀이핑하거나, 상기 패치된 신호를 섀이핑하거나, 또는 섀이핑 동작을 이용하여 결합 신호를 섀이핑하는 섀이퍼(11); 및
    상기 섀이핑 동작 전이나 또는 후에 상기 저대역 입력 신호와 상기 패치된 신호를 결합하여 결합 신호를 얻는 결합기(12) - 상기 결합 신호는 상기 광대역 신호이거나, 또는 상기 광대역 신호는 상기 섀이핑 동작에 의해 상기 결합 신호로부터 얻어짐 -,
    를 포함하고,
    상기 섀이퍼(11)는 상기 섀이핑 동작을 수행하도록 구성되어 상기 광대역 신호의 상기 제1 주파수 컨텐트가 상기 제1 파라미터 세트를 이용하여 섀이프되고 상기 광대역 신호의 상기 제2 주파수 컨텐트가 상기 파라미터 생성기(23)에 의해 상기 제1 파라미터 세트로부터 얻어지는 상기 제2 파라미터 세트에 의해 또는 상기 제1 주파수 컨텐트에 의해 영향을 받도록 하는 장치.
  3. 제1항 또는 제2항 중 어느 한 항에 있어서,
    상기 파라미터 생성기(23)는 상기 제1 주파수 컨텐트의 섀이프된 스펙트럼 인벨롭의 에너지 정보의 낮은 주파수부터 높은 주파수까지의 외삽법에 의해 상기 제2 주파수 컨텐트의 상기 제2 파라미터 세트에 대한 스펙트럼 인벨롭 파라미터를 얻도록 구성되는 장치.
  4. 제3항에 있어서,
    상기 파라미터 생성기(24)는 미리 결정된 값으로 낮은 주파수 인접 대역의 에너지에 대하여 상기 제2 주파수 컨텐트의 대역의 에너지를 감소함으로써 상기 외삽법을 수행하도록 구성되고,
    상기 제1 주파수 컨텐트의 가장 높은 주파수 밴드의 에너지는 시작 값으로 사용되는 장치.
  5. 제3항에 있어서,
    상기 파라미터 생성기(24)는 상기 제1 주파수 컨텐트의 미리 결정된 포션을 이용하여 회귀선(regression line)를 계산함으로써 및 상기 회귀선을 주파수 상에서 상기 제2 주파수 컨텐트로 외삽함으로써(by extrapolating) 상기 외삽법을 수행하여 상기 제2 주파수 컨텐트에서 주파수 대역들에 대한 에너지 값들을 얻도록 구성되는 장치.
  6. 제5항에 있어서,
    상기 파라미터 생성기는 상기 회귀선의 데리버티브(derivative)가 1 보다 작게 되도록 회귀선을 계산함으로써 상기 외삽법을 수행하도록 구성되는 장치.
  7. 상기 청구항들 중 어느 한 항에 있어서,
    상기 제1 파라미터 세트는 파라미터 종류의 파라미터의 시퀀스를 포함하고 - 상기 시퀀스는 상기 제1 주파수 컨텐트에서 주파수로 정의됨 -, 및
    상기 파라미터 생성기(24)는 상기 제2 주파수 컨텐트로 상기 시퀀스를 외삽하도록 구성되어 상기 제2 파라미터 세트에 대한 동일한 종류의 파라미터의 시퀀스를 얻는 장치.
  8. 제7항에 있어서,
    상기 제1 파라미터 세트는 파라미터의 종류에서, 스펙트럼 인벨롭 파라미터, 노이즈 파라미터, 토널리티 파라미터 또는 미싱 하모닉 파라미터 (missing harmonics parameters)로 구성되는 하나 또는 그 이상의 그룹을 포함하는 장치.
  9. 상기 청구항들 중 어느 한 항에 있어서,
    상기 프로세서(23)는,
    비트스트림으로부터 상기 저대역 입력 신호(20)와 상기 제1 파라미터 세트(21)를 추출하고;
    상기 제1 파라미터 세트를 이용하는 섀이핑을 포함하는 상기 제1 파라미터 세트 및 상기 저대역 입력 신호의 패치를 이용하는 상기 가이드된 대역폭 확장을 수행하여(51, 52) 제1 섀이프된 신호를 얻고 - 상기 패치는 상기 제1 주파수 컨텐트를 생성함 -; 및
    상기 제2 파라미터 세트 및 상기 제1 섀이프된 신호의 패치를 이용하여 상기 블라인드 대역폭 확장을 수행하도록(54, 55) - 상기 제2 패치는 상기 제2 주파수 컨텐트를 생성함 - 구성되는 장치.
  10. 상기 청구항들 중 어느 한 항에 있어서,
    상기 프로세서(23)는,
    상기 가이드된 대역폭 확장에 대한 상기 제1 파라미터 세트의 토널리티 파라미터, 노이즈 파라미터 및 상기 인벨롭 파라미터를 사용하도록 구성되고, 상기 블라인드 대역폭 확장에서 노이즈 파라미터 또는 토널리티 파라미터를 사용하지 않도록 - 상기 블라인드 대역폭 확장은 상기 가이드된 대역폭 확장의 결과의 패치에 기초함 - 구성되는 장치.
  11. 상기 청구항들 중 어느 한 항에 있어서,
    상기 저대역 입력 신호는 인코딩되고,
    상기 장치는 상기 인코딩된 저대역 입력 신호를 디코딩하는 디코더를 더 포함하는 장치.
  12. 상기 청구항들 중 어느 한 항에 있어서,
    상기 프로세서(23)는 가이드된 대역폭 확장을 위한 패치 방법에서, 필터뱅크 내의 소스 범위 내의 인접한 서브대역들을 상기 필터뱅크 내의 목적 범위 내의 인접한 서브대역들로 패치하고, 상기 소스 범위 내의 서브대역들을 상기 목적 범위로 하모니컬하게 패치하고, 클리핑하고, 절대값을 취하거나 또는 위상 보코더를 이용하거나, 또는 단일 사이드밴드 변조 또는 보간을 이용하도록 구성되는 장치.
  13. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 프로세서(23)는 상기 블라인드 대역폭 확장을 위한 패치 방법에서, 클리핑 또는 HF 노이즈의 삽입을 사용하도록 구성되는 장치.
  14. 저대역 입력 신호(20) 및 상기 저대역 입력 신호(20)의 최대 주파수(25b)를 넘어 제1 주파수(25d)까지의 주파수 컨텐트를 기술하는 제1 파라미터 세트(21)를 이용하여 광대역 신호(13)를 생성하는 방법에 있어서, 상기 제1 주파수(25d)를 넘어서는 주파수 컨텐트를 기술하는 파라미터는 상기 제1 파라미터 세트(21)를 포함되지 않고, 상기 방법은,
    상기 제1 주파수(25d)까지 확장하는 제1 주파수 컨텐트(25c)를 생성하도록 상기 제1 파라미터 세트 및 상기 저대역 입력 신호를 이용하여 가이드된 대역폭 확장을 수행하는 단계; 및
    상기 제1 주파수(25d) 보다 높은 제2 주파수(25f)까지 확장하는 제2 주파수 컨텐트(25e)를 생성하도록 상기 저대역 입력 신호(20) 또는 상기 제1 주파수 컨텐트(25c) 및 제2 파라미터 세트를 이용하여 블라인드 대역폭 확장 동작을 수행하는 단계
    를 포함하고,
    상기 블라인드 대역폭 확장 동작을 수행하는 단계는 상기 제1 파라미터 세트(21)로부터 또는 상기 제1 주파수 컨텐트(25c)로부터 상기 제2 파라미터 세트를 생성하는 단계를 포함하는 방법.
  15. 제14항의 상기 방법이 컴퓨터 상에서 실행되는 경우의 수행을 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.
KR1020127028959A 2010-04-16 2011-04-14 가이드된 대역폭 확장 및 블라인드 대역폭 확장을 이용하여 광대역 신호를 생성하는 장치, 방법 및 컴퓨터 프로그램 KR101430335B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US32496210P 2010-04-16 2010-04-16
US61/324,962 2010-04-16
PCT/EP2011/055889 WO2011128399A1 (en) 2010-04-16 2011-04-14 Apparatus, method and computer program for generating a wideband signal using guided bandwidth extension and blind bandwidth extension

Publications (2)

Publication Number Publication Date
KR20130018847A true KR20130018847A (ko) 2013-02-25
KR101430335B1 KR101430335B1 (ko) 2014-08-13

Family

ID=44146894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127028959A KR101430335B1 (ko) 2010-04-16 2011-04-14 가이드된 대역폭 확장 및 블라인드 대역폭 확장을 이용하여 광대역 신호를 생성하는 장치, 방법 및 컴퓨터 프로그램

Country Status (13)

Country Link
US (1) US9805735B2 (ko)
EP (1) EP2559032B1 (ko)
JP (1) JP5554876B2 (ko)
KR (1) KR101430335B1 (ko)
CN (1) CN102947882B (ko)
AU (1) AU2011239995B2 (ko)
BR (1) BR112012026502B1 (ko)
CA (1) CA2800613C (ko)
ES (1) ES2719102T3 (ko)
MX (1) MX2012011828A (ko)
RU (1) RU2527735C2 (ko)
TR (1) TR201904117T4 (ko)
WO (1) WO2011128399A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6305694B2 (ja) 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
CN103413557B (zh) * 2013-07-08 2017-03-15 深圳Tcl新技术有限公司 语音信号带宽扩展的方法和装置
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
US10141004B2 (en) * 2013-08-28 2018-11-27 Dolby Laboratories Licensing Corporation Hybrid waveform-coded and parametric-coded speech enhancement
US9293143B2 (en) * 2013-12-11 2016-03-22 Qualcomm Incorporated Bandwidth extension mode selection
KR102121642B1 (ko) * 2014-03-31 2020-06-10 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 부호화 장치, 복호 장치, 부호화 방법, 복호 방법, 및 프로그램
KR102244612B1 (ko) 2014-04-21 2021-04-26 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
TW202242853A (zh) 2015-03-13 2022-11-01 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
WO2016180704A1 (en) 2015-05-08 2016-11-17 Dolby International Ab Dialog enhancement complemented with frequency transposition
US10157621B2 (en) * 2016-03-18 2018-12-18 Qualcomm Incorporated Audio signal decoding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
JPH10124088A (ja) * 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
DE10046774A1 (de) 2000-09-21 2002-04-18 Bayer Ag Thermoplastische Formmassen mit speziellen Additivmischungen
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
US6876968B2 (en) 2001-03-08 2005-04-05 Matsushita Electric Industrial Co., Ltd. Run time synthesizer adaptation to improve intelligibility of synthesized speech
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
JP3870193B2 (ja) * 2001-11-29 2007-01-17 コーディング テクノロジーズ アクチボラゲット 高周波再構成に用いる符号器、復号器、方法及びコンピュータプログラム
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
SE0202770D0 (sv) * 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
KR100524065B1 (ko) * 2002-12-23 2005-10-26 삼성전자주식회사 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치
CN1875402B (zh) * 2003-10-30 2012-03-21 皇家飞利浦电子股份有限公司 音频信号编码或解码
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
NZ562182A (en) 2005-04-01 2010-03-26 Qualcomm Inc Method and apparatus for anti-sparseness filtering of a bandwidth extended speech prediction excitation signal
US8032369B2 (en) * 2006-01-20 2011-10-04 Qualcomm Incorporated Arbitrary average data rates for variable rate coders
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US20080004866A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Artificial Bandwidth Expansion Method For A Multichannel Signal
US8433582B2 (en) * 2008-02-01 2013-04-30 Motorola Mobility Llc Method and apparatus for estimating high-band energy in a bandwidth extension system
US20090203395A1 (en) * 2008-02-08 2009-08-13 Sony Ericsson Mobile Communications Ab Amplitude modulation radio transmission with extended bandwidth
WO2010003544A1 (en) * 2008-07-11 2010-01-14 Fraunhofer-Gesellschaft Zur Förderung Der Angewandtern Forschung E.V. An apparatus and a method for generating bandwidth extension output data
BR122017003818B1 (pt) * 2008-07-11 2024-03-05 Fraunhofer-Gesellschaft zur Föerderung der Angewandten Forschung E.V. Instrumento e método para geração de sinal estendido de largura de banda
EP2365929A4 (en) * 2008-09-17 2014-03-19 Graphic Packaging Int Inc DEVICE FOR GOLDING AND GIVE CROUSTILLANT TO FOOD IN MICROWAVE OVEN
WO2010036062A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. A method and an apparatus for processing a signal
EP2169670B1 (en) * 2008-09-25 2016-07-20 LG Electronics Inc. An apparatus for processing an audio signal and method thereof
EP2239732A1 (en) * 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
PL3998606T3 (pl) * 2009-10-21 2023-03-06 Dolby International Ab Nadrpóbkowanie w połączonym banku filtrów modułu transpozycji

Also Published As

Publication number Publication date
AU2011239995B2 (en) 2014-01-16
CA2800613A1 (en) 2011-10-20
RU2012143970A (ru) 2014-05-27
TR201904117T4 (tr) 2019-05-21
EP2559032A1 (en) 2013-02-20
KR101430335B1 (ko) 2014-08-13
JP5554876B2 (ja) 2014-07-23
CN102947882B (zh) 2015-06-17
US9805735B2 (en) 2017-10-31
BR112012026502A8 (pt) 2018-07-03
BR112012026502A2 (pt) 2017-12-12
MX2012011828A (es) 2013-02-27
WO2011128399A1 (en) 2011-10-20
BR112012026502B1 (pt) 2022-10-18
ES2719102T3 (es) 2019-07-08
CN102947882A (zh) 2013-02-27
CA2800613C (en) 2016-05-03
US20130041673A1 (en) 2013-02-14
JP2013525833A (ja) 2013-06-20
EP2559032B1 (en) 2019-01-30
RU2527735C2 (ru) 2014-09-10

Similar Documents

Publication Publication Date Title
CA2800613C (en) Apparatus, method and computer program for generating a wideband signal using guided bandwidth extension and blind bandwidth extension
JP5970014B2 (ja) オーディオエンコーダおよび帯域幅拡張デコーダ
AU2011239995A1 (en) Apparatus, method and computer program for generating a wideband signal using guided bandwidth extension and blind bandwidth extension
KR101239812B1 (ko) 대역폭 확장 신호를 생성하기 위한 장치 및 방법
WO2002041302A1 (en) Enhancing the performance of coding systems that use high frequency reconstruction methods
US10354665B2 (en) Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands
AU2014283285B2 (en) Audio decoder having a bandwidth extension module with an energy adjusting module

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170731

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180731

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 6