KR20140139582A - 고조파 오디오 시그널의 대역폭 연장 - Google Patents

고조파 오디오 시그널의 대역폭 연장 Download PDF

Info

Publication number
KR20140139582A
KR20140139582A KR1020147029750A KR20147029750A KR20140139582A KR 20140139582 A KR20140139582 A KR 20140139582A KR 1020147029750 A KR1020147029750 A KR 1020147029750A KR 20147029750 A KR20147029750 A KR 20147029750A KR 20140139582 A KR20140139582 A KR 20140139582A
Authority
KR
South Korea
Prior art keywords
noise
value
spectrum
gain
band
Prior art date
Application number
KR1020147029750A
Other languages
English (en)
Other versions
KR101704482B1 (ko
Inventor
세바스티안 나슬룬트
볼로디야 그란카로프
토프트고르드 토마스 얀손
Original Assignee
텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47666458&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140139582(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 텔레폰악티에볼라겟엘엠에릭슨(펍) filed Critical 텔레폰악티에볼라겟엘엠에릭슨(펍)
Publication of KR20140139582A publication Critical patent/KR20140139582A/ko
Application granted granted Critical
Publication of KR101704482B1 publication Critical patent/KR101704482B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012—Comfort noise or silence coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위한 코덱 내의 방법 및 배열. 코덱의 디코더 부분에서의 방법은, 주파수 밴드 b와 연관된 복수의 이득 값 및 밴드 b의 다수의 인접한 주파수 밴드를 수신하는 단계를 포함하여 구성된다. 본 방법은, 복원된 대응하는 주파수 밴드 b'이 스펙트럼의 피크를 포함하여 구성되는지를 결정하는 단계를 더 포함하여 구성된다. 복원된 주파수 밴드 b'이 스펙트럼의 피크를 포함하여 구성될 때, 복원된 주파수 밴드 b'와 연관된 이득 값을 수신된 복수의 이득 값에 기반해서 제1값으로 설정하고; 그렇지 않으면, 이득 값을 수신된 복수의 이득 값에 기반해서 제2값으로 설정한다. 본 제안된 기술은, 이득 값을 대역폭 연장된 주파수 영역 내의 피크 위치와 일치하게 가져올 수 있다.

Description

고조파 오디오 시그널의 대역폭 연장{Bandwidth extension of harmonic audio signal}
본 제안된 기술은 오디오 시그널의 인코딩 및 디코딩과 관련된 것으로, 특히 고조파 오디오 시그널의 대역폭 연장(BWE)을 지원하기 위한 것과 관련된다.
코딩 기반의 변환은 오늘날의 오디오 압축/전송 시스템에서 가장 공통으로 사용된 방안이다. 이러한 방안에 있어서 가장 중요한 단계는, 적합한 변환, 예를 들어, DFT(이산 퓨리에 변환), DCT(이산 코사인 변환), 또는 MDCT(수정된 이산 코사인 변환)에 의해, 먼저 시그널 파형의 짧은 블록을 주파수 도메인 내로 전환하는 것이다. 그 다음, 변환 계수는 양자화, 송신 또는 기억된 후, 오디오 시그널을 복원하기 위해 나중에 사용된다. 이 접근은 일반적인 오디오 시그널에 대해서 잘 작동하지만, 변환 계수의 충분히 양호한 표현을 생성하기 위해서 충분히 높은 비트레이트를 요구한다. 이하, 이러한 변환 도메인 코딩 방안의 높은 수준의 개요가 제공된다.
블록-바이-블록(block-by-block basis) 기반 상에서, 인코딩되는 파형은 주파수 도메인으로 변환된다. 이 목적을 위해 사용된 하나의 공통으로 사용된 변환은, 소위 수정된 이산 코사인 변환(MDCT)이다. 따라서, 획득된 주파수 도메인 변환 벡터는 스펙트럼 포락선(느리게 변화하는 에너지) 및 잔여 스펙트럼으로 분할된다. 잔여 스펙트럼은 상기 스펙트럼 포락선과 함께 획득된 주파수 도메인 벡터를 노멀라이징(normalizing)함으로써 획득된다. 스펙트럼 포락선은 양자화되고, 양자화 인덱스들은 디코더로 송신된다. 다음에, 양자화된 스펙트럼 포락선은 비트 분배 알고리즘에 대한 입력으로서 사용되고, 잔여 벡터의 인코딩을 위한 비트는 스펙트럼 포락선의 특성에 기반해서 분배된다. 이 단계의 결과로서, 소정 수의 비트가 잔여(잔여 벡터 또는 "서브-벡터")의 다른 부분에 할당된다. 몇몇 잔여 벡터는 소정의 비트를 수신하지 않고, 노이즈-충전되거나 또는 대역폭-연장되어야 한다. 전형적으로, 잔여 벡터의 코딩은 2단계 과정인데; 먼저, 벡터 엘리먼트의 진폭이 코딩되고, 다음에 넌-제로(non-zero) 엘리먼트의 사인(이는 "위상"과 혼동되지 않아야 하고, 이 위상은, 예를 들어 퓨리에 변환과 연관된다)이 인코딩된다. 잔여의 진폭 및 사인을 위한 양자화 인덱스는 디코더로 송신되고, 여기서 잔여 및 스펙트럼 포락선은 결합되고, 최종적으로 시간 도메인으로 되돌려 변환된다.
원격 통신 네트워크에서의 용량은 계속적으로 증가한다. 그런데, 증가된 용량에도, 통신 채널 당 요구된 대역폭을 제한하기 위해서 여전히 강한 동력이 있다. 모바일 네트워크에서, 각각의 호출에 대한 더 작은 전송 대역폭은 모바일 장치 및 장치를 서빙하는 기지국 양쪽에서 더 낮은 파워 소비를 산출하게 된다. 이는 모바일 오퍼레이터에 대한 에너지 및 코스트 절약으로 트랜스레이션되는 한편, 엔드 유저가 연정된 배터리 수명 및 증가된 토크-시간을 경험하게 한다. 더욱이, 유저 당 소비된 대역폭이 적을 수록, 더 많은 유저가 모바일 네트워크에 의해 서빙될 수 있다(병렬로).
낮은 또는 적당한 비트레이트를 사용해서 이송되는 오디오 시그널의 품질을 개선하는 하나의 방식은, 오디오 시그널 내의 더 낮은 주파수를 정확하게 표현하기 위해서 이용가능한 비트에 초점을 맞추는 것이다. 그 다음, BWE 기술이, 적은 수의 비트만을 요구하는, 더 낮은 주파수에 기반해서 더 높은 주파수를 모델화하기 위해 사용될 수 있다. 이들 기술에 대한 배경은, 인간 청각 시스템의 민감도가 주파수 의존적인 것이다. 특히, 인간 청각 시스템, 예를 들어 우리의 청력은, 더 높은 주파수에 대해서 덜 정확하다.
전형적인 주파수-도메인 BWE 방안에 있어서, 고주파수 변환 계수는 밴드로 그룹화된다. 각각의 밴드에 대한 이득(에너지)이 계산, 양자화 및 송신된다(시그널의 디코더로). 디코더에서, 수신된 저-주파수 계수의 플립된 또는 트랜스레이션된 및 에너지 노멀화된 버전은 고주파수 이득으로 스케일 된다. 이 방식에 있어서는, 적어도 공간적인 에너지가 목표 시그널의 고주파수 밴드의 공간적인 에너지를 닮으므로, BWE는 완전히 "블라인드(blind)"가 이니다.
그런데, 소정 오디오 시그널의 BWE는, 청취자를 성가시게 하는 결함을 포함하는 오디오 시그널로 귀결될 수 있다.
본 발명은, 고조파 오디오 시그널의 대역폭 연장을 제공한다.
본 발명에서는, 고조파 오디오 시그널의 BWE를 지원 및 개선하기 위한 기술이 제안된다.
제1측면에 따라서, 고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위해 변환 오디오 디코더에 의한 방법이 제안된다. 본 제안된 방법은, 주파수 밴드 b와 연관된 복수의 이득 값 및 밴드 b의 다수의 인접한 주파수 밴드를 수신하는 단계를 포함하여 구성된다. 본 제안된 방법은, 대역폭 연장된 주파수 영역의 복원된 대응하는 주파수 밴드 b'이 스펙트럼의 피크를 포함하여 구성되는지를 결정(404a)하는 단계를 더 포함한다. 더욱이, 밴드가 적어도 하나의 스펙트럼의 피크를 포함하여 구성될 때: 본 방법은, 복원된 주파수 밴드 b'와 연관된 이득 값 Gb을 수신된 복수의 이득 값에 기반해서 제1값으로 설정하는 단계를 포함하여 구성된다. 밴드가 소정의 스펙트럼의 피크를 포함하여 구성되지 않을 때: 본 방법은, 복원된 주파수 밴드 b'와 연관된 이득 값 Gb을 수신된 복수의 이득 값에 기반해서 제2값으로 설정하는 단계를 포함하여 구성된다. 따라서 이득 값을 대역폭 연장된 주파수 영역 내의 피크 위치와 일치하게 가져올 수 있다.
더욱이, 오리지널 시그널의 고주파수 부분의 적어도 섹션의 피크 에너지와 노이즈-플로어 에너지 사이의 관계를 반영하는 파라미터 또는 계수 α를 수신하는 단계를 포함하여 구성될 수 있다. 더욱이, 본 발명은, 수신된 계수 α에 기반해서, 대응하는 복원된 고주파수 섹션의 변환 계수와 노이즈를 믹싱하는 단계를 더 포함하여 구성될 수 있다. 따라서, 오리지널 시그널의 고주파수 부분의 노이즈 특성의 복원/에뮬레이트(emulate)를 가능하게 한다.
제2측면에 따라서,변환 오디오 디코더 또는 코덱은, 고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위해 제안된다. 변환 오디오 코덱은, 상기된 액션을 수행하도록 적용된 기능 유닛을 포함하여 구성될 수 있다. 더욱이, 변환 오디오 인코더 또는 코덱은, 변환 오디오 디코더에 제공될 때, 본 명세서에서 기술된 노이즈 믹싱을 가능하게 하는 하나 이상의 파라미터를 도출 및 제공하도록 적요된 기능 유닛을 포함하여 구성되도록 제안된다.
제3측면에 따라서, 유저 단말이 제안되는데, 이는 제2측면에 따른 변환 오디오 코덱을 포함하여 구성된다. 유저 단말은 모바일 단말, 태블릿, 컴퓨터, 스마트 폰 등과 같은 장치가 될 수 있다.
상기 구성에 의하면, 고조파 오디오 시그널의 대역폭 연장이 개선된ㄷ.
제안된 기술은 예시의 실시형태에 의해 그리고 첨부된 도면을 참조로 더 상세히 설명되는데:
도 1은 고조파 오디오 스펙트럼, 예를 들어 고조파 오디오 시그널의 스펙트럼을 나타낸다. 이 타입의 스펙트럼은, 예를 들어 단일 기구 사운드, 발성의 사운드 등에 대해서 전형적이다.
도 2는 대역폭 연장된 고조파 오디오 스펙트럼을 나타낸다.
도 3a는 디코더에 의해 수신됨에 따라, 대응하는 BWE 밴드 이득
Figure pct00001
로 스케일된 BWE 스펙트럼을 나타낸다(또는 도 2에 나타냄). 스펙트럼의 BWE 부분은 심각하게 왜곡된다.
도 3b는 본 명세서에서 제안된 바와 같이 변형된 BWE 밴드 이득
Figure pct00002
으로 스케일된 BWE 스펙트럼을 나타낸다. 이 경우, 스펙트럼의 BWE 부분은 요구된 형상을 얻는다.
도 4a 및 4b는 예시의 실시형태에 따른 변환 오디오 디코더에서의 과정 내의 액션을 도시하는 흐름도이다.
도 5는 예시의 실시형태에 따른 변환 오디오 디코더를 도시하는 블록도이다.
도 6은 예시의 실시형태에 따른 변환 오디오 인코더에서의 과정 내의 액션을 도시하는 흐름도이다.
도 7은 예시의 실시형태에 따른 변환 오디오 인코더를 도시하는 블록도이다.
도 8은 예시의 실시형태에 따른 변환 오디오 디코더 내의 배열을 도시하는 블록도이다.
고조파 오디오 시그널의 대역폭 연장은 위에서 가리켜진 몇몇 문제점과 연관된다. 디코더에서, 낮은-밴드, 예를 들어 인코딩, 이송 및 디코딩된 주파수 밴드의 부분은 플립된 또는 트랜스레이션되어 높은-밴드를 형성하는데, 스펙트럼의 피크가 오리지널 시그널 내의 스펙트럼 피크와 동일한 밴드, 또는 "트루(true)" 높은-밴드 내로 되는 것은 확실하지 않다. 낮은-밴드로부터의 스펙트럼의 피크는, 오리지널 시그널이 피크를 갖지 않았던 밴드 내로 될 수도 있다. 또한, 반대로, 예를 들어, 피크를 갖지 않는 낮은-밴드 시그널의 부분이 (플립핑(flipping) 또는 트랜스레이션 후) 오리지널 시그널이 피크를 갖는 밴드 내로 되는, 방식이 될 수도 있다. 예의 고조파 스펙트럼이 도 1에 제공되고, BWE 개념의 도해가 도 2에 제공되는데, 이는 이하 더 상세히 설명된다.
상기된 영향은, 대개 고조파 콘텐트를 갖는 시그널에 대해서 심각한 품질 저하를 일으킬 수 있다. 그 이유는, 피크와 이득 위치 간의 이 부정합이 불필요한 피크 감쇠, 또는 2개의 스펙트럼의 피크 간의 낮은-에너지 스펙트럼 계수의 증폭을 일으키게 되기 때문이다.
본 명세서에 기술된 솔루션은, 피크의 위치에 관한 정보에 기반해서 대역폭 연장된 영역 내의 밴드 이득을 제어하는, 신규한 방법과 관련된다. 더욱이, 본 명세서에 제안된 BWE 알고리즘은, 송신된 노이즈-믹스 수준으로, '스펙트럼의 피크 대 노이즈-플로어 비율'을 제어할 수 있다. 이는, BWE로 귀결되는데, 이는 연장된 고주파수 내에 구조의 양을 보존한다.
본 명세서에 기술된 솔루션은, 고조파 오디오 시그널과 함께 사용하기 위해 적합하다. 도 1은 고조파 오디오 시그널의 주파수 스펙트럼을 나타내는데, 이는 고조파 스펙트럼으로 표시될 수 있다. 도면으로부터 볼 수 있는 바와 같이, 스펙트럼은 피크를 포함하여 구성된다. 이 타입의 스펙트럼은, 예를 들어 플루트 또는 발성의 사운드 등과 같은 단일 기구로부터의 사운드에 대해서 전형적이다.
여기서, 고조파 오디오 시그널의 스펙트럼의 2개의 부분이 논의된다. 하나의 하부 부분은 더 낮은 주파수를 포함하여 구성되는데, 여기서 "더 낮은"은 대역폭 연장에 종속되는 부분보다 더 낮은 것을 가리키고; 하나의 상부 부분은 더 높은 주파수, 예를 들어 하부 부분보다 더 높은 주파수를 포함하여 구성된다. 본 명세서에서 사용된 "하부 부분" 또는 "낮은/더 낮은 주파수"의 표현은, BWE 크로스오버 주파수 아래의 고조파 오디오 스펙트럼으로 언급된다(도 2와 비교). 유사하게, "상부 부분" 또는 "높은/더 높은 주파수"의 표현은, BWE 크로스오버 주파수 위의 고조파 오디오 스펙트럼으로 언급된다(도 2와 비교).
도 2는 고조파 오디오 시그널의 스펙트럼을 나타낸다. 여기서, 이하 논으된 2개의 부분은 BWE 크로스오버 주파수의 좌측에 대한 하부 부분 및 BWE 크로스오버 주파수의 우측에 대한 상부 부분으로서 보일 수 있다. 도 2에 있어서, 오리지널 스펙트럼, 예를 들어 오리지널 오디오 시그널의 스펙트럼(인코더 측면에서 볼 수 있는 바와 같이)은 밝은 회색으로 도시된다. 스펙트럼의 대역폭 연장된 부분은 어두운/더 어두운 회색으로 도시된다. 스펙트럼의 대역폭 연장된 부분은 인코더에 의해 인코딩되지 않지만, 상기된 바와 같이 스펙트럼의 수신된 하부 부분의 사용에 의해 재생성된다. 도 2에 있어서는, 비교를 위해서, 오리지널(밝은-회색) 스펙트럼 및 BWE(어두운-회색) 스펙트럼 양쪽은 더 높은 주파수에 대해서 볼 수 있다. 더 높은 주파수에 대한 오리지널 스펙트럼은, 각각의 BWE 밴드(또는 고주파수 밴드)에 대한 이득 값을 제외하고, 디코더에 공지되지 않는다. BWE 밴드들은 도 2의 점선으로 분리된다.
도 3a는 스펙트럼의 대역폭 연장된 부분 내의 이득 값과 피크 위치 간의 부정합의 문제점의 양호한 이해를 위해 연구될 수 있다. 밴드 302a에서, 오리지널 스펙트럼은 피크를 포함하여 구성되지만, 재생성된 BWE 스펙트럼은 피크를 포함하여 구성되지 않는다. 이는, 도 2의 밴드 202에서 볼 수 있다. 따라서, 피크를 포함하여 구성되는 오리지널 밴드에 대해서 계산된 이득이 피크를 포함하여 구성되지 않는 BWE 밴드에 적용될 때, BWE 밴드 내의 낮은-에너지 스펙트럼 계수가 밴드 302a에서 볼 수 있는 바와 같이 증폭된다.
도 3a의 밴드 304a는, 예를 들어 오리지널 스펙트럼의 대응하는 밴드가 피크를 포함하여 구성되지 않지만, 재생성된 BWE 스펙트럼의 대응하는 밴드가 피크를 포함하여 구성되는 반대의 상황을 표현한다. 따라서, (인코더로부터 수신된) 밴드에 대해서 획득된 이득은, 낮은-에너지 밴드에 대해서 계산된다. 이 이득이 피크를 포함하여 구성되는 대응하는 밴드에 적용될 때, 그 결과는, 도 3a의 밴드 304a에서 볼 수 있는 바와 같이, 감쇠된 피크가 된다. 지각적인 또는 음량 심리학적인 관점으로부터, 밴드 302a에 나타낸 상황은, 다양한 이유에 대해서 밴드 304a의 상황보다 청취자에 대해서 더 나쁘다. 즉, 간단히 기술하면; 전형적으로는, 사운드 성분의 비정상적인 부재보다 사운드 성분의 비정상적인 존재를 경험하는 것이 청취자에 대해서 더 불쾌하게 된다.
이하, 본 명세서에 기술된 개념을 도시하는, 예의 신규한 BWE 알고리즘이 기술된다.
Y(k)로 BWE 영역 내의 변환 계수(고주파수 변환 계수)의 세트를 표시한다. 이들 변환 계수는 B 밴드
Figure pct00003
로 그룹화된다. 밴드 사이즈 Mb는 일정(constant)할 수 있고 또는 고주파수를 향해 증가한다. 일례로서, 밴드는 8 디멘션적이고, 균일하다(즉, 모든 Mb= 8)이다. 우리는, Y1=｛Y(1) ... Y(8)｝, Y2=｛Y(9) ... Y(16)｝ 등을 얻는다.
BWE 알고리즘의 제1단계는 모든 밴드에 대해서 이득을 계산한다:
Figure pct00004
(1)
이들 이득은 양자화
Figure pct00005
되고 디코더로 송신된다.
BWE 알고리즘의 제2단계(이는 옵션임)는, 예를 들어 BWE 스펙트럼의 평균 피크 에너지
Figure pct00006
및 평균 노이즈-플로어 에너지
Figure pct00007
의 기능인 노이즈-믹스 파라미터 또는 계수 α를 계산하는 것이다:
Figure pct00008
(2)
여기서, 파라미터 α는 이하 (3)에 따라서 도출된다. 그런데, 사용된 정확한 표현은, 예를 들어 사용되는 코덱 또는 양자화기 등의 타입에 대해서 적합한 것에 의존해서, 다양한 방식들에서 선택될 수 있다.
Figure pct00009
(3)
피크 및 노이즈-플로어 에너지들은, 예를 들어 각각의 최대 및 최소 스펙트럼 에너지을 추적함으로써 계산될 수 있다.
노이즈-믹스 파라미터 α는 적은 수의 비트를 사용해서 양자화될 수 있다. 여기서, 일례로서, α는 2 비트로 양자화된다. 노이즈-믹스 파라미터 α가 양자화될 때, 파라미터
Figure pct00010
이 획득되는데, 예를 들어
Figure pct00011
이다. 파라미터
Figure pct00012
는 디코더로 송신된다. BWE 영역은 2개 이상의 섹션 's'로 분할될 수 있고, 노이즈-믹스 파라미터 αs가 각각의 이들 섹션 내에서, 독립적으로 계산될 수 있다. 이러한 경우에 있어서, 인코더는 노이즈-믹스 파라미터의 세트를, 예를 들어 섹션 당 하나를 디코더로 송신하게 된다.
디코더 동작:
디코더는 비트-스트림으로부터, 계산된 양자화된 이득
Figure pct00013
(각각의 밴드에 대해서 하나)의 세트 및 하나 이상의 양자화된 노이즈-믹스 파라미터 또는 팩터
Figure pct00014
를 추출한다. 또한, 디코더는, 예를 들어 대역폭 연장된 고주파수 부분에 대향하는 것으로서, 인코딩되었던 (고조파 오디오 시그널의) 스펙트럼의 부분인, 스펙트럼의 저-주파수 부분에 대한 양자화된 변환 계수를 수신한다.
Figure pct00015
가 에너지-노멀화된, 양자화된 저-주파수 계수의 세트가 되게 하자. 그러면, 이들 계수는, 예를 들어 노이즈 코드북 Nb 내에 기억된 노이즈, 예를 들어 사전-생성된 노이즈와 믹스된다. 사전-생성된, 사전-기억된 노이즈를 사용하는 것은, 노이즈의 품질을 보장하는 기회를 제공하는데, 예를 들어 노이즈는 소정의 의도하지 않은 차이 또는 편차를 포함하여 구성되지 않는다. 그런데, 노이즈는, 필요할 때, 대안적으로 "온 더 플라이(on the fly)"로 생성될 수 있다. 계수
Figure pct00016
는 노이즈 코드북 Nb 내의 노이즈와 믹싱될 수 있는데, 예를 들어 다음과 같다:
Figure pct00017
(4)
노이즈-믹스 파라미터 또는 팩터에 대한 범위는 다양한 방식으로 설정될 수 있다. 예를 들어, 여기서 노이즈-믹스 팩터에 대한 범위는
Figure pct00018
로 설정된다. 이 범위는, 예를 들어 소정의 경우에 있어서는 노이즈 기여가 완전히 무시되고(α=0), 소정의 경우에 있어서는 노이즈 코드북이 믹스된 벡터(α=0.4) 내에서 40% 기여하는데, 이는 이 범위가 사용될 때 최대 기여이다. 이 종류의 노이즈 믹스를 도입하기 위한 이유는, 여기서 그 결과의 벡터는, 예를 들어 오리지널의 낮은-밴드 구조의 60%와 100% 사이에서 포함하는데, 스펙트럼의 고주파수 부분이 전형적으로 스펙트럼의 저-주파수 부분보다 더 잡음이 있기 때문이다. 그러므로, 상기된 노이즈-믹스 동작은, 플립된 또는 트랜스레이션된 저-주파수 스펙트럼 영역으로 이루어지는 BWE 고주파수 스펙트럼 영역과 비교해서, 오리지널 시그널의 스펙트럼의 고주파수 부분의 통계적인 성질을 더 닮은 벡터를 생성한다. 노이즈 믹스 동작은, 예를 들어 다중 노이즈-믹스 팩터(α)가 제공되고 수신되면, BWE 영역의 다른 부분 상에서 독립적으로 수행될 수 있다.
종래 기술의 솔루션에 있어서, 수신된 양자화된 이득
Figure pct00019
의 세트는, BWE 영역 내의 대응하는 밴드 상에서 직접적으로 사용된다. 그런데, 본 명세서에 기술된 솔루션에 따르면, 이들 수신된 양자화된 이득
Figure pct00020
은, BWE 스펙트럼 피크 위치에 관한 정보에 기반해서 적합할 때, 먼저 수정된다. 피크의 위치에 관한 요구된 정보는 저-주파수 영역 정보로부터 비트-스트림으로 추출될 수 있거나 또는, 낮은-밴드에 대한 양자화된 변환 계수(또는 BWE 밴드의 도출된 계수) 상에서 피크 선별 알고리즘에 의해 추정될 수 있다. 그 다음, 저-주파수 영역 내의 피크에 관한 정보가 고주파수(BWE) 영역으로 트랜스레이션될 수 있다. 즉, 높은-밴드(BWE) 시그널이 낮은-밴드 시그널로부터 도출될 때, 알고리즘이 스펙트럼의 피크가 위치된 (BWE 영역의) 어떤 밴드를 등록할 수 있다.
예를 들어, 플래그 fp(b)는 BWE 영역 내의 밴드 b로 이동된(플립된 또는 트랜스레이션된) 저-주파수 계수가 피크를 포함하는지를 가리키기 위해 사용될 수 있다. 예를 들어, fp(b)=1은 밴드 b가 적어도 하나의 피크를 포함하는 것을 가리킬 수 있고, fp(b)=0은 밴드 b가 소정의 피크를 포함하지 않는 것을 가리킬 수 있다. 상기된 바와 같이, BWE 영역 내의 각각의 밴드 b는 이득
Figure pct00021
와 연관되는데, 이는 오리지널 시그널의 대응하는 밴드 내에 포함되는 피크의 수 및 사이즈에 의존한다. 이득을 BWE 영역 내의 각각의 밴드의 실제 피크 콘텐트에 정합하기 위해서, 이득이 적용되어야 한다. 이득 수정은, 예를 들어 다음 표현에 따라 각각의 밴드에 대해서 수행된다:
Figure pct00022
(5a)
이 이득 수정에 대한 동기는 다음과 같다: (BWE) 밴드가 피크를 포함하는 경우(fp(b)=1), 대응하는 이득이 소정의 피크 없이 밴드(오리지널 시그널의)로부터 오는 경우에서 피크가 감쇠되는 것을 회피하기 위해서, 이 밴드에 대한 이득은, 현재 밴드에 대한 이득과 2개의 이웃하는 밴드에 대한 이득의 가중된 합이 되도록 수정된다. 상기 예시의 등식 (5a)에 있어서, 가중치들은 동등, 예를 들어 1/3인데, 이는 수정된 이득이 현재 밴드에 대한 이득과 2개의 이웃하는 밴드에 대한 이득의 평균 값인 것으로 유도된다.
대안적인 이득 수정은, 예를 들어 다음에 따라 달성된다:
Figure pct00023
(5b)
밴드가 피크를 포함하지 않는 경우(fp(b)=0), 우리는, 하나 이상의 피크를 포함한 오리지널 시그널 밴드로부터 계산된 강한 이득을 적용함으로써 이 밴드 내의 노이즈-유사 구조를 증폭하기를 원하지 않는다. 이를 회피하기 위해서, 이 밴드에 대한 이득이, 예를 들어 현재 밴드의 최소의 이득 및 2개의 이웃하는 밴드의 이득이 되도록 선택된다. 대안적으로, 피크를 포함하여 구성되는 밴드에 대한 이득은, 예를 들어 3 밴드 이상인, 예를 들어 5 또는 7 밴드의 평균과 같은 가중된 합으로서 선택 또는 계산될 수 있고, 예를 들어 3, 5 또는 7 밴드의 중간 값으로서 선택될 수 있다. 평균 또는 중간 값과 같은 가중된 합을 사용함으로써, 피크는, "트루" 이득을 사용할 때와 비교해서, 약간 감쇠될 가능성이 크게 된다. 그런데, "트루"이득과 비교함에 따른 감쇠는, 적당한 감쇠가, 상기된 바와 같이, 과장된 오디오 성분으로 귀결되는 증폭과 비교함에 따라, 지각적인 관점으로부터 양호함에 따라, 반대와 비교함에 따라, 유익하게 될 수 있다.
피크-부정합에 대한 원인 및 따라서 이득 수정에 대한 이유는, 스펙트럼 밴드가 사전-규정된 그리드 상에 위치되지만, 피크 위치 및 피크(저-주파수 계수를 플립핑 또는 트랜스래이팅한 후)가 시간에 걸쳐서 변화하는 것이다. 이는, 피크가 제어되지 않은 방식으로 밴드 내로 들어가거나 나가게 할 수도 있다. 따라서, 스펙트럼의 BWE 부분 내의 피크 위치는 오리지널 시그널 내의 피크 위치와 반듯이 정합할 필요는 없고, 따라서 밴드와 연관된 이득과 밴드의 피크 콘텐트 간의 부정합이 있을 수 있다. 수정되지 않은 이득으로 스케일링하는 예는 도 3a에 제시되고, 수정된 이득으로 스케일하는 예는 도 3b에 제시된다.
본 명세서에서 제안된 바와 같이 수정된 이득을 사용하는 결과는, 도 3b에서 볼 수 있다. 밴드 302b에서, 낮은-에너지 스펙트럼 계수는 도 3a의 밴드 302a에서와 같이 더 이상 증폭되지 않지만, 더 적합한 밴드 이득으로 스케일된다. 더욱이, 밴드 304b 내의 피크는 도 3a의 밴드 304a 내의 피크와 같이 더 이상 감쇠되지 않는다. 도 3b에 도시된 스펙트럼은, 도 3a의 스펙트럼에 대응하는 오디오 시그널보다 청취자에 대해서 더 동의할 수 있는(청취자가 듣기 좋은) 오디오 시그널에 가장 대응하기 쉽다.
따라서, BWE 알고리즘은 스펙트럼의 고주파수 부분을 생성할 수 있다. (예를 들어, 대역폭 절약 이유를 위해서), 고주파수 계수 Yb의 세트는 디코더에서 이용가능하지 않지만, 고주파수 변환 계수
Figure pct00024
는, 대신 수정된 양자화된 이득으로 (가능하게는 노이즈-믹스 후) 플립된(또는 트랜스레이션된) 저-주파수 계수를 스케일링함으로써 복원 및 형성된다.
Figure pct00025
(6)
이 세트의 변환 계수
Figure pct00026
는 오디오 시그널의 파형의 고주파수 부분을 복원하기 위해서 사용된다.
본 명세서에 기술된 솔루션은 BWE 개념에 대한 개선인데, 변환 도메인 오디오 코딩에서 공통으로 사용된다. 제시된 알고리즘은 BWE 영역 내의 피크의 구조(피크 대 노이즈-플로어 비율)를 보존하므로, 복원된 시그널의 개선된 오디오 품질을 제공한다.
용어 "변환 오디오 코덱" 또는 "변환 코덱"은 인코더-디코더 쌍을 포괄하며, 본 기술 분야에서 공통으로 사용된 용어이다. 이 개시 내용에 있어서, 용어 "변환 오디오 인코더" 또는 "인코더" 및 "변환 오디오 디코더" 또는 "디코더"가, 변환 코덱의 기능/부분을 분리해서 기술하기 위해서 사용된다. 용어 "변환 오디오 인코더"/"인코더" 및 "변환 오디오 디코더"/"디코더"는 따라서 용어 "변환 오디오 코덱" 또는 "변환 코덱"을 대신할 수 있다.
디코더에서의 예시하는 과정, 도 4a 및 4b.
고조파 오디오 시그널의 대역폭 연장 BWE를 지원하기 위한 디코더 내에서의 예시의 과정이, 도 4a를 참조로 이하 기술된다. 과정은, 예를 들어 MDCT 인코더 또는 다른 인코더와 같은 변환 오디오 인코더에서 사용하는데 적합하다. 오디오 시그널은, 주로 뮤직을 포함하여 구성되는 것으로 생각되지만, 또한, 대안적으로, 예를 들어 스피치를 포함하여 구성되는 것으로 생각된다.
주파수 밴드 b(오리지널 주파수 밴드)와 연관된 이득 값과 주파수 밴드 b에 인접한 다수의 다른 주파수 밴드와 연관된 이득 값이 액션 401a에서 수신된다. 그 다음, BWE 영역의 복원된 대응하는 주파수 밴드 b'이 스펙트럼의 피크를 포함하여 구성되는지가, 액션 404a에서 결정된다. 복원된 주파수 밴드 b'이 적어도 하나의 스펙트럼의 피크를 포함하여 구성될 때, 복원된 주파수 밴드 b'와 연관된 이득 값은 액션 406a에서 제1값으로 설정되는데: 1, 수신된 복수의 이득 값에 기반한다. 복원된 주파수 밴드 b'이 소정의 스펙트럼의 피크를 포함하여 구성되지 않을 때, 복원된 주파수 밴드 b'와 연관된 이득 값은 액션 406a에서 제2값으로 설정되는데: 2, 수신된 복수의 이득 값에 기반한다. 제2값은 제1값보다 더 낮거나 동등하다.
도 4b에서는, 예를 들어 이전에 기술된 노이즈 믹싱과 관련된 부가적인 옵션의 액션과 함께, 도 4a에 도시된 과정이 약간 다른 및 더 연장된 방식으로 도시된다. 도 4b가 이하 기술된다.
주파수 스펙트럼의 상부 부분의 밴드와 연관된 이득 값이 액션 401b에서 수신된다. 주파수 스펙트럼의 하부 부분과 관련된 정보는, 예를 들어 계수 및 이득 값 등을 변환하고, 또한 몇몇 포인트에서 수신되는 것으로 상정된다(도 4a 또는 4b에 나타내지 않음). 더욱이, 대역폭 연장이 몇몇 포인트에서 수행되는 것으로 추정되는데, 몇몇 지점에서 높은-밴드 스펙트럼이 상기된 바와 같이 낮은-밴드 스펙트럼을 플립핑 또는 트랜스래이팅함으로써 생성된다.
하나 이상의 노이즈 믹스 계수가 옵션의 액션 402b에서 수신될 수 있다. 수신된 하나 이상의 노이즈 믹스 계수는 오리지널의 높은-밴드 스펙트럼 내의 에너지 분배에 기반해서 인코더에서 계산된다. 그 다음, 노이즈 믹스 계수는, (또한 옵션의) 액션 403b에서, 상기 등식 (4)와 비교해서 노이즈를 갖는 높은 밴드 영역 내의 계수를 믹싱하기 위해 사용될 수 있다. 따라서, 대역폭 연장된 영역의 스펙트럼은, "노이즈 없음" 또는 노이즈 콘텐트에 관해서 오리지널의 높은-밴드 스펙트럼에 대해서 더 양호하게 대응한다.
더욱이, 액션 404b에서, 생성된 BWE 영역의 밴드가 피크를 포함하여 구성되는지를 결정한다. 예를 들어, 밴드가 피크를 포함하여 구성되면, 밴드와 연관된 인디케이터는 1로 설정될 수 있다. 다른 밴드가 피크를 포함하여 구성되지 않으면, 그 밴드와 연관된 인디케이터는 0로 설정될 수 있다. 밴드가 피크를 포함하여 구성되는지의 정보에 기반해서, 상기 밴드와 연관된 이득이 액션 405b에서 수정될 수 있다. 밴드에 대한 이득을 수정할 때, 상기된 바와 같이 요구된 결과에 도달하기 위해서, 인접한 밴드에 대한 이득이 고려된다. 이 방식으로 이득을 수정함으로써, 개선된 BWE 스펙트럼의 달성이 가능해진다. 그 다음, 수정된 이득이 BWE 스펙트럼의 각각의 밴드에 적용될 수 있는데, 이는 액션 406b로 도시된다.
예시의 디코더
이하, 고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위해 상기된 과정을 수행하도록 적용된 예시의 변환 오디오 디코더가 도 5를 참조로 기술된다. 변환 오디오 디코더는, 예를 들어 MDCT 디코더 또는 다른 디코더가 될 수 있다.
변환 오디오 디코더(501)가, 통신 유닛(502)을 통해 다른 엔티티와 통신하는 것에 관해 도시된다. 상기된 과정의 수행을 가능하게 하기 위해 적용된 변환 오디오 디코더의 부분이, 파선으로 둘러싸인 배열(500)로서 도시된다. 변환 오디오 디코더는, 예를 들어 정규 디코더 및 BWE 기능을 제공하는 기능 유닛과 같은 다른 기능 유닛(516)을 더 포함하여 구성될 수 있고, 하나 이상의 스토리지 유닛(514)을 더 포함하여 구성될 수 있다.
변환 오디오 디코더(501) 및/또는 배열(500)은, 예를 들어 하나 이상의: 적합한 스토리지와 함께 프로세서 또는 마이크로 프로세서 및 적합한 소프트웨어, 그러므로, 프로그램가능 논리 장치(PLD) 또는 다른 전자 컴포넌트(들)에 의해 실행될 수 있다.
변환 오디오 디코더는 인코딩 엔티티로부터 제공된 적합한 파라미터를 획득하기 위한 기능 유닛을 포함하여 구성되는 것으로 상정된다. 노이즈-믹스 계수는, 종래 기술과 비교함에 따라, 획득하기 위한 새로운 파라미터이다. 따라서, 디코더는 하나 이상의 노이즈-믹스 계수가, 이 형태가 요구될 때 획득될 수 있도록 적용되어야 한다. 오디오 디코더는, 주파수 밴드 b 및 밴드 b의 복수의 인접한 주파수 밴드와 연관된 복수의 이득 값 및 가능하게는 노이즈-믹스 계수를 수신하도록 적용된, 수신 유닛을 포함하여 구성되는 것으로서 기술되고 실행될 수 있다. 그런데, 이러한 수신 유닛은, 도 5에 명백하게 나타내지 않는다.
변환 오디오 디코더는 결정 유닛, 대안적으로는 표시된 피크 검출 유닛(504)을 포함하여 구성되는데, 이는 피크를 포함하여 구성되는 BWE 스펙트럼 영역의 어떤 밴드 및 피크를 포함하여 구성되지 않는 어떤 밴드를 결정 및 가리키도록 적용된다. 즉, 결정 유닛은 대역폭 연장된 주파수 영역의 복원된 대응하는 주파수 밴드 b' 이 스펙트럼의 피크를 포함하여 구성되는지를 결정하도록 적용된다. 더욱이, 변환 오디오 디코더는 이득 수정 유닛(506)을 포함하여 구성되는데, 이는 밴드가 피크를 포함하여 구성되는지에 의존해서 밴드와 연관된 이득을 수정하도록 적용된다. 밴드가 피크를 포함하여 구성되면, 수정된 이득이 가중된 합, 예를 들어 문제의 밴드의 이득을 포함하는, 문제의 밴드에 인접한 복수의 밴드의 (오리지널) 이득의 평균 또는 중간 값으로서 계산된다.
변환 오디오 디코더는, 수정된 이득을 BWE 스펙트럼의 적합한 밴드에 적용 또는 설정하도록 적용된 이득 적용 유닛(508)을 더 포함하여 구성될 수 있다. 즉, 이득 적용 유닛은, 복원된 주파수 밴드 b'이 적어도 하나의 스펙트럼의 피크를 포함하여 구성될 때, 수신된 복수의 이득 값에 기반해서 복원된 주파수 밴드 b'와 연관된 이득 값을 제1값으로 설정하고, 복원된 주파수 밴드 b'이 소정의 스펙트럼의 피크를 포함하여 구성되지 않을 때, 수신된 복수의 이득 값에 기반해서 복원된 주파수 밴드 b'와 연관된 이득 값을 제2값으로 설정하도록 적용되고, 여기서 제2값은 제1값보다 낮거나 동등하다. 따라서, 대역폭 연장된 주파수 영역 내의 피크 위치와 일치하도록 이득 값을 가져오는 것이 가능하게 된다.
대안적으로, 수정 없이, 적용 기능이 (정규의) 추가의 기능성(516)에 의해 제공될 수 있으면, 적용된 이득은 오리지널 이득이 아니지만, 수정된 이득이 된다. 더욱이, 변환 오디오 디코더는 스펙트럼의 BWE 부분의 계수를, 오디오 시그널의 인코더에 의해 제공된 하나 이상의 노이즈 계수 또는 파라미터에 기반해서, 예를 들어 코드북으로부터의 노이즈와 믹스하도록 적용된 노이즈 믹싱 유닛(510)을 포함하여 구성될 수 있다.
예시의 과정 인코더
고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위한 인코더에서의 예시의 과정이, 도 6을 참조로 이하 기술된다. 과정은, 예를 들어 MDCT 인코더 또는 다른 인코더와 같은 변환 오디오 인코더에서 사용하는데 적합하다. 상기된 바와 같이, 오디오 시그널은, 주로 뮤직을 포함하여 구성되는 것으로 생각되지만, 또한, 대안적으로, 예를 들어 스피치를 포함하여 구성되는 것으로 생각된다.
이하 기술된 과정은, 변환 인코더를 사용해서 고조파 오디오 시그널의 통상적인 인코딩으로부터 일탈하는 인코딩 과정의 부분과 관련된다. 따라서, 이하 기술된 액션은, 스펙트럼의 더 낮은 부분에 대한 변환 계수 및 이득 등의 도출과, 스펙트럼의 더 높은 부분(디코더 측면 상에서 BWE에 의해 구성되는 부분)의 밴드에 대한 이득의 도출에 대한 옵션의 부가이다.
주파수 스펙트럼의 상부 부분과 관련된 피크 에너지는 액션 602에서 결정된다. 더욱이, 주파수 스펙트럼의 상부 부분과 관련된 노이즈 플로어 에너지가 액션 603에서 결정된다. 예를 들어, BWE 스펙트럼의 하나 이상의 섹션의 평균 피크 에너지
Figure pct00027
및 평균 노이즈-플로어 에너지
Figure pct00028
가 상기된 바와 같이 계산될 수 있다. 더욱이, 노이즈-믹스 계수가 몇몇 적합한 공식, 예를 들어 상기 등식 (3)에 따라 액션 604에서 계산되어, BWE 스펙트럼의 소정 섹션에 관한 노이즈 계수가 상기 섹션의 노이즈의 양 또는 "노이즈 없음"을 반영하도록 한다. 하나 이상의 노이즈-믹스 계수가 액션 606에서 인코더에 의해 제공된 통상적인 정보와 함께 디코딩 엔티티 또는 스토리지에 제공된다. 제공은, 예를 들어 계산된 노이즈-믹스 계수를 출력에 단순히 출력 및/또는 예를 들어 계수를 디코더에 송신하는 것을 포함하여 구성된다. 노이즈-믹스 계수는, 상기된 바와 같이, 제공 전에 양자화될 수 있다.
예시의 인코더
이하, 고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위해 상기된 과정을 수행하도록 적용된 예시의 변환 오디오 디코더가 도 7을 참조로 기술된다. 변환 오디오 디코더는, 예를 들어 MDCT 디코더 또는 다른 디코더가 될 수 있다.
변환 오디오 디코더(701)가 통신 유닛(702)을 통해 다른 엔티티와 통신하는 것에 관해 도시된다. 상기된 과정의 수행을 가능하게 하기 위해 적용된 변환 오디오 디코더의 부분이, 파선으로 둘러싸인 배열(700)로서 도시된다. 변환 오디오 디코더는, 예를 들어 정규 인코더 기능을 제공하는 기능 유닛과 같은 다른 기능 유닛(712)을 더 포함하여 구성될 수 있고, 하나 이상의 스토리지 유닛(710)을 더 포함하여 구성될 수 있다.
변환 오디오 인코더(701) 및/또는 배열(700)은, 예를 들어 하나 이상의: 적합한 스토리지와 함께 프로세서 또는 마이크로 프로세서 및 적합한 소프트웨어, 그러므로, 프로그램가능 논리 장치(PLD) 또는 다른 전자 컴포넌트(들)에 의해 실행될 수 있다.
변환 오디오 인코더는 결정 유닛(704)을 포함하여 구성될 수 있는데, 이는 스펙트럼의 상부 부분의 피크 에너지 및 노이즈-플로어 에너지를 결정하도록 적용된다. 더욱이, 변환 오디오 인코더는 노이즈 계수 유닛(706)을 포함하여 구성될 수 있는데, 이는 스펙트럼의 전체 상부 부분 또는 그 섹션에 대한 하나 이상의 노이즈-믹스 계수를 계산하도록 적용된다. 변환 오디오 인코더는 제공 유닛(708)을 더 포함하여 구성될 수 있는데, 이는 인코더에 의한 사용을 위해 계산된 노이즈-믹스 계수를 제공하도록 적용된다. 제공은, 예를 들어 계산된 노이즈-믹스 계수를 출력에 단순히 출력 및/또는 예를 들어 계수를 디코더에 송신하는 것을 포함하여 구성된다.
예시의 배열
도 8은 변환 오디오 디코더에서 사용하는데 적합한 배열(800)의 실시형태를 개략적으로 나타내는데, 이는 도 5에 도시된 변환 오디오 디코더에서 사용하기 위한 배열의 실시형태를 개시하는 대안적인 방법이 될 수도 있다. 여기서, 배열(800)은, 예를 들어 DSP(디지털 시그널 프로세서)를 갖는 처리 유닛(806)을 포함한다. 처리 유닛(806)은 본 명세서에 기술된 과정의 다양한 단계를 수행하기 위한 단일 유닛 또는 복수의 유닛이 될 수 있다. 또한, 배열(800)은, 스펙트럼의 인코딩된 하부 스펙트럼의 부분과 같은 시그널, 전체 스펙트럼에 대한 이득 및 노이즈-믹스 계수(들)(비교. 인코더이면: 고조파 스펙트럼의 상부 부분)를 수신하기 위한 입력 유닛(802)과, 수정된 이득 및/또는 완전한 스펙트럼(비교. 인코더이면: 노이즈-믹스 계수) 같은 시그널(들)을 출력하기 위한 출력 유닛(804)을 포함하여 구성될 수 있다. 입력 유닛(802) 및 출력 유닛(804)은 배열의 하드웨어 내에서 하나로서 배열될 수 있다.
더욱이, 배열(800)은, 예를 들어 EEPROM, 플래시 메모리 및 하드 드라이브인 비-휘발성 또는 휘발성 메모리 형태의 적어도 하나의 컴퓨터 프로그램 프로덕트(808)를 포함하여 구성된다. 컴퓨터 프로그램 프로덕트(808)는 컴퓨터 프로그램(810)을 포함하여 구성될 수 있는데, 이는 코드 수단를 포함하여 구성되고, 이는 배열(800) 내의 처리 유닛(806)에서 구동할 때, 배열 및/또는 변환 오디오 인코더가 도 4와 함께 상기된 과정의 액션을 수행하게 한다.
그러므로, 기술된 예시의 실시형태에 있어서, 배열(800)의 컴퓨터 프로그램(810) 내의 코드 수단은, 오디오 스펙트럼의 하부 부분과 관련된 정보 및 전체 오디오 스펙트럼과 관련된 이득을 획득하기 위한 획득 모듈(810a)을 포함하여 구성될 수 있다. 더욱이, 오디오 스펙트럼의 상부 부분과 관련된 노이즈-계수가 달성될 수 있다. 컴퓨터 프로그램은, 대역폭 연장된 주파수 영역의 복원된 밴드 b의 밴드가 스펙트럼의 피크를 포함하여 구성되는지를 검출 및 가리키기 위한 검출 모듈(810b)을 포함하여 구성될 수 있다. 컴퓨터 프로그램(810)은 스펙트럼의 상부, 복원된, 부분의 밴드와 연관된 이득을 수정하기 위한 이득 수정 모듈(810c)을 더 포함하여 구성될 수 있다. 컴퓨터 프로그램(810)은 스펙트럼의 상부 부분의 대응하는 밴드에 수정된 이득을 적용하기 위한 이득 적용 모듈(810d)을 더 포함하여 구성된다. 더욱이, 컴퓨터 프로그램(810)은, 수신된 노이즈-믹스 계수에 기반해서, 스펙트럼의 상부 부분과 노이즈를 믹싱하기 위한 노이즈 믹싱 모듈(810d)을 포함하여 구성될 수 있다.
컴퓨터 프로그램(810)은 컴퓨터 프로그램 모듈 내에 구조화된 컴퓨터 프로그램 코드 형태이다. 근본적으로, 모듈(810a-d)은 도 4a 또는 4b에 도시된 흐름의 액션을 수행해서, 도 5에 도시된 배열(500)을 에뮬레이트(emulate)한다. 다시 말해서, 다른 모듈(810a-d)이 처리 유닛(806)에서 구동할 때, 이들은 도 5의 적어도 유닛(504-510)에 대응한다.
도 8과 관련해서 상기된 실시형태의 코드 수단은, 처리 유닛 상에서 구동할 때, 배열 및/또는 변환 오디오 인코더가 상기 언급된 도면과 과련해서 상기된 단계를 수행하게 하는 컴퓨터 프로그램으로서 실행되지만, 적어도 하나의 코드 수단은 대안적인 실시형태에서, 적어도 부분적으로 하드웨어 회로로서 실행될 수 있다.
유사한 방식에 있어서, 컴퓨터 프로그램 모듈을 포함하여 구성되는 예시의 실시형태가 도 7에 도시된 변환 오디오 인코더 내의 대응하는 배열에 대해서 기술될 수 있다.
제안된 기술이 특정 예의 실시형태를 참조로 기술되었지만, 상세한 설명은 일반적으로 개념의 도시만을 의도하는 것으로, 본 명세서에 기술된 솔루션의 범위를 제한하는 것으로 간주되어서는 안된다. 상기 본 예시의 실시형태의 다른 형태가 필요, 요구 또는 선호에 따라서 다양한 방식으로 결합될 수 있다.
상기된 솔루션은, 오디오 코덱이, 예를 들어 모바일 단말, 태블릿, 컴퓨터, 스마트 폰 등에서 적용될 때 사용될 수 있다.
상호 작용하는 유닛 또는 모듈의 선택만 아니라 유닛의 네이밍은 예시의 목적만을 위한 것이고, 상기된 본 방법의 소정의 실행에 적합한 노드는, 제안된 액션을 실행할 수 있도록 하기 위해서 복수의 대안적인 방법으로 구성될 수 있는 것으로 이해되어야 한다.
또한, 본 개시 내용에 기술된 유닛 또는 모듈은 논리적인 엔티티로 간주되고, 분리된 물리적인 엔티티로서 될 필요는 없는 것으로 이해되어야 한다. 상기 상세한 설명이 많은 특정 용어를 포함하지만, 이들은 본 개시 내용의 범위를 제한하는 것으로서 해석되지 않고, 본 명세서에서 제안된 기술의 몇몇 제시의 바람직한 실시형태의 도해만을 제공하는 것으로 해석되어야 한다. 본 명세서에 제안된 기술은 본 기술 분야의 당업자에게 명백한 그 밖의 실시형태를 완전히 망라하는 것으로 당업자에게 명백하게 될 수 있고, 본 개시 내용은 따라서 제한되지 않는다. 단수의 엘리먼트는, 명확하게 기술되지 않는한 "하나 및 단지 하나"만을 의미하는 것을 의도하지 않고, "하나 이상"을 의미하는 것으로 의도된다. 본 기술 분야의 당업자에게 공지된 상기된 실시형태의 모든 구조적인 및 기능적인 등가물은, 본 명세서에서 참조로 통합되고, 이에 의해 망라되는 것으로 의도된다. 더욱이, 본 명세서에 의해 망라되는 것에 대해서, 본 명세서에 제시된 기술에 의해 해결될 수 있는 각각의 및 모든 문제점을 해결하기 위한 장치 및 방법일 필요는 없다.
상기된 상세한 설명에 있어서는, 제한이 아닌 설명의 목적을 위해서, 제안된 기술의 완전한 이해를 위한 특정 아키텍처, 인터페이스, 기술 등과 같은 특정한 세부 사항이 설명된다. 그런데, 본 기술 분야의 당업자에 있어서는, 제안된 기술이 이들 특정한 세부 사항으로부터 벗어난 다른 실시형태를 실시할 수 있는 것은 명백하다. 즉, 본 기술 분야의 당업자는, 제안된 기술의 원리를 구체화하는, 본 명세서에 명확히 기술 및 나타내지 않은, 다양한 배열을 고안할 수 있다. 몇몇 예에 있어서, 널리 공지된 장치, 회로 및 방법의 상세한 설명은 생략되므로, 불필요한 세부 설명으로, 제안된 기술의 설명을 불명확하게 하지 않도록 한다. 제안된 기술만 아니라 그 특정 예의 원리, 측면 및 실시형태를 언급하는 본 명세서에 기술된 모든 내용은, 구조적인 및 기능적인 등가물 모두를 망락하는 것을 의도한다. 부가적으로, 이러한 등가물은 현재 공지된 등가물만 아니라 미래에 개발될 등가물 양쪽을 포함하는데, 예를 들어 소정의 엘리먼트가 구조에 관계 없이 동일 기능을 수행하도록 개발된다.
따라서, 예를 들어, 본 기술 분야의 당업자는, 본 명세서의 블록도가 기술의 원리를 구체화하는 예시의 회로 또는 다른 기능적인 유닛의 개념적인 뷰를 나타낼 수 있는 것으로 이해하게 된다. 유사하게는, 소정의 흐름도, 상태 이행 도면, 유사 코드 등은, 컴퓨터 판독 가능한 매체 내에서 실질적으로 표현될 수 있고, 그러므로 이러한 컴퓨터 또는 프로세서가 명확하게 도시되는 것과 관계없이, 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 처리를 나타내는 것은, 명백하다.
이에 제한되지 않지만 "기능적인 유닛", "프로세서" 또는 "제어기"로서 명명되고 기술된 것을 포함하는 기능적인 블록을 포함하는 다양한 엘리먼트의 기능이, 회로 하드웨어와 같은 하드웨어 및/또는 컴퓨터 판독가능한 매체 상에 기억된 코드 명령 형태의 소프트웨어를 실행할 수 있는 하드웨어의 사용을 통해 제공될 수 있다. 따라서, 이러한 기능 및 예시된 기능 블록은 하드웨어-실행된 및/또는 컴퓨터-실행되는 것으로서, 따라서 머신-실행되는 것으로서 이해되어야 한다.
하드웨어 실행으로, 기능 블록은, 이에 제한되지 않지만 이러한 기능들을 수행할 수 있는 애플리케이션 특정 통합된 회로(들)(ASIC) 및 (본 명세서에서 적합한) 상태 머신을 포함하는, 이에 제한되지 않지만, 디지털 시그널 프로세서(DSP) 하드웨어, 감소된 명령 세트 프로세서, 하드웨어(예를 들어, 디지털 또는 아날로그) 회로를 포함 또는 망라할 수 있다.
BWE Bandwidth Extension
DFT Discrete Fourier Transform
DCT Discrete Cosine Transform
MDCT Modified Discrete Cosine Transform
BWE Bandwidth Extension

Claims (18)

  1. 고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위해 변환 오디오 디코더에 의한 방법으로서, 상기 방법이:
    - 주파수 밴드 b와 연관된 복수의 이득 값 및 밴드 b의 다수의 인접한 주파수 밴드를 수신(401a)하는 단계와;
    - 대역폭 연장된 주파수 영역의 복원된 대응하는 주파수 밴드 b'이 스펙트럼의 피크를 포함하여 구성되는지를 결정(404a)하는 단계와:
    복원된 주파수 밴드 b'이 적어도 하나의 스펙트럼의 피크를 포함하여 구성될 때:
    - 복원된 주파수 밴드 b'와 연관된 이득 값을 수신된 복수의 이득 값에 기반해서 제1값으로 설정(406a:1)하는 단계와;
    복원된 주파수 밴드 b'이 소정의 스펙트럼의 피크를 포함하여 구성되지 않을 때:
    - 복원된 주파수 밴드 b'와 연관된 이득 값을 수신된 복수의 이득 값에 기반해서 제2값으로 설정(406a:2)하는 단계로서, 제2값이 제1값보다 낮거나 동등한, 설정(406a:2)하는 단계를 포함하여 구성되고,
    따라서 이득 값을 대역폭 연장된 주파수 영역 내의 피크 위치와 일치하게 가져올 수 있는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    제1값은 수신된 복수의 이득 값의 가중된 합인 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    가중된 합은 수신된 복수의 이득 값의 평균 값인 것을 특징으로 하는 방법.
  4. 상기 항 중 어느 한 항에 있어서,
    제2값은 수신된 복수의 이득 값들 중에서 가장 낮은 이득 값들 중 하나인 것을 특징으로 하는 방법.
  5. 상기 항 중 어느 한 항에 있어서,
    제2값은 수신된 복수의 이득 값 중 최소 이득 값인 것을 특징으로 하는 방법.
  6. 상기 항 중 어느 한 항에 있어서,
    - 오리지널 시그널의 고주파수 부분의 적어도 섹션의 피크 에너지와 노이즈-플로어 에너지 사이의 관계를 반영하는 계수 α를 수신(402b)하는 단계와;
    - 수신된 계수 α에 기반해서, 대응하는 복원된 고주파수 섹션의 변환 계수와 노이즈를 믹싱(403b)하는 단계를 더 포함하여 구성되어,
    오리지널 시그널의 고주파수 부분의 노이즈 특성의 복원을 가능하게 하는 것을 특징으로 하는 방법.
  7. 고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위한 오디오 디코더(501)로서, 오디오 디코더는:
    - 주파수 밴드 b와 연관된 복수의 이득 값 및 밴드 b의 다수의 인접한 주파수 밴드를 수신(401a)하도록 적용된 수신 유닛과;
    - 대역폭 연장된 주파수 영역의 복원된 대응하는 주파수 밴드 b'이 스펙트럼의 피크를 포함하여 구성되는지를 결정하도록 적용된 결정 유닛(504)와:
    - 복원된 주파수 밴드 b'이 적어도 하나의 스펙트럼의 피크를 포함하여 구성될 때, 복원된 주파수 밴드 b'와 연관된 이득 값을 수신된 복수의 이득 값에 기반해서 제1값으로 설정하고,
    - 복원된 주파수 밴드 b'이 소정의 스펙트럼의 피크를 포함하여 구성되지 않을 때, 복원된 주파수 밴드 b'와 연관된 이득 값을 수신된 복수의 이득 값에 기반해서 제2값으로 설정하도록 적용되고, 제2값이 제1값보다 낮거나 동등한, 이득 적용 유닛(508)을 포함하여 구성되어;
    따라서 이득 값을 대역폭 연장된 주파수 영역 내의 피크 위치와 일치하게 가져올 수 있는 것을 특징으로 하는 오디오 디코더.
  8. 제7항에 있어서,
    제1값은 수신된 복수의 이득 값의 가중된 합인 것을 특징으로 하는 오디오 디코더.
  9. 제8항에 있어서,
    가중된 합은 수신된 복수의 이득 값의 평균 값인 것을 특징으로 하는 오디오 디코더.
  10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    제2값은 수신된 복수의 이득 값들 중에서 가장 낮은 이득 값들 중 하나인 것을 특징으로 하는 오디오 디코더.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서,
    제2값은 수신된 복수의 이득 값 중 최소 이득 값인 것을 특징으로 하는 오디오 디코더.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    오리지널 시그널의 고주파수 부분의 적어도 섹션의 피크 에너지와 노이즈-플로어 에너지 사이의 관계를 반영하는 계수 α를 수신하도록 더 적용되고;
    - 수신된 계수 α에 기반해서, 대응하는 복원된 고주파수 섹션의 변환 계수와 노이즈를 믹싱하도록 적용된 노이즈 믹싱 유닛(510)을 더 포함하여 구성되어,
    오리지널 시그널의 고주파수 부분의 노이즈 특성의 복원을 가능하게 하는 것을 특징으로 하는 오디오 디코더.
  13. 제6항 내지 제12항 중 어느 한 항에 따른 오디오 디코더를 포함하여 구성되는 것을 특징으로 하는 유저 장비.
  14. 고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위해 변환 오디오 인코더에 의해 수행된 방법으로서, 상기 방법은:
    - 고조파 오디오 시그널의 주파수 스펙트럼의 상부 부분 내의 주파수 밴드 b와 연관된 피크 에너지를 결정(602)하는 단계와;
    - 주파수 밴드 b와 연관된 노이즈 플로어 에너지를 결정(603)하는 단계와;
    - 결정된 피크 에너지 및 노이즈 플로어 에너지에 기반해서 주파수 밴드 b와 연관된 노이즈-믹스 계수 α를 결정(604)하는 단계와;
    - 노이즈-믹스 계수 α를 대응하는 변환 오디오 디코더에 제공(606)하는 단계를 포함하여 구성되는 것을 특징으로 하는 방법.
  15. 제14항에 있어서,
    주파수 스펙트럼의 상부 부분이 is a 부분 포함하여 구성 BWE 크로스오버 주파수보다 더 높은 주파수를 포함하여 구성되는 부분인 것을 특징으로 하는 방법.
  16. 고조파 오디오 시그널의 대역폭 연장, BWE를 지원하기 위한 오디오 인코더로서, 상기 오디오 인코더는:
    - 고조파 오디오 시그널의 주파수 스펙트럼의 상부 부분 내의 주파수 밴드 b와 연관된 피크 에너지 및 노이즈 플로어 에너지를 결정하도록 적용된 결정 유닛(704)과;
    - 결정된 피크 에너지 및 노이즈 플로어 에너지에 기반해서 주파수 밴드 b와 연관된 노이즈-믹스 계수 α를 결정하도록 적용된, 노이즈 계수 유닛(706)과;
    - 노이즈-믹스 계수 α를 대응하는 변환 오디오 디코더에 제공하도록 적용된 제공 유닛(708)을 포함하여 구성되는 것을 특징으로 하는 오디오 인코더.
  17. 컴퓨터 프로그램(810)으로서,
    처리 유닛 내에서 구동할 때, 오디오 디코더가 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하게 하는 컴퓨터 판독가능한 코드를 포함하여 구성되는 것을 특징으로 하는 컴퓨터 프로그램.
  18. 컴퓨터 프로그램 프로덕트(808)로서,
    컴퓨터 판독가능한 매체 및 컴퓨터 판독가능한 매체 내에 기억된 제16항에 따른 컴퓨터 프로그램(810)을 포함하여 구성되는 것을 특징으로 하는 컴퓨터 프로그램 프로덕트.
KR1020147029750A 2012-03-29 2012-12-21 고조파 오디오 시그널의 대역폭 연장 KR101704482B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261617175P 2012-03-29 2012-03-29
US61/617,175 2012-03-29
PCT/SE2012/051470 WO2013147668A1 (en) 2012-03-29 2012-12-21 Bandwidth extension of harmonic audio signal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177002815A Division KR101740219B1 (ko) 2012-03-29 2012-12-21 고조파 오디오 시그널의 대역폭 연장

Publications (2)

Publication Number Publication Date
KR20140139582A true KR20140139582A (ko) 2014-12-05
KR101704482B1 KR101704482B1 (ko) 2017-02-09

Family

ID=47666458

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147029750A KR101704482B1 (ko) 2012-03-29 2012-12-21 고조파 오디오 시그널의 대역폭 연장
KR1020177002815A KR101740219B1 (ko) 2012-03-29 2012-12-21 고조파 오디오 시그널의 대역폭 연장

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177002815A KR101740219B1 (ko) 2012-03-29 2012-12-21 고조파 오디오 시그널의 대역폭 연장

Country Status (12)

Country Link
US (3) US9437202B2 (ko)
EP (1) EP2831875B1 (ko)
JP (4) JP5945626B2 (ko)
KR (2) KR101704482B1 (ko)
CN (2) CN106847303B (ko)
ES (1) ES2561603T3 (ko)
HU (1) HUE028238T2 (ko)
MY (2) MY197538A (ko)
PL (1) PL2831875T3 (ko)
RU (2) RU2610293C2 (ko)
WO (1) WO2013147668A1 (ko)
ZA (1) ZA201406340B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002617B2 (en) 2012-03-29 2018-06-19 Telefonaktiebolaget Lm Ericsson (Publ) Bandwidth extension of harmonic audio signal

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2960582T3 (es) * 2012-03-29 2024-03-05 Ericsson Telefon Ab L M Cuantificador vectorial
KR102136038B1 (ko) 2012-03-29 2020-07-20 텔레폰악티에볼라겟엘엠에릭슨(펍) 하모닉 오디오 신호의 변환 인코딩/디코딩
EP2830063A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for decoding an encoded audio signal
US9666202B2 (en) 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
US10083708B2 (en) * 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal
US20150149157A1 (en) * 2013-11-22 2015-05-28 Qualcomm Incorporated Frequency domain gain shape estimation
BR112016015695B1 (pt) * 2014-01-07 2022-11-16 Harman International Industries, Incorporated Sistema, mídia e método para tratamento de sinais de áudio comprimidos
ES2741506T3 (es) * 2014-03-14 2020-02-11 Ericsson Telefon Ab L M Método y aparato de codificación de audio
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
CN117316168A (zh) * 2016-04-12 2023-12-29 弗劳恩霍夫应用研究促进协会 用于对音频信号进行编码的音频编码器以及方法
US10839814B2 (en) * 2017-10-05 2020-11-17 Qualcomm Incorporated Encoding or decoding of audio signals

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000045379A2 (en) * 1999-01-27 2000-08-03 Coding Technologies Sweden Ab Enhancing perceptual performance of sbr and related hfr coding methods by adaptive noise-floor addition and noise substitution limiting
US20100057476A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Signal bandwidth extension apparatus
US20110054885A1 (en) * 2008-01-31 2011-03-03 Frederik Nagel Device and Method for a Bandwidth Extension of an Audio Signal

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5490172A (en) * 1994-07-05 1996-02-06 Airnet Communications Corporation Reducing peak-to-average variance of a composite transmitted signal via out-of-band artifact signaling
US20020128839A1 (en) * 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
DE60214027T2 (de) * 2001-11-14 2007-02-15 Matsushita Electric Industrial Co., Ltd., Kadoma Kodiervorrichtung und dekodiervorrichtung
ATE288617T1 (de) * 2001-11-29 2005-02-15 Coding Tech Ab Wiederherstellung von hochfrequenzkomponenten
BRPI0306434B1 (pt) * 2002-09-19 2018-06-12 Nec Corporation Aparelho e método de decodificação de áudio
EP1611772A1 (en) * 2003-03-04 2006-01-04 Nokia Corporation Support of a multichannel audio extension
JP4899359B2 (ja) * 2005-07-11 2012-03-21 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
CN1960351A (zh) * 2005-10-31 2007-05-09 华为技术有限公司 一种无线通信系统中终端信息发射方法及终端发射机
EP1943643B1 (en) 2005-11-04 2019-10-09 Nokia Technologies Oy Audio compression
RU2409874C9 (ru) * 2005-11-04 2011-05-20 Нокиа Корпорейшн Сжатие звуковых сигналов
US7546237B2 (en) * 2005-12-23 2009-06-09 Qnx Software Systems (Wavemakers), Inc. Bandwidth extension of narrowband speech
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
DE102006047197B3 (de) * 2006-07-31 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
US8688441B2 (en) * 2007-11-29 2014-04-01 Motorola Mobility Llc Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content
US20090201983A1 (en) * 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
EP2259254B1 (en) * 2008-03-04 2014-04-30 LG Electronics Inc. Method and apparatus for processing an audio signal
CN101552005A (zh) * 2008-04-03 2009-10-07 华为技术有限公司 编码方法、解码方法、系统及装置
US8149955B2 (en) * 2008-06-30 2012-04-03 Telefonaktiebolaget L M Ericsson (Publ) Single ended multiband feedback linearized RF amplifier and mixer with DC-offset and IM2 suppression feedback loop
PL2352147T3 (pl) * 2008-07-11 2014-02-28 Fraunhofer Ges Forschung Urządzenie i sposób kodowania sygnału audio
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
ES2741963T3 (es) * 2008-07-11 2020-02-12 Fraunhofer Ges Forschung Codificadores de señal de audio, métodos para codificar una señal de audio y programas informáticos
PL2146344T3 (pl) * 2008-07-17 2017-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób kodowania/dekodowania sygnału audio obejmujący przełączalne obejście
US8463412B2 (en) * 2008-08-21 2013-06-11 Motorola Mobility Llc Method and apparatus to facilitate determining signal bounding frequencies
US8515747B2 (en) * 2008-09-06 2013-08-20 Huawei Technologies Co., Ltd. Spectrum harmonic/noise sharpness control
US8532998B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Selective bandwidth extension for encoding/decoding audio/speech signal
US8463599B2 (en) * 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
EP2251984B1 (en) * 2009-05-11 2011-10-05 Harman Becker Automotive Systems GmbH Signal analysis for an improved detection of noise from an adjacent channel
PL2273493T3 (pl) * 2009-06-29 2013-07-31 Fraunhofer Ges Forschung Kodowanie i dekodowanie z rozszerzaniem szerokości pasma
ES2461172T3 (es) * 2009-10-21 2014-05-19 Dolby International Ab Aparato y procedimiento para generar una señal de audio de alta frecuencia usando sobremuestreo adaptativo
CN102044250B (zh) * 2009-10-23 2012-06-27 华为技术有限公司 频带扩展方法及装置
JP5619177B2 (ja) * 2009-11-19 2014-11-05 テレフオンアクチーボラゲット エル エムエリクソン（パブル） 低域オーディオ信号の帯域拡張
EP2502230B1 (en) * 2009-11-19 2014-05-21 Telefonaktiebolaget L M Ericsson (PUBL) Improved excitation signal bandwidth extension
JP5609737B2 (ja) * 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
KR101773631B1 (ko) * 2010-06-09 2017-08-31 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 대역 확장 방법, 대역 확장 장치, 프로그램, 집적 회로 및 오디오 복호 장치
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
EP2975611B1 (en) * 2011-03-10 2018-01-10 Telefonaktiebolaget LM Ericsson (publ) Filling of non-coded sub-vectors in transform coded audio signals
US8706509B2 (en) * 2011-04-15 2014-04-22 Telefonaktiebolaget L M Ericsson (Publ) Method and a decoder for attenuation of signal regions reconstructed with low accuracy
CN102223341B (zh) * 2011-06-21 2013-06-26 西安电子科技大学 无带宽扩展的频域成形ofdm峰均比降低方法
US9472199B2 (en) * 2011-09-28 2016-10-18 Lg Electronics Inc. Voice signal encoding method, voice signal decoding method, and apparatus using same
WO2013066238A2 (en) * 2011-11-02 2013-05-10 Telefonaktiebolaget L M Ericsson (Publ) Generation of a high band extension of a bandwidth extended audio signal
ES2561603T3 (es) * 2012-03-29 2016-02-29 Telefonaktiebolaget Lm Ericsson (Publ) Extensión del ancho de banda de una señal de audio armónica
EP2682941A1 (de) * 2012-07-02 2014-01-08 Technische Universität Ilmenau Vorrichtung, Verfahren und Computerprogramm für frei wählbare Frequenzverschiebungen in der Subband-Domäne
EP2830063A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for decoding an encoded audio signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000045379A2 (en) * 1999-01-27 2000-08-03 Coding Technologies Sweden Ab Enhancing perceptual performance of sbr and related hfr coding methods by adaptive noise-floor addition and noise substitution limiting
US20110054885A1 (en) * 2008-01-31 2011-03-03 Frederik Nagel Device and Method for a Bandwidth Extension of an Audio Signal
US20100057476A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Signal bandwidth extension apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAGEL Frederik, et al. A harmonic bandwidth extension method for audio codecs. In: Acoustics, Speech and Signal Processing, 2009. ICASSP 2009. IEEE International Conference on. IEEE, 2009. p. 145-148. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002617B2 (en) 2012-03-29 2018-06-19 Telefonaktiebolaget Lm Ericsson (Publ) Bandwidth extension of harmonic audio signal

Also Published As

Publication number Publication date
US20160336016A1 (en) 2016-11-17
CN104221082B (zh) 2017-03-08
RU2014143463A (ru) 2016-05-20
CN106847303B (zh) 2020-10-13
PL2831875T3 (pl) 2016-05-31
MY197538A (en) 2023-06-22
EP2831875A1 (en) 2015-02-04
CN104221082A (zh) 2014-12-17
JP6474877B2 (ja) 2019-02-27
US20150088527A1 (en) 2015-03-26
WO2013147668A1 (en) 2013-10-03
JP2015516593A (ja) 2015-06-11
ES2561603T3 (es) 2016-02-29
JP6251773B2 (ja) 2017-12-20
US9626978B2 (en) 2017-04-18
ZA201406340B (en) 2016-06-29
HUE028238T2 (en) 2016-12-28
US20170178638A1 (en) 2017-06-22
JP5945626B2 (ja) 2016-07-05
KR101704482B1 (ko) 2017-02-09
KR101740219B1 (ko) 2017-05-25
JP6474874B2 (ja) 2019-02-27
JP2018072846A (ja) 2018-05-10
US10002617B2 (en) 2018-06-19
CN106847303A (zh) 2017-06-13
EP2831875B1 (en) 2015-12-16
RU2610293C2 (ru) 2017-02-08
KR20170016033A (ko) 2017-02-10
US9437202B2 (en) 2016-09-06
MY167474A (en) 2018-08-29
JP2018041088A (ja) 2018-03-15
JP2016189012A (ja) 2016-11-04
RU2725416C1 (ru) 2020-07-02

Similar Documents

Publication Publication Date Title
KR101740219B1 (ko) 고조파 오디오 시그널의 대역폭 연장
EP3776547B1 (en) Support for generation of comfort noise
JP7379602B2 (ja) マルチチャネル信号符号化方法、マルチチャネル信号復号方法、エンコーダ、およびデコーダ
CN104321815B (zh) 用于带宽扩展的高频编码/高频解码方法和设备
RU2752127C2 (ru) Усовершенствованный квантователь
RU2639952C2 (ru) Гибридное усиление речи с кодированием формы сигнала и параметрическим кодированием
KR101770237B1 (ko) 오디오 데이터 처리 방법, 장치 및 시스템
KR101868926B1 (ko) 노이즈 신호 처리 및 생성 방법, 인코더/디코더 및 인코딩/디코딩 시스템
JP6061121B2 (ja) オーディオ符号化装置、オーディオ符号化方法、およびプログラム
CN114550732B (zh) 一种高频音频信号的编解码方法和相关装置
CA3190884A1 (en) Multi-channel signal generator, audio encoder and related methods relying on a mixing noise signal
KR101520212B1 (ko) 낮은 정확성으로 재구성된 신호 영역의 감쇠를 위한 방법 및 디코더
RU2823174C2 (ru) Усовершенствованный квантователь

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant
J202 Request for trial for correction [limitation]
J301 Trial decision

Free format text: TRIAL NUMBER: 2017105000021; TRIAL DECISION FOR CORRECTION REQUESTED 20170323

Effective date: 20170515