KR101787711B1 - 대역폭 확장 방법 및 장치 - Google Patents

대역폭 확장 방법 및 장치 Download PDF

Info

Publication number
KR101787711B1
KR101787711B1 KR1020167007139A KR20167007139A KR101787711B1 KR 101787711 B1 KR101787711 B1 KR 101787711B1 KR 1020167007139 A KR1020167007139 A KR 1020167007139A KR 20167007139 A KR20167007139 A KR 20167007139A KR 101787711 B1 KR101787711 B1 KR 101787711B1
Authority
KR
South Korea
Prior art keywords
frequency band
high frequency
signal
bandwidth extension
excitation signal
Prior art date
Application number
KR1020167007139A
Other languages
English (en)
Other versions
KR20160044025A (ko
Inventor
제신 류
레이 미아오
빈 왕
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20160044025A publication Critical patent/KR20160044025A/ko
Application granted granted Critical
Publication of KR101787711B1 publication Critical patent/KR101787711B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0002—Codebook adaptations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G10L2025/906—Pitch tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Vehicle Body Suspensions (AREA)
  • External Artificial Organs (AREA)

Abstract

본 발명은 대역폭 확장 방법 및 장치를 제공한다. 상기 대역폭 확장 방법은, 대역폭 확장 파라미터를 획득하는 단계 - 상기 대역폭 확장 파라미터는 선형 예측 계수(linear predictive coefficient, LPC), 선 스펙트럼 주파수(line spectral frequency, LSF) 파라미터, 피치 주기(pitch period), 디코딩 레이트(decoding rate), 적응적 코드북 기여분(adaptive codebook contribution), 및 대수 코드북 기여분(algebraic codebook contribution) 중 하나 이상의 파라미터를 포함함 -; 및 상기 대역폭 확장 파라미터에 따라, 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여 고주파 대역 신호를 취득하는 단계를 포함한다. 본 발명의 실시예들에서의 대역폭 확장 방법 및 장치를 사용하여 복원된 고주파 대역 신호는 원래의 고주파 대역 신호에 근접하고, 품질이 양호하다.

Description

대역폭 확장 방법 및 장치 {BANDWIDTH EXTENSION METHOD AND APPARATUS}
삭제
본 발명은 오디오 인코딩 및 디코딩 분야에 관한 것으로, 특히, 중저 레이트 광대역(medium and low rate wideband)의 대수 코드 여기 선형 예측(ACELP, Algebraic Code Excited Linear Prediction)에서의 대역폭 확장 방법 및 장치에 관한 것이다.
블라인드(blind) 대역폭 확장 기술은 디코더에서의 기술이고, 디코더는 저주파 디코딩 신호에 따라 대응하는 예측 방법을 사용하여 블라인드 대역폭 확장을 수행한다.
중저 레이트 광대역의 ACELP 인코딩 및 디코딩 중에, 기존의 알고리즘은 모두 먼저, 16kHz 내지 12.8kHz로 샘플링된 광대역 신호를 다운 샘플링(down-sample)한 다음, 인코딩을 한다. 이렇게 하여, 인코딩 및 디코딩 후에 출력되는 신호의 대역폭은 6.4kHz뿐이다. 원래의 알고리즘이 변경되지 않으면, 대역폭 6.4 내지 8kHz 또는 6.4 내지 7kHz인 부분에서의 정보는 블라인드 대역폭 확장 방식으로 복원될 필요가 있다, 즉, 대응하는 복원은 디코더에서만 수행된다.
그러나, 기존의 블라인드 대역폭 확장 기술에 의해 복원된 고주파 대역 신호는 원래의 고주파 대역 신호에서 많이 벗어나 있어, 복원된 고주파 대역 신호는 양호하지 않다.
본 발명은 대역폭 확장 방법 및 장치를 제공하며, 기존의 블라인드 대역폭 확장 기술을 사용하여 복원된 고주파 대역 신호가 원래의 고주파 대역 신호에서 많이 벗어나 있는 문제를 해결하는 것을 목적으로 한다.
제1 측면에 따르면, 대역폭 확장 방법이 제공되며, 상기 대역폭 확장 방법은, 대역폭 확장 파라미터를 획득하는 단계 - 상기 대역폭 확장 파라미터는 선형 예측 계수(linear predictive coefficient, LPC), 선 스펙트럼 주파수(line spectral frequency, LSF) 파라미터, 피치 주기(pitch period), 디코딩 레이트(decoding rate), 적응적 코드북 기여분(adaptive codebook contribution), 및 대수 코드북 기여분(algebraic codebook contribution) 중 하나 이상의 파라미터를 포함함 -; 및 상기 대역폭 확장 파라미터에 따라, 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여, 고주파 대역 신호를 취득하는 단계를 포함한다.
제1 측면을 참조하여, 제1 측면의 제1 구현 방식에서, 상기 대역폭 확장 파라미터에 따라 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여, 고주파 대역 신호를 취득하는 단계는, 상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호(high band excitation signal)를 예측하는 단계; 및 상기 고주파 에너지 및 상기 고주파 대역 여기 신호에 따라, 상기 고주파 대역 신호를 취득하는 단계를 포함한다.
제1 측면의 제1 구현 방식을 참조하여, 제1 측면의 제2 구현 방식에서, 상기 고주파 에너지는 고주파 이득을 포함하고; 상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하는 단계는, 상기 LPC에 따라 상기 고주파 이득을 예측하는 단계; 및 상기 LSF 파라미터, 상기 적응적 코드북 기여분, 및 상기 대수 코드북 기여분에 따라 상기 고주파 대역 여기 신호를 적응적으로 예측하는 단계를 포함한다.
제1 측면의 제2 구현 방식을 참조하여, 제1 측면의 제3 구현 방식에서, 상기 LSF 파라미터, 상기 적응적 코드북 기여분, 및 상기 대수 코드북 기여분에 따라, 상기 고주파 대역 여기 신호를 적응적으로 예측하는 단계는, 상기 디코딩 레이트, 상기 LSF 파라미터, 상기 적응적 코드북 기여분, 및 상기 대수 코드북 기여분에 따라, 상기 고주파 대역 여기 신호를 적응적으로 예측하는 단계를 포함한다.
제1 측면의 제1 구현 방식을 참조하여, 제1 측면의 제4 구현 방식에서, 상기 고주파 에너지는 고주파 이득을 포함하고; 상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하는 단계는, 상기 LPC에 따라 상기 고주파 이득을 예측하는 단계; 및 상기 적응적 코드북 기여분 및 상기 대수 코드북 기여분에 따라 상기 고주파 대역 여기 신호를 적응적으로 예측하는 단계를 포함한다.
제1 측면의 제4 구현 방식을 참조하여, 제1 측면의 제5 구현 방식에서, 상기 적응적 코드북 기여분 및 상기 대수 코드북 기여분에 따라 상기 고주파 대역 여기 신호를 적응적으로 예측하는 단계는, 상기 디코딩 레이트, 상기 적응적 코드북 기여분, 및 상기 대수 코드북 기여분에 따라 상기 고주파 대역 여기 신호를 적응적으로 예측하는 단계를 포함한다.
제1 측면의 제1 구현 방식을 참조하여, 제1 측면의 제6 구현 방식에서, 상기 고주파 에너지는 고주파 포락선(high-frequency envelope)을 포함하고; 상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하는 단계는, 상기 디코딩된 저주파 대역 신호 또는 저주파 여기 신호에 따라 상기 고주파 포락선을 예측하는 단계 - 상기 저주파 여기 신호는 상기 적응적 코드북 기여분과 상기 대수 코드북 기여분의 합임 -; 및 상기 디코딩된 저주파 대역 신호 또는 상기 저주파 여기 신호에 따라 상기 고주파 대역 여기 신호를 예측하는 단계를 포함한다.
제1 측면의 제6 구현 방식을 참조하여, 제1 측면의 제7 구현 방식에서, 상기 디코딩된 저주파 대역 신호 또는 상기 저주파 여기 신호에 따라 상기 고주파 대역 여기 신호를 예측하는 단계는, 상기 디코딩 레이트 및 상기 디코딩된 저주파 대역 신호에 따라 상기 고주파 대역 여기 신호를 예측하는 단계를 포함한다.
제1 측면의 제6 구현 방식을 참조하여, 제1 측면의 제8 구현 방식에서, 상기 디코딩된 저주파 대역 신호 또는 상기 저주파 여기 신호에 따라 상기 고주파 대역 여기 신호를 예측하는 단계는, 상기 디코딩 레이트 및 상기 저주파 여기 신호에 따라 상기 고주파 대역 여기 신호를 예측하는 단계를 포함한다.
제1 측면의 제1 내지 제8 구현 방식을 참조하여, 제1 측면의 제9 구현 방식에서, 상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하는 단계 이후, 상기 대역폭 확장 방법은, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제1 수정 인자(first correction factor)를 결정하는 단계 - 상기 제1 수정 인자는 유성음 인자(voicing factor), 노이즈 게이트 인자(noise gate factor), 및 스펙트럼 틸트 인자(spectrum tilt factor) 중 하나 이상을 포함함 -; 및 상기 제1 수정 인자에 따라 상기 고주파 에너지를 수정하는 단계를 더 포함한다.
제1 측면의 제9 구현 방식을 참조하여, 제1 측면의 제10 구현 방식에서, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제1 수정 인자를 결정하는 단계는, 상기 피치 주기, 상기 적응적 코드북 기여분, 상기 대수 코드북 기여분, 및 상기 디코딩된 저주파 대역 신호에 따라 상기 제1 수정 인자를 결정하고는 단계를 포함한다.
제1 측면의 제9 구현 방식을 참조하여, 제1 측면의 제11 구현 방식에서, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제1 수정 인자를 결정하는 단계는, 상기 디코딩된 저주파 대역 신호에 따라 상기 제1 수정 인자를 결정하는 단계를 포함한다.
제1 측면의 제9 구현 방식을 참조하여, 제1 측면의 제12 구현 방식에서, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제1 수정 인자를 결정하는 단계는, 상기 피치 주기, 상기 적응적 코드북 기여분, 상기 대수 코드북 기여분, 및 상기 디코딩된 저주파 대역 신호에 따라 상기 제1 수정 인자를 결정하는 단계를 포함한다.
제1 측면의 제9 내지 제12 구현 방식을 참조하여, 제1 측면의 제13 구현 방식에서, 상기 대역폭 확장 방법은, 상기 피치 주기에 따라 상기 고주파 에너지를 수정하는 단계를 더 포함한다.
제1 측면의 제9 내지 제13 구현 방식을 참조하여, 제1 측면의 제14 구현 방식에서, 상기 대역폭 확장 방법은, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자(second correction factor)를 결정하는 단계 - 상기 제2 수정 인자는 분류 파라미터(classification parameter)와 신호 유형(signal type) 중 적어도 하나를 포함함 -; 및 상기 제2 수정 인자에 따라 상기 고주파 에너지 및 상기 고주파 대역 여기 신호를 수정하는 단계를 더 포함한다.
제1 측면의 제14 구현 방식을 참조하여, 제1 측면의 제15 구현 방식에서, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자를 결정하는 단계는, 상기 대역폭 확장 파라미터에 따라 제2 수정 인자를 결정하는 단계를 포함한다.
제1 측면의 제14 구현 방식을 참조하여, 제1 측면의 제16 구현 방식에서, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자를 결정하는 단계는, 상기 디코딩된 저주파 대역 신호에 따라 제2 수정 인자를 결정하는 단계를 포함한다.
제1 측면의 제14 구현 방식을 참조하여, 제1 측면의 제17 구현 방식에서, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자를 결정하는 단계는, 상기 대역폭 확장 파리미터 및 상기 디코딩된 저주파 대역 신호에 따라 제2 수정 인자를 결정하는 단계를 포함한다.
제1 측면의 제9 내지 제17 구현 방식을 참조하여, 제1 측면의 제18 구현 방식에서, 상기 대역폭 확장 방법은, 상기 예측된 고주파 대역 여기 신호 및 랜덤 노이즈 신호에 가중치를 부여하여, 최종 고주파 대역 여기 신호를 취득하는 단계를 더 포함하고, 상기 가중치 부여의 가중치는 상기 디코딩된 저주파 대역 신호의 분류 파라미터의 값 및/또는 유성음 인자에 따라 결정된다.
제1 측면의 제1 내지 제18 구현 방식을 참조하여, 제1 측면의 제19 구현 방식에서, 상기 고주파 에너지 및 상기 고주파 대역 여기 신호에 따라 상기 고주파 대역 신호를 취득하는 단계는, 상기 고주파 에너지와 상기 고주파 대역 여기 신호를 합성하여 상기 고주파 대역 신호를 취득하거나; 또는 상기 고주파 에너지, 상기 고주파 대역 여기 신호, 및 예측된 LPC를 합성하여, 상기 고주파 대역 신호를 취득하는 단계를 포함하고, 상기 예측된 LPC는 예측된 고주파 대역 LPC 또는 예측된 광대역 LPC를 포함하고, 상기 예측된 LPC는 상기 LPC에 기초하여 취득된다.
제2 측면에 따르면, 대역폭 확장 장치가 제공되며, 상기 대역폭 확장 장치는, 대역폭 확장 파라미터를 획득하도록 구성된 획득 유닛 - 상기 대역폭 확장 파라미터는 선형 예측 계수(LPC), 선 스펙트럼 주파수 파라미터(LSF), 피치 주기, 디코딩 레이트, 적응적 코드북 기여분, 및 대수 코드북 기여분 중 하나 이상의 파라미터를 포함함 -; 및 상기 획득 유닛에 의해 획득된 상기 대역폭 확장 파라미터에 따라, 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여, 고주파 대역 신호를 취득하도록 구성된 대역폭 확장 유닛을 포함한다.
제2 측면을 참조하여, 제2 측면의 제1 구현 방식에서, 상기 대역폭 확장 유닛은, 상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하도록 구성된 예측 서브유닛; 및 상기 고주파 에너지 및 상기 고주파 대역 여기 신호에 따라 상기 고주파 대역 신호를 취득하도록 구성된 합성 서브유닛을 포함한다.
제2 측면의 제1 구현 방식을 참조하여, 제2 측면의 제2 구현 방식에서, 상기 고주파 에너지는 고주파 이득을 포함하고; 상기 예측 서브유닛은 구체적으로, 상기 LPC에 따라 상기 고주파 이득을 예측하고; 상기 LSF 파라미터, 상기 적응적 코드북 기여분, 및 상기 대수 코드북 기여분에 따라 상기 고주파 대역 여기 신호를 적응적으로 예측하도록 구성된다.
제2 측면의 제1 구현 방식을 참조하여, 제2 측면의 제3 구현 방식에서, 상기 고주파 에너지는 고주파 이득을 포함하고; 상기 예측 서브유닛은 구체적으로, 상기 LPC에 따라 상기 고주파 이득을 예측하고; 상기 디코딩 레이트, 상기 LSF 파라미터, 상기 적응적 코드북 기여분, 및 상기 대수 코드북 기여분에 따라 상기 고주파 대역 여기 신호를 적응적으로 예측하도록 구성된다.
제2 측면의 제1 구현 방식을 참조하여, 제2 측면의 제4 구현 방식에서, 상기 고주파 에너지는 고주파 이득을 포함하고; 상기 예측 서브유닛은 구체적으로, 상기 LPC에 따라 상기 고주파 이득을 예측하고; 상기 적응적 코드북 기여분 및 상기 대수 코드북 기여분에 따라 상기 고주파 대역 여기 신호를 적응적으로 예측하도록 구성된다.
제2 측면의 제1 구현 방식을 참조하여, 제2 측면의 제5 구현 방식에서, 상기 고주파 에너지는 고주파 이득을 포함하고; 상기 예측 서브유닛은 구체적으로, 상기 LPC에 따라 상기 고주파 이득을 예측하고; 상기 디코딩 레이트, 상기 적응적 코드북 기여분, 및 상기 대수 코드북 기여분에 따라 상기 고주파 대역 여기 신호를 적응적으로 예측하도록 구성된다.
제2 측면의 제1 구현 방식을 참조하여, 제2 측면의 제6 구현 방식에서, 상기 고주파 에너지는 고주파 포락선을 포함하고; 상기 예측 서브유닛은 구체적으로, 상기 디코딩된 저주파 대역 신호에 따라 상기 고주파 포락선을 예측하고; 상기 디코딩된 저주파 대역 신호 또는 저주파 여기 신호에 따라 상기 고주파 대역 여기 신호를 예측하도록 구성되고, 상기 저주파 여기 신호는 상기 적응적 코드북 기여분과 상기 대수 코드북 기여분의 합이다.
제2 측면의 제6 구현 방식을 참조하여, 제2 측면의 제7 구현 방식에서, 상기 예측 서브 유닛은 구체적으로, 상기 디코딩된 저주파 대역 신호에 따라 상기 고주파 포락선을 예측하고; 상기 디코딩 레이트 및 상기 디코딩된 저주파 대역 신호에 따라 상기 고주파 대역 여기 신호를 예측하도록 구성된다.
제2 측면의 제6 구현 방식을 참조하여, 제2 측면의 제8 구현 방식에서, 상기 예측 서브유닛은 구체적으로, 상기 디코딩된 저주파 대역 신호에 따라 상기 고주파 포락선을 예측하고; 상기 디코딩 레이트 및 상기 저주파 여기 신호에 따라 상기 고주파 대역 여기 신호를 예측하도록 구성된다.
제2 측면의 제1 내지 제8 구현 방식을 참조하여, 제2 측면의 제9 구현 방식에서, 상기 대역폭 확장 유닛은, 상기 대역폭 확장 파라미터에 따라 상기 고주파 에너지 및 상기 고주파 대역 여기 신호가 예측된 후, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라, 제1 수정 인자를 결정하고; 상기 제1 수정 인자에 따라 상기 고주파 에너지를 수정하도록 구성된 제1 수정 서브유닛을 더 포함하고, 상기 제1 수정 인자는 유성음 인자, 노이즈 게이트 인자, 및 스펙트럼 틸트 인자 중 하나 이상을 포함한다.
제2 측면의 제9 구현 방식을 참조하여, 제2 측면의 제10 구현 방식에서, 상기 제1 수정 서브유닛은 구체적으로, 상기 피치 주기, 상기 적응적 코드북 기여분, 및 상기 대수 코드북 기여분에 따라 상기 제1 수정 인자를 결정하고; 상기 제1 수정 인자에 따라 상기 고주파 에너지를 수정하도록 구성된다.
제2 측면의 제9 구현 방식을 참조하여, 제2 측면의 제11 구현 방식에서, 상기 제1 수정 서브유닛은 구체적으로, 상기 디코딩된 저주파 대역 신호에 따라 상기 제1 수정 인자를 결정하고; 상기 제1 수정 인자에 따라 상기 고주파 에너지를 수정하도록 구성된다.
제2 측면의 제9 구현 방식을 참조하여, 제2 측면의 제12 구현 방식에서, 상기 제1 수정 서브유닛은 구체적으로, 상기 피치 주기, 상기 적응적 코드북 기여분, 상기 대수 코드북 기여분, 및 상기 디코딩된 저주파 대역 신호에 따라 상기 제1 수정 인자를 결정하고; 상기 제1 수정 인자에 따라 상기 고주파 에너지를 수정하도록 구성된다.
제2 측면의 제9 내지 제12 구현 방식을 참조하여, 제2 측면의 제13 구현 방식에서, 상기 대역폭 확장 유닛은, 상기 피치 주기에 따라 상기 고주파 에너지를 수정하도록 구성된 제2 수정 유닛을 더 포함한다.
제2 측면의 제9 내지 제13 구현 방식을 참조하여, 제2 측면의 제14 구현 방식에서, 상기 대역폭 확장 유닛은, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자를 결정하고; 상기 제2 수정 인자에 따라 상기 고주파 에너지 및 상기 고주파 대역 여기 신호를 수정하도록 구성된 제3 수정 서브유닛을 더 포함하고, 상기 제2 수정 인자는 분류 파라미터와 신호 유형 중 적어도 하나를 포함한다.
제2 측면의 제14 구현 방식을 참조하여, 제2 측면의 제15 구현 방식에서, 상기 제3 수정 서브유닛은 구체적으로, 상기 대역폭 확장 파라미터에 따라 제2 수정 인자를 결정하고; 상기 제2 수정 인자에 따라 상기 고주파 에너지 및 상기 고주파 대역 여기 신호를 수정하도록 구성된다.
제2 측면의 제14 구현 방식을 참조하여, 제2 측면의 제16 구현 방식에서, 상기 제3 수정 서브유닛은 구체적으로, 상기 디코딩된 저주파 대역 신호에 따라 제2 수정 인자를 결정하고; 상기 제2 수정 인자에 따라 상기 고주파 에너지 및 상기 고주파 대역 여기 신호를 수정하도록 구성된다.
제2 측면의 제14 구현 방식을 참조하여, 제2 측면의 제17 구현 방식에서, 상기 제3 수정 서브유닛은 구체적으로, 상기 대역폭 확장 파라미터 및 상기 디코딩된 저주파 대역 신호에 따라 제2 수정 인자를 결정하고; 상기 제2 수정 인자에 따라 상기 고주파 에너지 및 상기 고주파 대역 여기 신호를 수정하도록 구성된다.
제2 측면의 제9 내지 제17 구현 방식을 참조하여, 제2 측면의 제18 구현 방식에서, 상기 대역폭 확장 유닛은, 상기 예측된 고주파 대역 여기 신호 및 랜덤 노이즈 신호에 가중치를 부여하여, 최종 고주파 대역 여기 신호를 취득하도록 구성된 가중 서브유닛(weighting subunit)을 더 포함하고, 상기 가중치 부여의 가중치는 상기 디코딩된 저주파 대역 신호의 분류 파라미터의 값 및/또는 유성음 인자에 따라 결정된다.
제2 측면의 제1 내지 제18 구현 방식을 참조하여, 제2 측면의 제19 구현 방식에서, 상기 합성 서브유닛은 구체적으로, 상기 고주파 에너지와 상기 고주파 대역 여기 신호를 합성하여, 상기 고주파 대역 신호를 취득하거나; 또는 상기 고주파 에너지, 상기 고주파 대역 여기 신호, 및 예측된 LPC를 합성하여, 상기 고주파 대역 신호를 취득하도록 구성되고, 상기 예측된 LPC는 예측된 고주파 대역 LPC 또는 예측된 광대역 LPC를 포함하고, 상기 예측된 LPC는 상기 LPC에 기초하여 취득된다.
본 발명의 실시예들에서는, 대역폭 확장 파라미터 및 대역폭 확장 파라미터를 사용하여 계산을 통해 취득된 수정 인자를 사용하여, 디코딩된 저주파 대역 신호에 대해, 대역폭 확장이 수행되어, 고주파 대역 신호를 복원한다. 본 발명의 실시예들에서의 대역폭 확장 방법 및 장치를 사용하여 복원된 고주파 대역 신호는 원래의 고주파 대역 신호에 근접하고, 품질이 양호하다.
본 발명의 실시예들에서의 기술적 방안을 더욱 명확하게 설명하기 위해, 이하에 본 발명의 실시예들의 설명에 필요한 첨부도면을 간단하게 소개한다. 명백히, 이하의 설명에서의 첨부도면은 단지 본 발명의 일부 실시예를 나타낼 뿐이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자(이하, 당업자라고 함)라면 창의적인 노력 없이 이들 첨부도면에 따라 다른 도면을 도출할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 대역폭 확장 방법의 흐름도이다.
도 2는 본 발명의 실시예에 따른 대역폭 확장 방법의 구현 블록도이다.
도 3은 본 발명의 실시예에 따른 시간 도메인 및 주파수 도메인에서의 대역폭 확장 방법의 구현 블록도이다.
도 4는 본 발명의 실시예에 따른 주파수 도메인에서의 대역폭 확장 방법의 구현 블록도이다.
도 5는 본 발명의 실시예에 따른 시간 도메인에서의 대역폭 확장 방법의 구현 블록도이다.
도 6은 본 발명의 실시예에 따른 대역폭 확장 장치의 개략 구성도이다.
도 7은 본 발명의 실시예에 따른 대역폭 확장 장치의 대역 확장 유닛의 개략 구성도이다.
도 8은 본 발명의 다른 실시예에 따른 대역폭 확장 장치의 대역 확장 유닛의 개략 구성도이다.
도 9는 본 발명의 다른 실시예에 따른 대역폭 확장 장치의 대역 확장 유닛의 개략 구성도이다.
도 10은 본 발명의 다른 실시예에 따른 대역폭 확장 장치의 대역 확장 유닛의 개략 구성도이다.
도 11은 본 발명의 다른 실시예에 따른 대역폭 확장 장치의 대역 확장 유닛의 개략 구성도이다.
도 12는 본 발명의 실시예에 따른 디코더의 개략 구성도이다.
본 발명의 실시예에서의 첨부도면을 참조하여 이하에 본 발명의 실시예들에서의 기술적 방안을 명확하게 설명한다. 명백히, 설명되는 실시예들은 본 발명의 실시예의 전부가 아니라 일부이다. 당업자가 본 발명의 실시예들에 기초하여 창의적인 노력 없이 얻는 모든 다른 실시예는 본 발명의 보호 범위에 속한다. 본 발명의 실시예들에서, 대역폭 확장은 디코딩 레이트, 코드 스트림(code stream)을 직접 디코딩하여 취득되는 LPC 계수(LSF 파라미터) 및 피치 주기, 중간 디코딩에 의해 취득되는 적응적 코드북 기여분 및 대수 코드북 기여분, 그리고 최종 디코딩에 의해 취득되는 저주파 대역 신호 중 어느 하나 또는 그 일부의 조합에 따라 저주파 대역 신호에 대해 수행되어, 고주파 대역 신호를 복원한다.
이하에, 도 1을 참조하여 본 발명의 실시예에 따른 대역폭 확장 방법을 상세하게 설명하며, 상기 대역폭 확장 방법은 다음 단계들을 포함할 수 있다:
S11: 디코더가 대역폭 확장 파라미터를 획득하며, 대역폭 확장 파라미터는 선형 예측 계수(LPC), 선 스펙트럼 주파수(LSF) 파라미터, 피치 주기, 적응적 코드북 기여분, 및 대수 코드북 기여분 중 하나 이상의 파라미터를 포함한다.
디코더는 디코딩 작업(decoding operation)이 수행될 필요가 있는 이동 전화, 태블릿, 컴퓨터, 텔레비전 수상기, 셋톱 박스, 또는 게이밍 콘솔(gaming console) 등의 하드웨어 기기 내에 배치되고, 이들 하드웨어 기기 내의 프로세서의 제어하에 작동할 수 있다. 디코더는 또한 독립형의 하드웨어 기기일 수 있으며, 상기 하드웨어 기기는 프로세서를 포함할 수 있고, 상기 하드웨어 기기는 프로세서의 제어하에 작동한다.
구체적으로, LPC는 선형 예측 필터의 계수이며, 선형 예측 필터는 사운드 채널 모델(sound channel model)의 기본 특징을 설명할 수 있고, LPC는 또한 주파수 도메인에서의 신호의 에너지 변화 추세를 설명할 수 있다. LSF 파라미터는 LPC의 주파수 도메인의 표현 방식이다.
또, 사람이 유성음(voiced sound)을 생성할 때, 기류가 성문(聲門, glottis)을 통과하여, 성대(vocal cords)로 하여금 이완 발진 진동(relaxation oscillatory vibration)을 생성하게 하여, 준주기 펄스 기류(quasi-periodic pulse airflow)를 생성한다. 이 기류가 성도(聲道, sound channel)를 자극하여, 유성 어음(voiced speech)이라고도 하는 유성음이 생성된다. 유성 어음은 대부분 어음 내에 에너지를 가지고 있다. 성대가 진동하는 이러한 주파수를 기본 주파수(fundamental frequency)라고 하며, 대응하는 주기를 피치 주기라고 한다.
디코딩 레이트는, 어음 인코딩 알고리즘에서, 인코딩 및 디코딩이 모두 미리 설정된 레이트(비트 레이트)에 따라 처리되는 것을 말하며, 상이한 디코딩 레이트에 대해, 처리 방식 또는 파라미터는 상이할 수 있다.
적응적 코드북 기여분은, LPC를 사용하여 어음 신호(speech signal)가 분석된 후의 잔차 신호(residual signal) 내의 준주기 부분(quasi-periodic portion)이다. 대수 코드북 기여분은, LPC를 사용하여 어음 신호가 분석된 후의 잔차 신호 내의 준노이즈 부분(quasi-noise portion)을 말한다.
여기서, LPC 및 LSF 파라미터는 코드 스트림을 직접 디코딩함으로써 취득될 수 있고; 적응적 코드북 기여분 및 대수 코드북 기여분을 결합하여 저주파 여기 신호를 취득할 수 있다.
적응적 코드북 기여분은 신호의 준주기 성분(quasi-periodic constituent)을 반영하고, 대수 코드북 기여분은 신호의 준노이즈 성분(quasi-noise constituent)을 반영한다.
S12: 디코더가, 대역폭 확장 파라미터에 따라, 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여, 고주파 대역 신호를 취득한다.
예를 들어, 먼저, 고주파 에너지 및 고주파 대역 여기 신호는 대역폭 확장 파라미터에 따라 예측되고, 고주파 에너지는 고주파 포락선 또는 고주파 이득을 포함할 수 있으며; 그 다음에 고주파 대역 신호가 고주파 에너지 및 고주파 대역 여기 신호에 따라 취득된다.
또한, 시간 도메인과 주파수 도메인의 차이에 대해, 고주파 에너지 또는 고주파 대역 여기 신호의 예측에 관련된 대역 확장 파라미터가 다를 수 있다.
대역 확장이 시간 도메인과 주파수 도메인에서 수행되면, 대역 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하는 것은, LPC에 따라 고주파 이득을 예측하는 것; 및 LSF 파라미터, 적응적 코드북 기여분, 및 대수 코드북 기여분에 따라 고주파 대역 여기 신호를 적응적으로 예측하는 것을 포함할 수 있다. 또한, 고주파 대역 여기 신호는 디코딩 레이트, LSF 파라미터, 적응적 코드북 기여분, 및 대수 코드북 기여분에 따라 더 적응적으로 예측될 수 있다.
선택적으로, 시간 도메인에서 대역폭 확장이 수행되면, 대역 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하는 것은, LPC에 따라 고주파 이득을 예측하는 것; 및 적응적 코드북 기여분, 및 대수 코드북 기여분에 따라 고주파 대역 여기 신호를 적응적으로 예측하는 것을 포함할 수 있다. 또한, 고주파 대역 여기 신호는 디코딩 레이트, 적응적 코드북 기여분, 및 대수 코드북 기여분에 따라 더 적응적으로 예측될 수 있다.
선택적으로, 주파수 도메인에서 대역폭 확장이 수행되면, 대역 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하는 것은, 디코딩된 저주파 대역 신호에 따라 고주파 포락선을 예측하는 것; 및 디코딩된 저주파 대역 신호 또는 저주파 여기 신호에 따라, 고주파 대역 여기 신호를 예측하는 것을 포함할 수 있다. 여기서, 저주파 여기 신호는 적응적 코드북 기여분과 대수 코드북 기여분의 합이다. 또한, 고주파 대역 여기 신호는 또한 디코딩 레이트 및 디코딩된 저주파 대역 신호에 따라 예측될 수 있거나; 또는 고주파 대역 여기 신호는 디코딩 레이크 및 저주파 여기 신호에 따라 예측될 수도 있다.
또, 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측한 후, 본 발명의 본 실시예에서의 대역폭 확장 방법은, 대역폭 확장 파라미터와 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제1 수정 인자를 결정하는 것 - 제1 수정 인자는 유성음 인자, 노이즈 게이트 인자, 및 스펙트럼 틸트 인자 중 하나 이상을 포함함 -; 및 제1 수정 인자에 따라 고주파 에너지를 수정하는 것을 더 포함할 수 있다. 예를 들어, 유성음 인자 또는 노이즈 게이트 인자는 대역 확장 파라미터에 따라 결정될 수 있고, 스펙트럼 틸트 인자는 디코딩된 저주파 대역 신호에 따라 결정될 수 있다.
대역폭 확장 파라미터 및 디코딩된 저주파 대역 신호에 따라 제1 수정 인자를 결정하는 것은, 디코딩된 저주파 대역 신호에 따라 제1 수정 인자를 결정하는 것; 또는, 피치 주기, 적응적 코드북 기여분, 및 대수 코드북 기여분에 따라 제1 수정 인자를 결정하는 것; 또는 피치 주기, 적응적 코드북 기여분, 대수 코드북 기여분, 및 디코딩된 저주파 대역 신호에 따라 제1 수정 인자를 결정하는 것을 포함할 수 있다.
또, 본 발명의 본 실시예에서의 대역폭 확장 방법은, 피치 주기에 따라 고주파 에너지를 수정하는 것을 더 포함할 더 포함할 수 있다.
또, 본 발명의 본 실시예에서의 대역폭 확장 방법은, 대역폭 확장 파라미터와 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자를 결정하는 것 - 제2 수정 인자는 분류 파라미터와 신호 유형 중 적어도 하나를 포함함 -; 및 제2 수정 인자에 따라 고주파 에너지 및 고주파 대역 여기 신호를 수정하는 것을 더 포함할 수 있다.
구체적으로, 대역폭 확장 파라미터와 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자를 결정하는 것은, 대역폭 확장 파라미터에 따라 제2 수정 인자를 결정하는 것; 또는 디코딩된 저주파 대역 신호에 따라 제2 수정 인자를 결정하는 것; 또는 대역폭 확장 파리미터 및 디코딩된 저주파 대역 신호에 따라 제2 수정 인자를 결정하는 것을 포함할 수 있다.
또, 본 발명의 본 실시예에서의 대역폭 확장 방법은, 랜덤 노이즈 신호 및 디코딩 레이트에 따라, 고주파 대역 여기 신호를 수정하는 것을 더 포함할 수 있다.
또한, 고주파 에너지 및 고주파 대역 여기 신호에 따라 고주파 대역 신호를 취득하는 것은, 고주파 에너지와 고주파 대역 여기 신호를 합성하여 고주파 대역 신호를 취득하는 것; 또는 고주파 에너지, 고주파 대역 여기 신호, 및 예측된 LPC를 합성하여, 고주파 대역 신호를 취득하는 것을 포함하고, 예측된 LPC는 예측된 고주파 대역 LPC 또는 예측된 광대역 LPC를 포함하고, 예측된 LPC는 LPC에 기초하여 취득된다. 광대역 LPC에서의 "광대역"은 여기서 저주파 대역 및 고주파 대역을 포함한다.
이상으로부터 알 수 있듯이, 본 발명의 본 실시예에서, 대역폭 확장은, 대역 확장 파라미터를 사용하여, 디코딩된 저주파 대역 신호에 대해 수행되고, 이에 따라, 고주파 대역 신호가 복원된다. 본 발명의 본 실시예에서의 대역폭 확장 방법을 사용하여 복원된 고주파 대역 신호는 원래의 고주파 대역 신호에 근접하고, 품질이 양호하다.
즉, 본 발명의 본 실시예에서의 대역폭 확장 방법에서는, 고주파 에너지는 코드 스트림을 직접 디코딩하여 취득된 저주파 파라미터, 중간 디코딩된 파라미터, 또는 최종 디코딩에 의해 취득된 저주파 대역 신호를 충분히 사용하여 예측되어, 최종 출력되는 고주파 대역 신호가 원래의 고주파 대역 신호에 더 근접할 수 있도록 하므로, 출력 신호의 품질을 향상시킨다.
이하에 첨부도면을 참조하여 본 발명의 구체적인 실시예들을 상세하게 설명한다.
먼저, 도 2는 본 발명의 구체적인 실시예에 따른 대역폭 확장 방법의 개략 흐름도를 나타낸다.
도 2에 도시된 바와 같이, 디코딩 레이트, 코드 스트림의 직접 디코딩에 의해 취득되는 LPC(또는 LSF 파라미터) 및 피치 주기, 중간 디코딩에 의해 취득되는 적응적 코드북 기여분 및 대수 코드북 기여분 등의 파라미터, 및 최종 디코딩에 의해 취득되는 저주파 대역 신호 중 어느 하나 또는 일부의 조합에 따라, 유성음 인자, 노이즈 게이트 인자, 스펙트럼 틸트 인자, 및 분류 파라미터의 값 중 어느 하나 또는 일부의 조합이 계산된다. 유성음 인자는 적응적 코드북 기여분의 대수 코드북 기여분에 대한 비율이고, 노이즈 게이트 인자는 신호 배경 노이즈의 크기를 나타내는 데 사용되는 파라미터이고, 스펙트럼 틸트 인자는 신호 스펙트럼 틸트의 정도 또는 상이한 주파수 대역 간의 신호의 에너지 변화 추세를 나타내는 데 사용되며, 분류 파라미터는 신호 유형을 구분하는 데 사용되는 파라미터이다. 그 후, 고주파 대역 LPC 또는 광대역 LPC, 고주파 에너지(예를 들어, 고주파 이득, 또는 고주파 포락선), 및 고주파 대역 여기 신호가 예측된다. 최종적으로, 고주파 대역 신호가 예측된 고주파 에너지와 고대역 여기 신호를 사용하거나, 또는 예측된 고주파 에너지와 고주파 대역 여기 신호, 및 예측된 LPC를 사용하여 합성된다.
구체적으로, 고주파 대역 LPC 또는 광대역 LPC는 디코딩에 의해 취득된 LPC에 따라 예측될 수 있다.
고주파 포락선 또는 고주파 이득은 다음 방식으로 예측될 수 있다:
예를 들어, 고주파 이득 또는 고주파 포락선은 예측된 LPC 및 디코딩에 의해 취득된 LPC, 또는 디코딩된 저주파 대역 신호의 고주파와 저주파 사이의 관계를 사용하여 예측된다.
또는, 예를 들어, 상이한 신호 유형에 대해, 상이한 수정 인자를 계산하여 예측된 고주파 이득 또는 고주파 포락선을 수정한다. 예를 들어, 예측된 고주파 포락선 또는 고주파 이득은 디코딩된 저주파 대역 신호의 분류 파라미터, 스펙트럼 틸트 인자, 유성음 인자, 및 노이즈 게이트 인자 중, 어느 하나의 가중치 또는 일부의 가중치들을 사용하여 수정될 수 있다. 또는, 피치 주기가 안정적인 신호에 대해, 예측된 고주파 포락선이 피치 주기를 사용하여 더 수정될 수 있다.
고주파 대역 여기 신호는 다음과 같은 방식으로 예측될 수 있다:
예를 들어, 상이한 디코딩 레이트 또는 상이한 유형의 신호에 대해, 고주파 대역 여기 신호는 디코딩에 의해 취득된, 상이한 주파수 대역을 가진 저주파 대역 신호를 적응적으로 선택하거나, 상이한 예측 알고리즘을 사용함으로써 예측될 수 있다.
또한, 예측된 고주파 대역 여기 신호 및 랜덤 노이즈 신호에 가중치를 부여하여, 최종 고주파 대역 여기 신호를 취득하며, 가중치는 디코딩된 저주파 대역 신호의 분류 파라미터의 값 및/또는 유성음 인자에 따라 결정된다.
최종적으로, 고주파 대역 신호는 예측된 고주파 에너지 및 고주파 대역 여기 신호를 사용하거나, 예측된 고주파 에너지와 고주파 대역 여기 신호, 및 예측된 LPC를 사용하여 합성된다.
이상으로부터 알 수 있듯이, 본 발명의 본 실시예에서의 대역폭 확장 방법에서, 고주파 에너지는 코드 스트림을 직접 디코딩하여 취득된 저주파 파라미터, 중간 디코딩된 파라미터, 또는 최종 디코딩에 의해 취득된 저주파 대역 신호를 충분히 사용하여 예측되며; 고주파 대역 여기 신호가 저주파 여기 신호에 따라 적응적으로 예측되어, 최종 출력되는 고주파 대역 신호가 원래의 고주파 대역 신호에 더 근접할 수 있도록 하므로, 출력 신호의 품질을 향상시킨다.
시간 도메인과 주파수 도메인 사이의 차이에 대해, 본 발명의 본 실시예에서의 대역폭 확장 방법의 구체적인 구현 프로세스는 다를 수 있다. 이하에, 도 3 내지 도 5를 참조하여 시간 도메인과 주파수 도메인에 대해, 주파수 도메인에 대해, 및 시간 도메인에 대해 각각 설명한다.
도 3에 도시된 바와 같이, 시간 도메인과 주파수 도메인에서 대역폭 확장을 수행하는 구체적인 구현 프로세스에서는, 다음과 같다:
먼저, 광대역 LPC가 디코딩에 의해 취득된 LPC에 따라 예측된다.
그 다음에, 고주파 이득이 예측된 광대역 LPC와 디코딩에 의해 취득된 LPC 사이의 관계를 사용하여 예측된다. 또한 상이한 신호 유형에 대해, 상이한 수정 인자가 계산되어 예측된 고주파 이득을 수정한다. 예를 들어, 예측된 고주파 이득은 디코딩된 저주파 대역 신호의 분류 파라미터, 스펙트럼 틸트 인자, 유성음 인자, 및 노이즈 게이트 인자를 사용하여 수정된다. 수정된 고주파 이득은 최소 노이즈 게이트 인자 ng_min에 비례하고, 분류 파라미터의 값 fmerit에 비례하고, 스펙트럼 틸트 인자 tilt의 반수(opposite number)에 비례하고, 유성음 인자 voice_fac에 반비례한다. 이 경우에, 고주파 이득이 클수록 스펙트럼 틸트 인자가 더 작다는 것을 나타내고; 배경 노이즈가 클수록 노이즈 게이트 인자가 더 크다는 것을 나타내고; 어음 특성(speech characteristic)이 강할수록 분류 파라미터의 값이 더 크다는 것을 나타낸다. 예를 들어, 수정된 고주파 이득 =gain*(1-tilt)*fmerit*(30+ng_min)*(1.6-voice_fac). 여기서, 각 프레임에서 평가된 노이즈 게이트 인자는 주어진 임계값과 비교될 필요가 있으므로; 각 프레임에서 평가된 노이즈 게이트 인자가 주어진 임계값보다 작은 경우, 최소 노이즈 게이트 인자는 각 프레임에서 평가된 노이즈 게이트 인자와 같고; 그렇지 않으면, 최소 노이즈 게이트 인자는 주어진 임계값과 같다.
또한, 상이한 디코딩 레이트 또는 상이한 유형의 신호에 대해, 고주파 대역 여기 신호는 디코딩에 의해 취득된, 상이한 주파수 대역을 가지는 저주파 대역 신호를 적응적으로 선택함으로써, 또는 상이한 예측 알고리즘을 사용하여 예측된다. 예를 들어, 디코딩 레이트가 주어진 값보다 큰 경우, 고주파 대역 신호에 인접한 주파수 대역을 가지는 저주파 여기 신호(적응적 코드북 기여분과 대수 코드북 기여분의 합)가 고주파 대역 여기 신호로서 사용되고; 그렇지 않으면, 인코딩 품질이 더 우수한 주파수 대역을 가지는 신호가 LSF 파라미터들 간에 상이한 값을 사용하여 저주파 대역 여기 신호로부터 고주파 대역 여기 신호로서 적응적으로 선택된다. 예를 들어, 적응적 멀티레이트 광대역(AMR-WB, Adaptive Multi-Rate Wideband) 코덱이 12.65kbps, 15.85kbps, 18.25kbps, 19.85kbps, 23.05kbps, 및 23.85kbps 등의 디코딩 레이트를 지원하고, 그러면 AMR-WB 코덱은 19.85kbpsfmf 주어진 값으로 선택할 수 있다.
ISF 파라미터(ISF 파라미터는 한 그룹의 수이며, LPC 계수의 순서와 동일함)는 LPC 계수의 주파수 도메인의 표현 방식이고, 주파수 도메인에서의 어음/오디오 신호의 에너지 변화를 반영한다. ISF의 값은 어음/오디오 신호의 저주파에서 고주파까지의 전체 주파수 대역에 대략 대응하고, ISF 파라미터의 값 각각은 하나의 대응하는 주파수 값에 대응한다.
본 발명의 실시예에서, 인코딩 품질이 더 양호한 주파수 대역을 가지는 신호가 저주파 여기 신호에서 LSF 파라미터들 간에 상이한 값을 사용하여 고주파 대역 여기 신호로서 적응적으로 선택된다는 것은, 두 개의 LSF 파라미터 각각 사이에 상이한 값이 계산되어 LSF 파라미터의 한 그룹의 상이한 값이 취득되고; 최소 차 값(minimum difference value)이 검색되고, LSF 파라미터에 대응하는 주파수 빈(frequency bin)이 최소 차 값에 따라 결정되고; 주파수 대역을 가지는 주파수 도메인 겨기 신호가 주파수 빈에 따라 주파수 도메인 여기 신호들에서 선택되어, 고주파 대역을 가지는 여기 신호로서 사용되는 것을 포함한다. 선택 방식은 여러 가지가 있다. 주파수 빈이 F1이면, 필요한 길이의 주파수 대역을 가지는 신호가 주파수 빈 F1-F에서 선택되고, 고주파 대역 여기 신호로서 사용될 수 있으며, F>=0이고, 구체적으로 선택되는 길이는 복원되어야 할 고주파 대역 신호의 대역폭 및 신호 특징에 따라 결정된다.
또, 인코딩 품질이 더 우수한 주파수 대역이, 음악 신호 또는 어음 신호에 대해, 저주파 여기 신호로부터 적응적으로 선택되는 경우, 다른 최소 시작 선택 주파수 빈이 선택된다. 예를 들어, 어음 신호에 대해, 선택은 2 내지 6kHz의 범위에서 적응적으로 수행될 수 있으며; 음악 신호에 대해, 선택된 1 내지 6kHz의 범위에서 적응적으로 수행될 수 있다. 최종 고주파 대역 여기 신호를 취득하기 위해 예측된 고주파 대역 여기 신호 및 랜덤 노이즈 신호에는 또한 가중치가 부여될 수 있으며, 부여되는 가중치는 저주파 대역 신호의 분류 파라미터의 값 및/또는 유성음 인자에 따라 결정된다:
Figure 112016025856557-pct00001
위 식에서, exc[n]은 예측된 고주파 대역 여기 신호이고, random[n]은 랜덤 노이즈 신호이고,
Figure 112017031852944-pct00002
는 예측된 고주파 대역 여기 신호의 가중치이고,
Figure 112017031852944-pct00003
는 랜덤 노이즈 신호의 가중치이고,
Figure 112017031852944-pct00004
는, 예측된 고주파 대역 여기 신호의 가중치가
Figure 112017031852944-pct00005
로 계산될 때 미리 설정되는 값이고, fmerit는 분류 파라미터의 값이고, voice_fac은 유성음 인자이다.
쉽게 이해할 수 있는 것은, 신호 분류 방법들이 상이하므로, 고주파 대역 여기 신호는, 디코딩에 의해 취득된, 상이한 주파수 대역을 가지는 저주파 대역 신호를 적응적으로 선택하거나 상이한 예측 알고리즘을 사용함으로써 예측된다는 것이다. 예를 들어, 신호는 어음 신호와 음악 신호로 분류될 수 있으며, 어음 신호는 무성음, 유성음, 및 과도음(transition sound)으로 더 분류될 수 있다. 또는, 신호는 과도 신호(transient signal)와 비과도 신호(non-transient signal), 등으로 더 분류될 수 있다.
최종적으로, 고주파 대역 신호는 예측된 고주파 이득과 고주파 대역 여기 신호, 및 예측된 LPC를 사용하여 합성된다. 고주파 대역 여기 신호는 예측된 고주파 이득을 사용하여 수정되고, 그 후 수정된 고주파 대역 여기 신호가 LPC 합성 필터를 통과하여, 최종적으로 출력되는 고주파 대역 신호가 취득되거나; 고주파 대역 여기 신호가 LPC 합성 필터를 통과하여, 고주파 대역 신호가 취득되고, 그 후 고주파 대역 신호는 고주파 이득을 사용하여 수정되어, 최종적으로 출력되는 고주파 대역 신호가 취득된다. LPC 합성 필터는 선형 필터이므로, 합성 전의 수정은 합성 후의 수정과 동일하다. 즉, 고주파 이득을 사용하여 합성 전에 고주파 대역 여기 신호를 수정한 결과는 합성 후의 고주파 대역 여기 신호를 수정한 결과와 동일하므로, 수정에 순서는 없다.
여기서, 합성 프로세스에서, 주파수 도메인의 취득된 고주파 대역 여기 신호는 시간 도메인의 고주파 대역 여기 신호로 변환되고, 시간 도메인의 고주파 대역 여기 신호와 시간 도메인의 고주파 이득이 합성 필터의 입력으로 사용되고, 예측된 LPC 계수는 합성 필터의 계수로 사용되며, 이에 따라 합성된 고주파 대역 신호를 취득한다.
이상으로부터 알 수 있는 것은, 본 발명의 본 실시예에서의 대역폭 확장 방법에서, 고주파 에너지는 코드 스트림을 직접 디코딩하여 취득된 저주파 파라미터, 중간 디코딩된 파라미터, 또는 최종 디코딩에 의해 취득된 저주파 대역 신호를 충분히 사용하여 예측되며; 최종 출력되는 고주파 대역 신호가 원래의 고주파 대역 신호에 더 근접할 수 있도록, 고주파 대역 여기 신호가 저주파 여기 신호에 따라 적응적으로 예측되므로, 출력 신호의 품질을 향상시키다는 것이다.
도 4에 도시된 바와 같이, 주파수 도메인에서 대역폭 확장을 수행하는 구체적인 구현 프로세스에서는, 다음과 같다:
먼저, 고주파 대역 LPC가 디코딩에 의해 취득되는 LPC에 따라 예측된다.
그 다음에, 확장될 필요가 있는 고주파 대역 신호가 M개의 서브대역으로 분할되고, M개의 서브대역의 고주파 포락선이 예측된다. 예를 들어, 고주파 대역 신호에 인접한 N개의 주파수 대역이 디코딩 저주파 대역 신호로부터 선택되고, N개의 주파수 대역의 에너지 또는 진폭이 계산되고, M개의 서브대역의 고주파 포락선은 N개의 주파수 대역의 에너지 또는 진폭 간의 크기 관계에 따라 예측된다. 여기서, M 및 N은 모두 미리 설정된 값이다. 예를 들어, 고주파 대역 신호는 M=2개 서브대역으로 분할되고, 고주파 대역 신호에 인접한 N=2 또는 4개의 서브대역이 선택된다.
또한, 예측된 고주파 포락선은 디코딩된 저주파 대역 신호의 분류 파라미터, 피치 주기, 저주파 대역 신호의 고주파와 저주파 사이의 에너지 또는 진폭 비, 유성음 인자, 및 노이즈 게이트 인자를 사용하여 수정된다. 예를 들어, 저주파 대역 신호의 대역폭이 6kHz이면, 0 내지 3kHz와 3 내지 6kHz가 각각 저주파 대역 신호의 저주파와 고주파로 사용될 수 있거나, 또는 0 내지 4kHz와 4 내지 6kHz가 각각 저주파 대역 신호의 저주파와 고주파로 사용될 수 있다.
수정된 고주파 포락선은 최소 노이즈 게이트 인자 ng_min에 비례하고, 분류 파라미터의 값 fmerit에 비례하고, 스펙트럼 틸트 인자 tilt의 반수에 비례하고, 유성음 인자 voice_fac에 반비례한다. 또, 피치 주기 pitch가 안정적인 신호에 대해, 수정된 고주파 포락선은 피치 주기에 비례한다. 이 경우에, 고주파 에너지가 클수록 스펙트럼 틸트 인자가 더 작다는 것을 나타내고; 배경 노이즈가 클수록 노이즈 게이트 인자가 더 크다는 것을 나타내고; 어음 특성이 강할수록 분류 파라미터의 값이 더 크다는 것을 나타낸다. 예를 들어, 수정된 고주파 포락선 gain *=(1-tilt)*fmerit*(30+ng_min)*(1.6-voice_fac)*(pitch/100).
다음에, 디코딩 레이트가 주어진 임계값 이상인 경우, 고주파 대역 신호에 인접한, 저주파 대역 신호의 주파수 대역이 고주파 대역 여기 신호를 예측하기 위해 선택되거나; 또는 디코딩 레이트가 주어진 임계값보다 작은 경우, 인코딩 품질이 더 양호한 서브대역이 고주파 대역 여기 신호를 예측하기 위해 적응적으로 선택된다. 여기서, 주어진 임계값은 경험치일 수 있다.
또한, 예측된 고주파 대역 여기 신호는 랜덤 노이즈 신호를 사용하여 가중치가 부여되고, 부여되는 가중치는 저주파 대역 신호의 분류 파라미터에 의해 결정된다. 랜덤 노이즈 신호의 가중치는 저주파 대역 신호의 분류 파라미터의 크기에 비례한다:
Figure 112016025856557-pct00006
위 식에서, exc[n]은 예측된 고주파 대역 여기 신호이고, random[n]은 랜덤 노이즈 신호이고,
Figure 112017031852944-pct00007
는 예측된 고주파 대역 여기 신호의 가중치이고,
Figure 112017031852944-pct00008
는 랜덤 노이즈 신호의 가중치이고,
Figure 112017031852944-pct00009
는, 예측된 고주파 대역 여기 신호의 가중치가
Figure 112017031852944-pct00010
로 계산될 때 미리 설정되는 값이고, fmerit는 분류 파라미터의 값이다.
최종적으로, 고주파 대역 신호는 예측된 고주파 포락선 및 고주파 대역 여기 신호를 사용하여 합성된다.
여기서, 합성 프로세스는 주파수 도메인의 고주파 대역 여기 신호를 주파수 도메인의 고주파 포락선에 직접 곱하여, 합성된 고주파 대역 신호를 얻는 것일 수 있다.
이상으로부터 알 수 있는 것은, 본 발명의 본 실시예에서의 대역폭 확장 방법에서, 고주파 에너지는 코드 스트림을 직접 디코딩하여 취득된 저주파 파라미터, 중간 디코딩된 파라미터, 또는 최종 디코딩에 의해 취득된 저주파 대역 신호를 충분히 사용하여 예측되며; 최종 출력되는 고주파 대역 신호가 원래의 고주파 대역 신호에 더 근접할 수 있도록, 고주파 대역 여기 신호가 저주파 여기 신호에 따라 적응적으로 예측되므로, 출력 신호의 품질을 향상시킨다는 것이다.
도 5에 도시된 바와 같이, 시간 도메인에서 대역폭 확장을 수행하는 구체적인 구현 프로세스에서는, 다음과 같다:
먼저, 광대역 LPC가 디코딩에 의해 취득되는 LPC에 따라 예측된다.
그 다음에, 확장될 필요가 있는 고주파 대역 신호가 M개의 서브프레임으로 분할되고, M개의 서브프레임의 고주파 이득이 예측된 광대역 LPC와 디코딩된 LPC 사이의 관계를 이용하여 예측된다.
그 후, 현재 서브프레임의 고주파 이득은 저주파 대역 신호 또는 현재 서브프레임 또는 현재 프레임의 저주파 여기 신호를 사용하여 예측된다.
또한, 예측된 고주파 이득은 디코딩된 저주파 대역 신호의 분류 파라미터, 피치 주기, 저주파 대역 신호의 고주파와 저주파 사이의 에너지 또는 진폭 비, 유성음 인자, 및 노이즈 게이트 인자를 사용하여 수정된다. 수정된 고주파 이득은 최소 노이즈 게이트 인자 ng_min에 비례하고, 분류 파라미터의 값 fmerit에 비례하고, 스펙트럼 틸트 인자 tilt의 반수에 비례하고, 유성음 인자 voice_fac에 반비례한다. 또, 피치 주기 pitch가 안정적인 신호에 대해, 수정된 고주파 이득은 피치 주기에 비례한다. 이 경우에, 고주파 에너지가 클수록 스펙트럼 틸트 인자가 더 작다는 것을 나타내고; 배경 노이즈가 클수록 노이즈 게이트 인자가 더 크다는 것을 나타내고; 어음 특성이 강할수록 분류 파라미터의 값이 더 크다는 것을 나타낸다. 예를 들어, 수정된 고주파 이득 gain *=(1-tilt)*fmerit*(30+ng_min)*(1.6-voice_fac)*(pitch/100),
위 식에서, tilt는 스펙트럼 틸트 인자이고, fmerit는 분류 파라미터의 값이고, ng_min은 최소 노이즈 게이트 인자이고, voice_fac는 유성음 인자이고, pitch는 피치 주기이다.
다음에, 디코딩 레이트가 주어진 임계값 이상인 경우, 고주파 대역 신호에 인접한, 저주파 대역 신호의 주파수 대역이 고주파 대역 여기 신호를 예측하기 위해 선택되거나; 또는 디코딩 레이트가 주어진 임계값보다 작은 경우, 인코딩 품질이 더 양호한 서브대역이 고주파 대역 여기 신호를 예측하기 위해 적응적으로 선택된다. 즉, 고주파 대역 신호에 인접한 주파수 대역을 가지는 저주파 여기 신호(적응적 코드북 기여분 및 대수 코드북 기여분)가 고주파 대역 여기 신호로서 사용될 수 있다.
또한, 예측된 고주파 대역 여기 신호는 랜덤 노이즈 신호를 사용하여 가중치가 부여되고, 가중치는 저주파 대역 신호의 분류 파라미터 및 유성음 인자의 가중치에 의해 결정된다.
최종적으로, 고주파 대역 신호는 예측된 고주파 이득과 고주파 대역 여기 신호, 및 예측된 LPC를 사용하여 합성된다.
여기서, 합성 프로세스는 시간 도메인의 고주파 대역 여기 신호와 시간 도메인의 고주파 이득을 합성 필터의 입력으로 사용하고, 예측된 LPC 계수를 합성 필터의 계수로 사용하여, 합성된 고주파 대역 신호를 취득하는 것일 수 있다.
이상으로부터 알 수 있는 것은, 본 발명의 본 실시예에서의 대역폭 확장 방법에서, 고주파 에너지는 코드 스트림을 직접 디코딩하여 취득된 저주파 파라미터, 중간 디코딩된 파라미터, 또는 최종 디코딩에 의해 취득된 저주파 대역 신호를 충분히 사용하여 예측되며; 최종 출력되는 고주파 대역 신호가 원래의 고주파 대역 신호에 더 근접할 수 있도록, 고주파 대역 여기 신호가 저주파 여기 신호에 따라 적응적으로 예측되므로, 출력 신호의 품질을 향상시킨다는 것이다.
도 6 내지 도 11은 본 발명의 실시예에 따른 대역폭 확장 장치의 구성도를 나타낸다. 도 6에 도시된 바와 같이, 대역폭 확장 장치(60)는 획득 유닛(61)과 대역폭 확장 유닛(62)을 포함한다. 획득 유닛(61)은 대역폭 확장 파라미터를 획득하도록 구성되며, 대역폭 확장 파라미터는 선형 예측 계수(LPC), 선 스펙트럼 주파수 파라미터(LSF), 피치 주기, 디코딩 레이트, 적응적 코드북 기여분, 및 대수 코드북 기여분 중 하나 이상의 파라미터를 포함한다. 대역폭 확장 유닛(62)은 획득 유닛(61)에 의해 획득된 대역폭 확장 파라미터에 따라, 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여, 고주파 대역 신호를 취득하도록 구성된다.
도 7에 도시된 바와 같이, 대역폭 확장 유닛(62)은 예측 서브유닛(621) 및 합성 서브유닛(622)을 포함한다. 예측 서브유닛(621)은 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하도록 구성된다. 합성 서브유닛(622)은 고주파 에너지 및 고주파 대역 여기 신호에 따라 고주파 대역 신호를 취득하도록 구성된다. 구체적으로, 합성 서브유닛(622)은, 고주파 에너지와 고주파 대역 여기 신호를 합성하여 고주파 대역 신호를 합성하거나; 또는 고주파 에너지, 고주파 대역 여기 신호 및 예측된 LPC를 합성하여 고주파 대역 신호를 합성하도록 구성되며, 예측된 LPC는 예측된 고주파 대역 LPC 또는 예측된 광대역 LPC를 포함하고, 예측된 LPC는 LPC에 기초하여 취득된다.
구체적으로, 고주파 에너지는 고주파 이득을 포함하고; 예측 서브유닛(621)은, LPC에 따라 고주파 이득을 예측하고; LSF 파라미터, 적응적 코드북 기여분, 및 대수 코드북 기여분에 따라, 고주파 대역 여기 신호를 적응적으로 예측하도록 구성된다.
또는, 고주파 에너지는 고주파 이득을 포함하고; 예측 서브유닛(621)은, LPC에 따라 고주파 이득을 예측하고; 디코딩 레이트, LSF 파라미터, 적응적 코드북 기여분, 및 대수 코드북 기여분에 따라, 고주파 대역 여기 신호를 적응적으로 예측하도록 구성된다.
또는, 고주파 에너지는 고주파 이득을 포함하고; 예측 서브유닛(621)은, LPC에 따라 고주파 이득을 예측하고; 적응적 코드북 기여분 및 대수 코드북 기여분에 따라, 고주파 대역 여기 신호를 적응적으로 예측하도록 구성된다.
또는, 고주파 에너지는 고주파 이득을 포함하고; 예측 서브유닛(621)은, LPC에 따라 고주파 이득을 예측하고; 디코딩 레이트, 적응적 코드북 기여분, 및 대수 코드북 기여분에 따라, 고주파 대역 여기 신호를 적응적으로 예측하도록 구성된다.
또는, 고주파 에너지는 고주파 포락선을 포함하고; 예측 서브유닛(621)은, 디코딩된 저주파 대역 신호에 따라 고주파 포락선을 예측하고; 디코딩된 저주파 대역 신호 또는 저주파 여기 신호에 따라, 고주파 대역 여기 신호를 예측하도록 구성되고, 저주파 여기 신호는 적응적 코드북 기여분과 대수 코드북 기여분의 합이다.
또는, 고주파 에너지는 고주파 포락선을 포함하고; 예측 서브 유닛(621)은, 디코딩된 저주파 대역 신호에 따라 고주파 포락선을 예측하고; 디코딩 레이트 및 디코딩된 저주파 대역 신호에 따라, 고주파 대역 여기 신호를 예측하도록 구성된다.
또는, 고주파 에너지는 고주파 포락선을 포함하고; 예측 서브 유닛(621)은, 디코딩된 저주파 대역 신호에 따라 고주파 포락선을 예측하고; 디코딩 레이트 및 저주파 여기 신호에 따라, 고주파 대역 여기 신호를 예측하도록 구성된다.
또, 도 8에 도시된 바와 같이, 대역폭 확장 유닛(62)은 제1 수정 서브유닛(623)을 더 포함한다. 제1 수정 서브유닛(623)은, 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호가 예측된 후, 대역폭 확장 파라미터와 디코딩된 저주파 대역 신호 중 적어도 하나에 따라, 제1 수정 인자를 결정하고; 제1 수정 인자에 따라 고주파 에너지를 수정하도록 구성되며, 제1 수정 인자는 유성음 인자, 노이즈 게이트 인자, 및 스펙트럼 틸트 인자 중 하나 이상을 포함한다.
구체적으로, 제1 수정 서브유닛(623)은, 피치 주기, 적응적 코드북 기여분, 및 대수 코드북 기여분에 따라 제1 수정 인자를 결정하고; 제1 수정 인자에 따라 고주파 에너지를 수정하도록 구성된다. 또는, 제1 수정 서브유닛(623)은 구체적으로, 디코딩된 저주파 대역 신호에 따라 제1 수정 인자를 결정하고; 제1 수정 인자에 따라 고주파 에너지를 수정하도록 구성된다. 또는 제1 수정 서브유닛(623)은 구체적으로, 피치 주기, 적응적 코드북 기여분, 대수 코드북 기여분, 및 디코딩된 저주파 대역 신호에 따라 제1 수정 인자를 결정하고; 제1 수정 인자에 따라 고주파 에너지를 수정하도록 구성된다.
또, 도 9에 도시된 바와 같이, 대역폭 확장 유닛(62)은, 피치 주기에 따라 고주파 에너지를 수정하도록 구성된 제2 수정 유닛(624)을 더 포함한다.
또, 도 10에 도시된 바와 같이, 대역폭 확장 유닛(62)은, 대역폭 확장 파라미터와 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자를 결정하고; 제2 수정 인자에 따라 고주파 에너지 및 고주파 대역 여기 신호를 수정하도록 구성된 제3 수정 서브유닛(625)을 더 포함하고, 제2 수정 인자는 분류 파라미터와 신호 유형 중 적어도 하나를 포함한다.
구체적으로, 제3 수정 서브유닛(625)은, 대역폭 확장 파라미터에 따라 제2 수정 인자를 결정하고; 제2 수정 인자에 따라 고주파 에너지 및 고주파 대역 여기 신호를 수정하도록 구성된다. 또는 제3 수정 서브유닛(625)은, 디코딩된 저주파 대역 신호에 따라 제2 수정 인자를 결정하고; 제2 수정 인자에 따라 고주파 에너지 및 고주파 대역 여기 신호를 수정하도록 구성된다. 제3 수정 서브유닛(625)은, 대역폭 확장 파라미터 및 디코딩된 저주파 대역 신호에 따라 제2 수정 인자를 결정하고; 제2 수정 인자에 따라 고주파 에너지 및 고주파 대역 여기 신호를 수정하도록 구성된다.
또한, 도 11에 도시된 바와 같이, 대역폭 확장 유닛(62)은, 예측된 고주파 대역 여기 신호 및 랜덤 노이즈 신호에 가중치를 부여하여, 최종 고주파 대역 여기 신호를 취득하도록 구성된 가중 서브유닛(626)을 더 포함하고, 가중치 부여의 가중치는 디코딩된 저주파 대역 신호의 분류 파라미터의 값 및/또는 유성음 인자에 따라 결정된다.
본 발명의 실시예에서, 대역폭 확장 장치(60)는 프로세서를 더 포함할 수 있고, 프로세서는 대역폭 확장 장치에 포함된 유닛들을 제어하도록 구성된다.
이상으로부터 알 수 있는 것은, 본 발명의 본 실시예에서의 대역폭 확장 장치는 코드 스트림을 직접 디코딩하여 취득된 저주파 파라미터, 중간 디코딩된 파라미터, 또는 최종 디코딩에 의해 취득된 저주파 대역 신호를 충분히 사용하여 고주파 에너지를 예측하며; 최종 출력되는 고주파 대역 신호가 원래의 고주파 대역 신호에 더 근접할 수 있도록, 고주파 대역 여기 신호가 저주파 여기 신호에 따라 적응적으로 예측되므로, 출력 신호의 품질을 향상시킨다는 것이다.
도 12는 본 발명의 실시예에 따른 디코더(120)의 개략 구성도이다. 디코더(120)는 프로세서(121)와 메모리(122)를 포함한다.
프로세서(121)는 본 발명의 실시예에서의 대역폭 확장 방법을 구현한다. 즉, 프로세서는(121)는 대역폭 확장 파라미터를 획득하도록 구성된 획득하고 - 대역폭 확장 파라미터는 선형 예측 계수(LPC), 선 스펙트럼 주파수 파라미터(LSF), 피치 주기, 디코딩 레이트, 적응적 코드북 기여분, 및 대수 코드북 기여분 중 하나 이상의 파라미터를 포함함 -; 대역폭 확장 파라미터에 따라, 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여, 고주파 대역 신호를 취득하도록 구성된다. 메모리(122)는 프로세서(121)에 의해 실행될 명령어를 저장하도록 구성된다.
이해해야 할 것은, 본 발명의 각 청구항에 기재된 방안은 실시예로서 생각될 수 있어야 하고, 청구항에서의 특징이며 결합될 수 있다는 것이다. 예를 들어, 본 발명에서의 판정 단계 후에 수행되는 상이한 분기 단계(branch step)들은 상이한 실시예로 사용될 수 있다.
당업자는, 본 출원에 개시된 실시예들에 기재된 예들을 조합하여, 유닛들 및 알고리즘 단계들이 전자적인 하드웨어 또는 컴퓨터 소프트웨어와 전자적인 하드웨어의 조합으로 구현될 수 있다는 것을 알 수 있을 것이다. 기능들이 하드웨어 또는 소프트웨어에 의해 수행되는지는 기술적 방안의 구체적인 애플리케이션 및 설계 제약 조건에 달려있다. 당업자는 구체적인 애플리케이션 각각에 대해 설명한 기능을 구현하기 위해 다른 방법을 사용할 수 있지만, 그것이 본 발명의 범위를 벗어나는 것으로 생각되지 않아야 한다.
당업자는, 편의 및 간략한 설명을 위해, 전술한 시스템, 장치, 및 유닛의 자세한 작동 프로세스에 대해서는 전술한 방법 실시예에서의 대응하는 프로세스를 참조할 수 있으므로, 세부사항은 여기서 다시 설명하지 않는다는 것을 명백히 이해할 수 있을 것이다.
본 출원에 제공된 일부 실시예에서, 개시된 시스템, 장치, 및 방법은 다른 방식으로도 구현될 수 있음을 알아야 한다. 예를 들어, 기재된 장치 실시예는 예시일 뿐이다. 예를 들어, 유닛의 분할은 논리 기능 분할일 뿐이고, 실제 구현에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 구성요소는 다른 시스템에 결합 또는 통합될 수 있거나, 또는 일부 특징(feature)은 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일정한 인터페이스를 통해 구현될 수 있다. 장치 또는 유닛 사이의 간접 결합 또는 통신 연결은 전자적으로, 기계적으로 또는 다른 형태로 구현될 수 있다.
별개의 부분(separate part)으로서 설명된 유닛은, 물리적으로 분리될 수도 분리될 수 없을 수도 있으며, 유닛으로 표시된 부분은 물리적인 유닛일 수도 물리적인 유닛이 아닐 수도 있으며, 한 장소에 위치할 수 있거나, 또는 복수의 네트워크 유닛에 분산될 수 있다. 유닛의 일부 또는 전부는 실시예의 해결방안의 목적을 달성하기 위한 실제 필요에 따라 선택될 수 있다.
또, 본 발명의 실시예에서의 기능 유닛들은 하나의 처리 유닛에 통합될 수 있거나, 또는 각각의 유닛이 물리적으로 단독으로 존재할 수 있거나, 둘 이상의 유닛이 하나의 유닛으로 통합된다.
기능들이 소프트웨어 기능 유닛의 형태로 구현되고 독립된 제품으로 판매되거나 사용되는 경우, 그 기능들은 컴퓨터로 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로, 본질적으로 본 발명의 기술적 방안, 또는 종래기술에 기여하는 부분, 또는 기술적 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은, 저장 매체에 저장되고, 컴퓨터 디바이스(개인용 컴퓨터, 서버, 또는 네트워크 디바이스일 수 있음)에 본 발명의 실시예에서 기재된 방법의 단계들 중 일부 또는 전부를 수행하도록 명령하기 위한 여러 명령어를 포함한다. 전술한 저장 매체로는, USB 플래시 드라이브, 탈착 가능한 하드 디스크, 읽기 전용 메모리(ROM, Read Only Memory), 임의 접근 메모리(RAM, Random Access Memory), 자기 디스크, 또는 광디스크와 같은, 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
이상의 설명은 본 발명의 구체적인 방식일 뿐이며, 본 발명을 보호 범위를 한정하려는 것은 아니다. 본 발명에 개시된 기술적 범위 내에서 당업자가 쉽게 알아낼 수 있는 임의의 변형 또는 대체는 본 발명의 보호 범위에 속한다. 따라서, 본 발명의 보호 범위는 청구항의 보호 범위에 따라야 한다.

Claims (34)

  1. 대역폭 확장 파라미터를 획득하는 단계 - 상기 대역폭 확장 파라미터는 선형 예측 계수(linear predictive coefficient, LPC), 선 스펙트럼 주파수(line spectral frequency, LSF) 파라미터의 세트, 피치 주기(pitch period), 디코딩 레이트(decoding rate), 적응적 코드북 기여분(adaptive codebook contribution), 및 대수 코드북 기여분(algebraic codebook contribution) 중 하나 이상의 파라미터를 포함함 -; 및
    상기 대역폭 확장 파라미터에 따라, 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여, 고주파 대역 신호를 취득하는 단계
    를 포함하고,
    상기 대역폭 확장 파라미터에 따라, 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여, 고주파 대역 신호를 취득하는 단계는,
    상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호(high frequency band excitation signal)를 예측하는 단계; 및
    상기 고주파 에너지 및 상기 고주파 대역 여기 신호에 따라, 상기 고주파 대역 신호를 취득하는 단계
    를 포함하며,
    상기 고주파 에너지는 고주파 이득을 포함하고;
    상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하는 단계는,
    상기 LPC에 따라 상기 고주파 이득을 예측하는 단계; 및
    상기 LSF 파라미터의 세트 중 모든 2개의 LSF 파라미터 사이의 차이 값에 따라, 저주파 대역 여기 신호(low frequency band excitation signal)로부터, 주파수 대역을 선택하여 상기 고주파 대역 여기 신호를 적응적으로 예측하는 단계
    를 포함하고,
    상기 저주파 대역 여기 신호는, 상기 적응적 코드북 기여분 및 상기 대수 코드북 기여분을 결합하여 획득되는, 대역폭 확장 방법.
  2. 제1항에 있어서,
    상기 LSF 파라미터의 세트 중 모든 2개의 LSF 파라미터 사이의 차이 값에 따라, 저주파 대역 여기 신호로부터, 주파수 대역을 선택하여 상기 고주파 대역 여기 신호를 적응적으로 예측하는 단계는,
    상기 LSF 파라미터의 세트 중 모든 2개의 LSF 파라미터 사이의 차이 값을 사용하여, 상기 저주파 대역 여기 신호로부터 상기 고주파 대역 여기 신호로서 인코딩 품질이 더 양호한 주파수 대역을 가지는 신호를 적응적으로 선택하는 단계
    를 포함하고,
    상기 선택된 주파수 대역은, 상기 LSF 파라미터의 세트 중 LSF 파라미터의 모든 다른 쌍보다 더 작은 차이 값을 가지는 한 쌍의 LSF에 대응하는, 대역폭 확장 방법.
  3. 제1항에 있어서,
    상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하는 단계 이후, 상기 대역폭 확장 방법은,
    상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제1 수정 인자(first correction factor)를 결정하는 단계 - 상기 제1 수정 인자는 유성음 인자(voicing factor), 노이즈 게이트 인자(noise gate factor), 및 스펙트럼 틸트 인자(spectrum tilt factor) 중 하나 이상을 포함함 -; 및
    상기 제1 수정 인자에 따라 상기 고주파 에너지를 수정하는 단계를 더 포함하는 대역폭 확장 방법.
  4. 제1항에 있어서,
    상기 피치 주기에 따라 상기 고주파 에너지를 수정하는 단계를 더 포함하는 대역폭 확장 방법.
  5. 제3항에 있어서,
    상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자를 결정하는 단계 - 상기 제2 수정 인자는 신호 유형을 포함함 -; 및
    상기 제2 수정 인자에 따라 상기 고주파 에너지 및 상기 고주파 대역 여기 신호를 수정하는 단계를 더 포함하는 대역폭 확장 방법.
  6. 제3항에 있어서,
    상기 예측된 고주파 대역 여기 신호 및 랜덤 노이즈 신호에 가중치를 부여하여, 최종 고주파 대역 여기 신호를 취득하는 단계를 더 포함하고,
    상기 부여하는 가중치는, 분류 파라미터 및 상기 디코딩된 저주파 대역 신호의 유성음 인자 중 적어도 하나에 따라 결정되고,
    상기 분류 파라미터는 신호 유형을 구분하는 데 사용되는 파라미터이고, 상기 유성음 인자는 상기 적응적 코드북 기여분의 대수 코드북 기여분에 대한 비율인, 대역폭 확장 방법.
  7. 제1항에 있어서,
    상기 고주파 에너지 및 상기 고주파 대역 여기 신호에 따라 상기 고주파 대역 신호를 취득하는 단계는,
    상기 예측된 고주파 이득을 사용하여 상기 고주파 대역 여기 신호를 수정하고, 상기 고주파 대역 신호를 취득하기 위해, LPC 합성 필터로 상기 수정된 고주파 대역 신호를 필터링하는 단계
    를 포함하는, 대역폭 확장 방법.
  8. 대역폭 확장 파라미터를 획득하도록 구성된 획득 유닛 - 상기 대역폭 확장 파라미터는 선형 예측 계수(LPC), 선 스펙트럼 주파수(LSF) 파라미터의 세트, 피치 주기, 디코딩 레이트, 적응적 코드북 기여분, 및 대수 코드북 기여분 중 하나 이상의 파라미터를 포함함 -; 및
    상기 획득 유닛에 의해 획득된 상기 대역폭 확장 파라미터에 따라, 디코딩된 저주파 대역 신호에 대해 대역폭 확장을 수행하여, 고주파 대역 신호를 취득하도록 구성된 대역폭 확장 유닛
    을 포함하고,
    상기 대역폭 확장 유닛은,
    상기 대역폭 확장 파라미터에 따라 고주파 에너지 및 고주파 대역 여기 신호를 예측하도록 구성된 예측 서브유닛; 및
    상기 고주파 에너지 및 상기 고주파 대역 여기 신호에 따라 상기 고주파 대역 신호를 취득하도록 구성된 합성 서브유닛
    을 포함하며,
    상기 고주파 에너지는 고주파 이득을 포함하고;
    상기 예측 서브유닛은 구체적으로,
    상기 LPC에 따라 상기 고주파 이득을 예측하고,
    상기 LSF 파라미터의 세트 중 모든 2개의 LSF 파라미터 사이의 차이 값에 따라, 저주파 대역 여기 신호로부터, 주파수 대역을 선택하여 상기 고주파 대역 여기 신호를 적응적으로 예측하도록 구성되고,
    상기 저주파 대역 여기 신호는, 상기 적응적 코드북 기여분 및 상기 대수 코드북 기여분을 결합하여 획득되는, 대역폭 확장 장치.
  9. 제8항에 있어서,
    상기 예측 서브유닛은 구체적으로,
    상기 LPC에 따라 상기 고주파 이득을 예측하고;
    상기 LSF 파라미터의 세트 중 모든 2개의 LSF 파라미터 사이의 차이 값을 사용하여, 상기 저주파 대역 여기 신호로부터 상기 고주파 대역 여기 신호로서 인코딩 품질이 더 양호한 주파수 대역을 가지는 신호를 적응적으로 선택하도록 구성되고,
    상기 선택된 주파수 대역은, 상기 LSF 파라미터의 세트 중 LSF 파라미터의 모든 다른 쌍보다 더 작은 차이 값을 가지는 한 쌍의 LSF에 대응하는, 대역폭 확장 장치.
  10. 제8항에 있어서,
    상기 대역폭 확장 유닛은,
    상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라, 제1 수정 인자를 결정하고; 상기 제1 수정 인자에 따라 상기 고주파 에너지를 수정하도록 구성된 제1 수정 서브유닛
    을 더 포함하고,
    상기 제1 수정 인자는 유성음 인자, 노이즈 게이트 인자, 및 스펙트럼 틸트 인자 중 하나 이상을 포함하는, 대역폭 확장 장치.
  11. 제8항에 있어서,
    상기 대역폭 확장 유닛은, 상기 피치 주기에 따라 상기 고주파 에너지를 수정하도록 구성된 제2 수정 유닛을 더 포함하는, 대역폭 확장 장치.
  12. 제10항에 있어서,
    상기 대역폭 확장 유닛은, 상기 대역폭 확장 파라미터와 상기 디코딩된 저주파 대역 신호 중 적어도 하나에 따라 제2 수정 인자를 결정하고; 상기 제2 수정 인자에 따라 상기 고주파 에너지 및 상기 고주파 대역 여기 신호를 수정하도록 구성된 제3 수정 서브유닛을 더 포함하고,
    상기 제2 수정 인자는 신호 유형을 포함하는, 대역폭 확장 장치.
  13. 제10항에 있어서,
    상기 대역폭 확장 유닛은, 상기 예측된 고주파 대역 여기 신호 및 랜덤 노이즈 신호에 가중치를 부여하여, 최종 고주파 대역 여기 신호를 취득하도록 구성된 가중 서브유닛을 더 포함하고,
    상기 부여하는 가중치는, 분류 파라미터 및 상기 디코딩된 저주파 대역 신호의 유성음 인자 중 적어도 하나에 따라 결정되고,
    상기 분류 파라미터는 신호 유형을 구분하는 데 사용되는 파라미터이고, 상기 유성음 인자는 상기 적응적 코드북 기여분의 대수 코드북 기여분에 대한 비율인, 대역폭 확장 장치.
  14. 제8항에 있어서,
    상기 합성 서브유닛은 구체적으로,
    상기 고주파 에너지, 상기 고주파 대역 여기 신호, 및 예측된 LPC를 합성하여, 상기 고주파 대역 신호를 취득하도록 구성되고, 상기 예측된 LPC는 예측된 고주파 대역 LPC 또는 예측된 광대역 LPC를 포함하고, 상기 예측된 LPC는 상기 LPC에 기초하여 취득되는, 대역폭 확장 장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
KR1020167007139A 2013-09-26 2014-04-15 대역폭 확장 방법 및 장치 KR101787711B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310444398.3A CN104517610B (zh) 2013-09-26 2013-09-26 频带扩展的方法及装置
CN201310444398.3 2013-09-26
PCT/CN2014/075420 WO2015043161A1 (zh) 2013-09-26 2014-04-15 频带扩展的方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177029371A Division KR101893454B1 (ko) 2013-09-26 2014-04-15 대역폭 확장 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160044025A KR20160044025A (ko) 2016-04-22
KR101787711B1 true KR101787711B1 (ko) 2017-11-15

Family

ID=52741937

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177029371A KR101893454B1 (ko) 2013-09-26 2014-04-15 대역폭 확장 방법 및 장치
KR1020167007139A KR101787711B1 (ko) 2013-09-26 2014-04-15 대역폭 확장 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177029371A KR101893454B1 (ko) 2013-09-26 2014-04-15 대역폭 확장 방법 및 장치

Country Status (11)

Country Link
US (2) US9666201B2 (ko)
EP (2) EP3038105B1 (ko)
JP (1) JP6423420B2 (ko)
KR (2) KR101893454B1 (ko)
CN (2) CN104517610B (ko)
BR (1) BR112016005850B1 (ko)
ES (2) ES2745289T3 (ko)
HK (1) HK1206140A1 (ko)
PL (1) PL3611729T3 (ko)
SG (1) SG11201601691RA (ko)
WO (1) WO2015043161A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426441B (zh) 2012-05-18 2016-03-02 华为技术有限公司 检测基音周期的正确性的方法和装置
CN105976830B (zh) * 2013-01-11 2019-09-20 华为技术有限公司 音频信号编码和解码方法、音频信号编码和解码装置
CN104217727B (zh) 2013-05-31 2017-07-21 华为技术有限公司 信号解码方法及设备
FR3008533A1 (fr) 2013-07-12 2015-01-16 Orange Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences
CN104517611B (zh) * 2013-09-26 2016-05-25 华为技术有限公司 一种高频激励信号预测方法及装置
CN104517610B (zh) * 2013-09-26 2018-03-06 华为技术有限公司 频带扩展的方法及装置
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
US9837089B2 (en) * 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
ES2771200T3 (es) 2016-02-17 2020-07-06 Fraunhofer Ges Forschung Postprocesador, preprocesador, codificador de audio, decodificador de audio y métodos relacionados para mejorar el procesamiento de transitorios
CN105869653B (zh) * 2016-05-31 2019-07-12 华为技术有限公司 话音信号处理方法和相关装置和系统
CN105959974B (zh) * 2016-06-14 2019-11-29 深圳市海思半导体有限公司 一种预测空口带宽的方法和装置
US10475457B2 (en) * 2017-07-03 2019-11-12 Qualcomm Incorporated Time-domain inter-channel prediction
CN108630212B (zh) * 2018-04-03 2021-05-07 湖南商学院 非盲带宽扩展中高频激励信号的感知重建方法与装置
WO2019213965A1 (zh) * 2018-05-11 2019-11-14 华为技术有限公司 语音信号的处理方法和移动设备
CN110660402B (zh) 2018-06-29 2022-03-29 华为技术有限公司 立体声信号编码过程中确定加权系数的方法和装置
CN109150399B (zh) * 2018-08-14 2021-04-13 Oppo广东移动通信有限公司 数据传输方法、装置、电子设备及计算机可读介质
CN115512709A (zh) * 2021-06-07 2022-12-23 炬芯科技股份有限公司 一种音频数据的处理方法、对应装置、设备和存储介质
CN113421584B (zh) * 2021-07-05 2023-06-23 平安科技（深圳）有限公司 音频降噪方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010044722A1 (en) * 2000-01-28 2001-11-22 Harald Gustafsson System and method for modifying speech signals
WO2013066238A2 (en) 2011-11-02 2013-05-10 Telefonaktiebolaget L M Ericsson (Publ) Generation of a high band extension of a bandwidth extended audio signal

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455888A (en) * 1992-12-04 1995-10-03 Northern Telecom Limited Speech bandwidth extension method and apparatus
EP0878790A1 (en) * 1997-05-15 1998-11-18 Hewlett-Packard Company Voice coding system and method
US6199040B1 (en) * 1998-07-27 2001-03-06 Motorola, Inc. System and method for communicating a perceptually encoded speech spectrum signal
US7003454B2 (en) * 2001-05-16 2006-02-21 Nokia Corporation Method and system for line spectral frequency vector quantization in speech codec
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
WO2003046891A1 (en) * 2001-11-29 2003-06-05 Coding Technologies Ab Methods for improving high frequency reconstruction
BRPI0306434B1 (pt) * 2002-09-19 2018-06-12 Nec Corporation Aparelho e método de decodificação de áudio
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
CA2555182C (en) * 2004-03-12 2011-01-04 Nokia Corporation Synthesizing a mono audio signal based on an encoded multichannel audio signal
CN101006495A (zh) * 2004-08-31 2007-07-25 松下电器产业株式会社 语音编码装置、语音解码装置、通信装置以及语音编码方法
KR100707174B1 (ko) * 2004-12-31 2007-04-13 삼성전자주식회사 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법
KR100956877B1 (ko) * 2005-04-01 2010-05-11 콸콤 인코포레이티드 스펙트럼 엔벨로프 표현의 벡터 양자화를 위한 방법 및장치
PT1875463T (pt) 2005-04-22 2019-01-24 Qualcomm Inc Sistemas, métodos e aparelho para nivelamento de fator de ganho
US7734462B2 (en) * 2005-09-02 2010-06-08 Nortel Networks Limited Method and apparatus for extending the bandwidth of a speech signal
US20080300866A1 (en) * 2006-05-31 2008-12-04 Motorola, Inc. Method and system for creation and use of a wideband vocoder database for bandwidth extension of voice
KR101565919B1 (ko) * 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
CN101304261B (zh) * 2007-05-12 2011-11-09 华为技术有限公司 一种频带扩展的方法及装置
KR101413968B1 (ko) * 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
KR101413967B1 (ko) * 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화 방법 및 복호화 방법, 및 그에 대한 기록 매체, 오디오 신호의 부호화 장치 및 복호화 장치
CN101620854B (zh) * 2008-06-30 2012-04-04 华为技术有限公司 频带扩展的方法、系统和设备
RU2443028C2 (ru) * 2008-07-11 2012-02-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Устройство и способ расчета параметров расширения полосы пропускания посредством управления фреймами наклона спектра
MX2011000370A (es) * 2008-07-11 2011-03-15 Fraunhofer Ges Forschung Un aparato y un metodo para decodificar una señal de audio codificada.
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
US8484020B2 (en) * 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
CN102044250B (zh) 2009-10-23 2012-06-27 华为技术有限公司 频带扩展方法及装置
US8856011B2 (en) * 2009-11-19 2014-10-07 Telefonaktiebolaget L M Ericsson (Publ) Excitation signal bandwidth extension
CN102612712B (zh) * 2009-11-19 2014-03-12 瑞典爱立信有限公司 低频带音频信号的带宽扩展
JP5651980B2 (ja) * 2010-03-31 2015-01-14 ソニー株式会社 復号装置、復号方法、およびプログラム
US8600737B2 (en) 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
RU2012155222A (ru) * 2010-06-21 2014-07-27 Панасоник Корпорэйшн Устройство декодирования, устройство кодирования и соответствующие способы
CN102339607A (zh) * 2010-07-16 2012-02-01 华为技术有限公司 一种频带扩展的方法和装置
KR101826331B1 (ko) * 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
US8924200B2 (en) 2010-10-15 2014-12-30 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
JP5743137B2 (ja) * 2011-01-14 2015-07-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
CN103460286B (zh) * 2011-02-08 2015-07-15 Lg电子株式会社 带宽扩展的方法和设备
CN102800317B (zh) * 2011-05-25 2014-09-17 华为技术有限公司 信号分类方法及设备、编解码方法及设备
DK3040988T3 (en) * 2011-11-02 2018-01-08 ERICSSON TELEFON AB L M (publ) AUDIO DECODING BASED ON AN EFFECTIVE REPRESENTATION OF AUTOREGRESSIVE COEFFICIENTS
EP2774148B1 (en) * 2011-11-03 2014-12-24 Telefonaktiebolaget LM Ericsson (PUBL) Bandwidth extension of audio signals
US8666753B2 (en) * 2011-12-12 2014-03-04 Motorola Mobility Llc Apparatus and method for audio encoding
CN105469805B (zh) * 2012-03-01 2018-01-12 华为技术有限公司 一种语音频信号处理方法和装置
CN105551497B (zh) * 2013-01-15 2019-03-19 华为技术有限公司 编码方法、解码方法、编码装置和解码装置
US9601125B2 (en) * 2013-02-08 2017-03-21 Qualcomm Incorporated Systems and methods of performing noise modulation and gain adjustment
US9319510B2 (en) * 2013-02-15 2016-04-19 Qualcomm Incorporated Personalized bandwidth extension
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
CN104517611B (zh) * 2013-09-26 2016-05-25 华为技术有限公司 一种高频激励信号预测方法及装置
CN104517610B (zh) * 2013-09-26 2018-03-06 华为技术有限公司 频带扩展的方法及装置
US9595269B2 (en) * 2015-01-19 2017-03-14 Qualcomm Incorporated Scaling for gain shape circuitry

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010044722A1 (en) * 2000-01-28 2001-11-22 Harald Gustafsson System and method for modifying speech signals
WO2013066238A2 (en) 2011-11-02 2013-05-10 Telefonaktiebolaget L M Ericsson (Publ) Generation of a high band extension of a bandwidth extended audio signal

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G.729.1. G.729-based embedded variable bit-rate coder:An 8-32 kbit/s scalable wideband coder bitstream interoperable with G.729. ITU-T. 2006.05.
Ulrich Kornagel. Techniques for artificial bandwidth extension of telephone speech. Signal Processing, 2006.06.01, Vol.86, no.6, pp.1296-1306.

Also Published As

Publication number Publication date
KR20170117621A (ko) 2017-10-23
ES2745289T3 (es) 2020-02-28
CN108172239B (zh) 2021-01-12
EP3038105B1 (en) 2019-06-26
SG11201601691RA (en) 2016-04-28
EP3611729B1 (en) 2022-06-08
PL3611729T3 (pl) 2022-09-12
US20170213564A1 (en) 2017-07-27
KR101893454B1 (ko) 2018-08-30
JP2016537662A (ja) 2016-12-01
BR112016005850B1 (pt) 2020-12-08
KR20160044025A (ko) 2016-04-22
US9666201B2 (en) 2017-05-30
JP6423420B2 (ja) 2018-11-14
CN108172239A (zh) 2018-06-15
EP3611729A1 (en) 2020-02-19
EP3038105A1 (en) 2016-06-29
ES2924905T3 (es) 2022-10-11
EP3038105A4 (en) 2016-08-31
CN104517610B (zh) 2018-03-06
US10186272B2 (en) 2019-01-22
CN104517610A (zh) 2015-04-15
WO2015043161A1 (zh) 2015-04-02
HK1206140A1 (en) 2015-12-31
US20160196829A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
KR101787711B1 (ko) 대역폭 확장 방법 및 장치
US10885926B2 (en) Classification between time-domain coding and frequency domain coding for high bit rates
JP5722437B2 (ja) 広帯域音声コーディングのための方法、装置、およびコンピュータ可読記憶媒体
KR101078625B1 (ko) 이득 계수 제한을 위한 시스템, 방법 및 장치
JP5129117B2 (ja) 音声信号の高帯域部分を符号化及び復号する方法及び装置
JP6470857B2 (ja) 音声処理のための無声／有声判定
US20180166085A1 (en) Bandwidth Extension Audio Decoding Method and Device for Predicting Spectral Envelope
KR20160030555A (ko) 오디오 주파수 신호 복호기에서 주파수 대역 확장을 위한 최적화된 스케일 팩터
CA3157876A1 (en) Methods and system for waveform coding of audio signals with a generative model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant