KR102424755B1 - 고-대역 신호 모델링 - Google Patents

고-대역 신호 모델링 Download PDF

Info

Publication number
KR102424755B1
KR102424755B1 KR1020217029315A KR20217029315A KR102424755B1 KR 102424755 B1 KR102424755 B1 KR 102424755B1 KR 1020217029315 A KR1020217029315 A KR 1020217029315A KR 20217029315 A KR20217029315 A KR 20217029315A KR 102424755 B1 KR102424755 B1 KR 102424755B1
Authority
KR
South Korea
Prior art keywords
sub
band
group
signal
bands
Prior art date
Application number
KR1020217029315A
Other languages
English (en)
Other versions
KR20210116698A (ko
Inventor
벤카테쉬 크리쉬난
벤카트라만 에스 아티
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20210116698A publication Critical patent/KR20210116698A/ko
Application granted granted Critical
Publication of KR102424755B1 publication Critical patent/KR102424755B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388Details of processing therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Luminescent Compositions (AREA)
  • Polyoxymethylene Polymers And Polymers With Carbon-To-Carbon Bonds (AREA)

Abstract

방법은, 스피치 인코더에서, 오디오 신호를 제 1 주파수 범위 내의 서브-대역들의 제 1 그룹 및 제 2 주파수 범위 내의 서브-대역들의 제 2 그룹으로 필터링하는 단계를 포함한다. 방법은 또한 서브-대역들의 제 1 그룹에 기초하여 고조파 확장된 신호를 생성하는 단계를 포함한다. 방법은 고조파 확장된 신호에 적어도 부분적으로 기초하여 서브-대역들의 제 3 그룹을 생성하는 단계를 더 포함한다. 서브-대역들의 제 3 그룹은 서브-대역들의 제 2 그룹에 대응한다. 방법은 또한 서브-대역들의 제 3 그룹에서의 제 1 서브-대역에 대한 제 1 조정 파라미터 또는 서브-대역들의 제 3 그룹에서의 제 2 서브-대역에 대한 제 2 조정 파라미터를 결정하는 단계를 포함한다. 제 1 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 1 서브-대역의 메트릭에 기초하고, 제 2 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 2 서브-대역의 메트릭에 기초한다.

Description

고-대역 신호 모델링{HIGH-BAND SIGNAL MODELING}
우선권의 주장
본 출원은 2014 년 12 월 12 일에 출원된 미국 특허 출원 제 14/568,359 호 및 2013 년 12 월 16 일에 출원된 미국 가출원 제 61/916,697 호의 우선권을 주장하며, 양자 모두는 "HIGH-BAND SIGNAL MODELING" 이라는 발명의 명칭을 가지며, 그것들의 내용들은 그 전체가 참조로서 포함된다.
기술분야
본 개시물은 일반적으로 신호 프로세싱에 관한 것이다.
기술에서의 진보들은 보다 작고 보다 강력한 컴퓨팅 디바이스들을 초래했다. 예를 들어, 작고, 가볍고, 사용자들이 가지고 다니기 쉬운 휴대용 무선 전화기들, 개인 휴대 정보 단말기 (personal digital assistant; PDA) 들, 및 페이징 디바이스들과 같은 무선 컴퓨팅 디바이스들을 포함하여 다양한 휴대용 개인 컴퓨팅 디바이스들이 현재 존재한다. 좀더 구체적으로, 셀룰러 전화기들 및 인터넷 (internet protocol; IP) 전화기들과 같은 휴대용 무선 전화기들은 무선 네트워크들을 통해 음성 및 데이터 패킷들을 통신할 수 있다. 또한, 많은 이러한 무선 전화기들은 이에 포함되는 다른 유형의 디바이스들을 포함한다. 예를 들어, 무선 전화기는 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 재생기를 또한 포함한다.
종래의 전화기 시스템들 (예를 들어, 공중 교환 전화망 (public switched telephone network; PSTN) 들) 에서, 신호 대역폭은 300 Hertz (Hz) 내지 3.4 kiloHertz (kHz) 의 주파수 범위로 제한된다. 셀룰러 전화 및 VoIP (voice over internet protocol) 와 같은 광대역 (wideband; WB) 애플리케이션들에서, 신호 대역폭은 50 Hz 에서 7 kHz 까지의 주파수 범위에 걸쳐 이어질 수도 있다. 슈퍼 광대역 (super wideband; SWB) 코딩 기법들은 최대 약 16 kHz 까지 확장하는 대역폭을 지원한다. 3.4 kHz 에서의 협대역 전화에서 16 kHz 의 SWB 전화까지 신호 대역폭을 확장하는 것은 신호 복원, 이해도, 및 자연스러움의 품질을 향상시킬 수도 있다.
SWB 코딩 기법들은 통상적으로 신호의 저 주파수 부분 (예를 들어, "저-대역" 이라고도 불리는 50 Hz 내지 7 kHz) 을 인코딩하고 송신하는 것을 수반한다. 예를 들어, 저-대역은 필터 파라미터들 및/또는 저-대역 여기 신호를 이용하여 나타내어질 수도 있다. 그러나, 코딩 효율을 향상시키기 위해, 신호의 고 주파수 부분 (예를 들어, "고-대역" 이라고도 불리는 7 kHz 내지 16 kHz) 은 완전히 인코딩되어 송신되지 않을 수도 있다. 대신에, 수신기는 신호 모델링을 활용하여 고-대역을 예측할 수도 있다. 일부 구현들에서, 고-대역과 연관된 데이터가 수신기에 제공되어 예측을 보조할 수도 있다. 그러한 데이터는 "부가 정보" 라고 지칭될 수도 있고, 이득 정보, 라인 스펙트럼 주파수들 (라인 스펙트럼 쌍 (line spectral pair; LSP) 들이라고도 지칭되는 LSF (line spectral frequency) 들) 등을 포함할 수도 있다. 저-대역 신호의 속성들은 부가 정보를 생성하는데 이용될 수도 있으나; 저-대역과 고-대역 사이의 에너지 격차들은 고-대역을 부정확하게 특징짓는 부가 정보를 초래할 수도 있다.
고대역 신호 모델링을 수행하기 위한 시스템들 및 방법들이 개시된다. 제 1 필터 (예를 들어, QMF (quadrature mirror filter) 뱅크 또는 의사-QMF 뱅크) 가 오디오 신호를 오디오 신호의 저-대역 부분에 대응하는 서브-대역들의 제 1 그룹 및 오디오 신호의 고-대역 부분에 대응하는 대응하는 서브-대역들의 제 2 그룹으로 필터링할 수도 있다. 오디오 신호의 저 대역 부분에 대응하는 서브-대역들의 그룹 및 오디오 신호의 고 대역 부분에 대응하는 서브-대역들의 그룹은 공통 서브-대역들을 가질 수도 있고 갖지 않을 수도 있다. 합성 필터 뱅크는 서브-대역들의 제 1 그룹을 결합하여 저-대역 신호 (예를 들어, 저-대역 잔차 신호) 를 생성할 수도 있고, 저-대역 신호는 저-대역 코더에 제공될 수도 있다. 저-대역 코더는 저-대역 여기 신호를 생성할 수도 있는 선형 예측 코더 (Linear Prediction Coder; LP Coder) 를 이용하여 저-대역 신호를 양자화할 수도 있다. 비-선형 변환 프로세스는 저-대역 여기 신호에 기초하여 고조파 확장된 신호를 생성할 수도 있다. 비선형 여기 신호의 대역폭은 오디오 신호의 저 대역 부분보다 클 수도 있고 전체 오디오 신호의 저 대역 부분과 동일한 정도일 수도 있다. 예를 들어, 비-선형 변환 생성기는 저-대역 여기 신호를 업-샘플링할 수도 있고, 비-선형 함수를 통해 업-샘플링된 신호를 프로세싱하여 저-대역 여기 신호의 대역폭보다 큰 대역폭을 갖는 고조파 확장된 신호를 생성할 수도 있다.
특정 실시형태에서, 제 2 필터는 고조파 확장된 신호를 복수의 서브-대역들로 스플릿할 (split) 수도 있다. 이러한 실시형태에서, 변조된 잡음이 고조파 확장된 신호의 복수의 서브-대역들의 각각의 서브-대역에 부가되어 서브-대역들 (예를 들어, 고조파 확장된 신호의 고-대역에 대응하는 서브-대역들) 의 제 2 그룹에 대응하는 서브-대역들의 제 3 그룹을 생성할 수도 있다. 다른 특정 실시형태에서 변조된 잡음은 고조파 확장된 신호와 믹싱되어 제 2 필터에 제공되는 고-대역 여기 신호를 생성할 수도 있다. 이러한 실시형태에서, 제 2 필터는 고-대역 여기 신호를 서브-대역들의 제 3 그룹으로 스플릿할 수도 있다.
제 1 파라미터 추정기는 서브-대역들의 제 2 그룹에서의 대응하는 서브-대역의 메트릭에 기초하여 서브-대역들의 제 3 그룹에서의 제 1 서브-대역에 대한 제 1 조정 파라미터를 결정할 수도 있다. 예를 들어, 제 1 파라미터 추정기는 서브-대역들의 제 3 그룹에서의 제 1 서브-대역과 오디오 신호의 대응하는 고-대역 부분 사이의 스펙트럼 관계 및/또는 시간 엔벨로프 관계를 결정할 수도 있다. 유사한 방식으로, 제 2 파라미터 추정기는 서브-대역들의 제 2 그룹에서의 대응하는 서브-대역의 메트릭에 기초하여 서브-대역들의 제 3 그룹에서의 제 2 서브-대역에 대한 제 2 조정 파라미터를 결정할 수도 있다. 조정 파라미터들은 양자화되어 다른 부가 정보와 함께 디코더로 송신되어 오디오 신호의 고-대역 부분을 복원할 시에 디코더를 보조할 수도 있다.
특정 양태에서, 방법은, 스피치 인코더에서, 오디오 신호를 제 1 주파수 범위 내의 서브-대역들의 제 1 그룹 및 제 2 주파수 범위 내의 서브-대역들의 제 2 그룹으로 필터링하는 단계를 포함한다. 방법은 또한 서브-대역들의 제 1 그룹에 기초하여 고조파 확장된 신호를 생성하는 단계를 포함한다. 방법은 고조파 확장된 신호에 적어도 부분적으로 기초하여 서브-대역들의 제 3 그룹을 생성하는 단계를 더 포함한다. 서브-대역들의 제 3 그룹은 서브-대역들의 제 2 그룹에 대응한다. 방법은 또한 서브-대역들의 제 3 그룹에서의 제 1 서브-대역에 대한 제 1 조정 파라미터 또는 서브-대역들의 제 3 그룹에서의 제 2 서브-대역에 대한 제 2 조정 파라미터를 결정하는 단계를 포함한다. 제 1 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 1 서브-대역의 메트릭에 기초하고, 제 2 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 2 서브-대역의 메트릭에 기초한다.
다른 특정 양태에서, 장치는 오디오 신호를 제 1 주파수 범위 내의 서브-대역들의 제 1 그룹 및 제 2 주파수 범위 내의 서브-대역들의 제 2 그룹으로 필터링하도록 구성된 제 1 필터를 포함한다. 장치는 또한 서브-대역들의 제 1 그룹에 기초하여 고조파 확장된 신호를 생성하도록 구성된 비-선형 변환 생성기를 포함한다. 장치는 고조파 확장된 신호에 적어도 부분적으로 기초하여 서브-대역들의 제 3 그룹을 생성하도록 구성된 제 2 필터를 더 포함한다. 서브-대역들의 제 3 그룹은 서브-대역들의 제 2 그룹에 대응한다. 장치는 또한 서브-대역들의 제 3 그룹에서의 제 1 서브-대역에 대한 제 1 조정 파라미터 또는 서브-대역들의 제 3 그룹에서의 제 2 서브-대역에 대한 제 2 조정 파라미터를 결정하도록 구성된 파라미터 추정기들을 포함한다. 제 1 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 1 서브-대역의 메트릭에 기초하고, 제 2 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 2 서브-대역의 메트릭에 기초한다.
다른 특정 양태에서, 비일시적 컴퓨터-판독가능 매체는, 스피치 인코더에서 프로세서에 의해 실행되는 경우, 프로세서로 하여금, 오디오 신호를 제 1 주파수 범위 내의 서브-대역들의 제 1 그룹 및 제 2 주파수 범위 내의 서브-대역들의 제 2 그룹으로 필터링하게 하는 명령들을 포함한다. 명령들은 또한, 프로세서로 하여금, 서브-대역들의 제 1 그룹에 기초하여 고조파 확장된 신호를 생성하게 하도록 실행가능하다. 명령들은, 프로세서로 하여금, 고조파 확장된 신호에 적어도 부분적으로 기초하여 서브-대역들의 제 3 그룹을 생성하게 하도록 더 실행가능하다. 서브-대역들의 제 3 그룹은 서브-대역들의 제 2 그룹에 대응한다. 명령들은 또한, 프로세서로 하여금, 서브-대역들의 제 3 그룹에서의 제 1 서브-대역에 대한 제 1 조정 파라미터 또는 서브-대역들의 제 3 그룹에서의 제 2 서브-대역에 대한 제 2 조정 파라미터를 결정하게 하도록 실행가능하다. 제 1 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 1 서브-대역의 메트릭에 기초하고, 제 2 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 2 서브-대역의 메트릭에 기초한다.
다른 특정 양태에서, 장치는 오디오 신호를 제 1 주파수 범위 내의 서브-대역들의 제 1 그룹 및 제 2 주파수 범위 내의 서브-대역들의 제 2 그룹으로 필터링하는 수단을 포함한다. 장치는 또한 서브-대역들의 제 1 그룹에 기초하여 고조파 확장된 신호를 생성하는 수단을 포함한다. 장치는 고조파 확장된 신호에 적어도 부분적으로 기초하여 서브-대역들의 제 3 그룹을 생성하는 수단을 더 포함한다. 서브-대역들의 제 3 그룹은 서브-대역들의 제 2 그룹에 대응한다. 장치는 또한 서브-대역들의 제 3 그룹에서의 제 1 서브-대역에 대한 제 1 조정 파라미터 또는 서브-대역들의 제 3 그룹에서의 제 2 서브-대역에 대한 제 2 조정 파라미터를 결정하는 수단을 포함한다. 제 1 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 1 서브-대역의 메트릭에 기초하고, 제 2 조정 파라미터는 서브-대역들의 제 2 그룹에서의 제 2 서브-대역의 메트릭에 기초한다.
다른 특정 양태에서, 방법은, 스피치 디코더에서, 스피치 인코더로부터 수신된 파라미터들에 기초하여 선형 예측 기반 디코더에 의해 생성된 저-대역 여기 신호에 기초하여 고조파 확장된 신호를 생성하는 단계를 포함한다. 방법은 고조파 확장된 신호에 적어도 부분적으로 기초하여 고-대역 여기 서브-대역들의 그룹을 생성하는 단계를 더 포함한다. 방법은 또한 스피치 인코더로부터 수신된 조정 파라미터들에 기초하여 고-대역 여기 서브-대역들의 그룹을 조정하는 단계를 포함한다.
다른 특정 양태들에서, 장치는 스피치 인코더로부터 수신된 파라미터들에 기초하여 선형 예측 기반 디코더에 의해 생성된 저-대역 여기 신호에 기초하여 고조파 확장된 신호를 생성하도록 구성된 비-선형 변환 생성기를 포함한다. 장치는 고조파 확장된 신호에 적어도 부분적으로 기초하여 고-대역 여기 서브-대역들의 그룹을 생성하도록 구성된 제 2 필터를 더 포함한다. 장치는 또한 스피치 인코더로부터 수신된 조정 파라미터들에 기초하여 고-대역 여기 서브-대역들의 그룹을 조정하도록 구성된 조정기들을 포함한다.
다른 특정 양태에서, 장치는 스피치 인코더로부터 수신된 파라미터들에 기초하여 선형 예측 기반 디코더에 의해 생성된 저-대역 여기 신호에 기초하여 고조파 확장된 신호를 생성하는 수단을 포함한다. 장치는 고조파 확장된 신호에 적어도 부분적으로 기초하여 고-대역 여기 서브-대역들의 그룹을 생성하는 수단을 더 포함한다. 장치는 또한 스피치 인코더로부터 수신된 조정 파라미터들에 기초하여 고-대역 여기 서브-대역들의 그룹을 조정하는 수단을 포함한다.
다른 특정 양태에서, 비일시적 컴퓨터-판독가능 매체는, 스피치 디코더에서 프로세서에 의해 실행되는 경우, 프로세서로 하여금, 스피치 인코더로부터 수신된 파라미터들에 기초하여 선형 예측 기반 디코더에 의해 생성된 저-대역 여기 신호에 기초하여 고조파 확장된 신호를 생성하게 하는 명령들을 포함한다. 명령들은, 프로세서로 하여금, 고조파 확장된 신호에 적어도 부분적으로 기초하여 고-대역 여기 서브-대역들의 그룹을 생성하게 하도록 더 실행가능하다. 명령들은 또한, 프로세서로 하여금, 스피치 인코더로부터 수신된 조정 파라미터들에 기초하여 고-대역 여기 서브-대역들의 그룹을 조정하게 하도록 실행가능하다.
개시된 실시형태들 중 적어도 하나에 의해 제공되는 특정 이점들은 오디오 신호의 고-대역 부분의 향상된 분해능 모델링을 포함한다. 본 개시물의 다른 양태들, 이점들, 및 특징들은, 다음의 섹션들: 도면의 간단한 설명, 발명의 상세한 설명, 및 청구항을 포함하여, 전체 출원서의 검토 후에 자명해질 것이다.
도 1 은 고-대역 신호 모델링을 수행하도록 동작가능한 시스템의 특정 실시형태를 도시하는 도면이다;
도 2 는 고-대역 신호 모델링을 수행하도록 동작가능한 시스템의 다른 특정 실시형태를 도시하는 도면이다;
도 3 은 고-대역 신호 모델링을 수행하도록 동작가능한 시스템의 다른 특정 실시형태를 도시하는 도면이다;
도 4 는 조정 파라미터들을 이용하여 오디오 신호를 복원하도록 동작가능한 시스템의 특정 실시형태의 도면이다;
도 5 는 고-대역 신호 모델링을 수행하는 방법의 특정 실시형태의 플로차트이다;
도 6 은 조정 파라미터들을 이용하여 오디오 신호를 복원하는 방법의 특정 실시형태의 플로차트이다; 그리고
도 7 은 도 1 내지 도 6 의 시스템들 및 방법들에 따른 신호 프로세싱 동작들을 수행하도록 동작가능한 무선 디바이스의 블록도이다.
도 1 을 참조하면, 고-대역 신호 모델링을 수행하도록 동작가능한 시스템의 특정 실시형태가 도시되고 일반적으로 100 으로 지칭된다. 특정 실시형태에서, 시스템 (100) 은 인코딩 시스템 또는 장치에 (예를 들어, 무선 전화기 또는 코더/디코더 (코덱) 에) 통합될 수도 있다. 다른 실시형태들에서, 시스템 (100) 은 셋 탑 박스, 음악 재생기, 비디오 재생기, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, PDA, 고정 위치 데이터 유닛, 또는 컴퓨터에 통합될 수도 있다.
다음의 설명에서, 도 1 의 시스템 (100) 에 의해 수행되는 다양한 기능들은 소정의 컴포넌트들 또는 모듈들에 의해 수행되는 것으로 설명된다는 것에 유의해야 한다. 그러나, 이러한 컴포넌트들 및 모듈들의 분할은 단지 예시용이다. 대안적인 실시형태에서, 특정 컴포넌트 또는 모듈에 의해 수행되는 기능은 대신에 다수의 컴포넌트들 또는 모듈들 사이에 분할될 수도 있다. 또한, 대안적인 실시형태에서, 도 1 의 2 개 이상의 컴포넌트들 또는 모듈들은 단일 컴포넌트 또는 모듈로 통합될 수도 있다. 도 1 에 도시된 각각의 컴포넌트 또는 모듈은 하드웨어 (예를 들어, 필드-프로그램가능 게이트 어레이 (field-programmable gate array; FPGA) 디바이스, 주문형 반도체 (application-specific integrated circuit; ASIC), 디지털 신호 프로세서 (digital signal processor; DSP) 제어기 등), 소프트웨어 (예를 들어, 프로세서에 의해 실행가능한 명령들), 또는 이들의 임의의 조합을 이용하여 구현될 수도 있다.
시스템 (100) 은 입력 오디오 신호 (102) 를 수신하도록 구성된 제 1 분석 필터 뱅크 (110) (예를 들어, QMF 뱅크 또는 의사-QMF 뱅크) 를 포함한다. 예를 들어, 입력 오디오 신호 (102) 는 마이크로폰 또는 다른 입력 디바이스에 의해 제공될 수도 있다. 특정 실시형태에서, 입력 오디오 신호 (102) 는 스피치를 포함할 수도 있다. 입력 오디오 신호 (102) 는 약 50 Hz 에서 약 16 kHz 까지의 주파수 범위에서의 데이터를 포함하는 SWB 신호일 수도 있다. 제 1 분석 필터 뱅크 (110) 는 주파수에 기초하여 입력 오디오 신호 (102) 를 다수의 부분들로 필터링할 수도 있다. 예를 들어, 제 1 분석 필터 뱅크 (110) 는 제 1 주파수 범위 내의 서브-대역들의 제 1 그룹 (122) 및 제 2 주파수 범위 내의 서브-대역들의 제 2 그룹 (124) 을 생성할 수도 있다. 서브-대역들의 제 1 그룹 (122) 은 M 개의 서브-대역들을 포함할 수도 있으며, 여기서 M 은 제로보다 큰 정수이다. 서브-대역들의 제 2 그룹 (124) 은 N 개의 서브-대역들을 포함할 수도 있으며, 여기서 N 은 1 보다 큰 정수이다. 따라서, 서브-대역들의 제 1 그룹 (122) 은 적어도 한 개의 서브-대역을 포함할 수도 있고, 서브-대역들의 제 2 그룹 (124) 은 2 개 이상의 서브-대역들을 포함한다. 특정 실시형태에서, M 및 N 은 유사한 값일 수도 있다. 다른 특정 실시형태에서, M 및 N 은 상이한 값들일 수도 있다. 서브-대역들의 제 1 그룹 (122) 및 서브-대역들의 제 2 그룹 (124) 은 동일하거나 동일하지 않은 대역폭을 가질 수도 있고, 중첩하거나 중첩하지 않을 수도 있다. 대안적인 실시형태에서, 제 1 분석 필터 뱅크 (110) 는 2 개를 초과하는 서브-대역들의 그룹들을 생성할 수도 있다.
제 1 주파수 범위는 제 2 주파수 범위보다 낮을 수도 있다. 도 1 의 예에서, 서브-대역들의 제 1 그룹 (122) 및 서브-대역들의 제 2 그룹 (124) 은 중첩하지 않는 주파수 대역들을 점유한다. 예를 들어, 서브-대역들의 제 1 그룹 (122) 및 서브-대역들의 제 2 그룹 (124) 은 각각 50 Hz - 7 kHz 및 7 kHz - 16 kHz 의 중첩하지 않는 주파수 대역들을 점유할 수도 있다. 대안적인 실시형태에서, 서브-대역들의 제 1 그룹 (122) 및 서브-대역들의 제 2 그룹 (124) 은 각각 50 Hz - 8 kHz 및 8 kHz - 16 kHz 의 중첩하지 않는 주파수 대역들을 점유할 수도 있다. 다른 대안적인 실시형태에서, 서브-대역들의 제 1 그룹 (122) 및 서브-대역들의 제 2 그룹 (124) 은 중첩하며 (예를 들어, 각각 50 Hz - 8 kHz 및 7 kHz - 16 kHz), 이는 제 1 분석 필터 뱅크 (110) 의 저역-통과 필터 및 고역-통과 필터가 평활한 롤오프 (rolloff) 를 갖는 것을 가능하게 할 수도 있으며, 이는 설계를 간소화하고 저역-통과 필터와 고역-통과 필터의 비용을 감소시킬 수도 있다. 서브-대역들의 제 1 그룹 (122) 과 서브-대역들의 제 2 그룹 (124) 이 중첩하는 것은 또한 수신기에서 저-대역 신호와 고-대역 신호의 평활화 블렌딩을 가능하게 할 수도 있으며, 이는 보다 적은 가청 아티팩트들을 초래할 수도 있다.
도 1 의 예가 SWB 신호의 프로세싱을 도시하기는 하나, 이는 단지 예시용임에 유의해야 한다. 대안적인 실시형태에서, 입력 오디오 신호 (102) 는 약 50 Hz 내지 약 8 kHz 의 주파수 범위를 갖는 WB 신호일 수도 있다. 그러한 실시형태에서, 서브-대역들의 제 1 그룹 (122) 은 약 50 Hz 내지 약 6.4 kHz 의 주파수 범위에 대응할 수도 있고, 서브-대역들의 제 2 그룹 (124) 은 약 6.4 kHz 내지 약 8 kHz 의 주파수 범위에 대응할 수도 있다.
시스템 (100) 은 서브-대역들의 제 1 그룹 (122) 을 수신하도록 구성된 저-대역 분석 모듈 (130) 을 포함할 수도 있다. 특정 실시형태에서, 저-대역 분석 모듈 (130) 은 코드 여기된 선형 예측 (code excited linear prediction; CELP) 인코더의 일 실시형태를 나타낼 수도 있다. 저-대역 분석 모듈 (130) 은 선형 예측 (LP) 분석 및 코딩 모듈 (132), 선형 예측 계수 (LPC) 대 LPS 변환 모듈 (134), 및 양자화기 (136) 를 포함할 수도 있다. LSP 들은 또한 LSF 들이라고 지칭될 수도 있고, 2 개의 용어들 (LSP 및 LSF) 은 본원에서 상호교환가능하게 이용될 수도 있다. LP 분석 및 코딩 모듈 (132) 은 서브-대역들의 제 1 그룹 (122) 의 스펙트럼 엔벨로프를 LPC 들의 세트로서 인코딩할 수도 있다. LPC 들은 오디오의 각각의 프레임 (예를 들어, 16 kHz 의 샘플링 레이트에서 320 개의 샘플들에 대응하는 오디오의 20 밀리초 (ms)), 오디오의 각각의 서브-프레임 (예를 들어, 오디오의 5 ms), 또는 이들의 임의의 조합에 대해 생성될 수도 있다. 각각의 프레임 또는 서브-프레임에 대해 생성된 LPC 들의 개수는 수행된 LP 분석의 "차수 (order)" 에 의해 결정될 수도 있다. 특정 실시형태에서, LP 분석 및 코딩 모듈 (132) 은 10-차 LP 분석에 대응하는 11 개의 LPC 들의 세트를 생성할 수도 있다.
LPC 대 LSP 변환 모듈 (134) 은 (예를 들어, 일-대-일 변환을 이용하여) LP 분석 및 코딩 모듈 (132) 에 의해 생성된 LPC 들의 세트를 대응하는 LSP 들의 세트로 변환할 수도 있다. 대안으로, LPC 들의 세트는 파코 (parcor) 계수들, 로그-면적-비 값들, 이미턴스 스펙트럼 쌍 (immittance spectral pair; ISP) 들, 또는 이미턴스 스펙트럼 주파수 (immittance spectral frequency; ISF) 들에 대응하는 세트로 일-대-일 변환될 수도 있다. LPC 들의 세트와 LSP 들의 세트 사이의 변환은 에러 없이 가역적일 수도 있다.
양자화기 (136) 는 LPC 대 LSP 변환 모듈 (134) 에 의해 생성된 LSP 들의 세트를 양자화할 수도 있다. 예를 들어, 양자화기 (136) 는 다수의 엔트리들 (예를 들어, 벡터들) 을 포함하는 다수의 코드북들을 포함하거나 연결될 수도 있다. LSP 들의 세트를 양자화하기 위해, 양자화기 (136) 는 (예를 들어, 최소 제곱법 또는 평균 제곱 에러와 같은 왜곡 측정에 기초하여) LSP 들의 세트에 "가장 가까운" 코드북들의 엔트리들을 식별할 수도 있다. 양자화기 (136) 는 코드북에서 식별된 엔트리들의 위치에 대응하는 인덱스 값 또는 일련의 인덱스 값들을 출력할 수도 있다. 양자화기 (136) 의 출력은 따라서 저-대역 비트 스트림 (142) 에 포함된 저-대역 필터 파라미터들을 나타낸다.
저-대역 분석 모듈 (130) 은 또한 저-대역 여기 신호 (144) 를 생성할 수도 있다. 예를 들어, 저-대역 여기 신호 (144) 는 저-대역 분석 모듈 (130) 에 의해 수행되는 LP 프로세스 중에 생성된 LP 잔차 신호를 코딩함으로써 생성된 인코딩된 신호일 수도 있다.
시스템 (100) 은 제 1 분석 필터 뱅크 (110) 로부터 서브-대역들의 제 2 그룹 (124) 및 저-대역 분석 모듈 (130) 로부터 저-대역 여기 신호 (144) 를 수신하도록 구성된 고-대역 분석 모듈 (150) 을 더 포함할 수도 있다. 고-대역 분석 모듈 (150) 은 서브-대역들의 제 2 그룹 (124) 및 저-대역 여기 신호 (144) 에 기초하여 고-대역 부가 정보 (172) 를 생성할 수도 있다. 예를 들어, 고-대역 부가 정보 (172) 는 고-대역 LPC 들 및/또는 이득 정보 (예를 들어, 조정 파라미터들) 를 포함할 수도 있다.
고-대역 분석 모듈 (150) 은 비-선형 변환 생성기 (190) 를 포함할 수도 있다. 비-선형 변환 생성기 (190) 는 저-대역 여기 신호 (144) 에 기초하여 고조파 확장된 신호를 생성하도록 구성될 수도 있다. 예를 들어, 비-선형 변환 생성기 (190) 는 저-대역 여기 신호 (144) 를 업-샘플링할 수도 있고, 비-선형 함수를 통해 업-샘플링된 신호를 프로세싱하여 저-대역 여기 신호 (144) 의 대역폭보다 큰 대역폭을 갖는 고조파 확장된 신호를 생성할 수도 있다.
고-대역 분석 모듈 (150) 은 또한 제 2 분석 필터 뱅크 (192) 를 포함할 수도 있다. 특정 실시형태에서, 제 2 분석 필터 뱅크 (192) 는 고조파 확장된 신호를 복수의 서브-대역들로 스플릿할 수도 있다. 이러한 실시형태에서, 변조된 잡음이 고조파 확장된 신호의 복수의 서브-대역들의 각각의 서브-대역에 부가되어 서브-대역들의 제 2 그룹 (124) 에 대응하는 서브-대역들의 제 3 그룹 (126) (예를 들어, 고-대역 여기 신호들) 을 생성할 수도 있다. 비제한적인 예들로서, 서브-대역들의 제 2 그룹 (124) 의 제 1 서브-대역 (H1) 은 범위가 7 kHz 에서 8 kHz 에 이르는 대역폭을 가질 수도 있고, 서브-대역들의 제 2 그룹 (124) 의 제 2 서브-대역 (H2) 은 범위가 8 kHz 에서 9 kHz 에 이르는 대역폭을 가질 수도 있다. 유사하게, (제 1 서브-대역 (H1) 에 대응하는) 서브-대역들의 제 3 그룹 (126) 의 제 1 서브-대역 (미도시) 은 범위가 7 kHz 내지 8 kHz 에 이르는 대역폭을 가질 수도 있고, (제 2 서브-대역 (H2) 에 대응하는) 서브-대역들의 제 3 그룹 (126) 의 제 2 서브-대역 (미도시) 은 범위가 8 kHz 내지 9 kHz 에 이르는 대역폭을 가질 수도 있다. 다른 특정 실시형태에서, 변조된 잡음은 고조파 확장된 신호와 믹스되어 제 2 분석 필터 뱅크 (192) 에 제공되는 고-대역 여기 신호를 생성할 수도 있다. 이러한 실시형태에서, 제 2 분석 필터 뱅크 (192) 는 고-대역 여기 신호를 서브-대역들의 제 3 그룹 (126) 으로 스플릿할 수도 있다.
고-대역 분석 모듈 (150) 내의 파라미터 추정기들 (194) 은 서브-대역들의 제 2 그룹 (124) 에서의 대응하는 서브-대역의 메트릭에 기초하여 서브-대역들의 제 3 그룹 (126) 에서의 제 1 서브-대역에 대한 제 1 조정 파라미터 (예를 들어, LPC 조정 파라미터 및/또는 이득 조정 파라미터) 결정할 수도 있다. 예를 들어, 특정 파라미터 추정기는 서브-대역들의 제 3 그룹 (126) 에서의 제 1 서브-대역과 입력 오디오 신호 (102) 의 대응하는 고-대역 부분 (예를 들어, 서브-대역들의 제 2 그룹 (124) 에서의 대응하는 서브-대역) 사이의 스펙트럼 관계 및/또는 엔벨로프 관계를 결정할 수도 있다. 유사한 방식으로, 다른 파라미터 추정기는 서브-대역들의 제 2 그룹 (124) 에서의 대응하는 서브-대역의 메트릭에 기초하여 서브-대역들의 제 3 그룹 (126) 에서의 제 2 서브-대역에 대한 제 2 조정 파라미터를 결정할 수도 있다. 본원에서 이용된 바와 같은, 서브-대역의 "메트릭" 은 서브-대역을 특징짓는 임의의 값에 대응할 수도 있다. 비제한적인 예들로서, 서브-대역의 메트릭은 서브-대역의 신호 에너지, 서브-대역의 잔차 에너지, 서브-대역의 LP 계수들 등에 대응할 수도 있다.
특정 실시형태에서, 파라미터 추정기들 (194) 은 서브-대역들의 제 2 그룹 (124) 의 서브-대역들 (예를 들어, 입력 오디오 신호 (102) 의 고-대역 부분의 컴포넌트들) 과 서브-대역들의 제 3 그룹 (126) 의 대응하는 서브-대역들 (예를 들어, 고-대역 여기 신호의 컴포넌트들) 사이의 관계에 따라 적어도 2 개의 이득 인자들 (예를 들어, 조정 파라미터들) 을 산출할 수도 있다. 이득 인자들은 프레임 또는 프레임의 일부 부분에 걸친 대응하는 서브-대역들의 에너지들 사이의 차이 (또는 비율) 에 대응할 수도 있다. 예를 들어, 파라미터 추정기들 (194) 은 각각의 서브-대역에 대한 각각의 서브-프레임의 샘플들의 제곱 합으로서 에너지를 산출할 수도 있고, 각각의 서브-프레임에 대한 이득 인자는 그러한 에너지들의 비율의 제곱근일 수도 있다. 다른 특정 실시형태에서 파라미터 추정기들 (194) 은 서브-대역들의 제 2 그룹 (124) 의 서브-대역들과 서브-대역들의 제 3 그룹 (126) 의 대응하는 서브-대역들 사이의 시변 관계에 따라 이득 엔벨로프를 산출할 수도 있다. 그러나, 입력 오디오 신호 (102) 의 고-대역 부분 (예를 들어, 고-대역 신호) 의 시간 엔벨로프 및 고-대역 여기 신호의 시간 엔벨로프는 유사할 가능성이 있다.
다른 특정 실시형태에서, 파라미터 추정기들 (194) 은 LP 분석 및 코딩 모듈 (152) 및 LPC 대 LSP 변환 모듈 (154) 을 포함할 수도 있다. LP 분석 및 코딩 모듈 (152) 및 LPC 대 LSP 변환 모듈 (154) 의 각각은 저-대역 분석 모듈 (130) 의 대응하는 컴포넌트들을 참조하여, 그러나 (예를 들어, 각각의 계수, LSP 등에 대한 보다 적은 비트들을 이용하여) 비교적 감소된 분해능으로 위에서 설명된 바와 같이 기능할 수도 있다. LP 분석 및 코딩 모듈 (152) 은 코드북 (163) 에 기초하여 변환 모듈 (154) 에 의해 LSP 들로 변환되고 양자화기 (156) 에 의해 양자화되는 LPC 들의 세트를 생성할 수도 있다. 예를 들어, LP 분석 및 코딩 모듈 (152), LPC 대 LSP 변환 모듈 (154), 및 양자화기 (156) 는 서브-대역들의 제 2 그룹 (124) 을 이용하여 고-대역 필터 정보 (예를 들어, 고-대역 LSP 들 또는 조정 파라미터들) 및/또는 고-대역 부가 정보 (172) 에 포함된 고-대역 이득 정보를 결정할 수도 있다.
양자화기 (156) 는 파라미터 추정기들 (194) 들로부터의 조정 파라미터들을 고-대역 부가 정보 (172) 로서 양자화하도록 구성될 수도 있다. 양자화기는 또한 변환 모듈 (154) 에 의해 제공되는 LSP 들과 같은 스펙트럼 주파수 값들의 세트를 양자화하도록 구성될 수도 있다. 다른 실시형태들에서, 양자화기 (156) 는 LSF 들 또는 LSP 들에 더해 또는 이들 대신에 하나 이상의 다른 유형들의 스펙트럼 주파수 값들의 세트들을 수신하여 양자화할 수도 있다. 예를 들어, 양자화기 (156) 는 LP 분석 및 코딩 모듈 (152) 에 의해 생성된 LPC 들의 세트를 수신하여 양자화할 수도 있다. 다른 예들은 양자화기 (156) 에서 수신되어 양자화될 수도 있는 파코 계수들, 로그-면적-비 값들, 및 ISF 들의 세트들을 포함한다. 양자화기 (156) 는 입력 벡터 (예를 들어, 벡터 포맷에서 스펙트럼 주파수 값들의 세트) 를 코드북 (163) 과 같은 테이블 또는 코드북에서의 대응하는 엔트리에 대한 인덱스로 인코딩하는 벡터 양자화기를 포함할 수도 있다. 다른 예로서, 양자화기 (156) 는, 스토리지로부터 취출되기 보다는, 희소성 (sparse) 코드북 실시형태와 같이 입력 벡터가 디코더에서 동적으로 생성될 수도 있는 하나 이상의 파라미터들을 결정하도록 구성될 수도 있다. 예시를 위해, 희소성 코드북 예들은 3GPP2 (Third Generation Partnership 2) EVRC (Enhanced Variable Rate Codec) 와 같은 산업 표준들에 따르는 CELP 및 코덱들과 같은 코딩 기법들에 적용될 수도 있다. 다른 실시형태에서, 고-대역 분석 모듈 (150) 은 양자화기 (156) 를 포함할 수도 있고, 다수의 코드북 벡터들을 이용하여 (예를 들어, 필터 파라미터들의 세트에 따라) 합성된 신호들을 생성하고, 지각적으로 가중된 도메인에서와 같이, 서브-대역들의 제 2 그룹 (124) 에 가장 잘 매칭하는 합성된 신호와 연관된 코드북 벡터들 중 하나를 선택하도록 구성될 수도 있다.
특정 실시형태에서, 고-대역 부가 정보 (172) 는 고-대역 LSP 들 뿐만 아니라 고-대역 이득 파라미터들을 포함할 수도 있다. 예를 들어, 고-대역 부가 정보 (172) 는 파라미터 추정기들 (194) 에 의해 생성된 조정 파라미터들을 포함할 수도 있다.
저-대역 비트 스트림 (142) 및 고-대역 부가 정보 (172) 는 다중화기 (MUX) (170) 에 의해 다중화되어 출력 비트 스트림 (199) 을 생성할 수도 있다. 출력 비트 스트림 (199) 은 입력 오디오 신호 (102) 에 대응하는 인코딩된 오디오 신호를 나타낼 수도 있다. 예를 들어, 다중화기 (170) 는 고-대역 부가 정보 (172) 에 포함된 조정 파라미터들을 입력 오디오 신호 (102) 의 인코딩된 버전에 삽입하여 입력 오디오 신호 (102) 의 복원 중에 이득 조정 (예를 들어, 엔벨로프-기반 조정) 및/또는 선형성 조정 (예를 들어, 스펙트럼-기반 조정) 을 가능하게 하도록 구성될 수도 있다. 출력 비트 스트림 (199) 은 송신기 (198) 에 의해 (예를 들어, 유선, 무선, 또는 광학 채널을 통해) 송신될 수도 있고/있거나 저장될 수도 있다. 수신기에서, 역다중화기 (DEMUX), 저-대역 디코더, 고-대역 디코더, 및 필터 뱅크에 의해 역 동작들이 수행되어 오디오 신호 (예를 들어, 스피커 또는 다른 출력 디바이스에 제공된 입력 오디오 신호 (102) 의 복원된 버전) 를 생성할 수도 있다. 저-대역 비트 스트림 (142) 을 나타내는데 이용된 비트들의 수는 고-대역 부가 정보 (172) 를 나타내는데 이용된 비트들의 수보다 실질적으로 클 수도 있다. 따라서, 출력 비트 스트림 (199) 에서의 비트들의 대부분은 저-대역 데이터를 나타낼 수도 있다. 고-대역 부가 정보 (172) 는 수신기에서 이용되어 신호 모델에 따라 저-대역 데이터로부터 고-대역 여기 신호를 재생성할 수도 있다. 예를 들어, 신호 모델은 저-대역 데이터 (예를 들어, 서브-대역들의 제 1 그룹 (122)) 과 고-대역 데이터 (예를 들어, 서브-대역들의 제 2 그룹 (124)) 사이의 관계들 또는 상관도들의 예상되는 세트를 나타낼 수도 있다. 따라서, 상이한 신호 모델들이 상이한 종류들의 오디오 데이터 (예를 들어, 스피치, 음악 등) 에 대해 이용될 수도 있고, 이용 중인 특정 신호 모델은 인코딩된 오디오 데이터의 통신 전에 송신기와 수신기에 의해 협상될 수도 있다 (또는 산업 표준에 의해 정의될 수도 있다). 신호 모델을 이용하여, 송신기에서 고-대역 분석 모듈 (150) 이 고-대역 부가 정보 (172) 를 생성하는 것이 가능할 수도 있어 수신기에서 대응하는 고-대역 분석 모듈이 신호 모델을 이용하여 출력 비트 스트림 (199) 으로부터 서브-대역들의 제 2 그룹 (124) 을 복원할 수 있다.
도 1 의 시스템 (100) 은 합성된 고-대역 신호 컴포넌트들 (예를 들어, 서브-대역들의 제 3 그룹 (126)) 과 원래의 고-대역 신호 컴포넌트들 (예를 들어, 서브-대역들의 제 2 그룹 (124)) 사이의 상관도를 향상시킬 수도 있다. 예를 들어, 합성된 고-대역 신호 컴포넌트들과 원래의 고-대역 신호 컴포넌트들 사이의 스펙트럼 및 엔벨로프 근사치는 서브-대역 단위로 서브-대역들의 제 2 그룹 (124) 의 메트릭들을 서브-대역들의 제 3 그룹 (126) 의 메트릭들과 비교함으로써 "보다 미세한" 레벨에서 수행될 수도 있다. 서브-대역들의 제 3 그룹 (126) 은 비교에서 기인하는 조정 파라미터들에 기초하여 조정될 수도 있고, 조정 파라미터들은 디코더로 송신되어 입력 오디오 신호 (102) 의 고-대역 복원 중에 가청 아티팩트들을 감소시킬 수도 있다.
도 2 를 참조하면, 고-대역 신호 모델링을 수행하도록 동작가능한 시스템 (200) 의 특정 실시형태가 도시된다. 시스템 (200) 은 제 1 분석 필터 뱅크 (110), 분석 필터 뱅크 (202), 저-대역 코더 (204), 비-선형 변환 생성기 (190), 잡음 결합기 (206), 제 2 분석 필터 뱅크 (192), 및 N 개의 파라미터 추정기들 (294a-294c) 을 포함한다.
제 1 분석 필터 뱅크 (110) 는 입력 오디오 신호 (102) 를 수신할 수도 있고, 주파수에 기초하여 입력 오디오 신호 (102) 를 다수의 부분들로 필터링하도록 구성될 수도 있다. 예를 들어, 제 1 분석 필터 뱅크 (110) 는 저-대역 주파수 범위 내의 서브-대역들의 제 1 그룹 (122) 및 고-대역 주파수 범위 내의 서브-대역들의 제 2 그룹 (124) 을 생성할 수도 있다. 비제한적인 예로서, 저-대역 주파수 범위는 약 0 kHz 부터 6.4 kHz 까지일 수도 있고, 고-대역 주파수 범위는 약 6.4 kHz 에서 12.8 kHz 까지일 수도 있다. 서브-대역들의 제 1 그룹 (124) 은 분석 필터 뱅크 (202) 에 제공될 수도 있다. 분석 필터 뱅크 (202) 는 서브-대역들의 제 1 그룹 (122) 을 결합함으로써 저-대역 신호 (212) 를 구성될 수도 있다. 저-대역 신호 (212) 는 저-대역 코더 (204) 에 제공될 수도 있다.
저-대역 코더 (204) 는 도 1 의 저-대역 분석 모듈 (130) 에 대응할 수도 있다. 예를 들어, 저-대역 코더 (204) 는 저-대역 신호 (212) (예를 들어, 서브-대역들의 제 1 그룹 (122)) 를 양자화하여 저-대역 여기 신호 (144) 를 생성하도록 구성될 수도 있다. 저-대역 여기 신호 (144) 는 비선형 변환 생성기 (190) 에 제공될 수도 있다.
도 1 에 대해 설명된 바와 같이, 저-대역 여기 신호 (144) 는 저-대역 분석 모듈 (130) 을 이용하여 서브-대역들의 제 1 그룹 (122) (예를 들어, 입력 오디오 신호 (102) 의 저-대역 부분) 으로부터 생성될 수도 있다. 비-선형 변환 생성기 (190) 는 저-대역 여기 신호 (144) (예를 들어, 서브-대역들의 제 1 그룹 (122)) 에 기초하여 고조파 확장된 신호 (214) (예를 들어, 비-선형 여기 신호) 를 생성하도록 구성될 수도 있다. 비-선형 변환 생성기 (190) 는 저-대역 여기 신호 (144) 를 업-샘플링할 수도 있고, 비 선형 함수를 통해 업-샘플링된 신호를 프로세싱하여 저-대역 여기 신호 (144) 의 대역폭보다 큰 대역폭을 갖는 고조파 확장된 신호 (214) 를 생성할 수도 있다. 예를 들어, 특정 실시형태에서, 저-대역 여기 신호 (144) 의 대역폭은 약 0 kHz 에서 6.4 kHz 일 수도 있고, 고조파 확장된 신호 (214) 의 대역폭은 약 6.4 kHz 에서 16 kHz 일 수도 있다. 다른 특정 실시형태에서, 고조파 확장된 신호 (214) 의 대역폭은 동일한 크기를 갖는 저-대역 여기 신호의 대역폭보다 높을 수도 있다. 예를 들어, 저-대역 여기 신호 (144) 의 대역폭은 약 0 kHz 에서 6.4 kHz 일 수도 있고, 고조파 확장된 신호 (214) 의 대역폭은 약 6.4 kHz 에서 12.8 kHz 일 수도 있다. 특정 실시형태에서, 비-선형 변환 생성기 (190) 는 저-대역 여기 신호 (144) 의 프레임들 (또는 서브-프레임들) 에 대해 절대-값 연산 또는 제곱 연산을 수행하여 고조파 확장된 신호 (214) 를 생성할 수도 있다. 고조파 확장된 신호 (214) 는 잡음 결합기 (206) 에 제공될 수도 있다.
잡음 결합기 (206) 는 고조파 확장된 신호 (214) 를 변조된 신호와 믹싱하여 고-대역 여기 신호 (216) 를 생성하도록 구성될 수도 있다. 변조된 잡음은 저-대역 신호 (212) 의 엔벨로프 및 백색 잡음에 기초할 수도 있다. 고조파 확장된 신호 (214) 와 믹싱되는 변조된 잡음의 양은 믹싱 팩터에 기초할 수도 있다. 저-대역 코더 (204) 는 잡음 결합기 (206) 에 의해 이용되는 정보를 생성하여 믹싱 팩터를 결정할 수도 있다. 정보는 서브-대역들의 제 1 그룹 (122) 에서의 피치 지연, 서브-대역들의 제 1 그룹 (122) 과 연관된 적응 코드북 이득, 서브-대역들의 제 1 그룹 (122) 과 서브-대역들의 제 2 그룹 (124) 사이의 피치 상관도, 이들의 임의의 조합 등을 포함할 수도 있다. 예를 들어, 저-대역 신호 (212) 의 고조파가 음성 신호 (예를 들어, 상대적으로 강한 음성 컴포넌트들 및 상대적으로 약한 잡음과 같은 컴포넌트들을 갖는 신호) 에 대응하면, 믹싱 팩터의 값은 증가할 수도 있고, 보다 작은 양의 변조된 잡음이 고조파 확장된 신호 (214) 와 믹싱될 수도 있다. 대안으로, 저-대역 신호 (212) 의 고조파가 잡음과 같은 신호 (예를 들어, 상대적으로 강한 잡음과 같은 컴포넌트들 및 상대적으로 약한 음성 컴포넌트들을 갖는 신호) 에 대응하면, 믹싱 팩터의 값은 감소할 수도 있고, 보다 많은 양의 변조된 잡음이 고조파 확장된 신호 (214) 와 믹싱될 수도 있다. 고-대역 여기 신호 (216) 는 제 2 분석 필터 뱅크 (192) 에 제공될 수도 있다.
제 2 필터 분석 필터 뱅크 (192) 는 고-대역 여기 신호 (216) 를 서브-대역들의 제 2 그룹 (124) 에 대응하는 서브-대역들의 제 3 그룹 (126) (예를 들어, 고-대역 여기 신호들) 으로 필터링 (예를 들어, 스플릿) 하도록 구성될 수도 있다. 서브-대역들의 제 3 그룹 (126) 의 각각의 서브-대역 (HE1-HEN) 은 대응하는 파라미터 추정기 (294a-294c) 에 제공될 수도 있다. 또한, 서브-대역들의 제 2 그룹 (124) 의 각각의 서브-대역 (Hl-HN) 은 대응하는 파라미터 추정기 (294a-294c) 에 제공될 수도 있다.
파라미터 추정기들 (294a-294c) 은 도 1 의 파라미터 추정기들 (194) 에 대응할 수도 있고 실질적으로 유사한 방식으로 동작할 수도 있다. 예를 들어, 각각의 파라미터 추정기 (294a-294c) 는 서브-대역들의 제 2 그룹 (124) 에서의 대응하는 서브-대역들의 메트릭에 기초하여 서브-대역들의 제 3 그룹 (126) 에서의 대응하는 서브-대역들에 대한 조정 파라미터들을 결정할 수도 있다. 예를 들어, 제 1 파라미터 추정기 (294a) 는 서브-대역들의 제 2 그룹 (124) 에서의 제 1 서브-대역 (H1) 의 메트릭에 기초하여 서브-대역들의 제 3 그룹 (126) 에서의 제 1 서브-대역 (HE1) 에 대한 제 1 조정 파라미터 (예를 들어, LPC 조정 파라미터 및/또는 이득 조정 파라미터) 결정할 수도 있다. 예를 들어, 제 1 파라미터 추정기 (294a) 는 서브-대역들의 제 3 그룹 (126) 에서의 제 1 서브-대역 (HE1) 과 서브-대역들의 제 2 그룹 (124) 에서의 제 1 서브-대역 (H1) 사이의 스펙트럼 관계 및/또는 엔벨로프 관계를 결정할 수도 있다. 예시를 위해, 제 1 파라미터 추정기 (294) 를 서브-대역들의 제 2 그룹 (124) 의 제 1 서브-대역 (H1) 에 대해 LP 분석을 수행하여 제 1 서브-대역 (H1) 에 대한 LPC 들 및 제 1 서브-대역 (H1) 에 대한 잔차를 생성할 수도 있다. 제 1 서브-대역 (H1) 에 대한 잔차는 서브-대역들의 제 3 그룹 (126) 에서의 제 1 서브-대역 (HE1) 과 비교될 수도 있고, 제 1 파라미터 추정기 (294) 는 서브-대역들의 제 2 그룹 (124) 의 제 1 서브-대역 (H1) 의 잔차의 에너지와 서브-대역들의 제 3 그룹 (126) 의 제 1 서브-대역 (HE1) 의 에너지가 실질적으로 매칭하도록 이득 파라미터를 결정할 수도 있다. 다른 예로서, 제 1 파라미터 추정기 (294) 는 서브-대역들의 제 3 그룹 (126) 의 제 1 서브-대역 (HE1) 을 이용하여 합성을 수행해 서브-대역들의 제 2 그룹 (124) 의 제 1 서브-대역 (H1) 의 합성된 버전을 생성할 수도 있다. 제 1 파라미터 추정기 (294) 는 서브-대역들의 제 2 그룹 (124) 의 제 1 서브-대역 (H1) 의 에너지가 제 1 서브-대역 (H1) 의 합성된 버전의 에너지에 근사하도록 이득 파라미터를 결정할 수도 있다. 유사한 방식으로, 제 2 파라미터 추정기 (294b) 는 서브-대역들의 제 2 그룹 (124) 에서의 제 2 서브-대역 (H2) 의 메트릭에 기초하여 서브-대역들의 제 3 그룹 (126) 에서의 제 2 서브-대역 (HE2) 에 대한 제 2 조정 파라미터를 결정할 수도 있다.
조정 파라미터들은 양자화기 (예를 들어, 도 1 의 양자화기 (156)) 에 의해 양자화되어 고-대역 부가 정보로서 송신될 수도 있다. 서브-대역들의 제 3 그룹 (126) 은 또한 인코더 (예를 들어, 시스템 (200)) 의 다른 컴포넌트들 (미도시) 에 의해 추가적인 프로세싱 (예를 들어, 이득 형상 조정 프로세싱, 위상 조정 프로세싱 등) 을 위해 조정 파라미터들에 기초하여 조정될 수도 있다.
도 2 의 시스템 (200) 은 합성된 고-대역 신호 컴포넌트들 (예를 들어, 서브-대역들의 제 3 그룹 (126)) 과 원래의 고-대역 신호 컴포넌트들 (예를 들어, 서브-대역들의 제 2 그룹 (124)) 사이의 상관도를 향상시킬 수도 있다. 예를 들어, 합성된 고-대역 신호 컴포넌트들과 원래의 고-대역 신호 컴포넌트들 사이의 스펙트럼 및 엔벨로프 근사치는 서브-대역 단위로 서브-대역들의 제 2 그룹 (124) 의 메트릭들을 서브-대역들의 제 3 그룹 (126) 의 메트릭들과 비교함으로써 "보다 미세한" 레벨에서 수행될 수도 있다. 서브-대역들의 제 3 그룹 (126) 은 비교에서 기인하는 조정 파라미터들에 기초하여 조정될 수도 있고, 조정 파라미터들은 디코더로 송신되어 입력 오디오 신호 (102) 의 고-대역 복원 중에 가청 아티팩트들을 감소시킬 수도 있다.
도 3 을 참조하면, 고-대역 신호 모델링을 수행하도록 동작가능한 시스템 (300) 의 특정 실시형태가 도시된다. 시스템 (300) 은 제 1 분석 필터 뱅크 (110), 분석 필터 뱅크 (202), 저-대역 코더 (204), 비-선형 변환 생성기 (190), 제 2 분석 필터 뱅크 (192), N 개의 잡음 결합기들 (306a-306c), 및 N 개의 파라미터 추정기들 (294a-294c) 을 포함한다.
시스템 (300) 의 동작 중에, 고조파 확장된 신호 (214) 는 (도 2 의 잡음 결합기 (206) 에 대항하는) 제 2 분석 필터 뱅크 (192) 에 제공된다. 제 2 필터 분석 필터 뱅크 (192) 는 고조파 확장된 신호 (214) 를 복수의 서브-대역들 (322) 로 필터링 (예를 들어, 스플릿) 하도록 구성될 수도 있다. 복수의 서브-대역들 (322) 의 각각의 서브-대역은 대응하는 잡음 결합기 (306a-306c) 에 제공될 수도 있다. 예를 들어, 복수의 서브-대역들 (322) 중 제 1 서브-대역은 제 1 잡음 결합기 (306a) 에 제공될 수도 있으며, 복수의 서브-대역들 (322) 중 제 2 서브-대역은 제 2 잡음 결합기 (306b) 에 제공될 수도 있는 등등이다.
각각의 잡음 결합기 (306a-306c) 는 복수의 서브-대역들 (322) 중 수신된 서브-대역을 변조된 잡음과 믹싱하여 서브-대역들의 제 3 그룹 (126) (예를 들어, 복수의 고-대역 여기 신호들 (HE1-HEN)) 을 생성하도록 구성될 수도 있다. 예를 들어, 변조된 잡음은 저-대역 신호 (212) 의 엔벨로프 및 백색 잡음에 기초할 수도 있다. 복수의 서브-대역들 (322) 의 각각의 서브-대역과 믹싱된 변조된 잡음의 양은 적어도 하나의 믹싱 팩터에 기초할 수도 있다. 특정 실시형태에서, 서브-대역들의 제 3 그룹 (126) 의 제 1 서브-대역 (HE1) 은 제 1 믹싱 팩터에 기초하여 복수의 서브-대역들 (322) 의 제 1 서브-대역을 믹싱함으로써 생성될 수도 있고, 서브-대역들의 제 3 그룹 (126) 의 제 2 서브-대역 (HE2) 은 제 2 믹싱 팩터에 기초하여 복수의 서브-대역들 (322) 의 제 2 서브-대역을 믹싱함으로써 생성될 수도 있다. 따라서, 다수의 (예를 들어, 상이한) 믹싱 팩터들은 서브-대역들의 제 3 그룹 (126) 을 생성하는데 이용될 수도 있다.
저-대역 코더 (204) 는 각각의 잡음 결합기 (306a-306c) 에 의해 이용되는 정보를 생성하여 각각의 믹싱 팩터들을 결정할 수도 있다. 예를 들어, 제 1 믹싱 팩터를 결정하기 위해 제 1 잡음 결합기 (306a) 에 제공되는 정보는 피치 지연, 서브-대역들의 제 1 그룹 (122) 의 제 1 서브-대역 (L1) 과 연관된 적응 코드북 이득, 서브-대역들의 제 1 그룹 (122) 의 제 1 서브-대역 (L1) 과 서브-대역들의 제 2 그룹 (124) 의 제 1 서브-대역 (H1) 사이의 피치 상관도, 또는 이들의 임의의 조합을 포함할 수도 있다. 각각의 서브-대역들에 대한 유사한 파라미터들이 이용되어 다른 잡음 결합기들 (306b, 306n) 에 대한 믹싱 팩터들을 결정할 수도 있다. 다른 실시형태에서, 각각의 잡음 결합기 (306a-306n) 는 공통 믹싱 팩터에 기초하여 믹싱 동작들을 수행할 수도 있다.
도 2 에 대해 설명된 바와 같이, 각각의 파라미터 추정기 (294a-294c) 는 서브-대역들의 제 2 그룹 (124) 에서의 대응하는 서브-대역들의 메트릭에 기초하여 서브-대역들의 제 3 그룹 (126) 에서의 대응하는 서브-대역들에 대한 조정 파라미터들을 결정할 수도 있다. 조정 파라미터들은 양자화기 (예를 들어, 도 1 의 양자화기 (156)) 에 의해 양자화되어 고-대역 부가 정보로서 송신될 수도 있다. 서브-대역들의 제 3 그룹 (126) 은 또한 인코더 (예를 들어, 시스템 (300)) 의 다른 컴포넌트들 (미도시) 에 의해 추가적인 프로세싱 (예를 들어, 이득 형상 조정 프로세싱, 위상 조정 프로세싱 등) 을 위해 조정 파라미터들에 기초하여 조정될 수도 있다.
도 3 의 시스템 (300) 은 합성된 고-대역 신호 컴포넌트들 (예를 들어, 서브-대역들의 제 3 그룹 (126)) 과 원래의 고-대역 신호 컴포넌트들 (예를 들어, 서브-대역들의 제 2 그룹 (124)) 사이의 상관도를 향상시킬 수도 있다. 예를 들어, 합성된 고-대역 신호 컴포넌트들과 원래의 고-대역 신호 컴포넌트들 사이의 스펙트럼 및 엔벨로프 근사치는 서브-대역 단위로 서브-대역들의 제 2 그룹 (124) 의 메트릭들을 서브-대역들의 제 3 그룹 (126) 의 메트릭들과 비교함으로써 "보다 미세한" 레벨에서 수행될 수도 있다. 또한, 서브-대역들의 제 3 그룹 (126) 에서의 각각의 서브-대역 (예를 들어, 고-대역 여기 신호) 은 서브-대역들의 제 1 그룹 (122) 및 서브-대역들의 제 2 그룹 (124) 내의 대응하는 서브-대역들의 특성들 (예를 들어, 피치 값들) 에 기초하여 생성되어 신호 추정을 향상시킬 수도 있다. 서브-대역들의 제 3 그룹 (126) 은 비교에서 기인하는 조정 파라미터들에 기초하여 조정될 수도 있고, 조정 파라미터들은 디코더로 송신되어 입력 오디오 신호 (102) 의 고-대역 복원 중에 가청 아티팩트들을 감소시킬 수도 있다.
도 4 를 참조하면, 조정 파라미터들을 이용하여 오디오 신호를 복원하도록 동작가능한 시스템 (400) 의 특정 실시형태가 도시된다. 시스템 (400) 은 비-선형 변환 생성기 (490), 잡음 결합기 (406), 분석 필터 뱅크 (492), 및 N 개의 조정기들 (494a-494c) 을 포함한다. 특정 실시형태에서, 시스템 (400) 은 (예를 들어, 무선 전화기 또는 코덱에서의) 디코딩 시스템 또는 장치에 통합될 수도 있다. 다른 실시형태들에서, 시스템 (400) 은 셋 탑 박스, 음악 재생기, 비디오 재생기, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, PDA, 고정 위치 데이터 유닛, 또는 컴퓨터에 통합될 수도 있다.
비-선형 변환 생성기 (490) 는 비트 스트림 (199) 에서 저-대역 비트 스트림 (142) 의 일부로서 수신된 저-대역 여기 신호 (144) 에 기초하여 고조파 확장된 신호 (414) (예를 들어, 비-선형 여기 신호) 를 생성하도록 구성될 수도 있다. 고조파 확장된 신호 (414) 는 도 1 내지 도 3 의 고조파 확장된 신호의 복원된 버전 (214) 에 대응할 수도 있다. 예를 들어, 비-선형 변환 생성기 (490) 는 도 1 내지 도 3 의 비-선형 변환 생성기 (190) 와 실질적으로 유사한 방식으로 동작할 수도 있다. 예시적인 실시형태에서, 고조파 확장된 신호 (414) 는 도 2 에 대해 설명된 것과 유사한 방식으로 잡음 결합기 (406) 에 제공될 수도 있다. 다른 특정 실시형태에서, 고조파 확장된 신호 (414) 는 도 3 에 대해 설명된 것과 유사한 방식으로 분석 필터 뱅크 (492) 에 제공될 수도 있다.
잡음 결합기 (406) 는, 도 2 의 잡음 결합기 (206) 또는 도 3 의 잡음 결합기들 (306a-306c) 에 대해 설명된 바와 같이, 저-대역 비트 스트림 (142) 을 수신하여 믹싱 팩터를 생성할 수도 있다. 대안으로, 잡음 결합기 (406) 는 인코더 (도 1 내지 도 3 의 시스템들 (100 내지 300)) 에서 생성된 믹싱 팩터를 포함하는 고-대역 부가 정보 (172) 를 수신할 수도 있다. 예시적인 실시형태에서, 잡음 결합기 (406) 는 변환 저-대역 여기 신호 (414) 를 변조된 잡음과 믹싱하여 믹싱 팩터에 기초해 고-대역 여기 신호 (416) (예를 들어, 도 2 의 고-대역 여기 신호 (216) 의 복원된 버전) 를 생성할 수도 있다. 예를 들어, 잡음 결합기 (406) 는 도 2 의 잡음 결합기 (206) 와 실질적으로 유사한 방식으로 동작할 수도 있다. 예시적인 실시형태에서, 고-대역 여기 신호 (416) 는 분석 필터 뱅크 (492) 에 제공될 수도 있다.
예시적인 실시형태에서, 분석 필터 뱅크 (492) 는 고-대역 여기 신호 (416) 를 고-대역 여기 서브-대역들의 그룹 (426) (예를 들어, 도 1 내지 도 3 의 서브-대역들의 제 3 그룹 (126) 의 제 2 그룹의 복원된 버전) 으로 필터링 (예를 들어, 스플릿) 하도록 구성될 수도 있다. 예를 들어, 분석 필터 뱅크 (492) 는 도 2 에 대해 설명된 바와 같은 제 2 분석 필터 뱅크 (192) 와 실질적으로 유사한 방식으로 동작할 수도 있다. 고-대역 여기 서브-대역들의 그룹 (426) 은 대응하는 조정기 (494a-494c) 에 제공될 수도 있다.
다른 실시형태에서, 분석 필터 뱅크 (492) 는 도 3 에 대해 설명된 바와 같은 제 2 분석 필터 뱅크 (192) 와 유사한 방식으로 고조파 확장된 신호 (414) 를 복수의 서브-대역들 (미도시) 로 필터링하도록 구성될 수도 있다. 이러한 실시형태에서, 다수의 잡음 결합기들 (미도시) 은 (고-대역 부가 정보로서 송신된 믹싱 팩터들에 기초하여) 복수의 서브-대역들의 각각의 서브-대역을 변조된 잡음과 결합하여 도 3 의 잡음 결합기들 (394a-394c) 과 유사한 방식으로 고-대역 여기 서브-대역들의 그룹 (426) 을 생성할 수도 있다. 고-대역 여기 서브-대역들의 그룹들 (426) 의 각각의 서브-대역은 대응하는 조정기 (494a-494c) 에 제공될 수도 있다.
각각의 조정기 (494a-494c) 는 고-대역 부가 정보 (172) 와 같은 도 1 의 파라미터 추정기들 (194) 에 의해 생성된 대응하는 조정 파라미터를 수신할 수도 있다. 각각의 조정기 (494a-494c) 는 또한 고-대역 여기 서브-대역들의 그룹 (426) 의 대응하는 서브-대역을 수신할 수도 있다. 조정기들 (494a-494c) 은 조정 파라미터들에 기초하여 고-대역 여기 서브-대역들의 조정된 그룹 (424) 을 생성하도록 구성될 수도 있다. 고-대역 여기 서브-대역들의 조정된 그룹 (424) 은 추가적인 프로세싱 (예를 들어, LP 합성, 이득 형상 조정 프로세싱, 위상 조정 프로세싱 등) 을 위해 시스템 (400) 의 다른 컴포넌트들 (미도시) 에 제공되어 도 1 내지 도 3 의 서브-대역들의 제 2 그룹 (124) 을 복원할 수도 있다.
도 4 의 시스템 (400) 은 도 1 의 저-대역 비트 스트림 (142) 및 조정 파라미터들 (예를 들어, 도 1 의 고-대역 부가 정보 (172)) 을 이용하여 서브-대역들의 제 2 그룹 (124) 을 복원할 수도 있다. 조정 파라미터들을 이용하는 것은 서브-대역 단위로 고-대역 여기 신호 (416) 의 조정을 수행함으로써 복원의 정확도를 향상시킬 수도 있다 (예를 들어, 미세하게 튜닝된 복원물을 생성할 수도 있다).
도 5 를 참조하면, 고-대역 신호 모델링을 수행하는 방법 (500) 의 특정 실시형태의 플로차트가 도시된다. 예시적인 예로서, 방법 (500) 은 도 1 내지 도 3 의 시스템들 (100 내지 300) 중 하나 이상에 의해 수행될 수도 있다.
방법 (500) 은, 502 에서, 스피치 인코더에서, 오디오 신호를 제 1 주파수 범위 내의 서브-대역들의 제 1 그룹 및 제 2 주파수 범위 내의 서브-대역들의 제 2 그룹으로 필터링하는 단계를 포함할 수도 있다. 예를 들어, 도 1 을 참조하면, 제 1 분석 필터 뱅크 (110) 는 입력 오디오 신호 (102) 를 제 1 주파수 범위 내의 서브-대역들의 제 1 그룹 (122) 과 제 2 주파수 범위 내의 서브-대역들의 제 2 그룹 (124) 으로 필터링할 수도 있다. 제 1 주파수 범위는 제 2 주파수 범위보다 낮을 수도 있다.
고조파 확장된 신호는, 504 에서, 서브-대역들의 제 1 그룹에 기초하여 생성될 수도 있다. 예를 들어, 도 2 내지 도 3 을 참조하면, 분석 필터 뱅크 (202) 는 서브-대역들의 제 1 그룹 (122) 을 결합함으로써 저-대역 신호 (212) 를 생성할 수도 있고, 저-대역 코더 (204) 는 저-대역 신호 (212) 를 인코딩하여 저-대역 여기 신호 (144) 를 생성할 수도 있다. 저-대역 여기 신호 (144) 는 비-선형 변환 생성기 (407) 에 제공될 수도 있다. 비-선형 변환 생성기 (190) 는 저-대역 여기 신호 (144) (예를 들어, 서브-대역들의 제 1 그룹 (122)) 에 기초하여 고조파 확장된 신호 (214) (예를 들어, 비-선형 여기 신호) 를 생성하도록 저-대역 여기 신호 (144) 를 업-샘플링할 수도 있다.
서브-대역들의 제 3 그룹은, 506 에서, 고조파 확장된 신호에 적어도 부분적으로 기초하여 생성될 수도 있다. 예를 들어, 도 2 를 참조하면, 고조파 확장된 신호 (214) 는 변조된 잡음과 믹싱되어 고-대역 여기 신호 (216) 를 생성할 수도 있다. 제 2 필터 분석 필터 뱅크 (192) 는 고-대역 여기 신호 (216) 를 서브-대역들의 제 2 그룹 (124) 에 대응하는 서브-대역들의 제 3 그룹 (126) (예를 들어, 고-대역 여기 신호들) 으로 필터링 (예를 들어, 스플릿) 할 수도 있다. 대안으로, 도 3 을 참조하면, 고조파 확장된 신호 (214) 는 제 2 분석 필터 뱅크 (192) 에 제공된다. 제 2 필터 분석 필터 뱅크 (192) 는 고조파 확장된 신호 (214) 를 복수의 서브-대역들 (322) 로 필터링 (예를 들어, 스플릿) 할 수도 있다. 복수의 서브-대역들 (322) 의 각각의 서브-대역은 대응하는 잡음 결합기 (306a-306c) 에 제공될 수도 있다. 예를 들어, 복수의 서브-대역들 (322) 중 제 1 서브-대역은 제 1 잡음 결합기 (306a) 에 제공될 수도 있으며, 복수의 서브-대역들 (322) 중 제 2 서브-대역은 제 2 잡음 결합기 (306b) 에 제공될 수도 있는 등등이다. 각각의 잡음 결합기 (306a-306c) 는 복수의 서브-대역들 (322) 의 수신된 서브-대역을 변조된 잡음과 믹싱하여 서브-대역들의 제 3 그룹 (126) 을 생성할 수도 있다.
508 에서, 서브-대역들의 제 3 그룹에서의 제 1 서브-대역에 대한 제 1 조정 파라미터가 결정될 수도 있거나, 서브-대역들의 제 3 그룹에서의 제 2 서브-대역에 대한 제 2 조정 파라미터가 결정될 수도 있다. 예를 들어, 도 2 내지 도 3 을 참조하면, 제 1 파라미터 추정기 (294a) 는 서브-대역들의 제 2 그룹 (124) 에서의 대응하는 서브-대역 (H1) 의 메트릭 (예를 들어, 신호 에너지, 잔차 에너지, LP 계수들 등) 에 기초하여 서브-대역들의 제 3 그룹 (126) 에서의 제 1 서브-대역 (HE1) 에 대한 제 1 조정 파라미터 (예를 들어, LPC 조정 파라미터 및/또는 이득 조정 파라미터) 를 결정할 수도 있다. 제 1 파라미터 추정기 (294a) 는 제 1 서브-대역 (HE1) 과 제 1 서브-대역 (H1) 사이의 관계에 따라 제 1 이득 인자 (예를 들어, 제 1 조정 파라미터) 를 산출할 수도 있다. 이득 인자는 프레임 또는 프레임의 일부 부분에 걸친 서브-대역들 (H1, HE1) 의 에너지들 사이의 차이 (또는 비율) 에 대응할 수도 있다. 유사한 방식으로, 다른 파라미터 추정기들 (294b-294c) 은 서브-대역들의 제 2 그룹 (124) 에서의 제 2 서브-대역 (H2) 의 메트릭 (예를 들어, 신호 에너지, 잔차 에너지, LP 계수들 등) 에 기초하여 서브-대역들의 제 3 그룹 (126) 에서의 제 2 서브-대역 (HE2) 에 대한 제 2 조정 파라미터를 결정할 수도 있다.
도 5 의 방법 (500) 은 합성된 고-대역 신호 컴포넌트들 (예를 들어, 서브-대역들의 제 3 그룹 (126)) 과 원래의 고-대역 신호 컴포넌트들 (예를 들어, 서브-대역들의 제 2 그룹 (124)) 사이의 상관도를 향상시킬 수도 있다. 예를 들어, 합성된 고-대역 신호 컴포넌트들과 원래의 고-대역 신호 컴포넌트들 사이의 스펙트럼 및 엔벨로프 근사치는 서브-대역 단위로 서브-대역들의 제 2 그룹 (124) 의 메트릭들을 서브-대역들의 제 3 그룹 (126) 의 메트릭들과 비교함으로써 "보다 미세한" 레벨에서 수행될 수도 있다. 서브-대역들의 제 3 그룹 (126) 은 비교에서 기인하는 조정 파라미터들에 기초하여 조정될 수도 있고, 조정 파라미터들은 디코더로 송신되어 입력 오디오 신호 (102) 의 고-대역 복원 중에 가청 아티팩트들을 감소시킬 수도 있다.
도 6 을 참조하면, 조정 파라미터들을 이용하여 오디오 신호를 복원하는 방법 (600) 의 특정 실시형태의 플로차트가 도시된다. 예시적인 예로서, 방법 (600) 은 도 4 의 시스템 (400) 에 의해 수행될 수도 있다.
방법 (600) 은, 602 에서, 스피치 인코더로부터 수신된 저-대역 여기 신호에 기초하여 고조파 확장된 신호를 생성하는 단계를 포함한다. 예를 들어, 도 4 를 참조하면, 저-대역 여기 신호 (444) 는 비선형 변환 생성기 (490) 에 제공되어 저-대역 여기 신호 (444) 에 기초하여 고조파 확장된 신호 (414) (예를 들어, 비-선형 여기 신호) 를 생성할 수도 있다.
고-대역 여기 서브-대역들의 그룹은, 606 에서, 고조파 확장된 신호에 적어도 부분적으로 기초하여 생성될 수도 있다. 예를 들어, 도 4 를 참조하면, 잡음 결합기 (406) 는 도 4 에 대해 설명된 바와 같은 대역들 사이의 피치 지연, 적응 코드북 이득, 및/또는 피치 상관도에 기초하여 믹싱 팩터를 결정할 수도 있거나, 인코더 (예를 들어, 도 1 내지 도 3 의 시스템들 (100 내지 300)) 에서 생성된 믹싱 팩터를 포함하는 고-대역 부가 정보 (172) 를 수신할 수도 있다. 잡음 결합기 (406) 는 변환 저-대역 여기 신호 (414) 를 변조된 잡음과 믹싱하여 믹싱 팩터에 기초해 고-대역 여기 신호 (416) (예를 들어, 도 2 의 고-대역 여기 신호 (216) 의 복원된 버전) 를 생성할 수도 있다. 분석 필터 뱅크 (492) 는 고-대역 여기 신호 (416) 를 고-대역 여기 서브-대역들의 그룹 (426) (예를 들어, 도 1 내지 도 3 의 서브-대역들의 제 3 그룹 (126) 의 제 2 그룹의 복원된 버전) 으로 필터링 (예를 들어, 스플릿) 할 수도 있다.
고-대역 여기 서브-대역들의 그룹은, 608 에서, 스피치 인코더로부터 수신된 조정 파라미터들에 기초하여 조정될 수도 있다. 예를 들어, 도 4 를 참조하면, 각각의 조정기 (494a-494c) 는 고-대역 부가 정보 (172) 와 같은 도 1 의 파라미터 추정기들 (194) 에 의해 생성된 대응하는 조정 파라미터를 수신할 수도 있다. 각각의 조정기 (494a-494c) 는 또한 고-대역 여기 서브-대역들의 그룹 (426) 의 대응하는 서브-대역을 수신할 수도 있다. 조정기들 (494a-494c) 은 조정 파라미터들에 기초하여 고-대역 여기 서브-대역들의 조정된 그룹 (424) 을 생성할 수도 있다. 고-대역 여기 서브-대역들의 조정된 그룹 (424) 은 추가적인 프로세싱 (예를 들어, 이득 형상 조정 프로세싱, 위상 조정 프로세싱 등) 을 위해 시스템 (400) 의 다른 컴포넌트 (미도시) 에 제공되어 도 1 내지 도 3 의 서브-대역들의 제 2 그룹 (124) 을 복원할 수도 있다.
도 6 의 방법 (600) 은 도 1 의 저-대역 비트 스트림 (142) 및 조정 파라미터들 (예를 들어, 도 1 의 고-대역 부가 정보 (172)) 을 이용하여 서브-대역들의 제 2 그룹 (124) 을 복원할 수도 있다. 조정 파라미터들을 이용하는 것은 서브-대역 단위로 고-대역 여기 신호 (416) 의 조정을 수행함으로써 복원의 정확도를 향상시킬 수도 있다 (예를 들어, 미세하게 튜닝된 복원물을 생성할 수도 있다).
특정 실시형태들에서, 도 5 및 도 6 의 방법들 (500, 600) 은 중앙 프로세싱 유닛 (central processing unit; CPU), DSP, 또는 제어기와 같은 프로세싱 유닛의 하드웨어 (예를 들어, FPGA 디바이스, ASIC 등) 를 통해, 펌웨어 디바이스를 통해, 또는 이들의 임의의 조합으로 구현될 수도 있다. 일 예로서, 도 5 및 도 6 의 방법들 (500, 600) 은, 도 7 에 대해 설명된 바와 같은, 명령들을 실행하는 프로세서에 의해 수행될 수 있다.
도 7 을 참조하면, 무선 통신 디바이스의 특정 예시적인 실시형태의 블록도가 도시되고 일반적으로 700 으로 지정된다. 디바이스 (700) 는 메모리 (732) 에 연결된 프로세서 (710) (예를 들어, CPU) 를 포함한다. 메모리 (732) 는, 도 5 및 도 6 의 방법들 (500, 600) 중 하나 또는 양자 모두와 같이, 본원에 개시된 방법들 및 프로세스들을 수행하도록 프로세서 (710) 및/또는 코덱 (734) 에 의해 실행가능한 명령들 (760) 을 포함할 수도 있다.
특정 실시형태에서, 코덱 (734) 은 인코딩 시스템 (782) 및 디코딩 시스템 (784) 을 포함할 수도 있다. 특정 실시형태에서, 인코딩 시스템 (782) 은 도 1 내지 도 3 의 시스템들 (100 내지 300) 의 하나 이상의 컴포넌트들을 포함한다. 예를 들어, 인코딩 시스템 (782) 은 도 1 내지 도 3 의 시스템들 (100 내지 300) 과 연관된 인코딩 동작들 및 도 5 의 방법 (500) 을 수행할 수도 있다. 특정 실시형태에서, 디코딩 시스템 (784) 은 도 4 의 시스템 (400) 의 하나 이상의 컴포넌트들을 포함한다. 예를 들어, 디코딩 시스템 (784) 은 도 4 의 시스템 (400) 및 도 6 의 방법 (600) 과 연관된 디코딩 동작들을 수행할 수도 있다.
인코딩 시스템 (782) 및/또는 디코딩 시스템 (784) 은 전용 하드웨어 (예를 들어, 회로부) 를 통해, 하나 이상의 태스크들을 수행하는 명령들을 실행하는 프로세서에 의해, 또는 이들의 조합으로 구현될 수도 있다. 예로서, 코덱 (734) 에서의 메모리 (732) 또는 메모리 (790) 는 랜덤 액세스 메모리 (RAM), 자기저항 랜덤 액세스 메모리 (MRAM), 스핀-토크 전송 MRAM (STT-MRAM), 플래시 메모리, 판독-전용 메모리 (ROM), 프로그램가능 판독-전용 메모리 (PROM), 소거가능한 프로그램가능 판독-전용 메모리 (EPROM), 전기적으로 소거가능한 프로그램가능 판독-전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 제거가능한 디스크, 또는 컴팩트 디스크 판독-전용 메모리 (CD-ROM) 와 같은 메모리 디바이스일 수도 있다. 메모리 디바이스는, 컴퓨터 (예를 들어, 코덱 (734) 에서의 프로세서 및/또는 프로세서 (710)) 에 의해 실행되는 경우, 컴퓨터로 하여금, 도 5 및 도 6 의 방법들 (500, 600) 중 하나의 적어도 일부분을 수행하게 하는 명령들 (예를 들어, 명령들 (760) 또는 명령들 (785)) 을 포함할 수도 있다. 예로서, 코덱 (734) 에서의 메모리 (732) 또는 메모리 (790) 는, 컴퓨터 (예를 들어, 코덱 (734) 에서의 프로세서 및/또는 프로세서 (710)) 에 의해 실행되는 경우, 컴퓨터로 하여금, 도 5 및 도 6 의 방법들 (500, 600) 중 하나의 적어도 일부분을 수행하게 하는 명령들 (예를 들어, 각각, 명령들 (760) 또는 명령들 (795)) 을 포함하는 비일시적 컴퓨터-판독가능 매체일 수도 있다.
디바이스 (700) 는 또한 코덱 (734) 및 프로세서 (710) 에 연결된 DSP (796) 를 포함할 수도 있다. 특정 실시형태에서, DSP (796) 는 인코딩 시스템 (797) 및 디코딩 시스템 (798) 을 포함할 수도 있다. 특정 실시형태에서, 인코딩 시스템 (797) 은 도 1 내지 도 3 의 시스템들 (100 내지 300) 의 하나 이상의 컴포넌트들을 포함한다. 예를 들어, 인코딩 시스템 (797) 은 도 1 내지 도 3 의 시스템들 (100 내지 300) 과 연관된 인코딩 동작들 및 도 5 의 방법 (500) 을 수행할 수도 있다. 특정 실시형태에서, 디코딩 시스템 (798) 은 도 4 의 시스템 (400) 의 하나 이상의 컴포넌트들을 포함할 수도 있다. 예를 들어, 디코딩 시스템 (798) 은 도 4 의 시스템 (400) 및 도 6 의 방법 (600) 과 연관된 디코딩 동작들을 수행할 수도 있다.
도 7 은 또한 프로세서 (710) 및 디스플레이 (728) 에 연결된 디스플레이 제어기 (726) 를 도시한다. 코덱 (734) 은, 도시된 바와 같이, 프로세서 (710) 에 연결될 수도 있다. 스피커 (736) 및 마이크 (738) 가 코덱 (734) 에 연결될 수 있다. 예를 들어, 마이크로폰 (734) 은 도 1 의 입력 오디오 신호 (102) 를 생성할 수도 있고, 코덱 (734) 은 입력 오디오 신호 (102) 에 기초하여 수신기로의 송신을 위한 출력 비트 스트림 (199) 을 생성할 수도 있다. 예를 들어, 출력 비트 스트림 (199) 은 프로세서 (710), 무선 제어기 (740), 및 안테나 (742) 를 통해 수신기에 송신될 수도 있다. 다른 예로서, 스피커 (736) 는 도 1 의 출력 비트 스트림 (199) 으로부터 코덱 (734) 에 의해 복원된 신호를 출력하는데 이용될 수도 있으며, 출력 비트 스트림 (199) 은 송신기로부터 (예를 들어, 무선 제어기 (740) 및 안테나 (742) 를 통해) 수신된다.
특정 실시형태에 있어서, 프로세서 (710), 디스플레이 제어기 (726), 메모리 (732), 코덱 (734), 및 무선 제어기 (740) 는 시스템-인-패키지 또는 시스템-온-칩 디바이스 (예를 들어, 이동국 모뎀 (MSM)) (722) 에 포함된다. 특정 실시형태에서, 터치스크린 및/또는 키패드와 같은 입력 디바이스 (730), 및 전력 공급기 (744) 는 시스템-온-칩 디바이스 (722) 에 연결된다. 또한, 특정 실시형태에서, 도 7 에 도시된 바와 같이, 디스플레이 (728), 입력 디바이스 (730), 스피커 (736), 마이크로폰 (738), 무선 안테나 (742), 및 전력 공급기 (744) 는 시스템-온-칩 디바이스 (722) 의 외부에 있다. 그러나, 디스플레이 (728), 입력 디바이스 (730), 스피커 (736), 마이크 (738), 안테나 (742), 및 전원 공급기 (744) 의 각각은 인터페이스 또는 제어기와 같은 시스템 온 칩 디바이스 (722) 의 컴포넌트에 연결될 수 있다.
설명된 실시형태들과 연계하여, 제 1 장치는 오디오 신호를 제 1 주파수 범위 내의 서브-대역들의 제 1 그룹 및 제 2 주파수 범위 내의 서브-대역들의 제 2 그룹으로 필터링하는 수단을 포함하는 것으로 개시된다. 예를 들어, 오디오 신호를 필터링하는 수단은 도 1 내지 도 3 의 제 1 분석 필터 뱅크 (110), 도 7 의 인코딩 시스템 (782), 도 7 의 인코딩 시스템 (797), 오디오 신호를 필터링하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
제 1 장치는 또한 서브-대역들의 제 1 그룹에 기초하여 고조파 확장된 신호를 생성하는 수단을 포함할 수도 있다. 예를 들어, 고조파 확장된 신호를 생성하는 수단은 도 1 의 저-대역 분석 모듈 (130) 및 그것의 컴포넌트들, 도 1 내지 도 3 의 비-선형 변환 생성기 (190), 도 2 및 도 3 의 합성 필터 뱅크 (202), 도 2 및 도 3 의 저-대역 코더 (204), 도 7 의 인코딩 시스템 (782), 도 7 의 인코딩 시스템 (797), 고조파 확장된 신호를 생성하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
제 1 장치는 고조파 확장된 신호에 적어도 부분적으로 기초하여 서브-대역들의 제 3 그룹을 생성하는 수단을 또한 포함할 수도 있다. 예를 들어, 서브-대역들의 제 3 그룹을 생성하는 수단은 도 1 의 고-대역 분석 모듈 (150) 및 그것의 컴포넌트들, 도 1 내지 도 3 의 제 2 분석 필터 뱅크 (192), 도 2 의 잡음 결합기 (206), 도 3 의 잡음 결합기들 (306a-306c), 도 7 의 인코딩 시스템 (782), 서브-대역들의 제 3 그룹을 생성하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
제 1 장치는 또한 서브-대역들의 제 3 그룹에서의 제 1 서브-대역에 대한 제 1 조정 파라미터 또는 서브-대역들의 제 3 그룹에서의 제 2 서브-대역에 대한 제 2 조정 파라미터를 결정하는 수단을 포함할 수도 있다. 예를 들어, 제 1 및 제 2 조정 파라미터들을 결정하는 수단은 도 1 의 파라미터 추정기들 (194), 도 2 의 파라미터 추정기들 (294a-294c), 도 7 의 인코딩 시스템 (782), 도 7 의 인코딩 시스템 (797), 제 1 및 제 2 조정 파라미터들을 결정하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
설명된 실시형태들과 연계하여, 제 2 장치는 스피치 인코더로부터 수신된 저-대역 여기 신호에 기초하여 고조파 확장된 신호를 생성하는 수단을 포함하는 것으로 개시된다. 예를 들어, 고조파 확장된 신호를 생성하는 수단은 도 4 의 비-선형 변환 생성기 (490), 도 7 의 디코딩 시스템 (784), 도 7 의 디코딩 시스템 (798), 고조파 확장된 신호를 생성하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
제 2 장치는 또한 고조파 확장된 신호에 적어도 부분적으로 기초하여 고-대역 여기 서브-대역들의 그룹을 생성하는 수단을 포함할 수도 있다. 예를 들어, 고-대역 여기 서브-대역들의 그룹을 생성하는 수단은 도 4 의 잡음 결합기 (406), 도 4 의 분석 필터 뱅크 (492), 도 7 의 디코딩 시스템 (784), 도 7 의 디코딩 시스템 (798), 고-대역 여기 신호들의 그룹을 생성하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
제 2 장치는 또한 스피치 인코더로부터 수신된 조정 파라미터들에 기초하여 고-대역 여기 서브-대역들의 그룹을 조정하는 수단을 포함할 수도 있다. 예를 들어, 고-대역 여기 서브-대역들의 그룹을 조정하는 수단은 도 4 의 조정기들 (494a-494c), 도 7 의 디코딩 시스템 (784), 도 7 의 디코딩 시스템 (798), 고-대역 여기 서브-대역들의 그룹을 조정하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
당업자는 본 명세서에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 구성들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 하드웨어 프로세서와 같은 프로세싱 디바이스에 의해 실행되는 컴퓨터 소프트웨어, 또는 이들 양자의 조합들로서 구현될 수도 있음을 추가로 인식할 것이다. 다양한 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들은 그 기능성의 면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 특정 애플리케이션 및 설계 제약들에 의존한다. 당업자들은 각각의 특정 애플리케이션들에 대해 다양한 방식들로 설명된 기능들을 구현할 수도 있으나, 이러한 구현 결정들이 본 개시물의 범위로부터 벗어나도록 하는 것으로 해석되어서는 안된다.
본원에서 개시된 실시형태들과 연계하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM)), 자기저항 랜덤 액세스 메모리 (MRAM), 스핀-토크 전송 MRAM (STT-MRAM), 플래시 메모리, 판독-전용 메모리 (ROM), 프로그램가능 판독-전용 메모리 (PROM), 소거가능한 프로그램가능 판독-전용 메모리 (EPROM), 전기적으로 소거가능한 프로그램가능 판독-전용 메모리 (EEPROM), 레지스터들, 하드 디스크, 제거가능한 디스크, 또는 컴팩트 디스크 판독-전용 메모리 (CD-ROM) 와 같은 메모리 디바이스에 있을 수도 있다. 예시적인 메모리 디바이스는 프로세서가 메모리 디바이스로부터 정보를 판독하고 메모리 디바이스에 정보를 기록할 수 있도록 프로세서에 연결된다. 대안에서, 메모리 디바이스는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 있을 수도 있다. ASIC 는 컴퓨팅 디바이스 또는 사용자 단말 내에 있을 수도 있다. 대안에서, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에 별개의 컴포넌트들로서 있을 수도 있다.
개시된 실시형태에 대한 앞서의 설명은 임의의 당업자가 개시된 실시형태들을 실시하거나 이용하는 것을 가능하게 하기 위해 제공된다. 이러한 실시형태들에 대한 다양한 수정예들이 당업자들에게는 자명할 것이고, 본원에서 정의된 일반적인 원칙들은 본 개시물의 범위를 벗어나지 않으면서 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 본원에서 보여진 예시적인 실시형태들로 제한되도록 의도된 것이 아니고, 다음의 청구항들에 의해 정의된 원리들 및 신규한 특징들과 일치하는 가능한 가장 넓은 범위를 따르고자 한다.

Claims (10)

  1. 스피치 인코더에서, 오디오 신호를 제 1 주파수 범위 내의 제 1 그룹의 서브-대역 신호들 (L1, L2,…, LM) 과 제 2 주파수 범위 내의 제 2 그룹의 서브-대역 신호들 (H1, H2,…, HN) 로 필터링하는 단계;
    선형 예측 분석을 수행하여 상기 제 2 그룹의 서브-대역들에서의 제 1 서브-대역 (H1) 의 제 1 잔차 신호를 생성하는 단계;
    선형 예측 분석을 수행하여 상기 제 2 그룹의 서브-대역들에서의 제 2 서브-대역 (H2) 의 제 2 잔차 신호를 생성하는 단계;
    저-대역 신호를 생성하도록 상기 제 1 그룹의 서브-대역 신호들을 결합하고, 저-대역 여기 신호를 생성하도록 상기 저-대역 신호를 양자화하는 단계;
    상기 저-대역 여기 신호 및 비-선형 프로세싱 함수에 기초하여 고조파 확장된 신호를 생성하는 단계;
    상기 고조파 확장된 신호에 적어도 부분적으로 기초하여 제 3 그룹의 서브-대역 신호들 (HE1, HE2,…, HEN) 을 생성하는 단계로서, 상기 제 3 그룹의 서브-대역들은 상기 제 2 그룹의 서브-대역들에 대응하는, 상기 제 3 그룹의 서브-대역 신호들을 생성하는 단계; 및
    상기 제 3 그룹의 서브-대역 신호들에서의 제 1 서브-대역 신호 (HE1) 에 대한 제 1 조정 파라미터 및 상기 제 3 그룹의 서브-대역 신호들에서의 제 2 서브-대역 신호 (HE2) 에 대한 제 2 조정 파라미터를 결정하는 단계로서, 상기 제 1 조정 파라미터는 상기 제 3 그룹의 서브-대역 신호들의 상기 제 1 서브-대역 신호 (HE1) 의 에너지와 상기 제 1 잔차 신호의 에너지가 동일하도록 이득을 조정하고, 상기 제 2 조정 파라미터는 상기 제 3 그룹의 서브-대역 신호들의 상기 제 2 서브-대역 신호 (HE2) 의 에너지와 상기 제 2 잔차 신호의 에너지가 동일하도록 이득을 조정하는, 상기 결정하는 단계를 포함하는, 고-대역 신호를 모델링하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 제 1 조정 파라미터 및 상기 제 2 조정 파라미터는 선형 예측 계수 조정 파라미터들에 대응하는, 고-대역 신호를 모델링하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 오디오 신호의 인코딩된 버전으로부터 상기 오디오 신호의 재구성 동안 조정이 가능하도록 상기 제 1 조정 파라미터 및 상기 제 2 조정 파라미터를 상기 오디오 신호의 인코딩된 버전에 삽입하는 단계를 더 포함하는, 고-대역 신호를 모델링하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 제 3 그룹의 서브-대역 신호들을 생성하는 단계는,
    고-대역 여기 신호를 생성하도록 변조된 잡음과 상기 고조파 확장된 신호를 믹싱하는 단계로서, 상기 변조된 잡음과 상기 고조파 확장된 신호는 믹싱 팩터에 기초하는, 상기 고조파 확장된 신호를 믹싱하는 단계; 및
    상기 고-대역 여기 신호를 상기 제 3 그룹의 서브-대역 신호들로 필터링하는 단계를 포함하는, 고-대역 신호를 모델링하기 위한 방법.
  5. 제 4 항에 있어서,
    상기 믹싱 팩터는 피치 지연, 상기 제 1 그룹의 서브-대역 신호들과 연관된 적응 코드북 이득, 또는 상기 제 1 그룹의 서브-대역 신호들과 상기 제 2 그룹의 서브-대역 신호들 사이의 피치 상관도 중 적어도 하나에 기초하여 결정되는, 고-대역 신호를 모델링하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 제 3 그룹의 서브-대역 신호들을 생성하는 단계는,
    상기 고조파 확장된 신호를 복수의 서브-대역 신호들로 필터링하는 단계; 및
    복수의 고-대역 여기 신호들을 생성하도록 변조된 잡음과 상기 복수의 서브-대역 신호들의 서브-대역 신호 각각을 믹싱하는 단계로서, 상기 복수의 고-대역 여기 신호들은 상기 제 3 그룹의 서브-대역 신호들에 대응하는, 상기 서브-대역 신호 각각을 믹싱하는 단계를 포함하는, 고-대역 신호를 모델링하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 변조된 잡음 및 상기 복수의 서브-대역 신호들의 제 1 서브-대역 신호는 제 1 믹싱 팩터에 기초하여 믹싱되고, 상기 변조된 잡음 및 상기 복수의 서브-대역 신호들의 제 2 서브-대역 신호는 제 2 믹싱 팩터에 기초하여 믹싱되는, 고-대역 신호를 모델링하기 위한 방법.
  8. 오디오 신호를 제 1 주파수 범위 내의 제 1 그룹의 서브-대역 신호들 (L1, L2,…, LM) 과 제 2 주파수 범위 내의 제 2 그룹의 서브-대역 신호들 (H1, H2,…, HN) 로 필터링하는 수단;
    선형 예측 분석을 수행하여 상기 제 2 그룹의 서브-대역들에서의 제 1 서브-대역 (H1) 의 제 1 잔차 신호를 생성하는 수단;
    선형 예측 분석을 수행하여 상기 제 2 그룹의 서브-대역들에서의 제 2 서브-대역 (H2) 의 제 2 잔차 신호를 생성하는 수단;
    저-대역 신호를 생성하도록 상기 제 1 그룹의 서브-대역 신호들을 결합하고, 저-대역 여기 신호를 생성하도록 상기 저-대역 신호를 양자화하는 수단;
    상기 저-대역 여기 신호 및 비-선형 프로세싱 함수에 기초하여 고조파 확장된 신호를 생성하는 수단;
    상기 고조파 확장된 신호에 적어도 부분적으로 기초하여 제 3 그룹의 서브-대역 신호들 (HE1, HE2,…, HEN) 을 생성하는 수단으로서, 상기 제 3 그룹의 서브-대역들은 상기 제 2 그룹의 서브-대역들에 대응하는, 상기 제 3 그룹의 서브-대역 신호들을 생성하는 수단; 및
    상기 제 3 그룹의 서브-대역 신호들에서의 제 1 서브-대역 신호에 대한 제 1 조정 파라미터 및 상기 제 3 그룹의 서브-대역 신호들에서의 제 2 서브-대역 신호 에 대한 제 2 조정 파라미터를 결정하는 수단으로서, 상기 제 1 조정 파라미터는 상기 제 3 그룹의 서브-대역 신호들의 상기 제 1 서브-대역 신호의 에너지와 상기 제 1 잔차 신호의 에너지가 동일하도록 이득을 조정하고, 상기 제 2 조정 파라미터는 상기 제 3 그룹의 서브-대역 신호들의 상기 제 2 서브-대역 신호의 에너지와 상기 제 2 잔차 신호의 에너지가 동일하도록 이득을 조정하는, 상기 결정하는 수단을 포함하는, 고-대역 신호를 모델링하기 위한 장치.
  9. 제 8 항에 있어서,
    상기 제 1 조정 파라미터 및 상기 제 2 조정 파라미터는 선형 예측 계수 조정 파라미터들에 대응하는, 고-대역 신호를 모델링하기 위한 장치.
  10. 스피치 인코더에서 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금 제 1 항 내지 제 7항 중 어느 한 항에 기재된 방법을 실행하게 하는, 명령들을 포함하는, 비-일시적 컴퓨터 판독가능 매체.
KR1020217029315A 2013-12-16 2014-12-15 고-대역 신호 모델링 KR102424755B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361916697P 2013-12-16 2013-12-16
US61/916,697 2013-12-16
US14/568,359 2014-12-12
US14/568,359 US10163447B2 (en) 2013-12-16 2014-12-12 High-band signal modeling
KR1020167016998A KR102304152B1 (ko) 2013-12-16 2014-12-15 고-대역 신호 모델링
PCT/US2014/070268 WO2015095008A1 (en) 2013-12-16 2014-12-15 High-band signal modeling

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167016998A Division KR102304152B1 (ko) 2013-12-16 2014-12-15 고-대역 신호 모델링

Publications (2)

Publication Number Publication Date
KR20210116698A KR20210116698A (ko) 2021-09-27
KR102424755B1 true KR102424755B1 (ko) 2022-07-22

Family

ID=53369248

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167016998A KR102304152B1 (ko) 2013-12-16 2014-12-15 고-대역 신호 모델링
KR1020217029315A KR102424755B1 (ko) 2013-12-16 2014-12-15 고-대역 신호 모델링

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167016998A KR102304152B1 (ko) 2013-12-16 2014-12-15 고-대역 신호 모델링

Country Status (9)

Country Link
US (1) US10163447B2 (ko)
EP (2) EP3471098B1 (ko)
JP (1) JP6526704B2 (ko)
KR (2) KR102304152B1 (ko)
CN (2) CN105830153B (ko)
BR (1) BR112016013771B1 (ko)
CA (1) CA2929564C (ko)
ES (1) ES2844231T3 (ko)
WO (1) WO2015095008A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3008533A1 (fr) 2013-07-12 2015-01-16 Orange Facteur d'echelle optimise pour l'extension de bande de frequence dans un decodeur de signaux audiofrequences
CN105761723B (zh) * 2013-09-26 2019-01-15 华为技术有限公司 一种高频激励信号预测方法及装置
US10163447B2 (en) * 2013-12-16 2018-12-25 Qualcomm Incorporated High-band signal modeling
US9984699B2 (en) 2014-06-26 2018-05-29 Qualcomm Incorporated High-band signal coding using mismatched frequency ranges
CN106328153B (zh) * 2016-08-24 2020-05-08 青岛歌尔声学科技有限公司 电子通信设备语音信号处理系统、方法和电子通信设备
US10362423B2 (en) * 2016-10-13 2019-07-23 Qualcomm Incorporated Parametric audio decoding
DE102017105043A1 (de) * 2017-03-09 2018-09-13 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen eines Funktionszustands eines Ultraschallsensors mittels einer Übertragungsfunktion des Ultraschallsensors, Ultraschallsensorvorrichtung sowie Kraftfahrzeug
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
EP3576088A1 (en) * 2018-05-30 2019-12-04 Fraunhofer Gesellschaft zur Förderung der Angewand Audio similarity evaluator, audio encoder, methods and computer program
GB2576769A (en) * 2018-08-31 2020-03-04 Nokia Technologies Oy Spatial parameter signalling
CN113192521A (zh) * 2020-01-13 2021-07-30 华为技术有限公司 一种音频编解码方法和音频编解码设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080120117A1 (en) 2006-11-17 2008-05-22 Samsung Electronics Co., Ltd. Method, medium, and apparatus with bandwidth extension encoding and/or decoding

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62234435A (ja) * 1986-04-04 1987-10-14 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化音声の復号化方式
US6141638A (en) 1998-05-28 2000-10-31 Motorola, Inc. Method and apparatus for coding an information signal
US7117146B2 (en) 1998-08-24 2006-10-03 Mindspeed Technologies, Inc. System for improved use of pitch enhancement with subcodebooks
US7272556B1 (en) 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
GB2342829B (en) 1998-10-13 2003-03-26 Nokia Mobile Phones Ltd Postfilter
CA2252170A1 (en) 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
US6449313B1 (en) 1999-04-28 2002-09-10 Lucent Technologies Inc. Shaped fixed codebook search for celp speech coding
US6704701B1 (en) 1999-07-02 2004-03-09 Mindspeed Technologies, Inc. Bi-directional pitch enhancement in speech coding systems
AU2001241475A1 (en) 2000-02-11 2001-08-20 Comsat Corporation Background noise reduction in sinusoidal based speech coding systems
US6760698B2 (en) 2000-09-15 2004-07-06 Mindspeed Technologies Inc. System for coding speech information using an adaptive codebook with enhanced variable resolution scheme
AU2001287970A1 (en) 2000-09-15 2002-03-26 Conexant Systems, Inc. Short-term enhancement in celp speech coding
US6766289B2 (en) 2001-06-04 2004-07-20 Qualcomm Incorporated Fast code-vector searching
JP3457293B2 (ja) 2001-06-06 2003-10-14 三菱電機株式会社 雑音抑圧装置及び雑音抑圧方法
US6993207B1 (en) 2001-10-05 2006-01-31 Micron Technology, Inc. Method and apparatus for electronic image processing
US7146313B2 (en) 2001-12-14 2006-12-05 Microsoft Corporation Techniques for measurement of perceptual audio quality
US7047188B2 (en) 2002-11-08 2006-05-16 Motorola, Inc. Method and apparatus for improvement coding of the subframe gain in a speech coding system
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
US7788091B2 (en) 2004-09-22 2010-08-31 Texas Instruments Incorporated Methods, devices and systems for improved pitch enhancement and autocorrelation in voice codecs
JP2006197391A (ja) 2005-01-14 2006-07-27 Toshiba Corp 音声ミクシング処理装置及び音声ミクシング処理方法
US20070147518A1 (en) * 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
CA2603255C (en) * 2005-04-01 2015-06-23 Qualcomm Incorporated Systems, methods, and apparatus for wideband speech coding
ES2358125T3 (es) * 2005-04-01 2011-05-05 Qualcomm Incorporated Procedimiento y aparato para un filtrado de antidispersión de una señal ensanchada de excitación de predicción de velocidad de ancho de banda.
US8280730B2 (en) 2005-05-25 2012-10-02 Motorola Mobility Llc Method and apparatus of increasing speech intelligibility in noisy environments
DE102005032724B4 (de) * 2005-07-13 2009-10-08 Siemens Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
US8612216B2 (en) * 2006-01-31 2013-12-17 Siemens Enterprise Communications Gmbh & Co. Kg Method and arrangements for audio signal encoding
DE102006022346B4 (de) 2006-05-12 2008-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalcodierung
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US8682652B2 (en) 2006-06-30 2014-03-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
US8135047B2 (en) * 2006-07-31 2012-03-13 Qualcomm Incorporated Systems and methods for including an identifier with a packet associated with a speech signal
US9454974B2 (en) * 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
US9009032B2 (en) 2006-11-09 2015-04-14 Broadcom Corporation Method and system for performing sample rate conversion
KR101375582B1 (ko) * 2006-11-17 2014-03-20 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
KR101565919B1 (ko) * 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
CN100487790C (zh) * 2006-11-21 2009-05-13 华为技术有限公司 选择自适应码本激励信号的方法和装置
US20100332223A1 (en) 2006-12-13 2010-12-30 Panasonic Corporation Audio decoding device and power adjusting method
US20080208575A1 (en) 2007-02-27 2008-08-28 Nokia Corporation Split-band encoding and decoding of an audio signal
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
US8484020B2 (en) 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
JP5812998B2 (ja) 2009-11-19 2015-11-17 テレフオンアクチーボラゲット エル エム エリクソン(パブル) オーディオコーデックにおけるラウドネスおよびシャープネスの補償のための方法および装置
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
CA2792011C (en) * 2010-07-19 2016-04-26 Dolby International Ab Processing of audio signals during high frequency reconstruction
SG10201506914PA (en) * 2010-09-16 2015-10-29 Dolby Int Ab Cross product enhanced subband block based harmonic transposition
US8738385B2 (en) 2010-10-20 2014-05-27 Broadcom Corporation Pitch-based pre-filtering and post-filtering for compression of audio signals
EP2710590B1 (en) 2011-05-16 2015-10-07 Google, Inc. Super-wideband noise supression
CN102802112B (zh) 2011-05-24 2014-08-13 鸿富锦精密工业(深圳)有限公司 具有音频文件格式转换功能的电子装置
US10083708B2 (en) * 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal
US10163447B2 (en) * 2013-12-16 2018-12-25 Qualcomm Incorporated High-band signal modeling

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080120117A1 (en) 2006-11-17 2008-05-22 Samsung Electronics Co., Ltd. Method, medium, and apparatus with bandwidth extension encoding and/or decoding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KRISHNAN, Venkatesh, et al. EVRC-Wideband: the new 3GPP2 wideband vocoder standard. IEEE International Conference on Acoustics, Speech and Signal Processing, 2007.04.15.*

Also Published As

Publication number Publication date
BR112016013771B1 (pt) 2021-12-21
EP3471098B1 (en) 2020-10-14
US10163447B2 (en) 2018-12-25
ES2844231T3 (es) 2021-07-21
CA2929564A1 (en) 2015-06-25
KR102304152B1 (ko) 2021-09-17
CN111583955A (zh) 2020-08-25
CA2929564C (en) 2022-10-04
CN111583955B (zh) 2023-09-19
JP2016541032A (ja) 2016-12-28
CN105830153B (zh) 2020-05-22
US20150170662A1 (en) 2015-06-18
KR20160098285A (ko) 2016-08-18
CN105830153A (zh) 2016-08-03
JP6526704B2 (ja) 2019-06-05
EP3084762A1 (en) 2016-10-26
WO2015095008A1 (en) 2015-06-25
BR112016013771A2 (pt) 2017-08-08
KR20210116698A (ko) 2021-09-27
EP3471098A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
KR102424755B1 (ko) 고-대역 신호 모델링
US9858941B2 (en) Selective phase compensation in high band coding of an audio signal
AU2019203827B2 (en) Estimation of mixing factors to generate high-band excitation signal
JP2016541032A5 (ko)
US9601125B2 (en) Systems and methods of performing noise modulation and gain adjustment
US20150149157A1 (en) Frequency domain gain shape estimation

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant