KR20160067210A - 고대역 여기 신호를 생성하기 위한 믹싱 팩터들의 추정 - Google Patents

고대역 여기 신호를 생성하기 위한 믹싱 팩터들의 추정 Download PDF

Info

Publication number
KR20160067210A
KR20160067210A KR1020167011467A KR20167011467A KR20160067210A KR 20160067210 A KR20160067210 A KR 20160067210A KR 1020167011467 A KR1020167011467 A KR 1020167011467A KR 20167011467 A KR20167011467 A KR 20167011467A KR 20160067210 A KR20160067210 A KR 20160067210A
Authority
KR
South Korea
Prior art keywords
signal
highband
mixing factor
band
excitation signal
Prior art date
Application number
KR1020167011467A
Other languages
English (en)
Other versions
KR101941755B1 (ko
Inventor
벤카트라만 에스 아티
벤카테쉬 크리쉬난
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160067210A publication Critical patent/KR20160067210A/ko
Application granted granted Critical
Publication of KR101941755B1 publication Critical patent/KR101941755B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208Subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
  • Amplitude Modulation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

방법은 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하는 단계를 포함한다. 그 방법은 또한, 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하는 단계를 포함한다. 그 방법은 또한, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하는 단계를 더 포함한다. 변조된 노이즈는 조화 확장된 신호 및 화이트 노이즈에 적어도 부분적으로 기초한다.

Description

고대역 여기 신호를 생성하기 위한 믹싱 팩터들의 추정{ESTIMATION OF MIXING FACTORS TO GENERATE HIGH-BAND EXCITATION SIGNAL}
우선권 주장
본 출원은 2013년 10월 11일자로 출원되고 발명의 명칭이 “ESTIMATION OF MIXING FACTORS TO GENERATE HIGH-BAND EXCITATION SIGNAL” 인 미국 특 허 가출원 61/889,727 및 2014년 10월 8일자로 출원되고 발명의 명칭이 “ESTIMATION OF MIXING FACTORS TO GENERATE HIGH-BAND EXCITATION SIGNAL” 인 미국 정규 특허 출원 14/509,676 에 대한 우선권을 주장하고, 이들의 내용들은 참조에 의해 전부 본원에 원용된다.
분야
본 개시는 일반적으로 신호 프로세싱에 관한 것이다.
기술 진보의 결과로 컴퓨팅 디바이스들은 더 작고 더 강력해졌다. 예를 들어, 현재, 작고, 경량이며 사용자에 의해 용이하게 운반되는, 휴대 무선 전화기, PDA (personal digital assistant), 및 페이징 디바이스들과 같은 무선 컴퓨팅 디바이스들을 포함한, 다양한 휴대 개인 컴퓨팅 디바이스들이 존재한다. 더 상세하게는, 휴대 무선 전화기, 이를테면 셀룰러 전화기 및 IP (Internet Protocol) 전화기는 무선 네트워크 상에서 음성 및 데이터 패킷들을 통신할 수 있다. 또한, 많은 그러한 무선 전화기들은, 내부에 포함되는 다른 타입의 디바이스들을 포함한다. 예를 들면, 무선 전화기는 또한 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 플레이어를 포함할 수 있다.
전통적인 전화 시스템들 (예를 들어, 공중 교환 전화망 (PSTN)) 에서, 신호 대역폭은 300 헤르쯔 (Hz) 내지 3.4 킬로헤르쯔 (kHz) 의 주파수 범위로 제한된다. 셀룰러 전화 및 VoIP (voice over internet protocol) 와 같은 광대역 (WB) 애플리케이션들에서, 신호 대역폭은 50 Hz 내지 7 kHz 의 주파수 범위에 걸칠 수도 있다. 초광대역 (SWB) 코딩 기법들은 약 16 kHz 에 이르기 까지 확장되는 대역폭을 지원한다. 3.4 kHz 에서의 협대역 전화로부터 16 kHz 의 SWB 전화로 신호 대역폭을 확장시키는 것은 신호 복원의 품질, 양해도 (intelligibility), 및 자연성 (naturalness) 을 향상시킬 수도 있다.
SWB 코딩 기법들은 통상적으로 신호의 저 주파수 부분 (예를 들어, "저대역" (low-band) 으로도 불리는, 50 Hz 내지 7 kHz) 를 인코딩 및 송신하는 것을 수반한다. 예를 들어, 저대역은 필터 파라미터들 및/또는 저대역 여기 신호 (low-band excitation signal) 를 사용하여 표현될 수도 있다. 하지만, 코딩 효율을 향상시키기 위하여, 신호의 보다 높은 주파수 부분 (예를 들어, "고대역" (high-band) 으로도 불리는, 7 kHz 내지 16 kHz) 은 전체적으로 인코딩 및 송신되지 않을 수도 있다. 그 대신에, 수신기는 고대역을 예측하기 위하여 신호 모델링을 이용할 수도 있다. 일부 구현들에서, 고대역과 연관된 데이터가 예측를 돕기 위하여 수신기에 제공될 수도 있다. 그러한 데이터는 "사이드 정보" (side information) 로 지칭될 수도 있고, 서브프레임들간의 진전을 매끄럽게하기 위한 믹싱 팩터 (mixing factor), 이득 정보, 라인 스펙트럼 주파수들 (라인 스펙트럼 페어 (LSP) 으로도 지칭되는 LSF) 등을 포함할 수도 있다. 신호 모델을 이용한 고대역 예측은, 저대역 신호가 고대역 신호에 충분히 상관되어 있을 때 받아드릴 수 있게 정확할 수도 있다. 하지만, 노이즈의 존재시, 저대역과 고대역 사이의 상관은 약할 수도 있고, 신호 모델은 더이상 고대역을 정확하게 나타내는 것이 가능하지 않을 수도 있다. 이것은 수신기에서 아티팩트 (예를 들어, 왜곡된 스피치) 를 초래할 수도 있다.
개요
폐루프 (closed-loop) 분석을 이용하여 믹싱 팩터를 추정하는 시스템 및 방법이 개시된다. 고대역 인코딩은 저대역 분석 (예를 들어, 저대역 선형 예측 (LP) 분석) 을 이용하여 생성된 저대역 여기 신호로부터 고대역 여기 신호를 생성하는 것을 수반할 수도 있다. 고대역 여기 신호는 변조된 노이즈 (예를 들어, 화이트 노이즈) 와 조화 확장된 신호 (harmonically extended signal) 를 믹싱하는 것에 의해 생성될 수도 있다. 조화 확장된 신호 및 변조된 노이즈가 믹싱되는 비는 신호 복원 품질 (signal reconstruction quality) 에 영향을 미칠 수도 있다. 배경 노이즈의 존재시, 저대역과 고대역 사이의 상관이 위태로워질 수도 있고 조화 확장된 신호는 고대역 합성에 부적당할 수도 있다. 예를 들어, 고대역 여기 신호는 고대역에 관계 없는 프레임 내의 저대역 변동들에 의해 야기되는 가청 아티팩트 (audible artifact) 들을 도입할 수도 있다. 설명된 기법들에 따르면, 조화 확장된 신호 및 변조된 노이즈가 믹싱되는 비는 고대역을 나타내는 신호 (예를 들어, 고대역 잔여 신호) 에 기초하여 조정될 수도 있다. 예를 들어, 여기에 설명된 기법들은, 조화 확장된 신호 및 변조된 노이즈가 믹싱되는 비를 결정하기 위하여 사용되는 믹싱 팩터의 폐 루프 추정을 가능하게 할 수도 있다. 폐루프 추정은, 고대역 여기 신호와 고대역 잔여 신호 사이의 차이를 감소 (예를 들어, 최소화) 시키며, 이렇게 하여 저대역에서의 변동에 덜 민감하고 고대역을 더 나타내는 고대역 여기 신호를 생성할 수도 있다.
특정 실시형태에서, 방법은, 스피치 인코더에서, 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하는 단계를 포함한다. 그 방법은 또한, 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하는 단계를 포함한다. 그 방법은 또한, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하는 단계를 더 포함한다. 변조된 노이즈는 조화 확장된 신호 및 화이트 노이즈에 적어도 부분적으로 기초한다.
또 다른 특정 실시형태에서, 장치는, 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하기 위한 선형 예측 분석 필터를 포함한다. 그 장치는 또한, 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하기 위한 비선형 변환 생성기를 포함한다. 그 장치는 또한, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하기 위한 믹싱 팩터 계산기를 더 포함한다. 변조된 노이즈는 조화 확장된 신호 및 화이트 노이즈에 적어도 부분적으로 기초한다.
또 다른 특정 실시형태에서, 비일시적 컴퓨터 판독가능 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하게 하는 명령들을 포함한다. 그 명령들은 또한, 프로세서로 하여금, 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하게 하도록 실행가능하다. 그 명령들은 또한, 프로세서로 하여금, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하게 하도록 실행가능하다. 변조된 노이즈는 조화 확장된 신호 및 화이트 노이즈에 적어도 부분적으로 기초한다.
또 다른 특정 실시형태에서, 장치는, 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하는 수단을 포함한다. 그 장치는 또한, 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하는 수단을 포함한다. 그 장치는 또한, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하는 수단을 더 포함한다. 변조된 노이즈는 조화 확장된 신호 및 화이트 노이즈에 적어도 부분적으로 기초한다.
또 다른 특정 실시형태에서, 방법은, 스피치 디코더에서, 저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를 수신하는 단계를 포함한다. 고대역 사이드 정보는, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정되는 믹싱 팩터를 포함한다. 그 방법은 또한, 고대역 사이드 정보 및 저대역 여기 신호에 기초하여 고대역 여기 신호를 생성하는 단계를 포함한다.
또 다른 특정 실시형태에서, 장치는, 저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를 수신하도록 구성된 스피치 디코더를 포함한다. 고대역 사이드 정보는, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정되는 믹싱 팩터를 포함한다. 스피치 디코더는 또한, 고대역 사이드 정보 및 저대역 여기 신호에 기초하여 고대역 여기 신호를 생성하도록 구성된다.
또 다른 특정 실시형태에서, 방법은, 저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를 수신하는 수단을 포함한다. 고대역 사이드 정보는, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정되는 믹싱 팩터를 포함한다. 그 장치는 또한, 고대역 사이드 정보 및 저대역 여기 신호에 기초하여 고대역 여기 신호를 생성하는 수단을 포함한다.
또 다른 특정 실시형태에서, 비일시적 컴퓨터 판독가능 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금 저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를 수신하게 하는 명령들을 포함한다. 고대역 사이드 정보는, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정되는 믹싱 팩터를 포함한다. 명령들은 또한, 프로세서로 하여금 고대역 사이드 정보 및 저대역 여기 신호에 기초하여 고대역 여기 신호를 생성하게 하도록 실행가능하다.
본 개시된 실시형태들 중의 적어도 하나에 의해 제공되는 구체적인 이점들은 고대역으로부터의 특성들에 기초하여 고대역 합성 동안 사용되는 믹싱 팩터들을 동적으로 조정하는 능력을 포함한다. 예를 들어, 고대역 합성 동안 사용되는 고대역 잔여 신호와 고대역 여기 신호 사이의 오차를 감소시키기 위해 폐루프 분석을 사용하여 믹싱 팩터들이 결정될 수도 있다. 본 발명의 다른 양태들, 이점들 및 특징들은 다음 섹션들, 즉 도면의 간단한 설명, 상세한 설명 및 청구항들을 포함하여, 본원 전체를 검토한 후 분명해질 것이다.
도 1은 믹싱 팩터를 추정하도록 동작가능한 시스템의 특정 실시형태를 예시하기 위한 도면이고;
도 2는 고대역 여기 신호를 생성하기 위해 믹싱 팩터를 추정하도록 동작가능한 시스템의 특정 실시형태를 예시하기 위한 도면이고;
도 3은 고대역 여기 신호를 생성하기 위해 폐루프 분석을 이용하여 믹싱 팩터를 추정하도록 동작가능한 시스템의 특정 실시형태를 예시하기 위한 또 다른 도면이고;
도 4는 믹싱 팩터를 이용하여 오디오 신호를 재생하도록 동작가능한 시스템의 특정 실시형태를 예시하기 위한 도면이고;
도 5는 믹싱 팩터를 이용하여 고대역 신호를 재생하기 위한 방법들의 특정 실시형태들을 예시하기 위한 플로우차트를 포함하고;
도 6은 도 1 내지 도 5의 시스템 및 방법들에 따라 신호 프로세싱 동작들을 수행하도록 동작가능한 무선 디바이스의 블록도이다.
상세한 설명
도 1을 참조하면, (예를 들어, 폐루프 분석을 이용하여) 믹싱 팩터를 추정하도록 동작가능한 시스템의 특정 실시형태가 도시되어 있고 일반적으로 100으로 표기된다. 특정 실시형태에서, 시스템 (100) 은 인코딩 시스템 또는 장치내에 (예를 들어, 무선 전화기 또는 코더/디코더 (코덱) 에) 통합될 수도 있다. 다른 특정 실시형태들에서, 시스템 (100) 은 셋톱 박스, 뮤직 플레이어, 비디오 플레이어, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, PDA, 고정 로케이션 데이터 유닛, 또는 컴퓨터 내에 통합될 수도 있다.
다음의 설명에서, 도 1의 시스템 (100) 에 의해 수행되는 다양한 기능들은 어떤 컴포넌트들 또는 모듈들에 의해 수행되는 것으로서 설명된다는 것에 유의해야 한다. 하지만, 컴포넌트들 및 모듈들의 이러한 나눔은 단지 예시를 위한 것이다. 대안의 실시형태에서, 특정 컴포넌트 또는 모듈에 의해 수행되는 기능은 대신에 다수의 컴포넌트들 또는 모듈들 중에서 나누어질 수도 있다. 또한, 대안의 실시형태에서, 도 1의 2개 이상의 컴포넌트들 또는 모듈들은 단일 컴포넌트 또는 모듈내에 통합될 수도 있다. 도 1에 예시된 각각의 컴포넌트 또는 모듈은 하드웨어 (예를 들어, FPGA (field-programmable gate array) 디바이스, ASIC (application-specific integrated circuit), DSP (digital signal processor), 제어기 등), 소프트웨어 (예를 들어, 프로세서에 의해 실행가능한 명령들), 또는 이들의 임의의 조합을 이용하여 구현될 수도 있다.
시스템 (100) 은, 입력 오디오 신호 (102) 를 수신하도록 구성된 분석 필터 뱅크 (110) 를 포함한다. 예를 들어, 입력 오디오 신호 (102) 는 마이크로폰 또는 다른 입력 디바이스에 의해 제공될 수도 있다. 특정 실시형태에서, 입력 오디오 신호 (102) 는 스피치를 포함할 수도 있다. 입력 오디오 신호 (102) 는 대략 50 Hz 내지 대략 16 kHz 인 주파수 범위에서 데이터를 포함하는 SWB 신호일 수도 있다. 분석 필터 뱅크 (110) 는 주파수에 기초하여 다수의 부분들로 입력 오디오 신호 (102) 를 필터링할 수도 있다. 예를 들어, 분석 필터 뱅크 (110) 는 저대역 신호 (122) 및 고대역 신호 (124) 를 생성할 수도 있다. 저대역 신호 (122) 및 고대역 신호 (124) 는 동등한 또는 동등하지 않은 대역폭들을 가질 수도 있고, 중첩되거나 또는 중첩되지 않을 수도 있다. 대안의 실시형태에서, 분석 필터 뱅크 (110) 는 2개보다 많은 출력들을 생성할 수도 있다.
도 1의 예에서, 저대역 신호 (122) 및 고대역 신호 (124) 는 중첩되지 않는 주파수 대역들을 차지한다. 예를 들어, 저대역 신호 (122) 및 고대역 신호 (124) 는 50 Hz - 7 kHz 및 7 kHz - 16 kHz 의 중첩되지 않는 주파수 대역들을 차지할 수도 있다. 대안의 실시형태에서, 저대역 신호 (122) 및 고대역 신호 (124) 는 50 Hz - 8 kHz 및 8 kHz - 16 kHz 의 중첩되지 않는 주파수 대역들을 각각 차지할 수도 있다. 또 다른 대안의 실시형태에서, 저대역 신호 (122) 및 고대역 신호 (124) 는 중첩되고 (예를 들어, 각각, 50 Hz - 8 kHz 과 7 kHz - 16 kHz), 이는 분석 필터 뱅크 (110) 의 저역 필터 및 고역 필터로 하여금 평활 롤오프 (smooth rolloff) 를 갖는 것을 가능하게 할 수도 있으며, 이는 저역 필터 및 고역 필터의 설계를 단순화하고 비용을 감소시킬 수도 있다. 저대역 신호 (122) 및 고대역 신호 (124) 를 중첩시키는 것은 또한, 수신기에서 저대역 및 고대역 신호들의 매끄러운 블렌딩을 가능하게 할 수도 있고, 이는 더 적은 수의 가청 아티팩트들에 귀착될 수도 있다.
도 1의 예는 SWB 신호의 프로세싱을 예시하지만, 이는 단지 예시를 위한 것이라는 점에 유의해야 한다. 대안의 실시형태에서, 입력 오디오 신호 (102) 는 대략 50 Hz 내지 대략 8 kHz 의 주파수 범위를 갖는 WB 신호일 수도 있다. 그러한 실시형태에서, 저대역 신호 (122) 는 대략 50 Hz 내지 대략 6.4 kHz 의 주파수 범위에 대응할 수도 있고, 고대역 신호 (124) 는 대략 6.4 kHz 내지 대략 8 kHz 의 주파수 범위에 대응할 수도 있다.
시스템 (100) 는 저대역 신호 (122) 를 수신하도록 구성된 저대역 분석 모듈 (130) 을 포함할 수도 있다. 특정 실시형태에서, 저대역 분석 모듈 (130) 은 코드 여기 선형 예측 (code excited linear prediction; CELP) 인코더의 일 실시형태를 나타낼 수도 있다. 저대역 분석 모듈 (130) 은 LP 분석 및 코딩 모듈 (132), 선형 예측 계수 (LPC) -LSP 변환 모듈 (134), 및 양자화기 (136) 를 포함할 수도 있다. LSP들은 또한, LSF들로 지칭될 수도 있고, 2개의 용어들 (LSP 및 LSF) 은 여기서 상호교환가능하게 사용될 수도 있다. LP 분석 및 코딩 모듈 (132) 은 LPC 들의 세트로서 저대역 신호 (122) 의 스펙트럼 엔벨로프 (spectral envelope) 를 인코딩할 수도 있다. LPC 들은, 오디오의 각각의 프레임 (예를 들어, 16 kHz 샘플링 레이트에서 320 샘플들에 대응하는, 오디오의 20 밀리초 (ms)), 오디오의 각각의 서브프레임 (예를 들어, 오디오의 5 ms) 또는 이들의 임의의 조합을 위해 생성될 수도 있다. 각각의 프레임 또는 서브프레임을 위해 생성된 LPC 들의 수는, 수행되는 LP 분석의 "차수 (order)" 에 의해 결정될 수도 있다. 특정 실시형태에서, LP 분석 및 코딩 모듈 (132) 은 10 차 LP 분석에 대응하는 11개 LPC 들의 세트를 생성할 수도 있다.
LPC - LSP 변환 모듈 (134) 은 LP 분석 및 코딩 모듈 (132) 에 의해 생성된 LPC 들의 세트를 대응하는 LSP 들의 세트로 (예를 들어, 일 대 일 변환을 이용하여) 변환할 수도 있다. 다르게는, LPC 들의 세트는 대응하는 세트의 파코어 (parcor) 계수들, 로그-면적-비 (log-area-ratio) 값들, 이미턴스 스펙트럼 페어 (ISP), 또는 이미턴스 스펙트럼 주파수들 (ISF) 로 일 대 일 변환될 수도 있다. LPC 들의 세트와 LSP 들의 세트 사이의 변환은 오차 없이 가역적일 수도 있다.
양자화기 (136) 는 변환 모듈 (134) 에 의해 생성된 LSP 들의 세트를 양자화할 수도 있다. 예를 들어, 양자화기 (136) 는 다수의 엔트리들 (예를 들어, 벡터들) 을 포함하는 다수의 코드북들을 포함하거나 또는 이에 연결될 수도 있다. LSP 들의 세트를 양자화하기 위하여, 양자화기 (136) 는 (예를 들어, 평균 제곱 오차 또는 최소 제곱과 같은 왜곡 척도에 기초하여) LSP 들의 세트"에 가장 가까운" 코드북들의 엔트리들을 식별할 수도 있다. 양자화기 (136) 는 코드북에서 식별된 엔트리들의 로케이션에 대응하는 인덱스 값 또는 일련의 인덱스 값들을 출력할 수도 있다. 이와 같이, 양자화기 (136) 의 출력은 저대역 비트 스트림 (142) 에 포함된 저대역 필터 파라미터들을 나타낼 수도 있다.
저대역 분석 모듈 (130) 은 또한 저대역 여기 신호 (144) 를 생성할 수도 있다. 예를 들어, 저대역 여기 신호 (144) 는, 저대역 분석 모듈 (130) 에 의해 수행되는 LP 프로세스 동안 생성된 LP 잔여 신호 (LP residual signal) 를 양자화하는 것에 의해 생성되는 인코딩된 신호일 수도 있다. LP 잔여 신호는 예측 오차를 나타낼 수도 있다.
시스템 (100) 은 또한, 분석 필터 뱅크 (110) 로부터 고대역 신호 (124) 그리고 저대역 분석 모듈 (130) 로부터 저대역 여기 신호 (144) 를 수신하도록 구성된 고대역 분석 모듈 (150) 을 포함할 수도 있다. 고대역 분석 모듈 (150) 은 고대역 신호 (124) 및 저대역 여기 신호 (144) 에 기초하여 고대역 사이드 정보 (172) 를 생성할 수도 있다. 예를 들어, 고대역 사이드 정보 (172) 는, 여기서 더 설명되는 바처럼, 고대역 LSP, 이득 정보, 및 믹싱 팩터 (α) 를 포함할 수도 있다.
고대역 분석 모듈 (150) 은 고대역 여기 생성기(160) 를 포함할 수도 있다. 고대역 여기 생성기 (160) 는, 저대역 여기 신호 (144) 의 스펙트럼을 고대역 주파수 범위 (예를 들어, 7 kHz - 16 kHz) 로 확장시키는 것에 의해 고대역 여기 신호 (161) 를 생성할 수도 있다. 예시하자면, 고대역 여기 생성기 (160) 는 저대역 여기 신호 (144) 에 변환 (예를 들어, 절대 값 또는 제곱 연산과 같은 비선형 변환) 을 적용할 수도 있고 그 조화 확장된 신호와 노이즈 신호 (예를 들어, 저대역 신호 (122) 의 느리게 변화하는 시간적 특성들을 모방하는 저대역 여기 신호 (144) 에 대응하는 엔벨로프 (envelope) 에 따라 변조된 화이트 노이즈) 를 믹싱하여 고대역 여기 신호 (161) 를 생성할 수도 있다. 예를 들어, 믹싱은 다음 등식에 따라 수행될 수도 있다:
고대역 여기 = (α * 조화 확장) +
((1-α) * 변조된 노이즈)
조화 확장된 신호 및 변조된 노이즈가 믹싱되는 비는 수신기에서 고대역 복원 품질에 영향을 미칠 수도 있다. 유성 스피치 (voiced speech) 신호에 대해, 믹싱은 조화 확장쪽으로 편향될 수도 있다 (예를 들어, 믹싱 팩터 α 는 0.5 내지 1.0 의 범위에 있을 수도 있다). 무성 신호 (unvoiced signal) 에 대해, 믹싱은 변조된 노이즈쪽으로 편향될 수도 있다 (예를 들어, 믹싱 팩터 α 는 0.0 내지 0.5 의 범위에 있을 수도 있다).
일부 상황들에서, 고대역 신호 (124) 와 노이즈의 저대역 신호 (122) 사이의 불충분한 상관에 기인하여 조화 확장된 신호는 고대역 합성에서의 사용에 부적당할 수도 있다. 예를 들어, 저대역 신호 (122) (및 따라서 조화 확장된 신호) 는, 고대역 신호 (124) 에서 모방되지 않을 수도 있는 빈번한 변동들을 포함할 수도 있다. 통상적으로, 믹싱 팩터 α 는, 유성 사운드와 연관된 특정 프레임의 강도 및 무성 사운드와 연관된 특정 프레임의 강도를 모방하는 저대역 보이싱 파라미터들에 기초하여 결정될 수도 있다. 하지만, 노이즈 존재시, 그러한 방식으로 믹싱 팩터 α 를 결정하는 것은 서브프레임 당 폭넓은 변동을 초래할 수도 있다. 예를 들어, 노이즈에 기인하여, 4개의 연속 서브프레임에 대한 믹싱 팩터 α 는 0.9, 0.25, 0.8, 및 0.15 일 수도 있으며, 이는 버지 (buzzy) 또는 변조 아티팩트를 초래한다. 더욱이, 많은 양의 양자화 왜곡이 존재할 수도 있다.
따라서, 고대역 여기 생성기 (160) 는 도 2 내지 도 3을 참조하여 설명된 바처럼 믹싱 팩터 α 를 추정하기 위한 믹싱 팩터 계산기 (162) 를 포함할 수도 있다. 예를 들어, 믹싱 팩터 계산기 (162) 는 고대역 신호 (124) 의 특성에 기초하여 믹싱 팩터 (α) 를 생성할 수도 있다. 예를 들어, 고대역 신호 (124) 의 잔여 (residual) 는 믹싱 팩터 (α) 를 추정하는데 사용될 수도 있다. 특정 실시형태에서, 믹싱 팩터 계산기 (162) 는, 고대역 여기 신호 (161) 와 고대역 신호 (124) 의 잔여 사이의 차이의 평균 제곱 오차를 감소시키는 믹싱 팩터 (α) 를 생성할 수도 있다. 고대역 신호 (124) 의 잔여는 예를 들어, LPC 들의 세트를 생성하기 위하여 (예를 들어, 고대역 신호 (124) 의 스펙트럼 엔벨로프를 인코딩하는 것에 의해) 고대역 신호 (124) 에 대해 선형 예측 분석을 수행하는 것에 의해 생성될 수도 있다. 예를 들어, 고대역 분석 모듈 (150) 은 또한, LP 분석 및 코딩 모듈 (152), LPC - LSP 변환 모듈 (154), 및 양자화기 (156) 를 포함할 수도 있다. LP 분석 및 코딩 모듈 (152) 은 LPC 들의 세트를 생성할 수도 있다. LPC 들의 세트는 변환 모듈 (154) 에 의해 LSP 들로 변환되고 코드북 (163) 에 기초하여 양자화기 (156) 에 의해 양자화될 수도 있다.
고대역 여기 신호 (161) 는, 고대역 사이드 정보 (172) 에 포함된 하나 이상의 고대역 이득 파라미터들을 결정하기 위하여 사용될 수도 있다. LP 분석 및 코딩 모듈 (152), 변환 모듈 (154) 및 양자화기 (156) 의 각각은, 저대역 분석 모듈 (130) 의 대응하는 컴포넌트들을 참조하여 상술된 바와 같이, 그러나 비교적 감소된 해상도에서 (예를 들어, 각 계수, LSP 등에 더 적은 비트들을 사용하여) 기능할 수도 있다. LP 분석 및 코딩 모듈 (152) 은, 변환 모듈 (154) 에 의해 LSP 들로 변환되고 코드북 (163) 에 기초하여 양자화기 (156) 에 의해 양자화되는 LPC 들의 세트를 생성할 수도 있다. 예를 들어, LP 분석 및 코딩 모듈 (152), 변환 모듈 (154) 및 양자화기 (156) 는 고대역 신호 (124) 를 사용하여 고대역 사이드 정보 (172) 에 포함된 고대역 필터 정보 (예를 들어, 고대역 LSP) 를 결정할 수도 있다. 특정 실시형태에서, 고대역 사이드 정보 (172) 는 고대역 LSP, 고대역 이득 파라미터, 믹싱 팩터 (α) 를 포함할 수도 있다.
저대역 비트 스트림 (142) 및 고대역 사이드 정보 (172) 는 출력 비트스트림 (192) 을 생성하기 위하여 멀티플렉서 (MUX) (180) 에 의해 멀티플렉싱될 수도 있다. 출력 비트 스트림 (192) 은 입력 오디오 신호 (102) 에 대응하는 인코딩된 오디오 신호를 나타낼 수도 있다. 예를 들어, 출력 비트 스트림 (192) 은 (예를 들어, 유선, 무선 또는 광 채널을 통해) 송신되거나 및/또는 저장될 수도 있다. 수신기에서, 역 동작 (reverse operation) 들이 오디오 신호 (예를 들어, 스피커 또는 다른 출력 디바이스에 제공되는 입력 오디오 신호 (102) 의 복원된 버전) 을 생성하기 위하여 디멀티플렉서 (DEMUX), 저대역 디코더, 고대역 디코더, 및 필터 뱅크에 의해 수행될 수도 있다. 저대역 비트 스트림 (142) 을 나타내는데 사용된 비트들의 수는 고대역 사이드 정보 (172) 를 나타내는데 사용된 비트들의 수보다 실질적으로 더 클 수도 있다. 이렇게 하여, 출력 비트 스트림 (192) 에서의 비트들의 대부분은 저대역 데이터를 나타낼 수도 있다. 고대역 사이드 정보 (172) 는 신호 모델에 따라 저대역 데이터로부터 고대역 여기 신호를 재생성하기 위하여 수신기에서 사용될 수도 있다. 예를 들어, 신호 모델은 저대역 데이터 (예를 들어, 저대역 신호 (122)) 및 고대역 데이터 (예를 들어, 고대역 신호 (124)) 사이의 관계 또는 상관들의 예상된 세트를 나타낼 수도 있다. 이렇게 하여, 상이한 신호 모델들이 상이한 종류의 오디오 데이터 (예를 들어, 스피치, 음악 등) 에 사용될 수도 있고, 사용중인 특정 신호 모델은 인코딩된 오디오 데이터의 통신 전에 송신기 및 수신기에 의해 협상 (또는 산업 표준에 의해 정의) 될 수도 있다. 신호 모델을 사용하여, 송신기에서의 고대역 분석 모듈 (150) 은 수신기에 있는 대응하는 고대역 분석 모듈이 출력 비트 스트림 (192) 으로부터 고대역 신호 (124) 를 복원하기 위하여 신호 모델을 사용 가능하도록 고대역 사이드 정보 (172) 를 생성가능할 수도 있다.
양자화기 (156) 는 변환 모듈 (154) 에 의해 제공되는 LSP 들과 같은 스펙트럼 주파수 값들의 세트를 양자화하도록 구성될 수도 있다. 다른 실시형태들에서, 양자화기 (156) 는, LSF 또는 LSP 들에 추가하여, 또는 대신에, 하나 이상의 다른 타입의 스펙트럼 주파수값들의 세트를 수신 및 양자화할 수도 있다. 예를 들어, 양자화기 (156) 는 LP 분석 및 코딩 모듈 (152) 에 의해 생성되는 LPC 들의 세트를 수신 및 양자화할 수도 있다. 다른 예들은, 양자화기 (156) 에서 수신 및 양자화될 수도 있는, 파코어 계수, 로그 면적 비 (log-area-ratio) 값, 및 ISF의 세트들을 포함한다. 양자화기 (156) 는, 코드북 (163) 과 같은 테이블 또는 코드북에서 대응하는 엔트리에 대한 인덱스로서 입력 벡터 (예를 들어, 벡터 포맷의 스펙트럼 주파수 값들의 세트) 를 인코딩하는 벡터 양자화기를 포함할 수도 있다. 또 다른 예로서, 양자화기 (156) 는, 스토리지로부터 취출되기보다는, 스파스 코드북 (sparse codebook) 실시형태에서와 같이, 디코디에서 동적으로 입력 벡터가 생성되는 하나 이상의 파라미터들을 결정하도록 구성될 수도 있다. 예시하자면, 스파스 코드북 예들은, 3GPP2 (Third Generation Partnership 2) EVRC (Enhanced Variable Rate Codec) 와 같은 산업 표준들에 따라 CELP 및 코덱들과 같은 코딩 스킴에서 적용될 수도 있다. 또 다른 실시형태에서, 고대역 분석 모듈 (150) 은 양자화기 (156) 를 포함할 수도 있고, 다수의 코드북 벡터들을 이용하여 합성된 신호들을 (예를 들어, 필터 파라미터들의 세트에 따라) 생성하고, 지각적으로 가중된 도메인 (perceptually weighted domain) 에서와 같이 고대역 신호 (124) 에 가장 잘 매치되는 합성된 신호와 연관된 코드북 벡터들 중의 하나를 선택하도록 구성될 수도 있다.
시스템 (100) 은, 시간적 및 이득 파라미터들의 과추정 (over-estimation) 에 기인하여 일어날 수도 있는 아티팩트들을 감소시킬 수도 있다. 예를 들어, 믹싱 팩터 계산기 (162) 는 고대역 예측 동안 고대역 추정의 정확성을 향상시키기 위하여 폐루프 분석을 이용하여 믹싱 팩터 (α) 를 결정할 수도 있다. 고대역 추정의 정확성을 향상시키는 것은, 증가된 노이즈가 저대역과 고대역 사이의 상관을 감소시키는 시나리오들에서 아티팩트들을 감소시킬 수도 있다. 고대역 분석 모듈 (150) 은 고대역의 특성들 (예를 들어, 고대역 잔여 신호) 를 이용하여 고대역을 예측할 수도 있고, 고대역 잔여 신호를 모델링하는 고대역 여기 신호 (161) 를 생성하기 위하여 믹싱 팩터 (α) 를 추정할 수도 있다. 고대역 분석 모듈 (150) 은, 다른 고대역 사이드 정보 (172) 와 함께 수신기로 믹싱 팩터 (α) 를 송신할 수도 있고, 이는 수신기로 하여금 입력 오디오 신호 (102) 를 복원하기 위하여 역의 동작들을 수행하는 것을 가능하게 할 수도 있다.
도 2를 참조하면, 고대역 여기 신호를 생성하기 위하여 믹싱 팩터를 추정하도록 동작가능한 시스템 (200) 의 특정 예시적 실시형태가 도시되어 있다. 시스템 (200) 은, 선형 예측 분석 필터 (204), 비선형 변환 생성기 (207), 믹싱 팩터 계산기 (212), 및 믹서 (211) 를 포함한다. 시스템 (200) 은 도 1의 고대역 분석 모듈 (150) 을 이용하여 구현될 수도 있다. 특정 실시형태에서, 믹싱 팩터 계산기 (212) 는 도 1의 믹싱 팩터 계산기 (162) 에 대응할 수도 있다.
고대역 신호 (124) 는 선형 예측 분석 필터 (204) 에 제공될 수도 있다. 선형 예측 분석 필터 (204) 는, 고대역 신호 (124) (예를 들어, 입력 오디오 신호 (102) 의 고대역 부분) 에 기초하여 고대역 잔여 신호 (224) 를 생성하도록 구성될 수도 있다. 예를 들어, 선형 예측 분석 필터 (204) 는 고대역 신호 (124) 의 향후 샘플들을 예측하는데 사용되는 LPC 들의 세트로서 고대역 신호 (124) 의 스펙트럼 엔벨로프를 인코딩할 수도 있다. 고대역 잔여 신호 (224) 는 고대역 여기 신호 (161) 의 오차를 예측하는데 사용될 수도 있다. 고대역 잔여 신호 (224) 는 믹싱 팩터 계산기 (212) 의 제 1 입력에 제공될 수도 있다.
저대역 여기 신호 (144) 는, 비선형 변환 생성기 (207) 에 제공될 수도 있다. 도 1을 참조하여 설명된 바처럼, 저대역 여기 신호 (144) 는, 저대역 분석 모듈 (130) 을 이용하여 저대역 신호 (122) (예를 들어, 입력 오디오 신호 (102) 의 저대역 부분) 으로부터 생성될 수도 있다. 비선형 변환 생성기 (207) 는 저대역 여기 신호 (144) 에 기초하여 조화 확장된 신호 (208) 를 생성하도록 구성될 수도 있다. 예를 들어, 비선형 변환 생성기 (207) 는, 조화 확장된 신호 (208) 를 생성하기 위하여, 저대역 여기 신호 (144) 의 프레임들에 대해 절대 값 연산 (absolute-value operation) 또는 제곱 연산 (square operation) 을 수행할 수도 있다.
예시하자면, 비선형 여기 생성기 (207) 는, 대략 0 kHz 내지 16 kHz 범위의 16 kHz 신호 (예를 들어, 저대역 여기 신호 (144) 의 대역폭의 대략 2배를 갖는 신호) 를 생성하기 위하여 저대역 여기 신호 (144) (예를 들어, 대략 0 kHz 내지 8 kHz 범위의 8 kHz 신호) 를 업샘플링할 수도 있다. 16 kHz 신호의 저대역 부분 (예를 들어, 대략 0 kHz 내지 8 kHz) 는 저대역 여기 신호 (144) 와 실질적으로 유사한 고조파 (harmonics) 를 가질 수도 있고, 16 kHz 신호의 고대역 부분 (예를 들어, 대략 8 kHz 내지 16 kHz) 는 실질적으로 고조파가 없을 수도 있다. 비선형 변환 생성기 (204) 는 조화 확장된 신호 (208) 를 생성하기 위하여 16 kHz 신호의 저대역 부분에서의 "주된" (“dominant”) 고조파를 16 kHz 신호의 고대역 부분으로 확장시킬 수도 있다. 따라서, 조화 확장된 신호 (208) 는, 비선형 연산들 (예를 들어, 제곱 연산 및/또는 절대 값 연산) 을 이용하여 고대역으로 확장되는 저대역 여기 신호 (144) 의 조화 확장된 버전일 수도 있다. 조화 확장된 신호 (208) 는 엔벨로프 트래커 (envelope tracker; 202) 의 입력에, 믹싱 팩터 계산기 (212) 의 제 2 입력에, 그리고 제 1 컴바이너 (254) 의 제 1 입력에 제공될 수도 있다.
엔벨로프 트래커 (202) 는, 조화 확장된 신호 (208) 를 수신하고 조화 확장된 신호 (208) 에 대응하는 저대역 시간 도메인 엔벨로프 (203) 를 계산하도록 구성될 수도 있다. 예를 들어, 엔벨로프 트래커 (202) 는, 제곱된 값들의 시퀀스를 생성하기 위하여 조화 확장된 신호 (208) 의 프레임의 각각의 샘플의 제곱을 계산하도록 구성될 수도 있다. 엔벨로프 트래커 (202) 는, 제곱된 값들의 시퀀스에 1차 무한 임펄스 응답 (IIR) 저역 필터를 적용하는 것에 의해서와 같이, 제곱된 값들의 시퀀스에 평활화 연산 (smoothing operation) 을 수행하도록 구성될 수도 있다. 엔벨로프 트래커 (202) 는, 저대역 시간 도메인 엔벨로프 (203) 를 생성하기 위하여 평활화된 시퀀스의 각각의 샘플에 제곱근 함수를 적용하도록 구성될 수도 있다. 저대역 시간 도메인 엔벨로프 (203) 가 노이즈 컴바이너 (240) 의 제 1 입력에 제공될 수도 있다.
노이즈 컴바이너 (240) 는, 변조된 노이즈 신호 (220) 를 생성하기 위하여 화이트 노이즈 생성기 (미도시) 에 의해 생성된 화이트 노이즈 (205) 와 저대역 시간 도메인 엔벨로프 (203) 를 컴바이닝하도록 구성될 수도 있다. 예를 들어, 노이즈 컴바이너 (240) 는, 저대역 시간 도메인 엔벨로프 (203) 에 따라 화이트 노이즈 (205) 를 진폭 변조하도록 구성될 수도 있다. 특정 실시형태에서, 노이즈 컴바이너 (240) 는, 변조된 노이즈 신호 (220) 를 생성하기 위하여 저대역 시간 도메인 엔벨로프 (203) 에 따라 화이트 노이즈 (205) 를 스케일링하도록 구성된 승산기로서 구현될 수도 있다. 변조된 노이즈 신호 (220) 는 믹싱 계산기 (212) 의 제 3 입력에, 그리고 제 2 컴바이너 (256) 의 제 1 입력에 제공될 수도 있다.
믹싱 팩터 계산기 (212) 는 고대역 잔여 신호 (224), 조화 확장된 신호 (208), 및 변조된 노이즈 신호 (220) 에 기초하여 믹싱 팩터 (α) 를 결정하도록 구성될 수도 있다. 믹싱 팩터 계산기 (212) 는 믹싱 팩터 (α) 를 결정할 수도 있다. 예를 들어, 믹싱 팩터 계산기 (212) 는, 고대역 여기 신호 (161) 와 고대역 잔여 신호 (224) 사이의 차이의 평균 제곱 오차 (E) 에 기초하여 믹싱 팩터 (α) 를 생성할 수도 있다. 고대역 여기 신호 (161) 는 다음 등식에 따라 표현될 수도 있다:
Figure pct00001
(등식 1)
식중,
Figure pct00002
는 고대역 여기 신호 (161) 에 대응하고, α 는 믹싱 팩터에 대응하고,
Figure pct00003
는 조화 확장된 신호 (208) 에 대응하고,
Figure pct00004
는 변조된 노이즈 신호 (220) 에 대응한다. 고대역 여기 신호 (224) 는
Figure pct00005
로서 표현될 수도 있다.
따라서, 오차 (e) 는 고대역 여기 신호 (161) 와 고대역 잔여 신호 (224) 사이의 차이에 대응할 수도 있고, 다음 등식에 따라 표현될 수도 있다:
Figure pct00006
(등식 2)
등식 1에 기재된 고대역 여기 신호 (161) 를 위한 표현을 등식 (2) 에 대입함으로써, 오차 (e) 는 고대역 여기 신호 (161) 와 고대역 잔여 신호 (224) 사이의 차이로서 표현될 수도 있고, 다음 등식에 따라 표현될 수도 있다:
Figure pct00007
(등식 3)
따라서, 고대역 여기 신호 (161) 와 고대역 잔여 신호 (224) 사이의 차이의 평균 제곱 오차 (e) 는 다음 등식에 따라 표현될 수도 있다:
Figure pct00008
(등식 4)
고대역 여기 신호 (161) 는, 평균 제곱 오차 (E) 를 감소시킴으로써 (예를 들어, 평균 제곱 오차 (E) 를 0 으로 설정함으로써) 고대역 잔여 신호 (224) 와 대략 동일하게 만들어질 수도 있다. 등식 (4) 에서 평균 제곱 오차 (E) 를 최소화함으로써, 믹싱 팩터 (α) 는 다음 등식에 따라 표현될 수도 있다:
Figure pct00009
(등식 5)
특정 실시형태에서, 고대역 잔여 신호 (224) 및 조화 확장된 신호 (208) 의 에너지들은, 등식 5 를 이용하여 믹싱 팩터 (α) 를 계산하기 전에 정규화될 수도 있다. 믹싱 팩터 (α) 는 모든 프레임 (또는 서브프레임) 에 대해 추정될 수도 있고, 도 1을 참조하여 설명된 다른 고대역 사이드 정보 (172) (예를 들어, LSP 및 고대역 이득 파라미터) 와 함께 출력 비트 스트림으로 수신기에 송신될 수도 있다.
믹싱 팩터 계산기 (212) 는 추정된 믹싱 팩터 (α) 를 제 1 컴바이너 (254) 의 제 2 입력에 그리고 감산기 (252) 의 입력에 제공할 수도 있다. 감산기 (252) 는 1에서 믹싱 팩터 (α) 를 감산하고 그 차이 (1-α) 를 제 2 컴바이너 (256) 의 제 2 입력에 제공할 수도 있다. 제 1 컴바이너 (254) 는, 제 1 스케일링된 신호를 생성하기 위하여 믹싱 팩터 (α) 에 따라 조화 확장된 신호 (208) 를 스케일링하도록 구성된 승산기로서 구현될 수도 있다. 제 2 컴바이너 (256) 는, 제 2 스케일링된 신호를 생성하기 위하여 팩터 (1-α) 에 기초하여 변조된 노이즈 신호 (220) 를 스케일링하도록 구성된 승산기로서 구현될 수도 있다. 예를 들어, 제 2 컴바이너 (256) 는 감산기 (252) 에서 생성된 차이 (1-α) 에 기초하여 변조된 노이즈 신호 (220) 를 스케일링할 수도 있다. 제 1 스케일링된 신호 및 제 2 스케일링된 신호가 믹서 (211) 에 제공될 수도 있다.
믹서 (211) 는, 믹싱 팩터 (α), 조화 확장된 신호 (208), 및 변조된 노이즈 신호 (220) 에 기초하여 고대역 여기 신호 (161) 를 생성할 수도 있다. 예를 들어, 믹서 (211) 는 고대역 여기 신호 (161) 를 생성하기 위하여 제 1 스케일링된 신호 및 제 2 스케일링된 신호를 컴바이닝 (예를 들어, 가산) 할 수도 있다.
특정 실시형태에서, 믹싱 팩터 계산기 (212) 는, 오디오 신호의 각각의 프레임에 대해 다수의 믹싱 팩터들 (α) 로서 믹싱 팩터들 (α) 을 생성하도록 구성될 수도 있다. 예를 들어, 4개의 믹싱 팩터들 (α1, α2, α3, α4) 이 오디오 신호의 프레임에 대해 생성될 수도 있고, 각각의 믹싱 팩터 (α) 는 프레임의 각각의 서브프레임에 대응할 수도 있다.
도 2의 시스템 (200) 은 고대역 예측 동안 고대역 추정의 정확성을 향상시키기 위하여 믹싱 팩터 (α) 를 추정할 수도 있다. 예를 들어, 믹싱 팩터 계산기 (212) 는, 고대역 잔여 신호 (224) 에 대략 동등한 고대역 여기 신호 (161) 를 생성하는 믹싱 팩터 (α) 를 추정할 수도 있다. 따라서, 증가된 노이즈가 저대역과 고대역 사이의 상관을 감소시키는 시나리오들에서, 시스템 (200) 은 고대역의 특성들 (예를 들어, 고대역 잔여 신호 (224)) 를 이용하여 고대역을 예측할 수도 있다. 다른 고대역 사이드 정보 (172) 와 함께 수신기에 믹싱 팩터 (α) 를 송신하는 것은, 수신기로 하여금 입력 오디오 신호 (102) 를 복원하기 위하여 역의 동작들을 수행하는 것을 가능하게 할 수도 있다.
도 3을 참조하면, 고대역 여기 신호를 생성하기 위하여 폐루프 분석을 이용하여 믹싱 팩터 (α) 를 추정하도록 동작가능한 시스템 (300) 의 또 다른 특정 예시적 실시형태가 도시되어 있다. 시스템 (300) 은, 엔벨로프 트래커 (202), 선형 예측 분석 필터 (204), 비선형 변환 생성기 (207), 및 노이즈 컴바이너 (240) 를 포함한다.
도 3에서 노이즈 컴바이너 (240) 의 출력은, 변조된 노이즈 신호 (220) 를 생성하기 위하여 베타 승산기 (304) 를 이용하여 노이즈 스케일링 팩터 (β) 에 의해 스케일링될 수도 있다. 베타 승산기 (304) 는 저대역 여기의 조화 확장과 변조된 화이트 노이즈 사이의 파워 정규화 팩터 (power normalization factor) 이다. 변조된 노이즈 신호 (220) 및 조화 확장된 신호 (208) 는 고대역 여기 생성기 (302) 에 제공될 수도 있다. 예를 들어, 조화 확장된 신호 (208) 는 제 1 컴바이너 (254) 에 제공될 수도 있고 변조된 노이즈 신호 (220) 는 제 2 컴바이너 (220) 에 제공될 수도 있다.
시스템 (300) 은 믹싱 팩터 (α) 의 값들을 선택적으로 증가 및/또는 감소시켜, 도 2를 참조하여 설명된 바처럼, 고대역 여기 신호 (161) 와 고대역 잔여 신호 (224) 사이의 차이의 평균 제곱 오차 (E) 를 감소시키는 (예를 들어, 최소화하는) 믹싱 팩터 (α) 를 구할 수도 있다. 예를 들어, 선형 예측 분석 필터 (204) 는 오차 검출 회로 (306) 의 제 1 입력에 고대역 잔여 신호 (224) 를 제공할 수도 있다. 고대역 여기 생성기 (302) 는 오차 검출 회로 (306) 의 제 2 입력에 고대역 여기 신호 (161) 를 제공할 수도 있다. 오차 검출 회로 (306) 는 등식 3에 따라 고대역 여기 신호 (161) 와 고대역 잔여 신호 (224) 사이의 차이 (e) 를 결정할 수도 있다. 그 차이는 오차 신호 (368) 에 의해 표현될 수도 있다. 오차 신호 (368) 는 오차 최소화 계산기 (308) (예를 들어, 오차 제어기) 의 입력에 제공될 수도 있다.
오차 최소화 계산기 (308) 는, 믹싱 팩터 (α) 의 특정 값에 대해, 등식 4에 따라, 평균 제곱 오차 (E) 를 계산할 수도 있다. 오차 최소화 계산기 (308) 는, 고대역 여기 생성기 (302) 에 신호 (370) 를 전송하여, 더 작은 평균 제곱 오차 (E) 를 생성하기 위하여 믹싱 팩터 (α) 의 특정 값을 선택적으로 증가 또는 감소시킬 수도 있다.
연산 동안, 오차 최소화 계산기 (308) 는 제 1 믹싱 팩터 (α1) 에 기초하여 제 1 평균 제곱 오차 (E1) 를 컴퓨팅할 수도 있다. 특정 실시형태에서, 제 1 평균 제곱 오차 (E1) 의 계산시, 오차 최소화 계산기 (308) 는 신호 (370) 를 고대역 여기 생성기 (302) 에 전송하여, 제 1 믹싱 팩터 (α1) 를 특정 양만큼 증가시켜 제 2 믹싱 팩터 (α2) 를 생성할 수도 있다. 오차 최소화 계산기 (308) 는, 제 2 믹싱 팩터 (α2) 에 기초하여 제 2 평균 제곱 오차 (E2) 를 컴퓨팅할 수도 있고, 신호 (370) 를 고대역 여기 생성기 (302) 에 전송하여 제 2 믹싱 팩터 (α2) 를 특정 양만큼 증가시켜 제 3 믹싱 팩터 (α3) 를 생성할 수도 있다. 이 프로세스는 평균 제곱 오차 (E) 의 다수의 값들을 생성하기 위하여 반복될 수도 있다. 오차 최소화 계산기 (308) 는 평균 제곱 오차 (E) 의 어느 값이 최소 값인지를 결정할 수도 있고, 믹싱 팩터 (α) 는 평균 제곱 오차 (E) 에 대해 더 낮은 값을 산출하는 특정 값에 대응할 수도 있다.
또 다른 특정 실시형태에서, 제 1 평균 제곱 오차 (E1) 의 계산시, 오차 최소화 계산기 (308) 는 신호 (370) 를 고대역 여기 생성기 (302) 에 전송하여, 제 1 믹싱 팩터 (α1) 를 특정 양만큼 감소시켜 제 2 믹싱 팩터 (α2) 를 생성할 수도 있다. 오차 최소화 계산기 (308) 는, 제 2 믹싱 팩터 (α2) 에 기초하여 제 2 평균 제곱 오차 (E2) 를 컴퓨팅할 수도 있고, 신호 (370) 를 고대역 여기 생성기 (302) 에 전송하여 제 2 믹싱 팩터 (α2) 를 특정 양만큼 감소시켜 제 3 믹싱 팩터 (α3) 를 생성할 수도 있다. 이 프로세스는 평균 제곱 오차 (E) 의 다수의 값 (multiple value) 들을 생성하기 위하여 반복될 수도 있다. 오차 최소화 계산기 (308) 는 평균 제곱 오차 (E) 의 어느 값이 최소 값인지를 결정할 수도 있고, 믹싱 팩터 (α) 는 평균 제곱 오차 (E) 에 대해 더 낮은 값을 산출하는 특정 값에 대응할 수도 있다.
특정 실시형태에서, 다수의 믹싱 팩터들 (α) 이 오디오 신호의 각각의 프레임에 대해 사용될 수도 있다. 예를 들어, 4개의 믹싱 팩터들 (α1, α2, α3, α4) 이 오디오 신호의 프레임에 대해 생성될 수도 있고, 각각의 믹싱 팩터 (α) 는 프레임의 각각의 서브프레임에 대응할 수도 있다. 믹싱 팩터들 (α) 의 값들은, 출력 믹싱 팩터 (α) 의 변동들의 발생 및/또는 정도를 감소시키기 위하여 단일 프레임 내에서 또는 다수의 프레임들에 걸쳐 믹싱 팩터들 (α) 을 적응적으로 평활화시키도록 증가 및/또는 감소될 수도 있다. 예시하자면, 믹싱 팩터의 제 1 값 (α1) 은 특정 프레임의 제 1 서브프레임에 대응할 수도 있고 믹싱 팩터의 제 2 값 (α2) 은 특정 프레임의 제 2 서브프레임에 대응할 수도 있다. 믹싱 팩터의 제 3 값 (α3) 은 믹싱 팩터의 제 1 값 (α1) 및 믹싱 팩터의 제 2 값 (α2) 에 적어도 부분적으로 기초할 수도 있다.
도 3의 시스템 (300) 은 고대역 예측 동안 고대역 추정의 정확성을 향상시키기 위하여 폐루프 분석을 이용하여 믹싱 팩터 (α) 를 결정할 수도 있다. 예를 들어, 오차 검출 회로 (306) 및 오차 최소화 계산기 (308) 는, 작은 평균 제곱 오차 (E) 를 생성하는 (예를 들어, 고대역 잔여 신호 (224) 를 밀접하게 모방하는 고대역 여기 신호 (161) 를 생성하는) 믹싱 팩터 (α) 의 값을 결정할 수도 있다. 따라서, 증가된 노이즈가 저대역과 고대역 사이의 상관을 감소시키는 시나리오들에서, 시스템 (300) 은 고대역의 특성들 (예를 들어, 고대역 잔여 신호 (224)) 를 이용하여 고대역을 예측할 수도 있다. 다른 고대역 사이드 정보 (172) 와 함께 수신기에 믹싱 팩터 (α) 를 송신하는 것은, 수신기로 하여금 입력 오디오 신호 (102) 를 복원하기 위하여 역의 동작들을 수행하는 것을 가능하게 할 수도 있다.
도 4를 참조하면, 믹싱 팩터 (α) 를 이용하여 오디오 신호를 재생하도록 동작가능한 시스템 (400) 의 특정 예시적 실시형태가 도시되어 있다. 시스템 (400) 은, 비선형 변환 생성기 (407), 엔벨로프 트래커 (402), 노이즈 컴바이너 (440), 제 1 컴바이너 (454), 제 2 컴바이너 (456), 감산기 (452) 및 믹서 (411) 를 포함한다. 특정 실시형태에서, 시스템 (400) 은 디코딩 시스템 또는 장치내에 (예를 들어, 무선 전화기 또는 코덱에) 통합될 수도 있다. 다른 특정 실시형태들에서, 시스템 (400) 은 셋톱 박스, 뮤직 플레이어, 비디오 플레이어, 엔터테인먼트 유닛, 네비게이션 디바이스, 통신 디바이스, PDA, 고정 로케이션 데이터 유닛, 또는 컴퓨터 내에 통합될 수도 있다.
비선형 변환 생성기 (407) 는 도 1의 저대역 여기 신호 (144) 를 수신하도록 구성될 수도 있다. 예를 들어, 도 1의 저대역 비트 스트림 (142) 은 저대역 여기 신호 (144) 를 포함할 수도 있고, 비트 스트림 (192) 으로서 시스템 (400) 에 송신될 수도 있다. 비선형 변환 생성기 (407) 는 저대역 여기 신호 (144) 에 기초하여 제 2 조화 확장된 신호 (408) 를 생성하도록 구성될 수도 있다. 예를 들어, 비선형 변환 생성기 (407) 는, 제 2 조화 확장된 신호 (408) 를 생성하기 위하여, 저대역 여기 신호 (144) 의 프레임들에 대해 절대 값 연산 (absolute-value operation) 또는 제곱 연산 (square operation) 을 수행할 수도 있다. 특정 실시형태에서, 비선형 변환 생성기 (407) 는 도 2의 비선형 변환 생성기 (207) 와 실질적으로 유사한 방식으로 동작될 수도 있다. 제 2 조화 확장된 신호 (408) 는 엔벨로프 트래커 (402) 및 제 1 컴바이너 (454) 에 제공될 수도 있다.
엔벨로프 트래커 (402) 는, 제 2 조화 확장된 신호 (408) 를 수신하고 제 2 조화 확장된 신호 (408) 에 대응하는 제 2 저대역 시간 도메인 엔벨로프 (403) 를 계산하도록 구성될 수도 있다. 예를 들어, 엔벨로프 트래커 (402) 는, 제곱된 값들의 시퀀스를 생성하기 위하여 제 2 조화 확장된 신호 (408) 의 프레임의 각각의 샘플의 제곱을 계산하도록 구성될 수도 있다. 엔벨로프 트래커 (402) 는, 이를테면, 제곱된 값들의 시퀀스에 1차 IIR 저역 필터를 적용하는 것에 의하여, 제곱된 값들의 시퀀스에 평활화 연산을 수행하도록 구성될 수도 있다. 엔벨로프 트래커 (402) 는, 제 2 저대역 시간 도메인 엔벨로프 (403) 를 생성하기 위하여 평활화된 시퀀스의 각각의 샘플에 제곱근 함수를 적용하도록 구성될 수도 있다. 특정 실시형태에서, 엔벨로프 트래커 (402) 는 도 2의 엔벨로프 트래커 (202) 와 실질적으로 유사한 방식으로 동작될 수도 있다. 제 2 저대역 시간 도메인 엔벨로프 (403) 가 노이즈 컴바이너 (440) 에 제공될 수도 있다.
노이즈 컴바이너 (440) 는, 제 2 변조된 노이즈 신호 (420) 를 생성하기 위하여 화이트 노이즈 생성기 (미도시) 에 의해 생성된 화이트 노이즈 (405) 와 제 2 저대역 시간 도메인 엔벨로프 (403) 를 컴바이닝하도록 구성될 수도 있다. 예를 들어, 노이즈 컴바이너 (440) 는, 제 2 저대역 시간 도메인 엔벨로프 (403) 에 따라 화이트 노이즈 (405) 를 진폭 변조하도록 구성될 수도 있다. 특정 실시형태에서, 노이즈 컴바이너 (440) 는, 제 2 변조된 노이즈 신호 (420) 를 생성하기 위하여 제 2 저대역 시간 도메인 엔벨로프 (403) 에 따라 화이트 노이즈 (405) 의 출력을 스케일링하도록 구성된 승산기로서 구현될 수도 있다. 특정 실시형태에서, 노이즈 컴바이너 (440) 는 도 2의 노이즈 컴바이너 (240) 와 실질적으로 유사한 방식으로 동작될 수도 있다. 제 2 변조된 노이즈 신호 (420) 가 제 2 컴바이너 (456) 에 제공될 수도 있다.
도 2의 믹싱 팩터 (α) 가 제 1 컴바이너 (454) 및 감산기 (452) 에 제공될 수도 있다. 예를 들어, 도 1의 고대역 사이드 정보 (172) 는 믹싱 팩터 (α) 를 포함할 수도 있고, 시스템 (400) 에 송신될 수도 있다. 감산기 (452) 는 1에서 믹싱 팩터 (α) 를 감산하고 그 차이 (1-α) 를 제 2 컴바이너 (256) 에 제공할 수도 있다. 제 1 컴바이너 (454) 는, 제 1 스케일링된 신호를 생성하기 위하여 믹싱 팩터 (α) 에 따라 제 2 조화 확장된 신호 (408) 를 스케일링하도록 구성된 승산기로서 구현될 수도 있다. 제 2 컴바이너 (454) 는, 제 2 스케일링된 신호를 생성하기 위하여 팩터 (1-α) 에 기초하여 변조된 노이즈 신호 (420) 를 스케일링하도록 구성된 승산기로서 구현될 수도 있다. 예를 들어, 제 2 컴바이너 (454) 는 감산기 (452) 에서 생성된 차이 (1-α) 에 기초하여 변조된 노이즈 신호 (420) 를 스케일링할 수도 있다. 제 1 스케일링된 신호 및 제 2 스케일링된 신호가 믹서 (411) 에 제공될 수도 있다.
믹서 (411) 는, 믹싱 팩터 (α), 제 2 조화 확장된 신호 (408), 및 제 2 변조된 노이즈 신호 (420) 에 기초하여 제 2 고대역 여기 신호 (461) 를 생성할 수도 있다. 예를 들어, 믹서 (411) 는 제 2 고대역 여기 신호 (461) 를 생성하기 위하여 제 1 스케일링된 신호 및 제 2 스케일링된 신호를 컴바이닝 (예를 들어, 가산) 할 수도 있다.
도 4의 시스템 (400) 은 제 2 고대역 여기 신호 (461) 를 이용하여 도 1의 고대역 신호 (124) 를 재생할 수도 있다. 예를 들어, 시스템 (400) 은, 고대역 사이드 정보 (172) 를 통해 믹싱 팩터 (α) 를 수신하는 것에 의해 도 1 내지 도 2의 고대역 여기 신호 (161) 와 실질적으로 유사한 제 2 고대역 여기 신호 (461) 를 생성할 수도 있다. 제 2 고대역 여기 신호 (461) 는, 고대역 신호 (124) 와 실질적으로 유사한 고대역 신호를 생성하기 위하여 선형 예측 계수 합성 동작을 받을 수도 있다.
도 5를 참조하면, 믹싱 팩터 (α) 를 이용하여 고대역 신호를 재생하기 위한 방법들 (500, 510) 의 특정 실시형태들을 예시하기 위한 플로우차트들이 도시되어 있다. 제 1 방법 (500) 은 도 3의 시스템들 (100-300) 에 의해 수행될 수도 있다. 제 2 방법 (510) 은 도 4의 시스템 (400) 에 의해 수행될 수도 있다.
제 1 방법은, 502 에서, 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하는 단계를 포함할 수도 있다. 예를 들어, 도 2에서, 선형 예측 분석 필터 (204) 는, 고대역 신호 (124) (예를 들어, 입력 오디오 신호 (102) 의 고대역 부분) 에 기초하여 고대역 잔여 신호 (224) 를 생성할 수도 있다. 특정 실시형태에서, 선형 예측 분석 필터 (204) 는 고대역 신호 (124) 의 향후 샘플들을 예측하는데 사용되는 LPC 들의 세트로서 고대역 신호 (124) 의 스펙트럼 엔벨로프를 인코딩할 수도 있다. 고대역 잔여 신호 (224) 는 고대역 여기 신호 (161) 의 오차를 예측하는데 사용될 수도 있다.
조화 확장된 신호는, 504 에서, 오디오 신호의 저대역 부분에 적어도 기초하여 생성될 수도 있다. 예를 들어, 도 1의 저대역 여기 신호 (144) 는, 저대역 분석 모듈 (130) 을 이용하여 저대역 신호 (122) (예를 들어, 입력 오디오 신호 (102) 의 저대역 부분) 으로부터 생성될 수도 있다. 도 2의 비선형 변환 생성기 (207) 는, 조화 확장된 신호 (208) 를 생성하기 위하여, 저대역 여기 신호 (144) 에 대해 절대 값 연산 또는 제곱 연산을 수행할 수도 있다.
믹싱 팩터는, 506 에서, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정될 수도 있다. 예를 들어, 도 2의 믹싱 팩터 계산기 (212) 는, 고대역 여기 신호 (161) 와 고대역 잔여 신호 (224) 사이의 차이의 평균 제곱 오차 (E) 에 기초하여 믹싱 팩터 (α) 를 생성할 수도 있다. 폐루프 분석을 이용하여, 고대역 여기 신호 (161) 는, 평균 제곱 오차 (E) 를 효과적으로 최소화 (예를 들어, 평균 제곱 오차 (E) 를 0 으로 설정) 하기 위하여 고대역 잔여 신호 (224) 와 대략 동일할 수도 있다. 도 2를 참조하여 설명된 바처럼, 믹싱 팩터 (α) 는 다음과 같이 표현될 수도 있다:
Figure pct00010
(등식 5)
믹싱 팩터 (α) 는 스피치 디코더에 송신될 수도 있다. 예를 들어, 도 1의 고대역 사이드 정보 (172) 는 믹싱 팩터 (α) 를 포함할 수도 있다.
제 2 방법 (510) 은, 512 에서, 저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를, 스피치 디코더에서, 수신하는 단계를 포함할 수도 있다. 예를 들어, 도 4의 비선형 변환 생성기 (407) 는 도 1의 저대역 여기 신호 (144) 를 수신할 수도 있다. 도 1의 저대역 비트 스트림 (142) 은 저대역 여기 신호 (144) 를 포함할 수도 있고, 비트 스트림 (192) 으로서 시스템 (400) 에 송신될 수도 있다. 제 1 컴바이너 (454) 및 감산기 (452) 는 고대역 사이드 정보 (172) 를 수신할 수도 있다. 고대역 사이드 정보 (172) 는 고대역 잔여 신호 (224), 조화 확장된 신호 (208), 및 변조된 노이즈 신호 (220) 에 기초하여 결정된 믹싱 팩터 (α) 를 포함할 수도 있다.
고대역 여기 신호는, 514 에서, 고대역 사이드 정보 및 저대역 여기 신호에 기초하여 생성될 수도 있다. 예를 들어, 도 4의 믹서 (411) 는, 믹싱 팩터 (α), 제 2 조화 확장된 신호 (408), 및 변조된 노이즈 신호 (420) 에 기초하여 제 2 고대역 여기 신호 (461) 를 생성할 수도 있다.
도 5의 방법들 (500, 510) 은, 고대역 예측 동안 고대역 추정의 정확성을 향상시키기 위하여 (예를 들어, 폐루프 분석을 이용하여) 믹싱 팩터 (α) 를 추정할 수도 있고, 고대역 신호 (124) 를 복원하기 위하여 믹싱 팩터 (α) 를 사용할 수도 있다. 예를 들어, 믹싱 팩터 계산기 (212) 는, 고대역 잔여 신호 (224) 에 대략 동등한 고대역 여기 신호 (161) 를 생성하는 믹싱 팩터 (α) 를 추정할 수도 있다. 따라서, 증가된 노이즈가 저대역과 고대역 사이의 상관을 감소시키는 시나리오들에서, 방법 (500) 은 고대역의 특성들 (예를 들어, 고대역 잔여 신호 (224)) 를 이용하여 고대역을 예측할 수도 있다. 다른 고대역 사이드 정보 (172) 와 함께 수신기에 믹싱 팩터 (α) 를 송신하는 것은, 수신기로 하여금 입력 오디오 신호 (102) 를 복원하기 위하여 역의 동작들을 수행하는 것을 가능하게 할 수도 있다. 예를 들어, 도 1 내지 도 2의 고대역 여기 신호 (161) 와 실질적으로 유사한 제 2 고대역 여기 신호 (461) 가 생성될 수도 있다. 제 2 고대역 여기 신호 (461) 는, 고대역 신호 (124) 와 실질적으로 유사한 합성된 고대역 신호를 생성하기 위하여 선형 예측 계수 합성 동작을 받을 수도 있다.
특정 실시형태들에서, 도 5의 방법 (500, 510) 은, 중앙 처리 장치 (CPU), DSP, 또는 제어기와 같은 처리 장치의 하드웨어 (예를 들어, FPGA 디바이스, ASIC 등) 을 통해, 펌웨어 디바이스를 통해, 또는 이들의 조합으로 구현될 수도 있다. 일 예로서, 도 5의 방법 (500, 510) 은 도 6을 참조하여 설명된 바처럼, 명령들을 실행하는 프로세서에 의해 수행될 수 있다.
도 6을 참조하면, 무선 통신 디바이스의 특정의 예시적 실시형태의 블록도가 도시되어 있고 일반적으로 600으로 표기된다. 디바이스 (600) 는, 메모리 (632) 에 연결된 프로세서 (610) (예를 들어, 중앙 처리 장치 (CPU)) 를 포함한다. 메모리 (632) 는, 도 5의 방법들 (500, 510) 과 같은, 본원에 개시된 방법들 및 프로세서들을 수행하기 위하여 프로세서 (610) 및/또는 코덱 (CODEC; 634) 에 의해 실행가능한 명령들 (660) 을 포함할 수도 있다.
특정 실시형태에서, 코덱 (634) 은 추정된 믹싱 팩터에 따라 믹싱 팩터 추정 시스템 (682) 및 디코딩 시스템 (684) 을 포함할 수도 있다. 특정 실시형태에서, 믹싱 팩터 추정 시스템 (682) 은, 도 1의 믹싱 팩터 계산기 (162) 의 하나 이상의 컴포넌트들, 도 2의 시스템 (200) 의 하나 이상의 컴포넌트들, 및/또는 도 3의 시스템 (300) 의 하나 이상의 컴포넌트들을 포함한다. 예를 들어, 믹싱 팩터 추정 시스템 (682) 은 도 1 내지 도 3의 시스템 (100-300) 및 도 5의 방법 (500) 과 연관된 인코딩 동작들을 수행할 수도 있다. 특정 실시형태에서, 디코딩 시스템 (684) 은 도 4의 시스템 (400) 의 하나 이상의 컴포넌트들을 포함할 수도 있다. 예를 들어, 디코딩 시스템 (684) 은 도 4의 시스템 (400) 및 도 5의 방법 (510) 과 연관된 디코딩 동작들을 수행할 수도 있다. 믹싱 팩터 추정 시스템 (682) 및/또는 디코딩 시스템 (684) 은 전용 하드웨어 (예를 들어, 회로) 를 통해, 하나 이상의 태스크들을 수행하기 위한 명령들을 실행하는 프로세서에 의해, 또는 이들의 조합에 의해 구현될 수도 있다.
일 예로서, 메모리 (632) 또는 코덱 (634) 에서의 메모리 (690) 는 메모리 디바이스, 이를테면 RAM (random access memory), MRAM (magnetoresistive random access memory), STT-MRAM (spin-torque transfer MRAM), 플래시 메모리, ROM (read-only memory), PROM (programmable read-only memory), EPROM (erasable programmable read-only memory), EEPROM (electrically erasable programmable read-only memory), 레지스터, 하드디스크, 리무버블 디스크, 또는 CD-ROM (compact disc read-only memory) 일 수도 있다. 메모리 디바이스는, 컴퓨터 (예를 들어, 코덱 (634) 에서의 프로세서 및/또는 프로세서 (610)) 에 의해 실행될 때, 컴퓨터로 하여금 도 5의 방법들 (500, 510) 중의 하나의 적어도 일부를 수행하게 할 수도 있는 명령들 (예를 들어, 명령들 (660) 또는 명령들 (695)) 을 포함할 수도 있다. 일 예로서, 메모리 (632) 또는 코덱 (634) 에서의 메모리 (690) 는, 컴퓨터 (예를 들어, 코덱 (634) 에서의 프로세서 및/또는 프로세서 (610)) 에 의해 실행될 때, 컴퓨터로 하여금 도 5의 방법들 (500, 510) 중의 하나의 적어도 일부를 수행하게 하는 명령들 (예를 들어, 각각, 명령들 (660) 또는 명령들 (695)) 을 포함하는 비일시적 컴퓨터 판독가능 매체일 수도 있다.
디바이스 (600) 는 또한, 코덱 (634) 에 그리고 프로세서 (610) 에 연결된 DSP (696) 를 포함할 수도 있다. 특정 실시형태에서, DSP (696) 는 추정된 믹싱 팩터에 따라 믹싱 팩터 추정 시스템 (697) 및 디코딩 시스템 (698) 을 포함할 수도 있다. 특정 실시형태에서, 믹싱 팩터 추정 시스템 (697) 은, 도 1의 믹싱 팩터 계산기 (162) 의 하나 이상의 컴포넌트들, 도 2의 시스템 (200) 의 하나 이상의 컴포넌트들, 및/또는 도 3의 시스템 (300) 의 하나 이상의 컴포넌트들을 포함한다. 예를 들어, 믹싱 팩터 추정 시스템 (697) 은 도 1 내지 도 3의 시스템 (100-300) 및 도 5의 방법 (500) 과 연관된 인코딩 동작들을 수행할 수도 있다. 특정 실시형태에서, 디코딩 시스템 (698) 은 도 4의 시스템 (400) 의 하나 이상의 컴포넌트들을 포함할 수도 있다. 예를 들어, 디코딩 시스템 (698) 은 도 4의 시스템 (400) 및 도 5의 방법 (510) 과 연관된 디코딩 동작들을 수행할 수도 있다. 믹싱 팩터 추정 시스템 (697) 및/또는 디코딩 시스템 (698) 은 전용 하드웨어 (예를 들어, 회로) 를 통해, 하나 이상의 태스크들을 수행하기 위한 명령들을 실행하는 프로세서에 의해, 또는 이들의 조합에 의해 구현될 수도 있다.
도 6은 또한, 프로세서 (610) 에 그리고 디스플레이 (628) 에 연결된 디스플레이 제어기 (626) 를 도시한다. 도시된 바처럼, 코덱 (634) 은 프로세서 (610) 에 연결될 수도 있다. 또한, 스피커 (636) 및 마이크로폰 (638) 은 코덱 (634) 에 연결될 수 있다. 예를 들어, 마이크로폰 (638) 은 도 1의 입력 오디오 신호 (102) 를 생성할 수도 있고, 코덱 (634) 은 입력 오디오 신호 (102) 에 기초하여 수신기로의 송신을 위한 출력 비트 스트림 (192) 을 생성할 수도 있다. 또 다른 예로서, 스피커 (636) 는 도 1의 출력 비트 스트림 (192) 으로부터 코덱 (634) 에 의해 재구성된 신호를 출력하는데 사용될 수도 있고, 여기서 출력 비트 스트림 (192) 은 송신기로부터 수신된다. 도 6은 또한, 무선 제어기 (640) 가 프로세서 (610) 에 그리고 무선 안테나 (642) 에 연결될 수 있다는 것을 나타낸다.
특정 실시형태에서, 프로세서 (610), 디스플레이 제어기 (626), 메모리 (632), 코덱 (634) 및 무선 제어기 (640) 는 시스템 인 패키지 (system-in-package) 또는 시스템 온 칩 (system-on-chip) 디바이스 (예를 들어, 이동국 모뎀 (MSM)) (622) 에 포함된다. 특정 실시형태에서, 터치스크린 및/또는 키패드와 같은 입력 디바이스 (630) 및 전력 공급부 (644) 는 시스템 온 칩 디바이스 (622) 에 연결된다. 또한, 특정 실시형태에서, 도 6에 예시된 바처럼, 디스플레이 (628), 입력 디바이스 (630), 스피커 (636), 마이크로폰 (638), 무선 안테나 (642), 및 전력 공급부 (644) 가 시스템 온 칩 디바이스 (622) 외부에 있다. 하지만, 디스플레이 (628), 입력 디바이스 (630), 스피커 (636), 마이크로폰 (638), 무선 안테나 (642), 및 전력 공급부 (644) 의 각각은, 인터페이스 또는 제어기와 같은 시스템 온 칩 디바이스 (622) 의 컴포넌트에 연결될 수 있다.
설명된 실시형태들과 함께, 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하는 수단을 포함하는 제 1 장치가 개시된다. 예를 들어, 고대역 잔여 신호를 생성하는 수단은, 도 1의 분석 필터 뱅크 (110), 도 1의 LP 분석 및 코딩 모듈 (152), 도 2 내지 도 3의 선형 예측 분석 필터 (204), 도 6의 믹싱 팩터 추정 시스템 (682), 도 6의 코덱 (634), 도 6의 믹싱 팩터 추정 시스템 (697), 도 6의 DSP (696), 고대역 잔여 신호를 생성하도록 구성된 필터와 같은 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
제 1 장치는 또한, 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하는 수단을 포함할 수도 있다. 예를 들어, 조화 확장된 신호를 생성하는 수단은, 도 1의 분석 필터 뱅크 (110), 도 1의 저대역 분석 필터 (130) 또는 이들의 조합, 도 2 내지 도 3의 비선형 변환 생성기 (207), 도 6의 믹싱 팩터 추정 시스템 (682), 도 6의 믹싱 팩터 추정 시스템 (697), 도 6의 DSP (696), 조화 확장된 신호를 생성하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
제 1 장치는 또한, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하는 수단을 더 포함한다. 예를 들어, 믹싱 팩터를 결정하는 수단은, 도 1의 고대역 여기 생성기 (160), 도 1의 믹싱 팩터 계산기 (162), 도 2의 믹싱 팩터 계산기 (212), 도 3의 오차 검출 회로 (306), 도 3의 오차 최소화 계산기 (308), 도 3의 고대역 여기 생성기 (302), 도 6의 믹싱 팩터 추정 시스템 (682), 도 6의 코덱 (634), 도 6의 믹싱 팩터 추정 시스템 (697), 도 6의 DSP (696), 믹싱 팩터를 결정하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
설명된 실시형태들과 함께, 제 2 장치는, 저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를 수신하는 수단을 포함한다. 고대역 사이드 정보는, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정되는 믹싱 팩터를 포함한다. 예를 들어, 인코딩된 신호를 수신하는 수단은, 도 4의 비선형 변환 생성기 (407), 도 4의 제 1 컴바이너 (454), 도 4의 감산기 (452), 도 6의 코덱 (634), 도 6의 디코딩 시스템 (684), 도 6의 디코딩 시스템 (698), 도 6의 DSP (696), 인코딩된 신호를 수신하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
제 2 장치는 또한, 고대역 사이드 정보 및 저대역 여기 신호에 기초하여 고대역 여기 신호를 생성하는 수단을 포함할 수도 있다. 예를 들어, 고대역 여기 신호를 생성하는 수단은, 도 4의 비선형 변환 생성기 (407), 도 4의 엔벨로프 트래커 (402), 도 4의 노이즈 컴바이너 (440), 도 4의 제 1 컴바이너 (454), 도 4의 제 2 컴바이너 (456), 도 4의 감산기 (452), 도 4의 믹서 (411), 도 6의 코덱 (634), 도 6의 디코딩 시스템 (684), 도 6의 디코딩 시스템 (698), 도 6의 DSP (696), 고대역 여기 신호를 생성하도록 구성된 하나 이상의 디바이스들 (예를 들어, 비일시적 컴퓨터 판독가능 저장 매체에서 명령들을 실행하는 프로세서), 또는 이들의 임의의 조합을 포함할 수도 있다.
당업자는 또한, 여기에 개시된 실시형태와 관련하여 설명된 다양한 예시적인 논리 블록, 구성 (configuration), 모듈, 회로, 및 알고리즘 단계들이 전자 하드웨어, 하드웨어 프로세서와 같은 프로세싱 디바이스에 의해 실행되는 컴퓨터 소프트웨어, 또는 양자의 조합으로서 구현될 수도 있음을 인식할 것이다. 다양한 예시적인 컴포넌트, 블록, 구성, 모듈, 회로, 및 단계가 일반적으로 그들의 기능성의 관점에서 위에서 설명되었다. 그러한 기능성이 하드웨어 또는 실행가능한 소프트웨어로 구현될지 여부는, 전체 시스템에 부과된 설계 제약 및 특정 애플리케이션에 의존한다. 당업자는 설명된 기능성을 각각의 특정 응용에 대해 다른 방식으로 구현할 수도 있지만, 이러한 구현 결정이 본 개시의 범위를 벗어나게 하는 것으로 해석되지는 않아야 한다.
여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계는, 직접적으로 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 양자의 조합으로 구현될 수도 있다. 소프트웨어 모듈은, 메모리 디바이스, 이를테면 RAM (random access memory), MRAM (magnetoresistive random access memory), STT-MRAM (spin-torque transfer MRAM), 플래시 메모리, ROM (read-only memory), PROM (programmable read-only memory), EPROM (erasable programmable read-only memory), EEPROM (electrically erasable programmable read-only memory), 레지스터, 하드디스크, 리무버블 디스크, 또는 CD-ROM (compact disc read-only memory) 에 상주할 수도 있다. 예시적 메모리 디바이스는 프로세서가 메모리 디바이스로부터 정보를 판독할 수 있고 메모리 디바이스에 정보를 기입할 수 있도록 프로세서에 연결된다. 다르게는, 메모리 디바이스는 프로세서에 내장될 수도 있다. 프로세서 및 저장 매체는 ASIC 에 상주할 수도 있다. ASIC는 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 다르게는, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에서 이산 컴포넌트로서 상주할 수도 있다.
개시된 실시형태의 이전의 설명은 당업자가 개시된 실시형태를 제조 또는 사용하는 것을 가능하게 하기 위하여 제공된다. 이들 실시형태에 대한 다양한 변형은 당업자에게는 용이하게 명백할 것이며, 여기에 정의된 원리는 본 개시의 범위를 벗어남이 없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시는 여기에 나타낸 실시형태들에 한정되도록 의도된 것이 아니라, 다음 청구항들에 의해 정의된 바처럼 원리 및 신규한 특성에 부합하는 가능한 최광의 범위가 허여되야 한다.

Claims (36)

  1. 스피치 인코더에서, 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하는 단계;
    상기 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하는 단계; 및
    상기 고대역 잔여 신호, 상기 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하는 단계로서, 상기 변조된 노이즈는 상기 조화 확장된 신호 및 화이트 노이즈에 적어도 부분적으로 기초하는, 상기 믹싱 팩터를 결정하는 단계
    를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 믹싱 팩터는 폐루프 분석을 이용하여 조정되는, 방법.
  3. 제 2 항에 있어서,
    상기 폐루프 분석을 이용하여 상기 믹싱 팩터를 조정하는 것은
    상기 고대역 잔여 신호와 고대역 여기 신호를 비교하는 것으로서, 상기 고대역 여기 신호는 상기 믹싱 팩터, 상기 조화 확장된 신호, 및 상기 변조된 노이즈에 기초하여 생성되는, 상기 고대역 여기 신호를 비교하는 것;
    상기 비교에 기초하여 오차 신호를 생성하는 것; 및
    상기 오차 신호에 기초하여 상기 믹싱 팩터를 조정하는 것
    을 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 믹싱 팩터, 상기 조화 확장된 신호, 및 상기 변조된 노이즈에 적어도 부분적으로 기초하여 고대역 여기 신호를 생성하는 단계를 더 포함하는, 방법.
  5. 제 4 항에 있어서,
    상기 고대역 여기 신호의 시간적 특성들은 상기 고대역 잔여 신호의 시간적 특성들에 밀접하게 매칭되는, 방법.
  6. 제 4 항에 있어서,
    상기 고대역 여기 신호를 생성하는 단계는
    제 1 스케일링된 신호를 생성하기 위하여 상기 믹싱 팩터에 따라 상기 조화 확장된 신호를 스케일링하는 단계;
    제 2 스케일링된 신호를 생성하기 위하여 상기 믹싱 팩터에 기초하여 상기 변조된 노이즈를 스케일링하는 단계; 및
    상기 제 1 스케일링된 신호 및 상기 제 2 스케일링된 신호를 컴바이닝하는 단계
    를 포함하는, 방법.
  7. 제 4 항에 있어서,
    상기 믹싱 팩터는 상기 고대역 잔여 신호와 고대역 여기 신호 사이의 차이의 평균 제곱 오차에 기초하여 조정되는, 방법.
  8. 제 7 항에 있어서,
    상기 믹싱 팩터는 또한, 저대역 보이싱, 저대역 틸트, 또는 이들의 임의의 조합에 적어도 기초하여 조정되는, 방법.
  9. 제 7 항에 있어서,
    제 2 믹싱 팩터를 생성하기 위하여 제 1 믹싱 팩터를 선택적으로 증가 또는 감소시키는 단계를 더 포함하고,
    상기 제 1 믹싱 팩터에 기초한 상기 평균 제곱 오차가 상기 제 2 믹싱 팩터에 기초한 상기 평균 제곱 오차보다 더 작다는 결정에 응답하여 상기 믹싱 팩터는 상기 제 1 믹싱 팩터에 대응하고,
    상기 제 2 믹싱 팩터에 기초한 상기 평균 제곱 오차가 상기 제 1 믹싱 팩터에 기초한 상기 평균 제곱 오차보다 더 작다는 결정에 응답하여 상기 믹싱 팩터는 상기 제 2 믹싱 팩터에 대응하는, 방법.
  10. 제 1 항에 있어서,
    상기 고대역 잔여 신호를 생성하기 위하여 상기 오디오 신호의 상기 고대역 부분에 대해 선형 예측 분석을 수행하는 단계;
    저대역 잔여 신호를 생성하기 위하여 상기 오디오 신호의 상기 저대역 부분에 대해 선형 예측 분석을 수행하는 단계;
    저대역 여기 신호를 생성하기 위하여 상기 저대역 잔여 신호를 양자화하는 단계; 및
    상기 조화 확장된 신호를 생성하기 위하여 상기 저대역 여기 신호에 대해 비선형 필터링 동작을 수행하는 단계
    를 더 포함하는, 방법.
  11. 제 1 항에 있어서,
    상기 믹싱 팩터를 비트 스트림의 부분으로서 수신기에 송신하는 단계를 더 포함하는, 방법.
  12. 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하기 위한 선형 예측 분석 필터;
    상기 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하기 위한 비선형 변환 생성기; 및
    상기 고대역 잔여 신호, 상기 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하기 위한 믹싱 팩터 계산기를 포함하고,
    상기 변조된 노이즈는 상기 조화 확장된 신호 및 화이트 노이즈에 적어도 부분적으로 기초하는, 장치.
  13. 제 12 항에 있어서,
    상기 믹싱 팩터는 폐루프 분석을 이용하여 조정되는, 장치.
  14. 제 13 항에 있어서,
    상기 폐루프 분석을 이용하여 상기 믹싱 팩터를 조장하기 위한 오차 검출 회로 및 오차 최소화 계산기를 더 포함하고;
    상기 오차 검출 회로는, 상기 고대역 잔여 신호와 고대역 여기 신호를 비교하도록 구성되고, 상기 고대역 여기 신호는 상기 믹싱 팩터, 상기 조화 확장된 신호, 및 상기 변조된 노이즈에 기초하여 생성되고;
    상기 오차 최소화 계산기는
    상기 비교에 기초하여 오차 신호를 생성하고;
    상기 오차 신호에 기초하여 상기 믹싱 팩터를 조정하도록 구성되는, 장치.
  15. 제 14 항에 있어서,
    상기 믹싱 팩터, 상기 조화 확장된 신호, 및 상기 변조된 노이즈에 적어도 부분적으로 기초하여 고대역 여기 신호를 생성하기 위한 고대역 여기 생성기를 더 포함하는, 장치.
  16. 제 15 항에 있어서,
    상기 고대역 여기 신호의 시간적 특성들은 상기 고대역 잔여 신호의 시간적 특성들에 밀접하게 매칭되는, 장치.
  17. 제 15 항에 있어서,
    상기 고대역 여기 생성기는
    제 1 스케일링된 신호를 생성하기 위하여 상기 믹싱 팩터에 따라 상기 조화 확장된 신호를 스케일링하기 위한 제 1 승산기;
    제 2 스케일링된 신호를 생성하기 위하여 상기 믹싱 팩터에 기초하여 상기 변조된 노이즈를 스케일링하기 위한 제 2 승산기; 및
    상기 제 1 스케일링된 신호 및 상기 제 2 스케일링된 신호를 컴바이닝하기 위한 믹서
    를 포함하는, 장치.
  18. 제 15 항에 있어서,
    상기 믹싱 팩터는 상기 고대역 잔여 신호와 고대역 여기 신호 사이의 차이의 평균 제곱 오차에 기초하여 조정되는, 장치.
  19. 제 18 항에 있어서,
    상기 믹싱 팩터는 또한, 저대역 보이싱, 저대역 틸트, 또는 이들의 임의의 조합에 적어도 기초하여 조정되는, 장치.
  20. 제 18 항에 있어서,
    제 2 믹싱 팩터를 생성하기 위하여 제 1 믹싱 팩터를 선택적으로 증가 또는 감소시키도록 구성된 오차 제어기를 더 포함하고,
    상기 제 1 믹싱 팩터에 기초한 상기 평균 제곱 오차가 상기 제 2 믹싱 팩터에 기초한 상기 평균 제곱 오차보다 더 작다는 결정에 응답하여 상기 믹싱 팩터는 상기 제 1 믹싱 팩터에 대응하고,
    상기 제 2 믹싱 팩터에 기초한 상기 평균 제곱 오차가 상기 제 1 믹싱 팩터에 기초한 상기 평균 제곱 오차보다 더 작다는 결정에 응답하여 상기 믹싱 팩터는 상기 제 2 믹싱 팩터에 대응하는, 장치.
  21. 제 12 항에 있어서,
    상기 고대역 잔여 신호를 생성하기 위하여 상기 오디오 신호의 상기 고대역 부분에 대해 제 1 선형 예측 분석을 수행하도록 구성된 제 1 선형 예측 분석 필터.;
    저대역 잔여 신호를 생성하기 위하여 상기 오디오 신호의 상기 저대역 부분에 대해 제 2 선형 예측 분석을 수행하도록 구성된 제 2 선형 예측 분석 필터;
    저대역 여기 신호를 생성하기 위하여 상기 저대역 잔여 신호를 양자화하도록 구성된 양자화기; 및
    상기 조화 확장된 신호를 생성하기 위하여 상기 저대역 여기 신호에 대해 비선형 필터링 동작을 수행하기 위한 비선형 변환 생성기
    를 더 포함하는, 장치.
  22. 제 12 항에 있어서,
    상기 믹싱 팩터를 비트 스트림의 부분으로서 수신기에 송신하기 위한 송신기를 더 포함하는, 장치.
  23. 스피치 인코더에서 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하게 하고;
    상기 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하게 하고;
    상기 고대역 잔여 신호, 상기 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하게 하는 것으로서, 상기 변조된 노이즈는 상기 조화 확장된 신호 및 화이트 노이즈에 적어도 부분적으로 기초하는, 상기 믹싱 팩터를 결정하게 하는 명령들을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  24. 제 23 항에 있어서,
    상기 믹싱 팩터는 폐루프 분석을 이용하여 조정되는, 비일시적 컴퓨터 판독가능 매체.
  25. 제 24 항에 있어서,
    상기 폐루프 분석을 이용하여 상기 믹싱 팩터를 조정하는 것은
    상기 고대역 잔여 신호와 고대역 여기 신호를 비교하는 것으로서, 상기 고대역 여기 신호는 상기 믹싱 팩터, 상기 조화 확장된 신호, 및 상기 변조된 노이즈에 기초하여 생성되는, 상기 고대역 여기 신호를 비교하는 것;
    상기 비교에 기초하여 오차 신호를 생성하는 것; 및
    상기 오차 신호에 기초하여 상기 믹싱 팩터를 조정하는 것
    을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  26. 제 23 항에 있어서,
    상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기 믹싱 팩터, 상기 조화 확장된 신호, 및 상기 변조된 노이즈에 적어도 부분적으로 기초하여 고대역 여기 신호를 생성하게 하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  27. 제 26 항에 있어서,
    상기 고대역 여기 신호의 시간적 특성들은 상기 고대역 잔여 신호의 시간적 특성들에 밀접하게 매칭되는, 비일시적 컴퓨터 판독가능 매체.
  28. 오디오 신호의 고대역 부분에 기초하여 고대역 잔여 신호를 생성하는 수단;
    상기 오디오 신호의 저대역 부분에 적어도 부분적으로 기초하여 조화 확장된 신호를 생성하는 수단; 및
    상기 고대역 잔여 신호, 상기 조화 확장된 신호, 및 변조된 노이즈에 기초하여 믹싱 팩터를 결정하는 수단으로서, 상기 변조된 노이즈는 상기 조화 확장된 신호 및 화이트 노이즈에 적어도 부분적으로 기초하는, 상기 믹싱 팩터를 결정하는 수단
    을 포함하는, 장치.
  29. 제 28 항에 있어서,
    상기 믹싱 팩터는 폐루프 분석을 이용하여 조정되는, 장치.
  30. 제 29 항에 있어서,
    상기 폐루프 분석을 이용하여 상기 믹싱 팩터를 조정하는 것은
    상기 고대역 잔여 신호와 고대역 여기 신호를 비교하는 것으로서, 상기 고대역 여기 신호는 상기 믹싱 팩터, 상기 조화 확장된 신호, 및 상기 변조된 노이즈에 기초하여 생성되는, 상기 고대역 여기 신호를 비교하는 것;
    상기 비교에 기초하여 오차 신호를 생성하는 것; 및
    상기 오차 신호에 기초하여 상기 믹싱 팩터를 조정하는 것
    을 포함하는, 장치.
  31. 제 28 항에 있어서,
    상기 믹싱 팩터, 상기 조화 확장된 신호, 및 상기 변조된 노이즈에 적어도 부분적으로 기초하여 고대역 여기 신호를 생성하는 수단을 더 포함하는, 장치.
  32. 제 31 항에 있어서,
    상기 고대역 여기 신호의 시간적 특성들은 상기 고대역 잔여 신호의 시간적 특성들에 밀접하게 매칭되는, 장치.
  33. 스피치 디코더에서, 저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를 수신하는 단계로서, 상기 고대역 사이드 정보는 믹싱 팩터를 포함하고, 상기 믹싱 팩터는, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정되는, 상기 인코딩된 신호를 수신하는 단계; 및
    상기 고대역 사이드 정보 및 상기 저대역 여기 신호에 기초하여 고대역 여기 신호를 생성하는 단계
    를 포함하는, 방법.
  34. 스피치 디코더를 포함하는 장치로서,
    상기 스피치 디코더는
    저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를 수신하는 것으로서, 상기 고대역 사이드 정보는 믹싱 팩터를 포함하고, 상기 믹싱 팩터는, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정되는, 상기 인코딩된 신호를 수신하고;
    상기 고대역 사이드 정보 및 상기 저대역 여기 신호에 기초하여 고대역 여기 신호를 생성하도록 구성되는, 장치.
  35. 스피치 디코더에서 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를 수신하게 하는 것으로서, 상기 고대역 사이드 정보는 믹싱 팩터를 포함하고, 상기 믹싱 팩터는, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정되는, 상기 인코딩된 신호를 수신하게 하고; 및
    상기 고대역 사이드 정보 및 상기 저대역 여기 신호에 기초하여 고대역 여기 신호를 생성하게 하는 명령들을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  36. 저대역 여기 신호 및 고대역 사이드 정보를 포함하는 인코딩된 신호를 수신하는 수단으로서, 상기 고대역 사이드 정보는 믹싱 팩터를 포함하고, 상기 믹싱 팩터는, 고대역 잔여 신호, 조화 확장된 신호, 및 변조된 노이즈에 기초하여 결정되는, 상기 인코딩된 신호를 수신하는 수단; 및
    상기 고대역 사이드 정보 및 상기 저대역 여기 신호에 기초하여 고대역 여기 신호를 생성하는 수단
    을 포함하는, 장치.
KR1020167011467A 2013-10-11 2014-10-09 고대역 여기 신호를 생성하기 위한 믹싱 팩터들의 추정 KR101941755B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361889727P 2013-10-11 2013-10-11
US61/889,727 2013-10-11
US14/509,676 2014-10-08
US14/509,676 US10083708B2 (en) 2013-10-11 2014-10-08 Estimation of mixing factors to generate high-band excitation signal
PCT/US2014/059901 WO2015054492A1 (en) 2013-10-11 2014-10-09 Estimation of mixing factors to generate high-band excitation signal

Publications (2)

Publication Number Publication Date
KR20160067210A true KR20160067210A (ko) 2016-06-13
KR101941755B1 KR101941755B1 (ko) 2019-01-23

Family

ID=52810390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167011467A KR101941755B1 (ko) 2013-10-11 2014-10-09 고대역 여기 신호를 생성하기 위한 믹싱 팩터들의 추정

Country Status (21)

Country Link
US (2) US10083708B2 (ko)
EP (1) EP3055861B1 (ko)
JP (1) JP6469664B2 (ko)
KR (1) KR101941755B1 (ko)
CN (2) CN105612578B (ko)
AU (2) AU2014331890B2 (ko)
CA (1) CA2925573C (ko)
CL (1) CL2016000818A1 (ko)
DK (1) DK3055861T3 (ko)
ES (1) ES2660605T3 (ko)
HK (1) HK1220033A1 (ko)
HU (1) HUE036838T2 (ko)
MX (1) MX354886B (ko)
MY (1) MY182788A (ko)
NZ (1) NZ717750A (ko)
PH (1) PH12016500506A1 (ko)
RU (1) RU2672179C2 (ko)
SA (1) SA516370877B1 (ko)
SG (1) SG11201601790QA (ko)
SI (1) SI3055861T1 (ko)
WO (1) WO2015054492A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3011408A1 (fr) * 2013-09-30 2015-04-03 Orange Re-echantillonnage d'un signal audio pour un codage/decodage a bas retard
US10083708B2 (en) 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal
US10163447B2 (en) * 2013-12-16 2018-12-25 Qualcomm Incorporated High-band signal modeling
US9984699B2 (en) 2014-06-26 2018-05-29 Qualcomm Incorporated High-band signal coding using mismatched frequency ranges
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
US10217468B2 (en) * 2017-01-19 2019-02-26 Qualcomm Incorporated Coding of multiple audio signals
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
WO2020157888A1 (ja) * 2019-01-31 2020-08-06 三菱電機株式会社 周波数帯域拡張装置、周波数帯域拡張方法、及び周波数帯域拡張プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006107837A1 (en) * 2005-04-01 2006-10-12 Qualcomm Incorporated Methods and apparatus for encoding and decoding an highband portion of a speech signal
US20110257980A1 (en) * 2010-04-14 2011-10-20 Huawei Technologies Co., Ltd. Bandwidth Extension System and Approach
US20120101813A1 (en) * 2010-10-25 2012-04-26 Voiceage Corporation Coding Generic Audio Signals at Low Bitrates and Low Delay

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141638A (en) 1998-05-28 2000-10-31 Motorola, Inc. Method and apparatus for coding an information signal
US7117146B2 (en) 1998-08-24 2006-10-03 Mindspeed Technologies, Inc. System for improved use of pitch enhancement with subcodebooks
US7272556B1 (en) 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
GB2342829B (en) 1998-10-13 2003-03-26 Nokia Mobile Phones Ltd Postfilter
CA2252170A1 (en) 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
US6449313B1 (en) 1999-04-28 2002-09-10 Lucent Technologies Inc. Shaped fixed codebook search for celp speech coding
US6704701B1 (en) 1999-07-02 2004-03-09 Mindspeed Technologies, Inc. Bi-directional pitch enhancement in speech coding systems
AU2001241475A1 (en) 2000-02-11 2001-08-20 Comsat Corporation Background noise reduction in sinusoidal based speech coding systems
AU2001287970A1 (en) 2000-09-15 2002-03-26 Conexant Systems, Inc. Short-term enhancement in celp speech coding
US6760698B2 (en) 2000-09-15 2004-07-06 Mindspeed Technologies Inc. System for coding speech information using an adaptive codebook with enhanced variable resolution scheme
US6766289B2 (en) 2001-06-04 2004-07-20 Qualcomm Incorporated Fast code-vector searching
JP3457293B2 (ja) 2001-06-06 2003-10-14 三菱電機株式会社 雑音抑圧装置及び雑音抑圧方法
US6993207B1 (en) 2001-10-05 2006-01-31 Micron Technology, Inc. Method and apparatus for electronic image processing
US7146313B2 (en) 2001-12-14 2006-12-05 Microsoft Corporation Techniques for measurement of perceptual audio quality
BR0315179A (pt) * 2002-10-11 2005-08-23 Nokia Corp Método e dispositivo para codificar um sinal de fala amostrado compreendendo quadros de fala
US7047188B2 (en) 2002-11-08 2006-05-16 Motorola, Inc. Method and apparatus for improvement coding of the subframe gain in a speech coding system
US7788091B2 (en) 2004-09-22 2010-08-31 Texas Instruments Incorporated Methods, devices and systems for improved pitch enhancement and autocorrelation in voice codecs
JP2006197391A (ja) 2005-01-14 2006-07-27 Toshiba Corp 音声ミクシング処理装置及び音声ミクシング処理方法
ES2358125T3 (es) * 2005-04-01 2011-05-05 Qualcomm Incorporated Procedimiento y aparato para un filtrado de antidispersión de una señal ensanchada de excitación de predicción de velocidad de ancho de banda.
US8280730B2 (en) 2005-05-25 2012-10-02 Motorola Mobility Llc Method and apparatus of increasing speech intelligibility in noisy environments
US8612216B2 (en) * 2006-01-31 2013-12-17 Siemens Enterprise Communications Gmbh & Co. Kg Method and arrangements for audio signal encoding
DE102006022346B4 (de) 2006-05-12 2008-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalcodierung
US8682652B2 (en) 2006-06-30 2014-03-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
US8239190B2 (en) * 2006-08-22 2012-08-07 Qualcomm Incorporated Time-warping frames of wideband vocoder
US9009032B2 (en) 2006-11-09 2015-04-14 Broadcom Corporation Method and system for performing sample rate conversion
US20100332223A1 (en) 2006-12-13 2010-12-30 Panasonic Corporation Audio decoding device and power adjusting method
US20080208575A1 (en) 2007-02-27 2008-08-28 Nokia Corporation Split-band encoding and decoding of an audio signal
PL2146344T3 (pl) * 2008-07-17 2017-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób kodowania/dekodowania sygnału audio obejmujący przełączalne obejście
PT2945159T (pt) * 2008-12-15 2018-06-26 Fraunhofer Ges Forschung Codificador de áudio e descodificador de extensão de largura de banda
US8463599B2 (en) * 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
US8484020B2 (en) 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
JP5812998B2 (ja) 2009-11-19 2015-11-17 テレフオンアクチーボラゲット エル エム エリクソン(パブル) オーディオコーデックにおけるラウドネスおよびシャープネスの補償のための方法および装置
AU2011226212B2 (en) 2010-03-09 2014-03-27 Dolby International Ab Apparatus and method for processing an input audio signal using cascaded filterbanks
US8600737B2 (en) 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
US8924200B2 (en) * 2010-10-15 2014-12-30 Motorola Mobility Llc Audio signal bandwidth extension in CELP-based speech coder
US8738385B2 (en) 2010-10-20 2014-05-27 Broadcom Corporation Pitch-based pre-filtering and post-filtering for compression of audio signals
EP2710590B1 (en) 2011-05-16 2015-10-07 Google, Inc. Super-wideband noise supression
CN102802112B (zh) 2011-05-24 2014-08-13 鸿富锦精密工业(深圳)有限公司 具有音频文件格式转换功能的电子装置
US9070361B2 (en) 2011-06-10 2015-06-30 Google Technology Holdings LLC Method and apparatus for encoding a wideband speech signal utilizing downmixing of a highband component
EP2791937B1 (en) * 2011-11-02 2016-06-08 Telefonaktiebolaget LM Ericsson (publ) Generation of a high band extension of a bandwidth extended audio signal
CN104221082B (zh) * 2012-03-29 2017-03-08 瑞典爱立信有限公司 谐波音频信号的带宽扩展
US9601125B2 (en) 2013-02-08 2017-03-21 Qualcomm Incorporated Systems and methods of performing noise modulation and gain adjustment
US10083708B2 (en) 2013-10-11 2018-09-25 Qualcomm Incorporated Estimation of mixing factors to generate high-band excitation signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006107837A1 (en) * 2005-04-01 2006-10-12 Qualcomm Incorporated Methods and apparatus for encoding and decoding an highband portion of a speech signal
US20110257980A1 (en) * 2010-04-14 2011-10-20 Huawei Technologies Co., Ltd. Bandwidth Extension System and Approach
US20120101813A1 (en) * 2010-10-25 2012-04-26 Voiceage Corporation Coding Generic Audio Signals at Low Bitrates and Low Delay

Also Published As

Publication number Publication date
WO2015054492A1 (en) 2015-04-16
RU2016116044A3 (ko) 2018-07-10
MY182788A (en) 2021-02-05
EP3055861B1 (en) 2017-12-27
PH12016500506B1 (en) 2016-06-13
RU2016116044A (ru) 2017-11-16
SG11201601790QA (en) 2016-04-28
SA516370877B1 (ar) 2019-04-11
US10410652B2 (en) 2019-09-10
CA2925573C (en) 2019-04-23
MX354886B (es) 2018-03-23
ES2660605T3 (es) 2018-03-23
JP2016532886A (ja) 2016-10-20
EP3055861A1 (en) 2016-08-17
DK3055861T3 (en) 2018-03-26
KR101941755B1 (ko) 2019-01-23
SI3055861T1 (en) 2018-03-30
CN110634503A (zh) 2019-12-31
CN105612578A (zh) 2016-05-25
MX2016004535A (es) 2016-07-22
AU2014331890B2 (en) 2019-05-16
US20150106084A1 (en) 2015-04-16
JP6469664B2 (ja) 2019-02-13
AU2019203827B2 (en) 2020-07-16
CN110634503B (zh) 2023-07-14
CA2925573A1 (en) 2015-04-16
NZ754130A (en) 2020-09-25
HUE036838T2 (hu) 2018-08-28
CL2016000818A1 (es) 2016-10-14
AU2019203827A1 (en) 2019-06-20
RU2672179C2 (ru) 2018-11-12
PH12016500506A1 (en) 2016-06-13
HK1220033A1 (zh) 2017-04-21
US10083708B2 (en) 2018-09-25
AU2014331890A1 (en) 2016-03-31
US20180268839A1 (en) 2018-09-20
CN105612578B (zh) 2019-10-11
NZ717750A (en) 2019-07-26

Similar Documents

Publication Publication Date Title
AU2019203827B2 (en) Estimation of mixing factors to generate high-band excitation signal
JP6538209B2 (ja) ノイズ変調とゲイン調整とを実行するシステムおよび方法
CA2925572C (en) Gain shape estimation for improved tracking of high-band temporal characteristics
AU2014331903A1 (en) Gain shape estimation for improved tracking of high-band temporal characteristics
US20150149157A1 (en) Frequency domain gain shape estimation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant