KR102028888B1 - 오디오 인코더 및 디코더 - Google Patents

오디오 인코더 및 디코더 Download PDF

Info

Publication number
KR102028888B1
KR102028888B1 KR1020167029688A KR20167029688A KR102028888B1 KR 102028888 B1 KR102028888 B1 KR 102028888B1 KR 1020167029688 A KR1020167029688 A KR 1020167029688A KR 20167029688 A KR20167029688 A KR 20167029688A KR 102028888 B1 KR102028888 B1 KR 102028888B1
Authority
KR
South Korea
Prior art keywords
transform coefficients
current block
coefficients
blocks
predictor
Prior art date
Application number
KR1020167029688A
Other languages
English (en)
Other versions
KR20160125540A (ko
Inventor
라즈 빌레모에즈
야누즈 클레자
페어 헤델린
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Publication of KR20160125540A publication Critical patent/KR20160125540A/ko
Application granted granted Critical
Publication of KR102028888B1 publication Critical patent/KR102028888B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients

Abstract

본 문서는 오디오 인코딩 및 디코딩 시스템(오디오 코덱 시스템으로 칭해짐)에 관한 것이다. 특히, 본 문서는 음성 인코딩/디코딩에 특히 적합한 변환-기반 오디오 코덱 시스템에 관한 것이다. 음성 신호를 비트스트림으로 인코딩하도록 구성된 변환-기반 음성 인코더(100, 170)가 기술된다. 인코더(100, 170)는 블록들의 세트(132, 332)를 수신하도록 구성된 프레이밍 유닛(101)을 포함하고; 블록들의 세트(132, 332)는 변환 계수들의 복수의 시퀀스 블록들(131)을 포함하고; 복수의 블록들(131)은 음성 신호의 샘플들을 나타내고; 변환 계수들의 하나의 블록(131)은 대응하는 복수의 주파수 빈들(301)에 대한 복수의 변환 계수들을 포함한다. 또한, 인코더(100, 170)는 변환 계수들의 복수의 시퀀스 블록들(131)에 기초하여 현재 엔벨로프(133)를 결정하도록 구성된 엔벨로프 추정 유닛(102)을 포함하고; 현재 엔벨로프(133)는 대응하는 복수의 주파수 빈들(301)에 대한 복수의 스펙트럼 에너지 값들(303)을 나타낸다. 또한, 인코더(100, 170)는 현재 엔벨로프(133)에 기초하여, 변환 계수들의 복수의 블록들(131)에 대한 복수의 보간된 엔벨로프들(136)을 각각 결정하도록 구성된 엔벨로프 보간 유닛(104)을 포함한다. 또한, 인코더(100, 170)는 대응하는 복수의 보간된 엔벨로프들(136)을 이용하여, 변환 계수들의 대응하는 복수의 블록들(131)을 플래트닝함으로써 플래트닝된 변환 계수들의 복수의 블록들(140)을 각각 결정하도록 구성된 플래트닝 유닛(108)을 포함하고; 비트스트림은 플래트닝된 변환 계수들의 복수의 블록들(140)에 기초하여 결정된다.

Description

오디오 인코더 및 디코더{AUDIO ENCODER AND DECODER}
본 발명은 오디오 인코딩 및 디코딩 시스템(오디오 코덱 시스템으로 칭해짐)에 관한 것이다. 특히, 본 발명은 음성 인코딩/디코딩에 특히 적합한 변환-기반 오디오 코덱 시스템에 관한 것이다.
범용 지각 오디오 코더들은 수십 밀리초(예를 들면, 20ms)를 커버하는 샘플들의 블록 크기들을 가진 수정된 이산 코사인 변환(MDCT: Modified Discrete Cosine Transform)과 같은 변환들을 이용함으로써 상대적으로 높은 코딩 이득들을 달성한다. 이러한 변환-기반 오디오 코덱 시스템에 대한 예는 고급 오디오 코딩(AAC: Advanced Audio Coding) 또는 고효율(HE: High Efficiency)-AAC이다. 그러나, 음성 신호들에 대해 이러한 변환-기반 오디오 코덱 시스템들을 이용할 때, 음성 신호들의 품질은, 특히 건조한(무-반향) 음성 신호들의 경우, 낮은 비트레이트들 쪽의 음악 신호들의 품질보다 빠르게 저하한다.
따라서, 변환-기반 오디오 코덱 시스템들은 본질적으로 음성 신호들의 코딩에 또는 음성 성분을 포함하는 오디오 신호들의 코딩에 적합하지 않다. 즉, 변환-기반 오디오 코덱 시스템들은 음성 신호들에 대해 달성되는 코딩 이득에 비해 음악 신호들에 대해 달성되는 코딩 이득에 관해 비대칭성을 나타낸다. 이러한 비대칭성은 변환-기반 코딩에 애드-온들(add-ons)을 제공함으로써 처리될 수 있고, 애드-온들은 개선된 스펙트럼 성형 또는 신호 매칭을 위한 것이다. 이러한 애드-온들에 대한 예들은 사전/사후 성형, 시간 잡음 성형(TNS: Temporal Noise Shaping) 및 시간 와핑된 MDCT이다. 또한, 이러한 비대칭성은 단기 예측 필터링(LPC) 및 장기 예측(LTP)에 기초하여 클래식 시간 도메인 음성 코더의 통합에 의해 처리될 수 있다.
변환-기반 코딩에 애드-온들을 제공함으로써 획득되는 개선들은 통상적으로 음악 신호들과 음성 신호들의 코딩 사이의 성능 갭을 고르게(even out) 하기에는 충분하지 않다는 것을 알 수 있다. 반면, 클래식 시간 도메인 음성 코더의 통합은 성능 비대칭성이 반대 방향으로 바꾸어질 정도로 성능 갭을 채운다. 이것은 클래식 시간 도메인 음성 코더들이 인간의 음성 생성 시스템을 모델링하고 음성 신호들의 코딩에 최적화되었다는 사실에 기인한다.
상기에 비추어, 변환-기반 오디오 코덱은 클래식 시간 도메인 음성 코덱과 조합하여 이용될 수 있고, 클래식 시간 도메인 음성 코덱은 오디오 신호의 음성 세그먼트들에 이용되고 변환-기반 코덱은 오디오 신호의 나머지 세그먼트들에 이용된다. 그러나 단일 오디오 코덱 시스템에서 시간 도메인 및 변환 도메인 코덱의 공존은 오디오 신호의 특성들에 기초하여 상이한 코덱들 사이를 전환하기 위한 신뢰할 수 있는 툴들을 필요로 한다. 또한, 시간 도메인 코덱(음성 컨텐트용) 및 변환 도메인 코덱(나머지 컨텐트용) 사이의 실제 전환은 구현하기가 어려울 수 있다. 특히, 시간 도메인 코덱과 변환 도메인 코덱 사이(반대로도 가능)의 부드러운 전이를 보장하는 것은 어려울 수 있다. 또한, 비-음성 신호들의 불가피한 가끔씩의 인코딩을 위해, 예를 들면, 악기 배경이 깔린 노래하는 음성의 인코딩을 위해 시간-도메인 코덱을 더욱 강력하게 만들기 위해서는 시간-도메인 코덱에 대한 수정들이 요구될 수 있다.
본 문서는 오디오 코덱 시스템들의 상기 언급된 기술적 문제들을 처리한다. 특히, 본 문서는, 음성 코덱의 중요한 특징들만을 변환하고 그에 의해 음성 및 음악에 대한 고른 성능을 달성하면서, 변환-기반 코덱 아키텍처 내에 있는 오디오 코덱 시스템을 기술한다. 즉, 본 문서는 음성 신호들(speech 또는 voice signals)의 인코딩에 특히 적합한 변환-기반 오디오 코덱을 기술한다.
일 양태에 따라 변환-기반 음성 인코더가 기술된다. 음성 인코더는 음성 신호를 비트스트림으로 인코딩하도록 구성된다. 다음에는 이러한 변환-기반 음성 인코더의 다양한 양태들이 기술됨을 유념해야 한다. 이들 양태들은 다양한 방식들로 서로 조합될 수 있다는 것이 명시적으로 언급된다. 특히 상이한 독립 청구항들에 의존하여 기술된 양태들은 다른 독립 청구항들과 조합될 수 있다. 또한, 인코더의 맥락에서 기술된 양태들은 대응하는 디코더에 유사한 방식들로 적용 가능하다.
음성 인코더는 블록들의 세트를 수신하도록 구성된 프레이밍 유닛을 포함할 수 있다. 블록들의 세트는 본 문서의 상세한 기술에 기술된 블록들의 시프트된 세트에 대응할 수 있다. 대안적으로 블록들의 세트는 본 문서의 상세한 기술에 기술된 블록들의 현재 세트에 대응할 수 있다. 블록들의 세트는 변환 계수들의 복수의 시퀀스 블록들을 포함하고, 복수의 시퀀스 블록들은 음성 신호의 샘플들을 나타낸다. 특히, 블록들의 세트는 변환 계수들의 4개 이상의 블록들을 포함할 수 있다. 복수의 시퀀스 블록들 중 하나의 블록은 음성 신호의 미리 결정된 수의 샘플들을 시간 도메인에서 주파수 도메인으로 변환하도록 구성되는 변환 유닛을 이용하여 음성 신호로부터 결정되었을 수 있다. 특히, 변환 유닛은 수정된 이산 코사인 변환(MDCT: Modified Discrete Cosine Transform)과 같은 시간 도메인 대 주파수 도메인 변환을 수행하도록 구성될 수 있다. 이와 같이, 변환 계수들의 블록은 대응하는 복수의 주파수 빈들에 대한 복수의 변환 계수들(또한 주파수 계수들 또는 스펙트럼 계수들로 칭해짐)을 포함할 수 있다. 특히, 변환 계수들의 블록은 MDCT 계수들을 포함할 수 있다.
주파수 빈들의 수 또는 블록의 크기는 통상적으로 변환 유닛에 의해 수행되는 변환의 크기에 의존한다. 양호한 예에서, 복수의 시퀀스 블록들로부터의 블록들은 예를 들면 256개의 주파수 빈들을 포함하는 소위 짧은 블록들에 대응한다. 짧은 블록들 외에도, 변환 유닛은 예를 들면 1024개의 주파수 빈들을 포함하는 소위 긴 블록들을 생성하도록 구성될 수 있다. 긴 블록들은 입력 오디오 신호의 고정 세그먼트들을 인코딩하기 위한 오디오 인코더에 의해 이용될 수 있다. 그러나 음성 신호(또는 입력 오디오 신호 내에 포함되는 음성 세그먼트)를 인코딩하기 위해 이용되는 복수의 시퀀스 블록들은 짧은 블록들만을 포함할 수 있다. 특히, 변환 계수들의 블록들은 256개의 주파수 빈들에 256개의 변환 계수들을 포함할 수 있다.
더욱 일반적인 용어들로, 주파수 빈들의 수 또는 블록의 크기는 변환 계수들의 블록이 3 내지 7 밀리초의 레인지의 음성 신호를 커버하도록 될 수 있다(예를 들면 5ms의 음성 신호). 블록의 크기는 음성 인코더가 비디오 인코더에 의해 인코딩되는 비디오 프레임들과 동기하여 동작할 수 있도록 선택될 수 있다. 변환 유닛은 상이한 수의 주파수 빈들을 가진 변환 계수들의 블록들을 생성하도록 구성될 수 있다. 예를 들면, 변환 유닛은 1920, 960, 480, 240, 120개의 주파수 빈들을 가진 블록들을 48kHz 샘플링 레이트로 생성하도록 구성될 수 있다. 3 내지 7 밀리초의 레인지의 음성 신호를 커버하는 블록 크기가 음성 인코더에 이용될 수 있다. 상기 예에서, 240개의 주파수 빈들을 포함하는 블록이 음성 인코더에 이용될 수 있다.
음성 인코더는 변환 계수들의 복수의 시퀀스 블록들에 기초하여 현재 엔벨로프를 결정하도록 구성된 엔벨로프 추정 유닛을 더 포함할 수 있다. 현재 엔벨로프는 블록들의 세트의 복수의 시퀀스 블록들에 기초하여 결정될 수 있다. 부가의 블록들, 예를 들면 블록들의 세트에 바로 앞서는 블록의 세트의 블록들이 고려될 수 있다. 대안적으로 또는 부가적으로, 소위 예견 블록들(look-ahead blocks)이 고려될 수 있다. 전반적으로, 이것은 블록들의 연속하는 세트들 사이의 연속성을 제공하는데 유리할 수 있다. 현재 엔벨로프는 대응하는 복수의 주파수 빈들에 대한 복수의 스펙트럼 에너지 값들을 나타낼 수 있다. 즉, 현재 엔벨로프는 복수의 시퀀스 블록들 내에서 각각의 블록과 동일한 차원을 가질 수 있다. 즉, 단일 현재 엔벨로프는 음성 신호의 복수의 (즉, 하나보다 많은) 블록들에 대해 결정될 수 있다. 이것은 복수의 시퀀스 블록들 내에 포함되는 스펙트럼 데이터에 관한 중요한 통계들을 제공하는데 유리하다.
현재 엔벨로프는 대응하는 복수의 주파수 대역들에 대한 복수의 스펙트럼 에너지 값들을 나타낼 수 있다. 주파수 대역은 하나 이상의 주파수 빈들을 포함할 수 있다. 특히, 하나 이상의 주파수 대역들은 하나보다 많은 주파수 빈을 포함할 수 있다. 주파수 대역 당 주파수 빈들의 수는 주파수 증가에 따라 증가할 수 있다. 즉, 주파수 대역 당 주파수 빈들의 수는 음향심리학적인 고려사항들에 의존할 수 있다. 엔벨로프 추정 유닛은 특정 주파수 대역 내에 있는 복수의 시퀀스 블록들의 변환 계수들에 기초하여 특정 주파수 대역에 대한 스펙트럼 에너지 값을 결정하도록 구성될 수 있다. 특히, 엔벨로프 추정 유닛은 특정 주파수 대역 내에 있는 복수의 시퀀스 블록들의 변환 계수들의 평균 제곱근 값에 기초하여 특정 주파수 대역에 대한 스펙트럼 에너지 값을 결정하도록 구성될 수 있다. 이와 같이, 현재 엔벨로프는 복수의 시퀀스 블록들의 스펙트럼 엔벨로프들의 평균 스펙트럼 엔벨로프를 나타낼 수 있다. 또한, 현재 엔벨로프는 밴디드 주파수 해상도(banded frequency resolution)를 가질 수 있다.
음성 인코더는 현재 엔벨로프에 기초하여, 변환 계수들의 복수의 시퀀스 블록들에 대한 복수의 보간된 엔벨로프들을 각각 결정하도록 구성된 엔벨로프 보간 유닛을 더 포함할 수 있다. 특히, 복수의 보간된 엔벨로프들은 대응하는 디코더에서도 또한 이용 가능한 양자화된 현재 엔벨로프에 기초하여 결정될 수 있다. 이렇게 함으로써, 복수의 보간된 엔벨로프들이 음성 인코더에서 및 대응하는 음성 디코더에서 동일한 방식으로 결정될 수 있는 것을 보장한다. 따라서, 음성 디코더의 맥락에서 기술된 엔벨로프 보간 유닛의 특징들은 또한 음성 인코더에도 적용 가능하고, 그 반대로도 가능하다. 전반적으로, 엔벨로프 보간 유닛은 현재 엔벨로프에 기초하여 복수의 시퀀스 블록들의 각각의 스펙트럼 엔벨로프(즉, 보간된 엔벨로프)의 근사치를 결정하도록 구성될 수 있다.
음성 인코더는 대응하는 복수의 보간된 엔벨로프들을 이용하여 변환 계수들의 대응하는 복수의 블록들을 플래트닝함으로써 플래트닝된 변환 계수들의 복수의 블록들을 각각 결정하도록 구성된 플래트닝 유닛을 더 포함할 수 있다. 특히, 특정 블록에 대한 보간된 엔벨로프(또는 도출된 엔벨로프)가 특정 블록 내에 포함되는 변환 계수들을, 즉 그것의 스펙트럼 성형을 제거하기 위해, 플래트닝하는데 이용될 수 있다. 이러한 플래트닝 처리는 변환 계수들의 특정 블록에 적용되는 화이트닝 동작(whitening operation)과 상이할 수 있음을 유념해야 한다. 즉, 플래트닝된 변환 계수들은 클래식 음성 인코더의 LPC (linear predictive coding) 분석에 의해 통상적으로 생성될 때 시간 도메인 화이트닝된 신호의 변환 계수들로서 해석될 수 없다. 상대적으로 평탄한 전력 스펙트럼을 가진 신호를 생성하는 양태만이 공유된다. 그러나 이러한 평탄한 전력 스펙트럼을 획득하는 처리는 상이하다. 본 문서에서 개요가 설명되는 바와 같이, 변환 계수들의 블록을 플래트닝하기 위한 추정된 스펙트럼 엔벨로프의 이용은 추정된 스펙트럼 엔벨로프가 비트 할당을 위해 이용될 수 있기 때문에 유리하다.
변환-기반 음성 인코더는 변환 계수들의 복수의 블록들에 대한 복수의 엔벨로프 이득들을 각각 결정하도록 구성된 엔벨로프 이득 결정 유닛을 더 포함할 수 있다. 또한, 변환-기반 음성 인코더는 복수의 엔벨로프 이득들에 따라 복수의 보간된 엔벨로프들을 시프팅함으로써 복수의 조정된 엔벨로프들을 각각 결정하도록 구성된 엔벨로프 조정 유닛을 포함할 수 있다. 엔벨로프 이득 결정 유닛은 제 1 조정된 엔벨로프를 이용하여 도출되는 플래트닝된 변환 계수들의 대응하는 제 1 블록의 플래트닝된 변환 계수들의 분산이 제 1 보간된 엔벨로프를 이용하여 도출되는 플래트닝된 변환 계수들의 대응하는 제 1 블록의 플래트닝된 변환 계수들의 분산에 비해 감소되도록, 변환 계수들의 제 1 블록(복수의 시퀀스 블록들로부터)에 대한 제 1 엔벨로프 이득을 결정하도록 구성될 수 있다. 제 1 조정된 엔벨로프는 제 1 엔벨로프 이득을 이용하여 제 1 보간된 엔벨로프를 시프팅함으로써 결정될 수 있다. 제 1 보간된 엔벨로프는 변환 계수들의 복수의 블록들로부터의 변환 계수들의 제 1 블록에 대한 복수의 보간된 엔벨로프들로부터의 보간된 엔벨로프일 수 있다.
특히, 엔벨로프 이득 결정 유닛은, 제 1 조정된 엔벨로프를 이용하여 도출되는 플래트닝된 변환 계수들의 대응하는 제 1 블록의 플래트닝된 변환 계수들의 분산이 1이 되도록, 변환 계수들의 제 1 블록에 대한 제 1 엔벨로프 이득을 결정하도록 구성될 수 있다. 플래트닝 유닛은 대응하는 복수의 조정된 엔벨로프들을 이용하여 변환 계수들의 대응하는 복수의 블록들을 플래트닝함으로써 플래트닝된 변환 계수들의 복수의 블록들을 각각 결정하도록 구성될 수 있다. 결과적으로, 플래트닝된 변환 계수들의 블록들은 각각 분산 1을 가질 수 있다.
엔벨로프 이득 결정 유닛은 복수의 엔벨로프 이득들을 나타내는 이득 데이터를 비트스트림에 삽입하도록 구성될 수 있다. 결과적으로, 대응하는 디코더는 인코더와 동일한 방식으로 복수의 조정된 엔벨로프들을 결정하는 것이 가능하다.
음성 인코더는 플래트닝된 변환 계수들의 복수의 블록들에 기초하여 비트스트림을 결정하도록 구성될 수 있다. 특히, 음성 인코더는 플래트닝된 변환 계수들의 복수의 블록들에 기초하여 계수 데이터를 결정하도록 구성될 수 있고, 계수 데이터는 비트스트림에 삽입된다. 플래트닝된 변환 계수들의 복수의 블록들에 기초하여 계수 데이터를 결정하기 위한 예시적 수단이 하기에 기술된다.
변환-기반 음성 인코더는 현재 엔벨로프를 양자화함으로써 양자화된 현재 엔벨로프를 결정하도록 구성된 엔벨로프 양자화 유닛을 포함할 수 있다. 또한, 엔벨로프 양자화 유닛은 엔벨로프 데이터를 비트스트림에 삽입하도록 구성될 수 있고, 엔벨로프 데이터는 양자화된 현재 엔벨로프를 나타낸다. 결과적으로, 대응하는 디코더는 엔벨로프 데이터를 디코딩함으로써 양자화된 현재 엔벨로프를 자각하게 될 수 있다. 엔벨로프 보간 유닛은 양자화된 현재 엔벨로프에 기초하여, 복수의 보간된 엔벨로프들을 결정하도록 구성될 수 있다. 이렇게 함으로써, 인코더 및 디코더가 동일한 복수의 보간된 엔벨로프들을 결정하도록 구성되는 것이 보장될 수 있다.
변환-기반 음성 인코더는 복수의 상이한 모드들에서 동작하도록 구성될 수 있다. 상이한 모드들은 짧은 스트라이드 모드 및 긴 스트라이드 모드를 포함할 수 있다. 프레이밍 유닛, 엔벨로프 추정 유닛 및 엔벨로프 보간 유닛은 변환-기반 음성 인코더가 짧은 스트라이드 모드에서 동작될 때, 변환 계수들의 복수의 시퀀스 블록들을 포함하는 블록들의 세트를 처리하도록 구성될 수 있다. 따라서, 짧은 스트라이드 모드에 있을 때, 인코더는 오디오 신호의 세그먼트/프레임을 인코더에 의해 순차 방식으로 처리되는 시퀀스 블록들의 하나의 시퀀스로 세분하도록 구성될 수 있다. 반면, 프레이밍 유닛, 엔벨로프 추정 유닛 및 엔벨로프 보간 유닛은 변환-기반 음성 인코더가 긴 스트라이드 모드에서 동작될 때, 변환 계수들의 단일 블록만을 포함하는 블록들의 세트를 처리하도록 구성될 수 있다. 따라서, 긴 스트라이드 모드에 있을 때, 인코더는 블록들로의 세분없이 오디오 신호의 완전한 세그먼트/프레임을 처리하도록 구성될 수 있다. 이것은 오디오 신호의 짧은 세그먼트들/프레임들에 및/또는 음악 신호들에 유리할 수 있다. 긴 스트라이드 모드에 있을 때, 엔벨로프 추정 유닛은 블록들의 세트 내에 포함되는 변환 계수들의 단일 블록의 현재 엔벨로프를 결정하도록 구성될 수 있다. 엔벨로프 보간 유닛은 변환 계수들의 단일 블록에 대한 보간된 엔벨로프를 변환 계수들의 단일 블록의 현재 엔벨로프로서 결정하도록 구성될 수 있다. 즉, 본 문서에 기술된 엔벨로프 보간은 긴 스트라이드 모드에 있을 때, 바이패스될 수 있고, 단일 블록의 현재 엔벨로프는 보간된 엔벨로프가 되도록 설정될 수 있다(부가 처리를 위해).
다른 양태에 따라, 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하도록 구성된 변환-기반 음성 디코더가 기술된다. 상기에 이미 나타낸 바와 같이, 디코더는 대응하는 인코더의 구성요소들과 유사한 구성요소들을 포함할 수 있다. 디코더는 비트스트림 내에 포함되는 엔벨로프 데이터로부터 양자화된 현재 엔벨로프를 결정하도록 구성된 엔벨로프 디코딩 유닛을 포함할 수 있다. 상기에 나타낸 바와 같이, 양자화된 현재 엔벨로프는 통상적으로 주파수 대역들의 대응하는 복수의 주파수 빈들에 대한 복수의 스펙트럼 에너지 값들을 나타낸다. 또한, 비트스트림은 재구성된 플래트닝된 변환 계수들의 복수의 시퀀스 블록들을 나타내는 데이터(예를 들면, 계수 데이터)를 포함할 수 있다. 재구성된 플래트닝된 변환 계수들의 복수의 시퀀스 블록들은 통상적으로 인코더에서 플래트닝된 변환 계수들의 대응하는 복수의 시퀀스 블록들과 연관된다. 복수의 시퀀스 블록들은 예를 들면, 하기에 기술된 블록들의 시프트된 세트의 블록들의 세트의 복수의 시퀀스 블록들에 대응할 수 있다. 재구성된 플래트닝된 변환 계수들의 하나의 블록은 대응하는 복수의 주파수 빈들에 대한 복수의 재구성된 플래트닝된 변환 계수들을 포함할 수 있다.
디코더는 양자화된 현재 엔벨로프에 기초하여, 재구성된 플래트닝된 변환 계수들의 복수의 블록들에 대한 복수의 보간된 엔벨로프들을 각각 결정하도록 구성된 엔벨로프 보간 유닛을 더 포함할 수 있다. 디코더의 엔벨로프 보간 유닛은 통상적으로 인코더의 엔벨로프 보간 유닛과 동일한 방식으로 동작한다. 엔벨로프 보간 유닛은 양자화된 이전 엔벨로프에 부가로 기초하여 복수의 보간된 엔벨로프들을 결정하도록 구성될 수 있다. 양자화된 이전 엔벨로프는 재구성된 변환 계수들의 복수의 블록들에 바로 앞서는 재구성된 변환 계수들의 복수의 이전 블록들과 연관될 수 있다. 이와 같이, 양자화된 이전 엔벨로프는 디코더에 의해 변환 계수들의 블록들의 이전 세트에 대한 엔벨로프 데이터로서 수신되었을 수 있다(예를 들면, 소위 P-프레임의 경우에).
대안적으로 또는 부가적으로, 블록들의 세트에 대한 엔벨로프 데이터는 양자화된 현재 엔벨로프를 나타내는 것 외에도, 양자화된 이전 엔벨로프를 나타낼 수 있다(예를 들면, 소위 I-프레임의 경우에). 이것은 I-프레임이 이전 데이터의 지식 없이 디코딩되는 것을 가능하게 한다.
엔벨로프 보간 유닛은 양자화된 현재 엔벨로프의 및 양자화된 이전 엔벨로프의 특정 주파수 빈에 대한 스펙트럼 에너지 값들을 제 1 중간 시간 순간에 보간함으로써 제 1 보간된 엔벨로프의 특정 주파수 빈에 대한 스펙트럼 에너지 값을 결정하도록 구성될 수 있다. 제 1 보간된 엔벨로프는 재구성된 플래트닝된 변환 계수들의 복수의 시퀀스 블록들의 제 1 블록과 연관되거나 이에 대응한다. 상기에 개요가 설명된 바와 같이, 양자화된 이전 및 현재 엔벨로프들은 통상적으로 밴디드 엔벨로프들이다. 특정 주파수 대역에 대한 스펙트럼 에너지 값들은 통상적으로 주파수 대역 내에 포함되는 모든 주파수 빈들에 대해 일정하다.
엔벨로프 보간 유닛은 양자화된 현재 엔벨로프의 및 양자화된 이전 엔벨로프의 특정 주파수 빈에 대한 스펙트럼 에너지 값들 사이의 보간을 양자화함으로써 제 1 보간된 엔벨로프의 특정 주파수 빈에 대한 스펙트럼 에너지 값을 결정하도록 구성될 수 있다. 이와 같이, 복수의 보간된 엔벨로프들은 양자화된 보간된 엔벨로프들일 수 있다.
엔벨로프 보간 유닛은 양자화된 현재 엔벨로프의 및 양자화된 이전 엔벨로프의 특정 주파수 빈에 대한 스펙트럼 에너지 값들을 제 2 중간 시간 순간에 보간함으로써 제 2 보간된 엔벨로프의 특정 주파수 빈에 대한 스펙트럼 에너지 값을 결정하도록 구성될 수 있다. 제 2 보간된 엔벨로프는 재구성된 플래트닝된 변환 계수들의 복수의 블록들의 제 2 블록과 연관될 수 있거나 이에 대응할 수 있다. 재구성된 플래트닝된 변환 계수들의 제 2 블록은 재구성된 플래트닝된 변환 계수들의 제 1 블록에 후속할 수 있고 제 2 중간 시간 순간은 제 1 중간 시간 순간에 후속할 수 있다. 특히, 제 2 중간 시간 순간과 제 1 중간 시간 순간 사이의 차는 재구성된 플래트닝된 변환 계수들의 제 2 블록과 재구성된 플래트닝된 변환 계수들의 제 1 블록 사이의 시간 간격에 대응할 수 있다.
엔벨로프 보간 유닛은 선형 보간, 기하학 보간, 및 고조파 보간(harmonic interpolation) 중 하나 이상을 수행하도록 구성될 수 있다. 또한, 엔벨로프 보간 유닛은 대수 도메인에서 보간을 수행하도록 구성될 수 있다.
또한, 디코더는 대응하는 복수의 보간된 엔벨로프들을 이용하여, 재구성된 플래트닝된 변환 계수들의 대응하는 복수의 블록들에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 복수의 블록들을 각각 결정하도록 구성된 역 플래트닝 유닛을 포함할 수 있다. 상기에 나타낸 바와 같이, 비트스트림은 재구성된 플래트닝된 변환 계수들의 복수의 블록들에 대한 복수의 엔벨로프 이득들(이득 데이터 내의)을 각각 나타낼 수 있다. 변환-기반 음성 디코더는 복수의 엔벨로프 이득들을 복수의 보간된 엔벨로프들에 적용함으로써 복수의 조정된 엔벨로프들을 각각 결정하도록 구성된 엔벨로프 조정 유닛을 더 포함할 수 있다. 역 플래트닝 유닛은 대응하는 복수의 조정된 엔벨로프들을 이용하여, 재구성된 플래트닝된 변환 계수들의 대응하는 복수의 블록들에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 복수의 블록들을 각각 결정하도록 구성될 수 있다. 디코더는 재구성된 변환 계수들의 복수의 블록들에 기초하여 재구성된 음성 신호를 결정하도록 구성될 수 있다.
다른 양태에 따라, 음성 신호를 비트스트림으로 인코딩하도록 구성된 변환-기반 음성 인코더가 기술된다. 인코더는 본 문서에 기술된 임의의 인코더 관련 특징들 및/또는 구성요소들을 포함할 수 있다. 특히, 인코더는 변환 계수들의 복수의 시퀀스 블록들을 수신하도록 구성된 프레이밍 유닛을 포함할 수 있다. 복수의 시퀀스 블록들은 현재 블록 및 하나 이상의 이전 블록들을 포함한다. 상기에 나타낸 바와 같이, 복수의 시퀀스 블록들은 음성 신호의 샘플들을 나타낸다.
또한, 인코더는 대응하는 현재 블록 엔벨로프 및 대응하는 하나 이상의 이전 블록 엔벨로프들을 이용하여 변환 계수들의 대응하는 현재 블록 및 하나 이상의 이전 블록들을 플래트닝함으로써, 플래트닝된 변환 계수들의 현재 블록 및 하나 이상의 이전 블록들을 각각 결정하도록 구성된 플래트닝 유닛을 포함할 수 있다. 블록 엔벨로프들은 상기 언급된 조정된 엔벨로프들에 대응할 수 있다.
또한, 인코더는 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 하나 이상의 예측기 파라미터들에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성된 예측기를 포함한다. 재구성된 변환 계수들의 하나 이상의 이전 블록들은 플래트닝된 변환 계수들의 하나 이상의 이전 블록들로부터 각각 도출되었을 수 있다(예를 들면, 예측기를 이용하여).
예측기는 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 하나 이상의 예측기 파라미터들에 기초하여 추정된 변환 계수들의 현재 블록을 결정하도록 구성된 추출기를 포함할 수 있다. 이와 같이, 추출기는 플래트닝되지 않은 도메인에서 동작할 수 있다(즉, 추출기는 스펙트럼 성형을 가진 변환 계수들의 블록들에 대해 동작할 수 있다). 이것은 추정된 변환 계수들의 현재 블록을 결정하기 위한 추출기에 의해 이용되는 신호 모델에 관해 유리할 수 있다.
또한, 예측기는 추정된 변환 계수들의 현재 블록에 기초하고, 하나 이상의 이전 블록 엔벨로프들 중 적어도 하나에 기초하고 하나 이상의 예측기 파라미터들 중 적어도 하나에 기초하여, 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성된 스펙트럼 성형기를 포함할 수 있다. 이와 같이, 스펙트럼 성형기는 추정된 플래트닝된 변환 계수들의 현재 블록을 제공하기 위해 추정된 변환 계수들의 현재 블록을 플래트닝 도메인으로 변환하도록 구성될 수 있다. 대응하는 디코더의 맥락에서 개요가 설명된 바와 같이, 스펙트럼 성형기는 이를 위해 복수의 조정된 엔벨로프들(또는 복수의 블록 엔벨로프들)을 이용할 수 있다.
상기에 나타낸 바와 같이, 예측기(특히, 추출기)는 신호 모델을 이용하여 모델-기반 예측기를 포함할 수 있다. 신호 모델은 하나 이상의 모델 파라미터들을 포함하고, 하나 이상의 예측기 파라미터들은 하나 이상의 모델 파라미터들을 나타낼 수 있다. 모델-기반 예측기의 이용은 부대역(또는 주파수 빈)-예측기에 의해 이용되는 예측 계수들을 기술하기 위한 비트-레이트 효율적인 수단을 제공하는데 유리할 수 있다. 특히, 몇몇 모델 파라미터들만을 이용하여 예측 계수들의 완전한 세트를 결정하는 것이 가능할 수 있으며, 모델 파라미터들은 비트-레이트 효율적인 방식으로 대응하는 디코더에 예측기 데이터로서 전송될 수 있다. 이와 같이, 모델-기반 예측기는 신호 모델의 하나 이상의 모델 파라미터들을 결정하도록 구성될 수 있다(예를 들면, 더빈-레빈슨 알고리즘을 이용하여).
또한, 모델-기반 예측기는 신호 모델에 기초하고 하나 이상의 모델 파라미터들에 기초하여, 재구성된 변환 계수들의 이전 블록의 제 1 주파수 빈에서 제 1 재구성된 변환 계수에 적용될 예측 계수를 결정하도록 구성될 수 있다. 특히, 복수의 재구성된 변환 계수들에 대한 복수의 예측 계수들이 결정될 수 있다. 이렇게 함으로써, 추정된 변환 계수들의 현재 블록의 제 1 주파수 빈에서 제 1 추정된 변환 계수의 추정치는 예측 계수를 제 1 재구성된 변환 계수에 적용함으로써 결정될 수 있다. 특히, 이렇게 함으로써, 추정된 변환 계수들의 현재 블록의 추정된 변환 계수들이 결정될 수 있다.
예를 들면, 신호 모델은 하나 이상의 정현파 모델 성분들을 포함하고 하나 이상의 모델 파라미터들은 하나 이상의 정현파 모델 성분들의 주파수를 나타낼 수 있다. 특히, 하나 이상의 모델 파라미터들은 다중-정현파 신호 모델의 기본 주파수를 나타낼 수 있다. 이러한 기본 주파수는 시간 도메인에서의 지연에 대응할 수 있다. 예측기는 예측 에러 계수들의 현재 블록의 예측 에러 계수들의 평균 제곱 값이 감소(예를 들면, 최소화)되도록 하나 이상의 예측기 파라미터들을 결정하도록 구성될 수 있다. 이것은 예를 들면, 더빈-레빈슨 알고리즘을 이용하여 달성될 수 있다. 예측기는 하나 이상의 예측기 파라미터들을 나타내는 예측기 데이터를 비트스트림에 삽입하도록 구성될 수 있다. 결과적으로, 대응하는 디코더는 인코더와 동일한 방식으로 예측된 플래트닝된 변환 계수들의 현재 블록을 결정하기가 가능해진다.
또한, 인코더는 플래트닝된 변환 계수들의 현재 블록에 기초하고 추정된 플래트닝된 변환 계수들의 현재 블록에 기초하여 예측 에러 계수들의 현재 블록을 결정하도록 구성된 차 유닛을 포함할 수 있다. 비트스트림은 예측 에러 계수들의 현재 블록에 기초하여 결정될 수 있다. 특히, 비트스트림의 계수 데이터는 예측 에러 계수들의 현재 블록을 나타낼 수 있다.
다른 양태에 따라, 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하도록 구성된 변환-기반 음성 디코더가 기술된다. 디코더는 본 문서에 기술된 임의의 디코더 관련 특징들 및/또는 구성요소들을 포함할 수 있다. 특히, 디코더는 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 비트스트림(의 예측기 데이터)으로부터 도출되는 하나 이상의 예측기 파라미터들에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성된 예측기를 포함할 수 있다. 대응하는 인코더의 맥락에서 개요가 설명된 바와 같이, 예측기는 재구성된 변환 계수들의 하나 이상의 이전 블록들의 적어도 하나에 기초하고 하나 이상의 예측기 파라미터들의 적어도 하나에 기초하여 추정된 변환 계수들의 현재 블록을 결정하도록 구성된 추출기를 포함할 수 있다. 또한, 예측기는 추정된 변환 계수들의 현재 블록에 기초하고, 하나 이상의 이전 블록 엔벨로프들(예를 들면, 이전 조정된 엔벨로프)에 기초하고 하나 이상의 예측기 파라미터들에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성된 스펙트럼 성형기를 포함할 수 있다.
하나 이상의 예측기 파라미터들은 블록 래그 파라미터 T를 포함할 수 있다. 블록 래그 파라미터는 추정된 플래트닝된 변환 계수들의 현재 블록에 앞서는 블록들의 수를 나타낼 수 있다. 특히, 블록 래그 파라미터 T는 음성 신호의 주기성을 나타낼 수 있다. 이와 같이, 블록 래그 파라미터 T는 재구성된 변환 계수들의 이전 블록들 중 하나 이상이 변환 계수들의 현재 블록과 (가장) 유사하다는 것을 나타낼 수 있고, 따라서 변환 계수들의 현재 블록을 예측하기 위해 이용될 수 있고, 즉 추정된 변환 계수들의 현재 블록을 결정하기 위해 이용될 수 있다.
스펙트럼 성형기는 현재 추정된 엔벨로프를 이용하여 추정된 변환 계수들의 현재 블록을 플래트닝하도록 구성될 수 있다. 또한, 스펙트럼 성형기는 하나 이상의 이전 블록 엔벨로프들 중 적어도 하나에 기초하고 블록 래그 파라미터에 기초하여 현재 추정된 엔벨로프를 결정하도록 구성될 수 있다. 특히, 스펙트럼 성형기는 블록 래그 파라미터 T에 기초하여 정수 래그 값 T0를 결정하도록 구성될 수 있다. 정수 래그 값 T0는 블록 래그 파라미터 T를 가장 근접한 정수로 라운딩함으로써 결정될 수 있다. 또한, 스펙트럼 성형기는 정수 래그 값에 대응하는 블록들의 수에 의해 추정된 플래트닝된 변환 계수들의 현재 블록에 앞서는 재구성된 변환 계수들의 이전 블록의 이전 블록 엔벨로프(예를 들면, 이전 조정된 엔벨로프)로서 현재 추정된 엔벨로프를 결정하도록 구성될 수 있다. 디코더의 스펙트럼 성형기에 대해 기술된 특징들은 또한 인코더의 스펙트럼 성형기에 적용 가능함을 유념해야 한다.
추출기는 재구성된 변환 계수들의 하나 이상의 이전 블록들 중 적어도 하나에 기초하고 블록 래그 파라미터 T에 기초하여 추정된 변환 계수들의 현재 블록을 결정하도록 구성될 수 있다. 이를 위해, 추출기는 대응하는 인코더의 맥락에서 개요가 설명된 바와 같이, 모델-기반 예측기를 이용할 수 있다. 이러한 맥락에서, 블록 래그 파라미터 T는 다중-정현파 모델의 기본 주파수를 나타낼 수 있다.
또한, 음성 디코더는 비트스트림 내에 포함되는 계수 데이터에 기초하여 양자화된 예측 에러 계수들의 현재 블록을 결정하도록 구성된 스펙트럼 디코더를 포함할 수 있다. 이를 위해, 스펙트럼 디코더는 본 문서에 기술된 역 양자화기들을 이용할 수 있다. 또한, 음성 디코더는 추정된 플래트닝된 변환 계수들의 현재 블록에 기초하고 양자화된 예측 에러 계수들의 현재 블록에 기초하여 재구성된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성된 가산 유닛을 포함할 수 있다. 또한, 음성 디코더는 현재 블록 엔벨로프를 이용하여, 재구성된 플래트닝된 변환 계수들의 현재 블록에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 현재 블록을 결정하도록 구성된 역 플래트닝 유닛을 포함할 수 있다. 또한, 플래트닝 유닛은 하나 이상의 이전 블록 엔벨로프들(예를 들면, 이전 조정된 엔벨로프들)을 이용하여, 재구성된 플래트닝된 변환 계수들의 하나 이상의 이전 블록들에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 하나 이상의 이전 블록들을 각각 결정하도록 구성될 수 있다. 음성 디코더는 재구성된 변환 계수들의 현재 및 하나 이상의 이전 블록들에 기초하여 재구성된 음성 신호를 결정하도록 구성될 수 있다.
변환-기반 음성 디코더는 하나 이상의 이전 블록 엔벨로프들을 저장하도록 구성된 엔벨로프 버퍼를 포함할 수 있다. 스펙트럼 성형기는 정수 래그 값 T0를 엔벨로프 버퍼 내에 저장되는 이전 블록 엔벨로프들의 수로 한정함으로써 정수 래그 값 T0를 결정하도록 구성될 수 있다. 엔벨로프 버퍼 내에 저장되는 이전 블록 엔벨로프들의 수는 변할 수 있다(예를 들면, I-프레임의 초반에). 스펙트럼 성형기는 엔벨로프 버퍼에 저장되는 이전 엔벨로프들의 수를 결정하고 이에 따라 정수 래그 값 T0를 한정하도록 구성될 수 있다. 이렇게 함으로써, 잘못된 엔벨로프 루프-업들(envelope loop-ups)이 회피될 수 있다.
스펙트럼 성형기는 하나 이상의 예측기 파라미터들의 적용에 앞서(특히, 예측기 이득의 적용에 앞서), 플래트닝된 추정된 변환 계수들의 현재 블록이 단위 분산(예를 들면 주파수 대역들의 일부 또는 전부에서)을 나타내도록 추정된 변환 계수들의 현재 블록을 플래트닝하도록 구성될 수 있다. 이를 위해, 비트스트림은 분산 이득 파라미터를 포함할 수 있고, 스펙트럼 성형기는 분산 이득 파라미터를 추정된 변환 계수들의 현재 블록에 적용하도록 구성될 수 있다. 이것은 예측 품질에 관해 유리할 수 있다.
다른 양태에 따라, 음성 신호를 비트스트림으로 인코딩하도록 구성된 변환-기반 음성 인코더가 기술된다. 상기에 이미 나타낸 바와 같이, 인코더는 본 문서에 기술된 임의의 인코더 관련 특징들 및/또는 구성요소들을 포함할 수 있다. 특히, 인코더는 변환 계수들의 복수의 시퀀스 블록들을 수신하도록 구성된 프레이밍 유닛을 포함할 수 있다. 복수의 시퀀스 블록들은 현재 블록 및 하나 이상의 이전 블록들을 포함한다. 또한, 복수의 시퀀스 블록들은 음성 신호의 샘플들을 나타낸다.
또한, 음성 인코더는 대응하는 현재 블록 엔벨로프(예를 들면, 대응하는 조정된 엔벨로프)를 이용하여 변환 계수들의 대응하는 현재 블록을 플래트닝함으로써, 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성된 플래트닝 유닛을 포함할 수 있다. 또한, 음성 인코더는 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 하나 이상의 예측기 파라미터들(예를 들면 예측기 이득을 포함)에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성된 예측기를 포함할 수 있다. 상기에 개요가 설명된 바와 같이, 재구성된 변환 계수들의 하나 이상의 이전 블록들은 변환 계수들의 하나 이상의 이전 블록들로부터 도출되었을 수 있다. 또한, 음성 인코더는 플래트닝된 변환 계수들의 현재 블록에 기초하고 추정된 플래트닝된 변환 계수들의 현재 블록에 기초하여 예측 에러 계수들의 현재 블록을 결정하도록 구성된 차 유닛을 포함할 수 있다.
예측기는 가중된 평균 제곱 에러 기준을 이용하여(예를 들면, 가중된 평균 제곱 에러 기준을 최소화함으로써) 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성될 수 있다. 가중된 평균 제곱 에러 기준은 현재 블록 엔벨로프 또는 현재 블록 엔벨로프의 일부 미리 규정된 함수를 가중치들로서 고려할 수 있다. 본 문서에는 가중된 평균 제곱 에러 기준을 이용하여 예측기 이득을 결정하기 위한 여러 가지 상이한 방식들이 기술된다.
또한, 음성 인코더는 미리 결정된 양자화기들의 세트를 이용하여, 예측 에러 계수들의 현재 블록으로부터 도출된 계수들을 양자화하도록 구성된 계수 양자화 유닛을 포함할 수 있다. 계수 양자화 유닛은 하나 이상의 예측기 파라미터들 중 적어도 하나에 의존하여 미리 결정된 양자화기들의 세트를 결정하도록 구성될 수 있다. 이것은 예측기의 성능이 계수 양자화 유닛에 의해 이용되는 양자화기들에 영향을 미칠 수 있음을 의미한다. 계수 양자화 유닛은 양자화된 계수들에 기초하여 비트스트림에 대한 계수 데이터를 결정하도록 구성될 수 있다. 이와 같이, 계수 데이터는 예측 에러 계수들의 현재 블록의 양자화된 버전을 나타낼 수 있다. 변환-기반 음성 인코더는 하나 이상의 스케일링 규칙들을 이용하여 예측 에러 계수들의 현재 블록에 기초하여 리스케일링된 에러 계수들의 현재 블록을 결정하도록 구성되는 스케일링 유닛을 더 포함할 수 있다. 리스케일링된 에러 계수의 현재 블록은 리스케일링된 에러 계수들의 현재 블록의 리스케일링된 에러 계수들의 분산이 평균적으로 예측 에러 계수들의 현재 블록의 예측 에러 계수들의 분산보다 높도록 결정될 수 있고, 및/또는 하나 이상의 스케일링 규칙들은 이렇게 될 수 있다. 특히, 하나 이상의 스케일링 규칙들은 예측 에러 계수들의 분산이 모든 주파수 빈들 또는 주파수 대역들에 대해 1(unity)에 더 근접하게 될 수 있다. 계수 양자화 유닛은 계수 데이터를 제공하기 위해, 리스케일링된 에러 계수들의 현재 블록의 리스케일링된 에러 계수들을 양자화하도록 구성될 수 있다.
예측 에러 계수들의 현재 블록은 통상적으로 대응하는 복수의 주파수 빈들에 대한 복수의 예측 에러 계수들을 포함한다. 스케일링 유닛에 의해 스케일링 규칙에 따라 예측 에러 계수들에 적용되는 스케일링 이득들은 각각의 예측 에러 계수들의 주파수 빈들에 의존할 수 있다. 또한, 스케일링 규칙은 하나 이상의 예측기 파라미터들에, 예를 들면 예측기 이득에 의존할 수 있다. 대안적으로 또는 부가적으로, 스케일링 규칙은 현재 블록 엔벨로프에 의존할 수 있다. 본 문서에는 주파수 빈-의존 스케일링 규칙을 결정하기 위한 여러 가지 상이한 방식들이 기술된다.
변환-기반 음성 인코더는 현재 블록 엔벨로프에 기초하여 할당 벡터를 결정하도록 구성된 비트 할당 유닛을 더 포함할 수 있다. 할당 벡터는 예측 에러 계수들의 현재 블록으로부터 도출되는 제 1 계수를 양자화하는데 이용될 미리 결정된 양자화기들의 세트로부터의 제 1 양자화기를 나타낼 수 있다. 특히, 할당 벡터는 예측 에러 계수들의 현재 블록으로부터 도출되는 모든 계수들을 양자화하는데 각각 이용될 양자화기들을 나타낼 수 있다. 예를 들면, 할당 벡터는 각각의 주파수 대역에 이용될 상이한 양자화기를 나타낼 수 있다.
비트 할당 유닛은 예측 에러 계수들의 현재 블록에 대한 계수 데이터가 미리 결정된 수의 비트들을 초과하지 않도록 할당 벡터를 결정하도록 구성될 수 있다. 또한, 비트 할당 유닛은 현재 블록 엔벨로프로부터 도출되는(예를 들면, 현재 조정된 엔벨로프로부터 도출되는) 할당 엔벨로프에 적용될 오프셋을 나타내는 오프셋 값을 결정하도록 구성될 수 있다. 대응하는 디코더가 계수 데이터를 결정하기 위해 이용된 양자화기들을 식별할 수 있게 하기 위해 오프셋 값은 비트스트림에 포함될 수 있다. 다른 양태에 따라, 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하도록 구성된 변환-기반 음성 디코더가 기술된다. 음성 디코더는 본 문서에 기술된 임의의 특징들 및/또는 구성요소들을 포함할 수 있다. 특히, 디코더는 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 비트스트림으로부터 도출되는 하나 이상의 예측기 파라미터들에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성된 예측기를 포함할 수 있다. 또한, 음성 디코더는 미리 결정된 양자화기들의 세트를 이용하여, 비트스트림 내에 포함된 계수 데이터에 기초하여 양자화된 예측 에러 계수들(또는 리스케일링된 버전)의 현재 블록을 결정하도록 구성된 스펙트럼 디코더를 포함할 수 있다. 특히, 스펙트럼 디코더는 대응하는 음성 인코더에 의해 이용되는 미리 결정된 양자화기들의 세트에 대응하는 미리 결정된 역 양자화기들의 세트를 이용할 수 있다.
스펙트럼 디코더는 하나 이상의 예측기 파라미터들에 의존하여 미리 결정된 양자화기들의 세트(및/또는 미리 결정된 역 양자화기들의 대응하는 세트)를 결정하도록 구성될 수 있다. 특히, 스펙트럼 디코더는 대응하는 음성 인코더의 계수 양자화 유닛과 미리 결정된 양자화기들의 세트에 대해 동일한 선택 처리를 수행할 수 있다. 미리 결정된 양자화기들의 세트를 하나 이상의 예측기 파라미터들에 의존하게 만듦으로써, 재구성된 음성 신호의 지각 품질이 개선될 수 있다.
미리 결정된 양자화기들의 세트는 상이한 신호대 잡음비들(및 상이한 연관된 비트-레이트들)을 가진 상이한 양자화기들을 포함할 수 있다. 또한, 미리 결정된 양자화기들의 세트는 적어도 하나의 디더링된 양자화기를 포함할 수 있다. 하나 이상의 예측기 파라미터들은 예측기 이득 g를 포함할 수 있다. 예측기 이득 g는 재구성된 변환 계수들의 현재 블록에 대한 재구성된 변환 계수들의 하나 이상의 이전 블록들의 타당성의 정도를 나타낼 수 있다. 이와 같이, 예측기 이득 g는 예측 에러 계수들의 현재 블록 내에 포함되는 정보량의 표시를 제공할 수 있다. 상대적으로 높은 예측기 이득 g는 상대적으로 낮은 정보량을 나타낼 수 있고, 그 반대로도 가능하다. 미리 결정된 양자화기들의 세트 내에 포함되는 디더링된 양자화기들의 수는 예측기 이득에 의존할 수 있다. 특히, 미리 결정된 양자화기들의 세트 내에 포함되는 디더링된 양자화기들의 수는 예측기 이득 증가에 따라 감소할 수 있다.
스펙트럼 디코더는 제 1 세트 및 제 2 세트의 미리 결정된 양자화기들에 대한 액세스를 가질 수 있다. 제 2 세트는 제 1 세트의 양자화기들보다 낮은 수의 디더링된 양자화기들을 포함할 수 있다. 스펙트럼 디코더는 예측기 이득 g에 기초하여 세트 기준 rfu를 결정하도록 구성될 수 있다. 스펙트럼 디코더는 세트 기준 rfu가 미리 결정된 임계값보다 작은 경우 제 1 세트의 미리 결정된 양자화기들을 이용하도록 구성될 수 있다. 또한, 스펙트럼 디코더는 세트 기준 rfu가 미리 결정된 임계값 이상인 경우 제 2 세트의 미리 결정된 양자화기들을 이용하도록 구성될 수 있다. 세트 기준은 rfu = min(1, max(g, 0))일 수 있고, 이 경우 예측기 이득은 g이다. 세트 기준 rfu는 0 이상이고 1 이하인 값들을 이용한다. 미리 결정된 임계값은 0.75일 수 있다.
상기에 나타낸 바와 같이, 세트 기준은 미리 결정된 제어 파라미터, rfu에 의존할 수 있다. 대안적인 예에서, 제어 파라미터 rfu는 다음의 조건들을 이용하여 결정될 수 있다: g < -1.0에 대해 rfu = 1.0; -1.0 ≤ g < 0.0에 대해 rfu = -g; 0.0 ≤ g < 1.0에 대해 rfu = g; 1.0 ≤ g < 2.0에 대해 rfu = 2.0 - g; 및/또는 g≥ 2.0에 대해 rfu = 0.0.
또한, 음성 디코더는 추정된 플래트닝된 변환 계수들의 현재 블록에 기초하고 양자화된 예측 에러 계수들의 현재 블록에 기초하여 재구성된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성된 가산 유닛을 포함할 수 있다. 또한, 음성 디코더는 현재 블록 엔벨로프를 이용하여, 재구성된 플래트닝된 변환 계수들의 현재 블록에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 현재 블록을 결정하도록 구성된 역 플래트닝 유닛을 포함할 수 있다. 재구성된 음성 신호는 재구성된 변환 계수들의 현재 블록에 기초하여(예를 들면, 역 변환 유닛을 이용하여) 결정될 수 있다.
변환-기반 음성 디코더는 리스케일링된 예측 에러 계수들의 현재 블록을 제공하기 위해, 역 스케일링 규칙을 이용하여 양자화된 예측 에러 계수들의 현재 블록의 양자화된 예측 에러 계수들을 리스케일링하도록 구성된 역 리스케일링 유닛을 포함할 수 있다. 역 스케일링 유닛에 의해 역 스케일링 규칙에 따라 양자화된 예측 에러 계수들에 적용되는 스케일링 이득들은 각각의 양자화된 예측 에러 계수들의 주파수 빈들에 의존할 수 있다. 달리 말하면, 역 스케일링 규칙은 주파수-의존형일 수 있고, 즉 스케일링 이득들은 주파수에 의존할 수 있다. 역 스케일링 규칙은 상이한 주파수 빈들에 대한 양자화된 예측 에러 계수들의 분산을 조정하도록 구성될 수 있다.
역 스케일링 규칙은 통상적으로 대응하는 변환-기반 음성 인코더의 스케일링 유닛에 의해 적용되는 역 스케일링 규칙이다. 따라서, 스케일링 규칙의 결정 및 특성들에 관해 본 명세서에 기술된 양태들은 또한 역 스케일링 규칙에도 적용 가능하다(유사한 방식으로).
가산 유닛은 그 후에 리스케일링된 예측 에러 계수들의 현재 블록을 추정된 플래트닝된 변환 계수들의 현재 블록에 가산함으로써 재구성된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성될 수 있다.
하나 이상의 제어 파라미터들은 분산 보존 플래그를 포함할 수 있다. 분산 보존 플래그는 양자화된 예측 에러 계수들의 현재 블록의 분산이 어떻게 성형되어야 하는지를 나타낼 수 있다. 즉, 분산 보존 플래그는 디코더에 의해 수행될 처리를 나타낼 수 있고, 이것은 양자화된 예측 에러 계수들의 현재 블록의 분산에 영향을 미친다.
예를 들면, 미리 결정된 양자화기들의 세트는 분산 보존 플래그에 의존하여 결정될 수 있다. 특히, 미리 결정된 양자화기들의 세트는 잡음 합성 양자화기를 포함할 수 있다. 잡음 합성 양자화기의 잡음 이득은 분산 보존 플래그에 의존할 수 있다. 대안적으로 또는 부가적으로, 미리 결정된 양자화기들의 세트는 SNR 레인지를 커버하는 하나 이상의 디더링된 양자화기들을 포함할 수 있다. SNR 레인지는 분산 보존 플래그에 의존하여 결정될 수 있다. 하나 이상의 디더링된 양자화기 중 적어도 하나는 양자화된 예측 에러 계수를 결정할 때, 사후-이득
Figure 112016103385551-pat00001
을 적용하도록 구성될 수 있다. 사후-이득
Figure 112016103385551-pat00002
은 분산 보존 플래그에 의존할 수 있다.
변환-기반 음성 디코더는 리스케일링된 예측 에러 계수들의 현재 블록을 제공하기 위해, 양자화된 예측 에러 계수들의 현재 블록의 양자화된 예측 에러 계수들을 리스케일링하도록 구성된 역 리스케일링 유닛을 포함할 수 있다. 가산 유닛은 분산 보존 플래그에 의존하여, 추정된 플래트닝된 변환 계수들의 현재 블록에 리스케일링된 예측 에러 계수들의 현재 블록을 가산함으로써 또는 양자화된 예측 에러 계수들의 현재 블록을 가산함으로써 재구성된 플래트닝된 변환 계수들의 현재 블록을 결정하도록 구성될 수 있다.
분산 보존 플래그는 예측의 품질에 양자화기들의 잡음 정도를 적응시키기 위해 이용될 수 있다. 이것의 결과로서, 코덱의 지각 품질이 개선될 수 있다.
다른 양태에 따라, 변환-기반 오디오 인코더가 기술된다. 오디오 인코더는 제 1 세그먼트(예를 들면, 음성 세그먼트)를 포함하는 오디오 신호를 비트스트림으로 인코딩하도록 구성된다. 특히, 오디오 인코더는 변환-기반 음성 인코더를 이용하여 오디오 신호의 하나 이상의 음성 세그먼트들을 인코딩하도록 구성될 수 있다. 또한, 오디오 인코더는 일반 변환(generic transform)-기반 음성 인코더를 이용하여 오디오 신호의 하나 이상의 비-음성 세그먼트들을 인코딩하도록 구성될 수 있다.
오디오 인코더는 오디오 신호로부터 제 1 세그먼트(예를 들면, 음성 세그먼트)를 식별하도록 구성된 신호 분류기를 포함할 수 있다. 더욱 일반적인 용어들로, 신호 분류기는 변환-기반 음성 인코더에 의해 인코딩되어야 하는 오디오 신호로부터 세그먼트를 결정하도록 구성될 수 있다. 결정된 제 1 세그먼트는 음성 세그먼트로 칭해질 수 있다(세그먼트가 실제 음성을 반드시 포함하지 않을 수 있더라도). 특히, 신호 분류기는 오디오 신호의 상이한 세그먼트들(예를 들면, 프레임들 또는 블록들)을 음성 또는 비-음성으로 분류하도록 구성될 수 있다. 상기에 개요가 설명된 바와 같이, 변환 계수들의 블록은 대응하는 복수의 주파수 빈들에 대한 복수의 변환 계수들을 포함할 수 있다. 또한, 오디오 인코더는 제 1 세그먼트에 기초하여 변환 계수들의 복수의 시퀀스 블록들을 결정하도록 구성된 변환 유닛을 포함할 수 있다. 변환 유닛은 음성 세그먼트들 및 비-음성 세그먼트들을 변환하도록 구성될 수 있다.
변환 유닛은 제 1 수의 변환 계수들을 포함하는 긴 블록들 및 제 2 수의 변환 계수들을 포함하는 짧은 블록들을 결정하도록 구성될 수 있다. 제 1 수의 샘플들은 제 2 수의 샘플들보다 크다. 특히, 제 1 수의 샘플들은 1024개일 수 있고, 제 2 수의 샘플들은 256개일 수 있다. 복수의 시퀀스 블록들의 블록들은 짧은 블록들일 수 있다. 특히, 오디오 인코더는 음성인 것으로 분류된 오디오 신호의 모든 세그먼트들을 짧은 블록들로 변환하도록 구성될 수 있다. 또한, 오디오 인코더는 복수의 시퀀스 블록들을 비트스트림으로 인코딩하도록 구성된 변환-기반 음성 인코더(본 문서에 기술된)를 포함할 수 있다. 또한, 오디오 인코더는 제 1 세그먼트(예를 들면, 비-음성 세그먼트) 이외의 다른 오디오 신호의 세그먼트를 인코딩하도록 구성되는 일반 변환-기반 오디오 인코더를 포함할 수 있다. 일반 변환-기반 오디오 인코더는 AAC (Advanced Audio Coder) 또는 HE (High Efficiency)-AAC 인코더일 수 있다. 이미 상기에 개요가 설명된 바와 같이, 변환 유닛은 MDCT를 수행하도록 구성될 수 있다. 이와 같이, 오디오 인코더는 변환 도메인(단일 변환 유닛을 이용)에서 완전한 입력 오디오 신호(음성 세그먼트들 및 비-음성 세그먼트들을 포함)를 인코딩하도록 구성될 수 있다.
다른 양태에 따라, 음성 세그먼트(즉, 변환-기반 음성 인코더를 이용하여 인코딩된 세그먼트)를 포함하는 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 대응하는 변환-기반 오디오 디코더가 기술된다. 오디오 디코더는 비트스트림 내에 포함되는 데이터(예를 들면, 엔벨로프 데이터, 이득 데이터, 예측기 데이터 및 계수 데이터)에 기초하여 재구성된 변환 계수들의 복수의 시퀀스 블록들을 결정하도록 구성된 변환-기반 음성 디코더를 포함할 수 있다. 또한, 비트스트림은 수신된 데이터가 음성 디코더를 이용하여 디코딩되어야 하는 것을 나타낼 수 있다.
또한, 오디오 디코더는 재구성된 변환 계수들의 복수의 시퀀스 블록들에 기초하여 재구성된 음성 세그먼트를 결정하도록 구성된 역 변환 유닛을 포함할 수 있다. 재구성된 변환 계수들의 하나의 블록은 대응하는 복수의 주파수 빈들에 대한 복수의 재구성된 변환 계수들을 포함할 수 있다. 역 변환 유닛은 제 1 수의 재구성된 변환 계수들을 포함하는 긴 블록들 및 제 2 수의 재구성된 변환 계수들을 포함하는 짧은 블록들을 처리하도록 구성될 수 있다. 제 1 수의 샘플들은 제 2 수의 샘플들보다 클 수 있다. 복수의 시퀀스 블록들의 블록들은 짧은 블록들일 수 있다.
다른 양태에 따라, 음성 신호를 비트스트림으로 인코딩하기 위한 방법이 기술된다. 이 방법은 블록들의 세트를 수신하는 단계를 포함할 수 있다. 블록들의 세트는 변환 계수들의 복수의 시퀀스 블록들을 포함할 수 있다. 복수의 시퀀스 블록들은 음성 신호의 샘플들을 나타낼 수 있다. 또한, 변환 계수들의 블록은 대응하는 복수의 주파수 빈들에 대한 복수의 변환 계수들을 포함할 수 있다. 이 방법은 변환 계수들의 복수의 시퀀스 블록들에 기초하여 현재 엔벨로프를 결정하는 단계로 진행할 수 있다. 현재 엔벨로프는 대응하는 복수의 주파수 빈들에 대한 복수의 스펙트럼 에너지 값들을 나타낼 수 있다. 또한, 이 방법은 현재 엔벨로프에 기초하여, 변환 계수들의 복수의 블록들에 대한 복수의 보간된 엔벨로프들을 각각 결정하는 단계를 포함할 수 있다. 또한, 이 방법은 대응하는 복수의 보간된 엔벨로프들을 이용하여 변환 계수들의 대응하는 복수의 블록들을 플래트닝함으로써 플래트닝된 변환 계수들의 복수의 블록들을 각각 결정하는 단계를 포함할 수 있다. 비트스트림은 플래트닝된 변환 계수들의 복수의 블록들에 기초하여 결정될 수 있다.
다른 양태에 따라, 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하기 위한 방법이 기술된다. 이 방법은 비트스트림 내에 포함되는 엔벨로프 데이터로부터 양자화된 현재 엔벨로프를 결정하는 단계를 포함할 수 있다. 양자화된 현재 엔벨로프는 대응하는 복수의 주파수 빈들에 대한 복수의 스펙트럼 에너지 값들을 나타낼 수 있다. 비트스트림은 재구성된 플래트닝된 변환 계수들의 복수의 시퀀스 블록들을 나타내는 데이터(예를 들면, 계수 데이터 및/또는 예측기 데이터)를 포함할 수 있다. 재구성된 플래트닝된 변환 계수들의 하나의 블록은 대응하는 복수의 주파수 빈들에 대한 복수의 재구성된 플래트닝된 변환 계수들을 포함할 수 있다. 또한, 이 방법은 양자화된 현재 엔벨로프에 기초하여, 재구성된 플래트닝된 변환 계수들의 복수의 블록들에 대한 복수의 보간된 엔벨로프들을 각각 결정하는 단계를 포함할 수 있다. 이 방법은 대응하는 복수의 보간된 엔벨로프들을 이용하여, 재구성된 플래트닝된 변환 계수들의 대응하는 복수의 블록들에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 복수의 블록들을 각각 결정하는 단계로 진행할 수 있다. 재구성된 음성 신호는 재구성된 변환 계수들의 복수의 블록들에 기초할 수 있다.
다른 양태에 따라, 음성 신호를 비트스트림으로 인코딩하기 위한 방법이 기술된다. 이 방법은 현재 블록 및 하나 이상의 이전 블록들을 포함하는 변환 계수들의 복수의 시퀀스 블록들을 수신하는 단계를 포함할 수 있다. 복수의 시퀀스 블록들은 음성 신호의 샘플들을 나타낼 수 있다. 이 방법은 대응하는 현재 블록 엔벨로프 및 대응하는 하나 이상의 이전 블록 엔벨로프들을 이용하여 변환 계수들의 대응하는 현재 블록 및 대응하는 하나 이상의 이전 블록들을 플래트닝함으로써, 플래트닝된 변환 계수들의 현재 블록 및 하나 이상의 이전 블록들을 각각 결정하는 단계로 진행할 수 있다.
또한, 이 방법은 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 예측기 파라미터에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하는 단계를 포함할 수 있다. 이것은 예측 기술들을 이용하여 달성될 수 있다. 재구성된 변환 계수들의 하나 이상의 이전 블록들은 플래트닝된 변환 계수들의 하나 이상의 이전 블록들로부터 각각 도출되었을 수 있다. 추정된 플래트닝된 변환 계수들의 현재 블록 결정 단계는 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 예측기 파라미터에 기초하여 추정된 변환 계수들의 현재 블록을 결정하는 단계와, 추정된 변환 계수들의 현재 블록에 기초하고, 하나 이상의 이전 블록 엔벨로프들에 기초하고 예측기 파라미터에 기초하여, 추정된 플래트닝된 변환 계수들의 현재 블록을 결정되는 단계를 포함할 수 있다.
또한, 이 방법은 플래트닝된 변환 계수들의 현재 블록에 기초하고 추정된 플래트닝된 변환 계수들의 현재 블록에 기초하여 예측 에러 계수들의 현재 블록을 결정하는 단계를 포함할 수 있다. 비트스트림은 예측 에러 계수들의 현재 블록에 기초하여 결정될 수 있다.
다른 양태에 따라, 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하기 위한 방법이 기술된다. 이 방법은 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 비트스트림으로부터 도출되는 예측기 파라미터에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하는 단계를 포함할 수 있다. 추정된 플래트닝된 변환 계수들의 현재 블록 결정 단계는 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 예측기 파라미터에 기초하여 추정된 변환 계수들의 현재 블록을 결정하는 단계와; 추정된 변환 계수들의 현재 블록에 기초하고, 하나 이상의 이전 블록 엔벨로프들에 기초하고 예측기 파라미터에 기초하여, 추정된 플래트닝된 변환 계수들의 현재 블록을 결정하는 단계를 포함할 수 있다.
또한, 이 방법은 비트스트림 내에 포함되는 계수 데이터에 기초하여 양자화된 예측 에러 계수들의 현재 블록을 결정하는 단계를 포함할 수 있다. 이 방법은 추정된 플래트닝된 변환 계수들의 현재 블록에 기초하고 양자화된 예측 에러 계수들의 현재 블록에 기초하여 재구성된 플래트닝된 변환 계수들의 현재 블록을 결정하는 단계로 진행할 수 있다. 재구성된 변환 계수들의 현재 블록은 현재 블록 엔벨로프(예를 들면, 현재 조정된 엔벨로프)를 이용하여, 재구성된 플래트닝된 변환 계수들의 현재 블록에 스펙트럼 성형을 제공함으로써 결정될 수 있다. 또한, 재구성된 변환 계수들의 하나 이상의 이전 블록들은 하나 이상의 이전 블록 엔벨로프들(예를 들면, 하나 이상의 이전 조정된 엔벨로프들)을 이용하여, 재구성된 플래트닝된 변환 계수들의 하나 이상의 이전 블록들에 스펙트럼 성형을 제공함으로써 각각 결정될 수 있다. 또한, 이 방법은 재구성된 변환 계수들의 현재 및 하나 이상의 이전 블록들에 기초하여 재구성된 음성 신호를 결정하는 단계를 포함할 수 있다.
다른 양태에 따라, 음성 신호를 비트스트림으로 인코딩하기 위한 방법이 기술된다. 이 방법은 현재 블록 및 하나 이상의 이전 블록들을 포함하는 변환 계수들의 복수의 시퀀스 블록들을 수신하는 단계를 포함할 수 있다. 복수의 시퀀스 블록들은 음성 신호의 샘플들을 나타낼 수 있다. 또한, 이 방법은 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 예측기 파라미터에 기초하여 추정된 변환 계수들의 현재 블록을 결정하는 단계를 포함할 수 있다. 재구성된 변환 계수들의 하나 이상의 이전 블록들은 변환 계수들의 하나 이상의 이전 블록들로부터 도출되었을 수 있다. 이 방법은 변환 계수들의 현재 블록에 기초하고 추정된 변환 계수들의 현재 블록에 기초하여 예측 에러 계수들의 현재 블록을 결정하는 단계로 진행할 수 있다.
또한, 이 방법은 미리 결정된 양자화기들의 세트를 이용하여, 예측 에러 계수들의 현재 블록으로부터 도출되는 계수들을 양자화하는 단계를 포함할 수 있다. 미리 결정된 양자화기들의 세트는 예측기 파라미터에 의존할 수 있다. 또한, 이 방법은 양자화된 계수들에 기초하여 비트스트림에 대한 계수 데이터를 결정하는 단계를 포함할 수 있다.
다른 양태에 따라, 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하기 위한 방법이 기술된다. 이 방법은 재구성된 변환 계수들의 하나 이상의 이전 블록들에 기초하고 비트스트림으로부터 도출되는 예측기 파라미터에 기초하여 추정된 변환 계수들의 현재 블록을 결정하는 단계를 포함할 수 있다. 또한, 이 방법은 미리 결정된 양자화기들의 세트를 이용하여, 비트스트림 내에 포함되는 계수 데이터에 기초하여 양자화된 예측기 에러 계수들의 현재 블록을 결정하는 단계를 포함할 수 있다. 미리 결정된 양자화기들의 세트는 예측기 파라미터의 함수일 수 있다. 이 방법은 추정된 변환 계수들의 현재 블록에 기초하고 양자화된 예측 에러 계수들의 현재 블록에 기초하여 재구성된 변환 계수들의 현재 블록을 결정하는 단계로 진행할 수 있다. 재구성된 음성 신호는 재구성된 변환 계수들의 현재 블록에 기초하여 결정될 수 있다.
다른 양태에 따라, 음성 세그먼트를 포함하는 오디오 신호를 비트스트림으로 인코딩하기 위한 방법이 기술된다. 이 방법은 오디오 신호로부터 음성 세그먼트를 식별하는 단계를 포함할 수 있다. 또한, 이 방법은 변환 유닛을 이용하여 음성 세그먼트에 기초하여 변환 계수들의 복수의 시퀀스 블록들을 결정하는 단계를 포함할 수 있다. 변환 유닛은 제 1 수의 변환 계수들을 포함하는 긴 블록들 및 제 2 수의 변환 계수들을 포함하는 짧은 블록들을 결정하도록 구성될 수 있다. 제 1 수는 제 2 수보다 클 수 있다. 복수의 시퀀스 블록들의 블록들은 짧은 블록들일 수 있다. 또한, 이 방법은 복수의 시퀀스 블록들을 비트스트림으로 인코딩하는 단계를 포함할 수 있다.
다른 양태에 따라, 음성 세그먼트를 포함하는 오디오 신호를 나타내는 비트스트림을 디코딩하기 위한 방법이 기술된다. 이 방법은 비트스트림 내에 포함되는 데이터에 기초하여 재구성된 변환 계수들의 복수의 시퀀스 블록들을 결정하는 단계를 포함할 수 있다. 또한, 이 방법은 역 변환 유닛을 이용하여, 재구성된 변환 계수들의 복수의 시퀀스 블록들에 기초하여 재구성된 음성 세그먼트를 결정하는 단계를 포함할 수 있다. 역 변환 유닛은 제 1 수의 재구성된 변환 계수들을 포함하는 긴 블록들 및 제 2 수의 재구성된 변환 계수들을 포함하는 짧은 블록들을 처리하도록 구성될 수 있다. 제 1 수는 제 2 수보다 클 수 있다. 복수의 시퀀스 블록들의 블록들은 짧은 블록들일 수 있다.
다른 양태에 따라, 소프트웨어 프로그램이 기술된다. 소프트웨어 프로그램은 처리기 상에서의 실행을 위해 구성되고 처리기 상에서 실행될 때 본 문서에 개요가 설명된 방법 단계들을 수행하기 위해 구성될 수 있다.
다른 양태에 따라, 저장 매체가 기술된다. 저장 매체는, 처리기 상에서의 실행을 위해 구성되고 처리기 상에서 실행될 때 본 문서에 개요가 설명된 방법 단계들을 수행하기 위해 구성된 소프트웨어 프로그램을 포함할 수 있다.
다른 양태에 따라, 컴퓨터 프로그램 제품이 기술된다. 컴퓨터 프로그램은 컴퓨터 상에서 실행될 때 본 문서에 개요가 설명된 방법 단계들을 수행하기 위한 실행 가능한 명령들을 포함할 수 있다.
본 특허 출원에 개요가 설명된 양호한 실시예들을 포함하는 방법들 및 시스템들은 독립적으로 또는 이 문서에 개시된 다른 방법들 및 시스템들과 조합하여 이용될 수 있음을 유념해야 한다. 또한, 본 특허 출원에 개요가 설명된 방법들 및 시스템들의 모든 양태들은 다양한 방식들로 조합될 수 있다. 특히, 청구항들의 특징들은 임의의 방식으로 서로 조합될 수 있다.
본 발명은 첨부 도면들을 참조하여 예시적인 방식으로 하기에 설명된다.
도 1a는 고정 비트-레이트로 비트스트림을 제공하는 예시적 오디오 인코더의 블록도.
도 1b는 가변 비트-레이트로 비트스트림을 제공하는 예시적 오디오 인코더의 블록도.
도 2는 변환 계수들의 복수의 블록들에 기초한 예시적 엔벨로프의 생성을 도시한 도면.
도 3a는 변환 계수들의 블록들의 예시적 엔벨로프들을 도시한 도면.
도 3b는 예시적 보간된 엔벨로프의 결정을 도시한 도면.
도 4는 예시적 양자화기들의 세트들을 도시한 도면.
도 5a는 예시적 오디오 디코더의 블록도.
도 5b는 도 5a의 오디오 디코더의 예시적 엔벨로프 디코더의 블록도.
도 5c는 도 5a의 오디오 디코더의 예시적 부대역 예측기의 블록도.
도 5d는 도 5a의 오디오 디코더의 예시적 스펙트럼 디코더의 블록도.
배경부에 개요가 설명된 바와 같이, 음성 신호들에 대한 상대적으로 높은 코딩 이득들을 나타내는 변환-기반 오디오 코덱을 제공하는 것이 바람직하다. 이러한 변환-기반 오디오 코덱은 변환-기반 음성 코덱(transform-based speech codec 또는 transform-based voice codec)으로 칭해질 수 있다. 변환-기반 음성 코덱은 변환 도메인에서도 또한 동작하므로 AAC 또는 HE-AAC와 같이 일반 변환-기반 오디오 코덱과 편리하게 조합될 수 있다. 또한, 입력 오디오 신호의 세그먼트(예를 들면, 프레임)의 음성 또는 비음성으로의 분류 및 일반 오디오 코덱과 특정 음성 코덱 간의 후속 전환은 두 코덱들이 변환 도메인에서 동작한다는 사실에 기인하여 간단해질 수 있다.
도 1a는 예시적 변환-기반 음성 인코더(100)의 블록도를 도시한다. 인코더(100)는 변환 계수들의 블록(131)(또한 코딩 단위로도 칭해짐)을 입력으로 수신한다. 변환 계수들의 블록(131)은 입력 오디오 신호의 샘플들의 시퀀스를 시간 도메인에서 변환 도메인으로 변환하도록 구성된 변환 유닛에 의해 획득되었을 수 있다. 변환 유닛은 MDCT를 수행하도록 구성될 수 있다. 변환 유닛은 AAC 또는 HE-AAC와 같은 일반 오디오 코덱의 일부일 수 있다. 이러한 일반 오디오 코덱은 상이한 블록 크기들, 예를 들면 긴 블록 및 짧은 블록을 이용할 수 있다. 예시적 블록 크기들은 긴 블록에 대해 1024개의 샘플들이고 짧은 블록에 대해 256개의 샘플들이다. 44.1kHz의 샘플링 레이트 및 50%의 오버랩을 가정하면, 긴 블록은 대략 20ms의 입력 오디오 신호를 커버하고 짧은 블록은 대략 5ms의 입력 오디오 신호를 커버한다. 긴 블록들은 통상적으로 입력 오디오 신호의 고정 세그먼트들(stationary segments)에 이용되고 짧은 블록들은 통상적으로 입력 오디오 신호의 과도 세그먼트들(transient segments)에 이용된다.
음성 신호들은 약 20ms의 시간 세그먼트들로 고정되는 것으로 간주될 수 있다. 특히, 음성 신호의 스펙트럼 엔벨로프는 약 20ms의 시간 세그먼트들에서 고정되는 것으로 간주될 수 있다. 이러한 20ms 세그먼트들 동안 변환 도메인에서 중요한 통계들을 도출할 수 있기 위해, 변환 계수들의 짧은 블록들(예를 들면 5ms의 길이를 가진)(131)을 변환-기반 음성 인코더(100)에 제공하는 것이 유용할 수 있다. 이렇게 함으로써, 복수의 짧은 블록들(131)은 예를 들면 20ms의 시간 세그먼트(예를 들면, 긴 블록의 시간 세그먼트 또는 프레임)에 관한 통계들을 도출하는데 이용될 수 있다. 또한, 이것은 음성 신호들에 대한 충분한 시간 해상도를 제공하는데 유리하다.
따라서, 변환 유닛은 입력 오디오 신호의 현재 세그먼트가 음성으로 분류된다면, 변환 계수들의 짧은 블록들(131)을 제공하도록 구성될 수 있다. 인코더(100)는 블록들(131)의 세트(132)로 칭해지는 변환 계수들의 복수의 블록들(131)을 추출하도록 구성된 프레이밍 유닛(101)을 포함할 수 있다. 블록들의 세트(132)는 또한 프레임으로 칭해질 수 있다. 예를 들면, 블록들(131)의 세트(132)는 256개의 변환 계수들의 4개의 짧은 블록들을 포함할 수 있고, 그에 의해 입력 오디오 신호의 대략 20ms 세그먼트를 커버한다.
변환-기반 음성 인코더(100)는 복수의 상이한 모드들에서, 예를 들면 짧은 스트라이드 모드 및 긴 스트라이드 모드에서 동작하도록 구성될 수 있다. 짧은 스트라이드 모드에서 동작될 때, 변환-기반 음성 인코더(100)는 오디오 신호(예를 들면, 음성 신호)의 세그먼트 또는 프레임을 짧은 블록들(131)의 세트(132)로 세분하도록 구성될 수 있다(상기에 개요가 설명된 바와 같이). 반면에, 긴 스트라이드 모드에서 동작될 때, 변환-기반 음성 인코더(100)는 오디오 신호의 세그먼트 또는 프레임을 직접 처리하도록 구성될 수 있다.
예를 들면, 짧은 스트라이드 모드에서 동작될 때, 인코더(100)는 프레임당 4개의 블록들(131)을 처리하도록 구성될 수 있다. 인코더(100)의 프레임들은 비디오 프레임 동기화 동작의 특정 설정들에 대해 물리적인 시간이 상대적으로 짧을 수 있다. 이것은 특히 증가된 비디오 프레임 주파수(예를 들면, 100Hz 대 50Hz)에 대한 경우이며, 이것은 음성 신호의 세그먼트 또는 프레임의 시간 길이의 감소를 유발한다. 그러한 경우, 프레임의 복수의 (짧은) 블록들(131)로의 세분은 변환 도메인의 감소된 해상도로 인해 불리할 수 있다. 따라서, 프레임 당 1개의 블록(131)만의 이용을 적용(invoke)하기 위해 긴 스트라이드 모드가 이용될 수 있다. 프레임 당 단일 블록(131)의 이용은 또한 음악을 포함하는 오디오 신호들(상대적으로 긴 프레임들에 대해서도)을 인코딩하는 것에 이점이 있을 수 있다. 이점들은 프레임 당 단일 블록(131)만을 이용할 때, 또는 프레임당 감소된 수의 블록들(131)을 이용할 때, 변환 도메인에서의 증가된 해상도로 인할 수 있다.
다음에는 짧은 스트라이드 모드에서 인코더(100)의 동작이 더욱 상세히 기술된다. 블록들의 세트(132)는 엔벨로프 추정 유닛(102)에 제공될 수 있다. 엔벨로프 추정 유닛(102)은 블록들의 세트(132)에 기초하여 엔벨로프(133)를 결정하도록 구성될 수 있다. 엔벨로프(133)는 블록들의 세트(132) 내에 포함된 복수의 블록들(131)의 대응하는 변환 계수들의 평균 제곱근(RMS) 값들에 기초할 수 있다. 블록(131)은 통상적으로 대응하는 복수의 주파수 빈들(301)에서 복수의 변환 계수들(예를 들면, 256개의 변환 계수들)을 제공한다(도 3a 참조). 복수의 주파수 빈들(301)은 복수의 주파수 대역들(302)로 그룹화될 수 있다. 복수의 주파수 대역들(302)은 음향심리학적 고려사항들에 기초하여 선택될 수 있다. 예를 들면, 주파수 빈들(301)은 대수 스케일 또는 바크 스케일에 따라 주파수 대역들(302)로 그룹화될 수 있다. 블록들의 현재 세트(132)에 기초하여 결정된 엔벨로프(134)는 복수의 주파수 대역들(302)에 대한 복수의 에너지 값들을 각각 포함할 수 있다. 특정 주파수 대역(302)에 대한 특정 에너지 값은, 특정 주파수 대역(302) 내에 있는 주파수 빈들(301)에 대응하는 세트(132)의 블록들(131)의 변환 계수들에 기초하여 결정될 수 있다. 이들 변환 계수들의 RMS 값에 기초하여 특정 에너지 값이 결정될 수 있다. 이와 같이, 블록들의 현재 세트(132)에 대한 엔벨로프(133)(현재 엔벨로프(133)로 칭해짐)는 블록들의 현재 세트(132) 내에 포함된 변환 계수들의 블록들(131)의 평균 엔벨로프를 나타낼 수 있거나, 또는 엔벨로프(133)를 결정하는데 이용되는 변환 계수들의 블록들(132)의 평균 엔벨로프를 나타낼 수 있다.
현재 엔벨로프(133)는 블록들의 현재 세트(132)에 인접한 변환 계수들의 하나 이상의 다른 블록들(131)에 기초하여 결정될 수 있음을 유념해야 한다. 이것은 도 2에 도시되며, 여기서 현재 엔벨로프(133)(양자화된 현재 엔벨로프(134)로 표시됨)는 블록들의 현재 세트(132)의 블록들(131)에 기초하고 블록들의 현재 세트(132)에 앞서는 블록들의 세트로부터의 블록(201)에 기초하여 결정된다. 예시에서, 현재 엔벨로프(133)는 5개의 블록들(131)에 기초하여 결정된다. 현재 엔벨로프(133)를 결정할 때 인접한 블록들을 고려함으로써, 인접한 블록들의 세트들(132)의 엔벨로프들의 연속성이 보장될 수 있다.
현재 엔벨로프(133)를 결정할 때, 상이한 블록들(131)의 변환 계수들이 가중될 수 있다. 특히, 현재 엔벨로프(133)를 결정하기 위해 고려되는 최외부 블록들(201, 202)은 나머지 블록들(131)보다 낮은 가중치를 가질 수 있다. 예를 들면, 최외부 블록들(201, 202)의 변환 계수들은 0.5로 가중될 수 있고, 다른 블록들(131)의 변환 계수들은 1로 가중될 수 있다.
블록들의 앞선 세트(132)의 블록들(201)을 고려하는 것과 유사한 방식으로, 블록들의 바로 다음 세트(132)의 하나 이상의 블록들(소위 예견 블록들(look-ahead blocks))이 현재 엔벨로프(133)를 결정하기 위해 고려될 수 있음을 유념해야 한다.
현재 엔벨로프(133)의 에너지 값들은 대수 스케일 상으로(예를 들면, dB 스케일 상으로) 표현될 수 있다. 현재 엔벨로프(133)는 현재 엔벨로프(133)의 에너지 값들을 양자화하도록 구성된 엔벨로프 양자화 유닛(103)에 제공될 수 있다. 엔벨로프 양자화 유닛(103)은 미리 결정된 양자화기 해상도, 예를 들면 3dB의 해상도를 제공할 수 있다. 엔벨로프(133)의 양자화 인덱스들은 인코더(100)에 의해 생성되는 비트스트림 내에 엔벨로프 데이터(161)로서 제공될 수 있다. 또한, 양자화된 엔벨로프(134), 즉 엔벨로프(133)의 양자화된 에너지 값들을 포함하는 엔벨로프가 보간 유닛(104)에 제공될 수 있다. 보간 유닛(104)은 양자화된 현재 엔벨로프(134)에 기초하고 양자화된 이전 엔벨로프(135)(블록들의 현재 세트(132)에 바로 앞서는 블록들의 세트(132)에 대해 결정된)에 기초하여 블록들의 현재 세트(132)의 각각의 블록(131)에 대한 엔벨로프를 결정하도록 구성된다. 보간 유닛(104)의 동작은 도 2, 도 3a 및 도 3b에 도시된다. 도 2는 변환 계수들의 블록들(131)의 시퀀스를 도시한다. 블록들(131)의 시퀀스는 블록들의 연속하는 세트들(132)로 그룹화되며, 블록들의 각각의 세트(132)는 양자화된 엔벨로프, 예를 들면 양자화된 현재 엔벨로프(134) 및 양자화된 이전 엔벨로프(135)를 결정하는데 이용된다. 도 3a는 양자화된 이전 엔벨로프(135) 및 양자화된 현재 엔벨로프(134)의 예들을 도시한다. 상기에 표시된 바와 같이, 엔벨로프들은 스펙트럼 에너지(303)를 (예를 들면 dB 스케일 상으로) 나타낼 수 있다. 동일 주파수 대역(302)에 대한 양자화된 이전 엔벨로프(135) 및 양자화된 현재 엔벨로프(134)의 대응하는 에너지 값들(303)은 보간된 엔벨로프(136)를 결정하기 위해 보간될 수 있다(예를 들면, 선형 보간을 이용하여). 즉, 특정 주파수 대역(302)의 에너지 값들(303)은 특정 주파수 대역(302) 내의 보간된 엔벨로프(136)의 에너지 값(303)을 제공하기 위해 보간될 수 있다.
보간된 엔벨로프들(136)이 결정되어 적용되는 블록들의 세트는 양자화된 현재 엔벨로프(134)가 결정되는 것에 기초하여 블록들의 현재 세트(132)와 상이할 수 있음을 유념해야 한다. 이것은 블록들의 시프트된 세트(332)를 도시한 도 2에 예시되며, 블록들의 시프트된 세트(332)는 블록들의 현재 세트(132)에 비교하여 시프트되고 블록들의 이전 세트(132)의 블록들 3 및 4(참조 번호들(203 및 201)로 각각 표시) 및 블록들의 현재 세트(132)의 블록들 1 및 2(참조 번호들(204 및 205)로 각각 표시)를 포함한다. 사실상, 양자화된 현재 엔벨로프(134)에 기초하고 양자화된 이전 엔벨로프(135)에 기초하여 결정된 보간된 엔벨로프들(136)은 블록들의 현재 세트(132)의 블록들에 대한 타당성에 비해, 블록들의 시프트된 세트(332)의 블록들에 대한 타당성이 증가할 수 있다.
따라서, 도 3b에 도시된 보간된 엔벨로프들(136)은 블록들의 시프트된 세트(332)의 블록들(131)을 플래트닝하기 위해 이용될 수 있다. 이것은 도 2와 조합한 도 3b에 도시된다. 도 3b의 보간된 엔벨로프(341)는 도 2의 블록(203)에 적용될 수 있고, 도 3b의 보간된 엔벨로프(342)는 도 2의 블록(201)에 적용될 수 있고, 도 3b의 보간된 엔벨로프(343)는 도 2의 블록(204)에 적용될 수 있고, 도 3b의 보간된 엔벨로프(344)(예시에서는 양자화된 현재 엔벨로프(136)에 대응함)는 도 2의 블록(205)에 적용될 수 있음을 알 수 있다. 이와 같이, 양자화된 현재 엔벨로프(134)를 결정하기 위한 블록들의 세트(132)는, 보간된 엔벨로프들(136)이 결정되고 보간된 엔벨로프들(136)이 적용되는(플래트닝을 위해) 블록들의 시프트된 세트(332)와 상이할 수 있다. 특히, 양자화된 현재 엔벨로프(134)는, 양자화된 현재 엔벨로프(134)를 이용하여 플래트닝되는 블록들의 시프트된 세트(332)의 블록들(203, 201, 204, 205)에 대한 특정 예견을 이용하여 결정될 수 있다. 이것은 연속성 관점에서 유리하다.
보간된 엔벨로프들(136)을 결정하기 위한 에너지 값들(303)의 보간은 도 3b에 도시된다. 양자화된 이전 엔벨로프(135)의 에너지 값과 양자화된 현재 엔벨로프(134)의 대응하는 에너지 값 사이의 보간에 의해, 보간된 엔벨로프들(136)의 에너지 값들은 블록들의 시프트된 세트(332)의 블록들(131)에 대해 결정될 수 있음을 알 수 있다. 특히, 시프트된 세트(332)의 각각의 블록(131)에 대해, 보간된 엔벨로프(136)가 결정될 수 있고, 그에 의해 블록들의 시프트된 세트(332)의 복수의 블록들(203, 201, 204, 205)에 대한 복수의 보간된 엔벨로프들(136)을 제공한다. 변환 계수의 블록(131)(예를 들면, 블록들의 시프트된 세트(332)의 임의의 블록들(203, 201, 204, 205))의 보간된 엔벨로프(136)는 변환 계수들의 블록(131)을 인코딩하는데 이용될 수 있다. 현재 엔벨로프(133)의 양자화 인덱스들(161)은 비트스트림 내에서 대응하는 디코더에 제공됨을 유념해야 한다. 결과적으로, 대응하는 디코더는 인코더(100)의 보간 유닛(104)과 유사한 방식으로 복수의 보간된 엔벨로프들(136)을 결정하도록 구성될 수 있다.
프레이밍 유닛(101), 엔벨로프 추정 유닛(102), 엔벨로프 양자화 유닛(103), 및 보간 유닛(104)은 블록들의 세트(즉, 블록들의 현재 세트(132) 및/또는 블록들의 시프트된 세트(332))에 대해 동작한다. 반면, 변환 계수의 실제 인코딩은 한 블록씩 기초하여 수행될 수 있다. 다음에는 블록들의 시프트된 세트(332)(또는 가능하게는 변환-기반 음성 인코더(100)의 다른 구현들에서 블록들의 현재 세트(132))의 복수의 블록들(131) 중 임의의 하나일 수 있는 변환 계수들의 현재 블록(131)의 인코딩에 대한 참조가 이루어진다.
또한, 인코더(100)는 소위 긴 스트라이드 모드에서 동작될 수 있음을 유념해야 한다. 이 모드에서, 오디오 신호의 세그먼트의 프레임은 세분되지 않고 단일 블록으로서 처리된다. 따라서, 변환 계수들의 단일 블록(131)만이 프레임마다 결정된다. 긴 스트라이드 모드에서 동작할 때, 프레이밍 유닛(101)은 오디오 신호의 세그먼트 또는 프레임에 대한 변환 계수들의 단일 현재 블록(131)을 추출하도록 구성될 수 있다. 엔벨로프 추정 유닛(102)은 현재 블록(131)에 대한 현재 엔벨로프(133)를 결정하도록 구성될 수 있고, 엔벨로프 양자화 유닛(103)은 양자화된 현재 엔벨로프(134)를 결정하기 위해(및 현재 블록(131)에 대한 엔벨로프 데이터(161)를 결정하기 위해) 단일 현재 엔벨로프(133)를 양자화하도록 구성된다. 긴 스트라이드 모드에 있을 때, 엔벨로프 보간은 통상적으로 쓸모가 없다. 따라서, 현재 블록(131)에 대한 보간된 엔벨로프(136)는 통상적으로 양자화된 현재 엔벨로프(134)에 대응한다(인코더(100)가 긴 스트라이드 모드에서 동작될 때).
현재 블록(131)에 대한 현재 보간된 엔벨로프(136)는 현재 블록(131)의 변환 계수들의 스펙트럼 엔벨로프의 근사치를 제공할 수 있다. 인코더(100)는, 현재 보간된 엔벨로프(136)에 기초하고 현재 블록(131)에 기초하여, 현재 블록(131)에 대한 조정된 엔벨로프(139)를 결정하도록 구성되는 사전-플래트닝 유닛(105; pre-flattening unit) 및 엔벨로프 이득 결정 유닛(106)을 포함할 수 있다. 특히, 현재 블록(131)에 대한 엔벨로프 이득은 현재 블록(131)의 플래트닝된 변환 계수들의 분산이 조정되게 결정될 수 있다. X(k), k = 1, ..., K는 현재 블록(131)의 변환 계수들일 수 있고(예를 들면, K = 256), E(k), k = 1, ..., K는 현재 보간된 엔벨로프(136)의 평균 스펙트럼 에너지 값들(303)일 수 있다(동일한 주파수 대역(302)의 에너지 값들 E(k)는 동일하다). 엔벨로프 이득 α는 플래트닝된 변환 계수들
Figure 112016103385551-pat00003
의 분산이 조정되게 결정될 수 있다. 특히, 엔벨로프 이득 α는 분산이 1이 되게 결정될 수 있다.
엔벨로프 이득 α는 변환 계수들의 현재 블록(131)의 완전한 주파수 레인지의 서브-레인지에 대해 결정될 수 있음을 유념해야 한다. 즉, 엔벨로프 이득 α는 주파수 빈들(301)의 서브세트에만 기초하여 및/또는 주파수 대역들(302)의 서브세트에만 기초하여 결정될 수 있다. 예를 들면, 엔벨로프 이득 α는 시작 주파수 빈(304)(시작 주파수 빈은 0 또는 1보다 큼)보다 큰 주파수 빈들(301)에 기초하여 결정될 수 있다. 결과적으로, 현재 블록(131)에 대한 조정된 엔벨로프(139)는 시작 주파수 빈(304) 위에 놓인 주파수 빈들(301)과 연관되는 현재 보간된 엔벨로프(136)의 평균 스펙트럼 에너지 값들(303)에만 엔벨로프 이득 α를 적용함으로써 결정될 수 있다. 따라서, 현재 블록(131)에 대한 조정된 엔벨로프(139)는 시작 주파수 빈 이하에 있는 주파수 빈들(301)에 대해, 현재 보간된 엔벨로프(136)에 대응할 수 있고, 시작 주파수 빈 위에 있는 주파수 빈들(301)에 대해, 엔벨로프 이득 α에 의해 오프셋되는 현재 보간된 엔벨로프(136)에 대응할 수 있다. 이것은 조정된 엔벨로프(339)로 도 3a에 도시된다(점선들로 도시).
현재 보간된 엔벨로프(136)에의 엔벨로프 이득 α(137)(또한 레벨 정정 이득으로도 칭해짐)의 적용은 현재 보간된 엔벨로프(136)의 조정 또는 오프셋에 대응하고, 그에 의해 도 3a에 예시된 바와 같은 조정된 엔벨로프(139)를 산출한다. 엔벨로프 이득 α(137)는 비트스트림에 이득 데이터(162)로서 인코딩될 수 있다.
인코더(100)는 엔벨로프 이득 α(137)에 기초하고 현재 보간된 엔벨로프(136)에 기초하여 조정된 엔벨로프(139)를 결정하도록 구성된 엔벨로프 조정 유닛(107; envelope refinement unit)을 더 포함할 수 있다. 조정된 엔벨로프(139)는 변환 계수들의 블록(131)의 신호 처리에 이용될 수 있다. 엔벨로프 이득 α(137)는 현재 보간된 엔벨로프(136)(3dB 단계들에서 양자화될 수 있음)에 비해 더 높은 해상도(예를 들면, 1dB 단계들에서)로 양자화될 수 있다. 이와 같이, 조정된 엔벨로프(139)는 엔벨로프 이득 α(137)(예를 들면 1dB 단계들에서)의 더 높은 해상도로 양자화될 수 있다.
또한, 엔벨로프 조정 유닛(107)은 할당 엔벨로프(138)를 결정하도록 구성될 수 있다. 할당 엔벨로프(138)는 조정된 엔벨로프(139)의 양자화된 버전(예를 들면, 3dB 양자화 레벨들로 양자화된)에 대응할 수 있다. 할당 엔벨로프(138)는 비트 할당을 위해 이용될 수 있다. 특히, 할당 엔벨로프(138)는 양자화기들의 미리 결정된 세트로부터 특정 양자화기를 - 현재 블록(131)의 특정 변환 계수에 대해 - 결정하는데 이용될 수 있고, 특정 양자화기는 특정 변환 계수를 양자화하기 위해 이용된다.
인코더(100)는, 조정된 엔벨로프(139)를 이용하여 현재 블록(131)을 플래트닝하고 그에 의해 플래트닝된 변환 계수들
Figure 112016103385551-pat00004
의 블록(140)을 산출하도록 구성된 플래트닝 유닛(108)을 포함한다. 플래트닝된 변환 계수들
Figure 112016103385551-pat00005
의 블록(140)은 변환 도메인 내의 예측 루프를 이용하여 인코딩될 수 있다. 이와 같이, 블록(140)은 부대역 예측기(117)를 이용하여 인코딩될 수 있다. 예측 루프는 플래트닝된 변환 계수들
Figure 112016103385551-pat00006
의 블록(140)에 기초하고 추정된 변환 계수들
Figure 112016103385551-pat00007
의 블록(150)에 기초하여, 예를 들면
Figure 112016103385551-pat00008
, 예측 에러 계수들 Δ(k)의 블록(141)을 결정하도록 구성된 차 유닛(115)을 포함한다. 블록(140)이 플래트닝된 변환 계수들, 즉 조정된 엔벨로프(139)의 에너지 값들(303)을 이용하여 정규화되었거나 플래트닝된 변환 계수들을 포함한다는 사실로 인해, 추정된 변환 계수들의 블록(150) 또한 플래트닝된 변환 계수들의 추정들을 포함함을 유념해야 한다. 즉, 차 유닛(115)은 소위 플래트닝된 도메인에서 동작한다. 결과적으로, 예측 에러 계수들 Δ(k)의 블록(141)은 플래트닝된 도메인으로 표현된다.
예측 에러 계수들 Δ(k)의 블록(141)은 1과 상이한 분산을 나타낼 수 있다. 인코더(100)는 리스케일링된 에러 계수들의 블록(142)을 산출하기 위해 예측 에러 계수들 Δ(k)을 리스케일링하도록 구성된 리스케일링 유닛(111)을 포함할 수 있다. 리스케일링 유닛(111)은 리스케일링을 수행하기 위한 하나 이상의 미리 결정된 경험 규칙들(heuristic rules)을 이용할 수 있다. 결과적으로, 리스케일링된 에러 계수들의 블록(142)은 1에 (평균적으로) 더 근접한(예측 에러 계수들의 블록(141)에 비해) 분산을 나타낸다. 이것은 후속 양자화 및 인코딩에 유리할 수 있다.
인코더(100)는 예측 에러 계수들의 블록(141) 또는 리스케일링된 에러 계수들의 블록(142)을 양자화하도록 구성된 계수 양자화 유닛(112)을 포함한다. 계수 양자화 유닛(112)은 미리 결정된 양자화기들의 세트를 포함할 수 있거나 이용할 수 있다. 미리 결정된 양자화기들의 세트는 정확도들 또는 해상도가 상이한 양자화기들을 제공할 수 있다. 이것은 상이한 양자화기들(321, 322, 323)이 도시된 도 4에 도시된다. 상이한 양자화기들은 상이한 레벨들의 정확도(상이한 dB 값들로 표시)를 제공할 수 있다. 복수의 양자화기들(321, 322, 323) 중 특정 양자화기는 할당 엔벨로프(138)의 특정 값에 대응할 수 있다. 이와 같이, 할당 엔벨로프(138)의 에너지 값은 복수의 양자화기들의 대응하는 양자화기를 가리킬 수 있다. 이와 같이, 할당 엔벨로프(138)의 결정은 특정 에러 계수에 이용될 양자화기의 선택 처리를 간단하게 할 수 있다. 즉, 할당 엔벨로프(138)는 비트 할당 처리를 간단하게 할 수 있다.
양자화기들의 세트는 양자화 에러를 랜덤화하기 위한 디더링을 이용하는 하나 이상의 양자화기들(322)을 포함할 수 있다. 이것은, 디더링된 양자화기들의 서브세트(324)를 포함하는 미리 결정된 양자화기들의 제 1 세트(326) 및 디더링된 양자화기들의 서브세트(325)를 포함하는 미리 결정된 양자화기들의 제 2 세트(327)를 보여주는 도 4에 도시된다. 이와 같이, 계수 양자화 유닛(112)은 미리 결정된 양자화기들의 상이한 세트들(326, 327)을 이용할 수 있고, 여기서 계수 양자화 유닛(112)에 의해 이용되는 미리 결정된 양자화기들의 세트는, 예측기(117)에 의해 제공되는 제어 파라미터(146)에 의존할 수 있다. 특히, 계수 양자화 유닛(112)은 제어 파라미터(146)에 기초하여, 리스케일링된 에러 계수의 블록(142)을 양자화하기 위해 미리 결정된 양자화기들의 세트(326, 327)를 선택하도록 구성될 수 있고, 여기서 제어 파라미터(146)는 예측기(117)에 의해 제공되는 하나 이상의 예측기 파라미터들에 의존할 수 있다. 하나 이상의 예측기 파라미터들은 예측기(117)에 의해 제공되는 추정된 변환 계수들의 블록(150)의 품질을 나타낼 수 있다.
양자화된 에러 계수들은 예를 들면 허프만 코드를 이용하여 엔트로피 인코딩될 수 있고, 그에 의해 인코더(100)에 의해 생성된 비트스트림에 포함될 계수 데이터(163)를 산출한다.
인코더(100)는 비트 할당 처리를 수행하도록 구성될 수 있다. 이를 위해, 인코더(100)는 비트 할당 유닛들(109, 110)을 포함할 수 있다. 비트 할당 유닛(109)은 리스케일링된 에러 계수들의 현재 블록(142)을 인코딩하기 위해 이용 가능한 비트들(143)의 총수를 결정하도록 구성될 수 있다. 비트들(143)의 총수는 할당 엔벨로프(138)에 기초하여 결정될 수 있다. 비트 할당 유닛(110)은 할당 엔벨로프(138)에서의 대응하는 에너지 값에 의존하여, 상이한 리스케일링된 에러 계수들에 대한 비트들의 상대적 할당을 제공하도록 구성될 수 있다.
비트 할당 처리는 반복 할당 절차를 이용할 수 있다. 할당 절차의 과정에서, 할당 엔벨로프(138)는 오프셋 파라미터를 이용하여 오프셋될 수 있고, 그에 의해 해상도가 증가된/감소된 양자화기들을 선택한다. 이와 같이, 오프셋 파라미터는 전체 양자화를 미세하게 또는 거칠게 하는데 이용될 수 있다. 오프셋 파라미터는 오프셋 파라미터 및 할당 엔벨로프(138)에 의해 주어진 양자화기들을 이용하여 획득되는 계수 데이터(163)가 현재 블록(131)에 할당된 비트들(143)의 총수에 대응하는(또는 초과하지 않는) 비트들의 수를 포함하도록 결정될 수 있다. 현재 블록(131)을 인코딩하기 위한 인코더(100)에 의해 이용된 오프셋 파라미터는 비트스트림에 계수 데이터(163)로 포함된다. 결과적으로, 대응하는 디코더는 리스케일링된 에러 계수들의 블록(142)을 양자화하기 위해 계수 양자화 유닛(112)에 의해 이용되는 양자화기들을 결정할 수 있다.
리스케일링된 에러 계수들의 양자화의 결과로서, 양자화된 에러 계수들의 블록(145)이 획득된다. 양자화된 에러 계수들의 블록(145)은 대응하는 디코더에서 이용 가능한 에러 계수들의 블록에 대응한다. 결과적으로, 양자화된 에러 계수들의 블록(145)은 추정된 변환 계수들의 블록(150)을 결정하기 위해 이용될 수 있다. 인코더(100)는 역 리스케일링 유닛(113)에 의해 수행되는 리스케일링 동작들의 역을 수행하도록 구성된 역 리스케일링 유닛(113)을 포함할 수 있고, 그에 의해 스케일링된 양자화된 에러 계수들의 블록(147)을 산출한다. 가산 유닛(116)은 추정된 변환 계수들의 블록(150)을 스케일링된 양자화된 에러 계수들의 블록(147)에 가산함으로써, 재구성된 플래트닝된 계수들의 블록(148)을 결정하는데 이용될 수 있다. 또한, 역 플래트닝 유닛(114)은 조정된 엔벨로프(139)를 재구성된 플래트닝된 계수들의 블록(148)에 적용하는데 이용될 수 있고, 그에 의해 재구성된 계수들의 블록(149)을 산출한다. 재구성된 계수들의 블록(149)은 대응하는 디코드에서 이용 가능한 변환 계수들의 블록(131)의 버전에 대응한다. 결과적으로, 재구성된 계수들의 블록(149)은 추정된 계수들의 블록(150)을 결정하기 위해 예측기(117)에서 이용될 수 있다.
재구성된 계수들의 블록(149)은 플래트닝되지 않은 도메인으로 표현되고, 즉 재구성된 계수들의 블록(149)은 또한 현재 블록(131)의 스펙트럼 엔벨로프를 나타낸다. 하기에 개요가 설명되는 바와 같이, 이것은 예측기(117)의 성능에 유리할 수 있다.
예측기(117)는 재구성된 계수들의 하나 이상의 이전 블록들(149)에 기초하여 추정된 변환 계수들의 블록(150)을 추정하도록 구성될 수 있다. 특히, 예측기(117)는 미리 결정된 예측 에러 기준이 감소되도록(예를 들면 최소화되도록) 하나 이상의 예측기 파라미터들을 결정하도록 구성될 수 있다. 예를 들면, 하나 이상의 예측기 파라미터들은 예측 에러 계수들의 블록(141)의 에너지 또는 지각적으로 가중된 에너지가 감소되도록(예를 들면, 최소화되도록) 결정될 수 있다. 하나 이상의 예측기 파라미터들은 인코더(100)에 의해 생성되는 비트스트림에 예측기 데이터(164)로서 포함될 수 있다.
예측기 데이터(164)는 하나 이상의 예측기 파라미터들을 나타낼 수 있다. 본 문서에 개요가 설명되는 바와 같이, 예측기(117)는 오디오 신호의 프레임들 또는 블록들(131)의 서브세트에 대해서만 이용될 수 있다. 특히, 예측기(117)는, 통상적으로 앞선 블록과 무관한 방식으로 인코딩되는 I-프레임(독립 프레임)의 제 1 블록(131)에 이용되지 않을 수 있다. 이 외에도, 예측기 데이터(164)는 특정 블록(131)에 대한 예측기(117)의 존재를 나타내는 하나 이상의 플래그들을 포함할 수 있다. 이 블록들에 대해, 예측기의 기여가 사실상 중요하지 않은 경우(예를 들면, 예측기 이득이 제로로 양자화될 때), 이 상황을 시그널링하기 위해 예측기 존재 플래그를 이용하는 것이 유리할 수 있으며, 이것은 통상적으로 제로 이득을 전송하는 것에 비해 상당히 감소된 수의 비트들을 필요로 한다. 즉, 블록(131)에 대한 예측기 데이터(164)는 하나 이상의 예측기 파라미터들이 결정되었는지를 나타내는(그리고 예측기 데이터(164) 내에 포함되는) 하나 이상의 예측기 존재 플래그들을 포함할 수 있다. 하나 이상의 예측기 존재 플래그들의 이용은 예측기(117)가 특정 블록(131)에 이용되지 않은 경우, 비트들을 절감하기 위해 이용될 수 있다. 따라서, 예측기(117)의 이용 없이 인코딩되는 블록들(131)의 수에 의존하여, 하나 이상의 예측기 존재 플래그들의 이용은 디폴트(예를 들면, 값이 제로인) 예측기 파라미터들의 전송보다 더욱 비트-레이트 효율적일(평균적으로) 수 있다.
예측기(117)의 존재는 블록마다 기초하여 명시적으로 전송될 수 있다. 이것은 예측이 이용되지 않을 때 비트들을 절감하는 것을 허용한다. 예를 들면, I-프레임들에 대해, I-프레임의 제 1 블록이 예측을 이용할 수 없기 때문에, 3개의 예측기 존재 플래그들만이 이용될 수 있다. 즉, 특정 블록(131)이 I-프레임의 제 1 블록임을 아는 경우, 이러한 특정 블록(131)에 대한 예측기 존재 플래그가 전송될 필요가 없을 수 있다(특정 블록(131)이 예측기(117)를 이용하지 않는다는 것을 대응하는 디코더에 이미 알려져 있기 때문에).
예측기(117)는, 그 내용이 참조로 포함되는 특허 출원 제US61750052호 및 그 우선권을 주장하는 특허 출원들에 기술된 신호 모델을 이용할 수 있다. 하나 이상의 예측기 파라미터들은 신호 모델의 하나 이상의 모델 파라미터들에 대응할 수 있다.
도 1b는 다른 예시적 변환-기반 음성 인코더(170)의 블록도를 도시한다. 도 1b의 변환-기반 음성 인코더(170)는 도 1a의 인코더(100)의 많은 구성요소들을 포함한다. 그러나 도 1b의 변환-기반 음성 인코더(170)는 가변 비트-레이트를 가진 비트스트림을 생성하도록 구성된다. 이를 위해, 인코더(170)는 앞선 블록들(131)에 대한 비트스트림에 의해 이용된 비트-레이트의 트랙을 유지하도록 구성된 평균 비트 레이트(ABR: Average Bit Rate) 상태 유닛(172)을 포함한다. 비트 할당 유닛(171)은 변환 계수들의 현재 블록(131)을 인코딩하기 위해 이용 가능한 비트들(143)의 총수를 결정하기 위해 이 정보를 이용한다.
결국, 변환-기반 음성 인코더(100, 170)는 다음을 나타내거나 또는 포함하는 비트스트림을 생성하도록 구성된다:
Figure 112016103385551-pat00009
양자화된 현재 엔벨로프(134)를 나타내는 엔벨로프 데이터(161). 양자화된 현재 엔벨로프(134)는 변환 계수들의 블록들의 현재 세트(132) 또는 시프트된 세트(332)의 블록들의 엔벨로프를 기술하는데 이용된다.
Figure 112016103385551-pat00010
변환 계수들의 현재 블록(131)의 보간된 엔벨로프(136)를 조정하기 위한 레벨 정정 이득 α를 나타내는 이득 데이터(162). 통상적으로, 상이한 이득 α는 블록들의 현재 세트(132) 또는 시프트된 세트(332)의 각각의 블록(131)에 제공된다.
Figure 112016103385551-pat00011
현재 블록(131)에 대한 예측 에러 계수들의 블록(141)을 나타내는 계수 데이터(163). 특히, 계수 데이터(163)는 양자화된 에러 계수들의 블록(145)을 나타낸다. 또한, 계수 데이터(163)는 디코더에서 역 양자화를 수행하기 위한 양자화기들을 결정하는데 이용될 수 있는 오프셋 파라미터를 나타낼 수 있다.
Figure 112016103385551-pat00012
재구성된 계수들의 이전 블록들(149)로부터 추정되는 계수들의 블록(150)을 결정하는데 이용될 하나 이상의 예측기 계수들을 나타내는 예측 데이터(164).
다음에는 대응하는 변환-기반 음성 디코더(500)가 도 5a 내지 도 5d의 맥락에서 기술된다. 도 5a는 예시적 변환-기반 음성 디코더(500)의 블록도를 도시한다. 블록도는 재구성된 계수들의 블록(149)을 변환 도메인에서 시간 도메인으로 변환하는데 이용됨으로써, 디코딩된 오디오 신호의 샘플들을 산출하는 합성 필터뱅크(504; synthesis filterbank)(또한 역 변환 유닛으로도 칭해짐)를 도시한다. 합성 필터뱅크(504)는 미리 결정된 스트라이드(예를 들면, 대략 5ms 또는 256개의 샘플들의 스트라이드)를 가진 역 MDCT를 이용할 수 있다. 디코더(500)의 메인 루프는 이 스트라이드의 단위들로 동작한다. 각각의 단계는 시스템의 미리 결정된 대역폭 설정에 대응하는 길이 또는 차원을 가진 변환 도메인 벡터(또한 블록으로도 칭해짐)를 생성한다. 합성 필터뱅크(504)의 변환 크기까지 제로-채움(zero-padding)시, 변환 도메인 벡터는 미리 결정된 길이(예를 들면, 5ms)의 시간 도메인 신호 업데이트를 합성 필터뱅크(504)의 오버랩/추가 처리에 합성하는데 이용될 것이다.
상기에 나타낸 바와 같이, 일반 변환-기반 오디오 코덱들은 통상적으로 과도 처리를 위한 5ms 레인지의 짧은 블록들의 시퀀스들을 가진 프레임들을 이용한다. 이와 같이, 일반 변환-기반 오디오 코덱들은 짧은 및 긴 블록들의 무결절 공존(seamless coexistence)을 위해 필요한 변환들 및 윈도 스위칭 툴들을 제공한다. 도 5a의 합성 필터뱅크(504)를 생략함으로써 규정된 음성 스펙트럼 프런트엔드가 이에 따라 부가의 스위칭 툴들을 도입할 필요없이 범용 변환-기반 오디오 코덱에 일체화되는 것이 편리할 수 있다. 즉, 도 5a의 변환-기반 음성 디코더(500)는 일반 변환-기반 오디오 디코더와 조합되는 것이 편리할 수 있다. 특히, 도 5a의 변환-기반 음성 디코더(500)는 일반 변환-기반 오디오 디코더(예를 들면, AAC 또는 HE-AAC 디코더)에 의해 제공되는 합성 필터뱅크(504)를 이용할 수 있다.
들어오는 비트스트림(특히, 비트스트림 내에 포함된 엔벨로프 데이터(161)로부터 및 이득 데이터(162)로부터)으로부터, 신호 엔벨로프는 엔벨로프 디코더(503)에 의해 결정될 수 있다. 특히, 엔벨로프 디코더(503)는 엔벨로프 데이터(161) 및 이득 데이터(162)에 기초하여 조정된 엔벨로프(139)를 결정하도록 구성될 수 있다. 이와 같이, 엔벨로프 디코더(503)는 인코더(100, 170)의 보간 유닛(104) 및 엔벨로프 조정 유닛(107)과 유사하게 작업들을 수행할 수 있다. 상기에 개요가 설명된 바와 같이, 조정된 엔벨로프(109)는 미리 규정된 주파수 대역들(302)의 세트에서의 신호 분산의 모델을 표현한다.
또한, 디코더(500)는, 조정된 엔벨로프(139)를 플래트닝된 도메인 벡터에 적용하도록 구성되고 그 엔트리들이 명목상 분산 1이 될 수 있는 역 플래트닝 유닛(114)을 포함한다. 플래트닝된 도메인 벡터는 인코더(100, 170)의 맥락에서 기술된 재구성된 플래트닝된 계수들의 블록(148)에 대응한다. 역 플래트닝 유닛(114)의 출력에서, 재구성된 계수들의 블록(149)이 획득된다. 재구성된 계수들의 블록(149)은 합성 필터뱅크(504)(디코딩된 오디오 신호를 생성하기 위한)에 및 부대역 예측기(517)에 제공된다.
부대역 예측기(517)는 인코더(100, 170)의 예측기(117)와 유사한 방식으로 동작한다. 특히, 부대역 예측기(517)는 재구성된 계수들의 하나 이상의 이전 블록들(149)에 기초하여(비트스트림 내에서 시그널링되는 하나 이상의 예측기 파라미터들을 이용하여) 추정된 변환 계수들의 블록(150)(플래트닝된 도메인에서)을 결정하도록 구성된다. 즉, 부대역 예측기(517)는 예측기 래그(predictor lag) 및 예측기 이득과 같은 예측기 파라미터들에 기초하여, 이전에 디코딩된 출력 벡터들 및 신호 엔벨로프들의 버퍼로부터 예측된 플래트닝된 도메인 벡터를 출력하도록 구성된다. 디코더(500)는 하나 이상의 예측기 파라미터들을 결정하기 위해 예측기 데이터(164)를 디코딩하도록 구성된 예측기 디코더(501)를 포함한다.
디코더(500)는 통상적으로 가장 큰 부분의 비트스트림에 기초하여(즉, 계수 데이터(163)에 기초하여), 예측된 플래트닝된 도메인 벡터에 대한 추가 정정을 공급하도록 구성되는 스펙트럼 디코더(502)를 더 포함한다. 스펙트럼 디코딩 처리는 엔벨로프로부터 도출되는 할당 벡터 및 전송된 할당 제어 파라미터(또한 오프셋 파라미터로도 칭해짐)에 의해 주로 제어된다. 도 5a에 도시된 바와 같이, 예측기 파라미터들(520)에 대한 스펙트럼 디코더(502)의 직접적인 의존이 있을 수 있다. 이와 같이, 스펙트럼 디코더(502)는 수신된 계수 데이터(163)에 기초하여 스케일링된 양자화된 에러 계수들의 블록(147)을 결정하도록 구성될 수 있다. 인코더(100, 170)의 맥락에서 개요가 설명된 바와 같이, 리스케일링된 에러 계수들의 블록(142)을 양자화하는데 이용되는 양자화기들(321, 322, 323)은 통상적으로 할당 엔벨로프(138)(조정된 엔벨로프(139)로부터 도출될 수 있는)에 및 오프셋 파라미터에 의존한다. 또한, 양자화기들(321, 322, 323)은 예측기(117)에 의해 제공되는 제어 파라미터(146)에 의존할 수 있다. 제어 파라미터(146)는 예측기 파라미터들(520)을 이용하여 (인코더(100, 170)와 유사한 방식으로) 디코더(500)에 의해 도출될 수 있다.
상기에 나타낸 바와 같이, 수신된 비트스트림은 조정된 엔벨로프(139)를 결정하는데 이용될 수 있는 엔벨로프 데이터(161) 및 이득 데이터(162)를 포함한다. 특히, 엔벨로프 디코더(503)의 유닛(531)은 엔벨로프 데이터(161)로부터 양자화된 현재 엔벨로프(134)를 결정하도록 구성될 수 있다. 예를 들면, 양자화된 현재 엔벨로프(134)는 미리 규정된 주파수 대역들(302)에서 3dB 해상도를 가질 수 있다(도 3a에 나타낸 바와 같이). 양자화된 현재 엔벨로프(134)는 블록들의 세트(132, 332) 마다(예를 들면, 4개의 코딩 단위들, 즉 블록들 마다, 또는 20ms 마다), 특히 블록들의 시프트된 세트(332)마다 업데이트될 수 있다. 양자화된 현재 엔벨로프(134)의 주파수 대역들(302)은 인간이 듣는 특성들에 적응하기 위해, 주파수의 함수로서 증가하는 수의 주파수 빈들(301)을 포함할 수 있다.
양자화된 현재 엔벨로프(134)는 블록들의 시프트된 세트(332)(또는 가능하게는 블록들의 현재 세트(132)의)의 각각의 블록(131)에 대해 양자화된 이전 엔벨로프(135)로부터 보간된 엔벨로프들(136)로 선형 보간될 수 있다. 보간된 엔벨로프들(136)은 양자화된 3dB 도메인에서 결정될 수 있다. 이것은 보간된 에너지 값들(303)이 가장 근접한 3dB 레벨로 라운딩될 수 있음을 의미한다. 예시적 보간된 엔벨로프(136)는 도 3a의 점선 그래프로 도시된다. 각각의 양자화된 현재 엔벨로프(134)에 대해, 4개의 레벨 정정 이득들 α(137)(또한 엔벨로프 이득들로도 칭해짐)는 이득 데이터(162)로서 제공된다. 이득 디코딩 유닛(532)은 이득 데이터(162)로부터 레벨 정정 이득들 α(137)를 결정하도록 구성될 수 있다. 레벨 정정 이득들은 1dB 단계들에서 양자화될 수 있다. 각각의 레벨 정정 이득은 상이한 블록들(131)에 대한 조정된 엔벨로프(139)를 제공하기 위해 대응하는 보간된 엔벨로프(136)에 적용된다. 레벨 정정 이득(137)의 증가된 해상도로 인해, 조정된 엔벨로프(139)는 증가된 해상도(예를 들면, 1dB 해상도)를 가질 수 있다.
도 3b는 양자화된 이전 엔벨로프(135)와 양자화된 현재 엔벨로프(134) 사이의 예시적 선형 또는 기하학 보간을 도시한다. 엔벨로프들(135, 134)은 대수 스펙트럼의 평균 레벨 부분 및 성형 부분으로 분리될 수 있다. 이들 부분들은 선형, 기하학, 고조파(병렬 저항기들) 전략과 같은 독립된 전략들로 보간될 수 있다. 이와 같이, 보간된 엔벨로프들(136)을 결정하기 위해 상이한 보간 방식들이 이용될 수 있다. 디코더(500)에 의해 이용되는 보간 방식은 통상적으로 인코더(100, 170)에 의해 이용되는 보간 방식에 대응한다.
엔벨로프 디코더(503)의 엔벨로프 조정 유닛(107)은 조정된 엔벨로프(139)(예를 들면, 3dB 단계들로)를 양자화함으로써 조정된 엔벨로프(139)로부터 할당 엔벨로프(138)를 결정하도록 구성될 수 있다. 할당 엔벨로프(138)는 스펙트럼 디코딩을 제어하는데 이용되는 명목상 정수 할당 벡터, 즉 계수 데이터(163)의 디코딩을 생성하기 위해 할당 제어 파라미터 또는 오프셋 파라미터(계수 데이터(163) 내에 포함된)와 함께 이용될 수 있다. 특히, 명목상 정수 할당 벡터는 계수 데이터(163) 내에 포함되는 양자화 인덱스들을 역 양자화하기 위한 양자화기를 결정하는데 이용될 수 있다. 할당 엔벨로프(138) 및 명목상 정수 할당 벡터는 인코더(100, 170)에서 및 디코더(500)에서와 유사한 방식으로 결정될 수 있다.
디코더(500)가 수신된 비트스트림과 동기되도록 허용하기 위해, 상이한 타입들의 프레임들이 전송될 수 있다. 프레임은 블록들의 세트(132, 332)에, 특히 블록들의 시프트된 블록(332)에 대응할 수 있다. 특히, 소위 P-프레임들이 전송될 수 있으며, 이것은 이전 프레임에 관해 상대적 방식으로 인코딩된다. 상기 기술에서, 디코더(500)가 양자화된 이전 엔벨로프(135)를 자각한다고 가정하였다. 양자화된 이전 엔벨로프(135)는 현재 세트(132) 또는 대응하는 시프트된 세트(332)가 P-프레임에 대응할 수 있도록 이전 프레임 내에 제공될 수 있다. 그러나 착수 시나리오에서, 디코더(500)는 통상적으로 양자화된 이전 엔벨로프(135)를 자각하지 못한다. 이를 위해, I-프레임이 전송될 수 있다(예를 들면, 착수시 또는 정기적으로). I-프레임은 양자화된 이전 엔벨로프(135)로서 이용되는 것 및 양자화된 현재 엔벨로프(134)로서 이용되는 다른 것의 두 엔벨로프들을 포함할 수 있다. I-프레임들은 음성 스펙트럼 프런트엔드(즉, 변환-기반 음성 디코더(500)의)의 착수 경우에, 예를 들면 상이한 오디오 코딩 모드를 및/또는 오디오 비트스트림의 스플리싱 지점을 명시적으로 가능하게 하는 툴로서 이용하는 프레임을 뒤따를 때 이용될 수 있다.
부대역 예측기(517)의 동작이 도 5d에 도시된다. 예시에서, 예측기 파라미터들(520)은 래그 파라미터 및 예측기 이득 파라미터 g이다. 예측기 파라미터들(520)은 래그 파라미터 및 예측기 이득 파라미터에 대한 가능한 값들의 미리 결정된 테이블을 이용하여 예측기 데이터(164)로부터 결정될 수 있다. 이것은 예측기 파라미터들(520)의 비트-레이트 효율 전송을 가능하게 한다.
하나 이상의 이전 디코딩된 변환 계수 벡터들(즉, 재구성된 계수들의 하나 이상의 이전 블록들(149))은 부대역(또는 MDCT) 신호 버퍼(541)에 저장될 수 있다. 버퍼(541)는 스트라이드(예를 들면 5ms마다)에 따라 업데이트될 수 있다. 예측기 추출기(543)는 정규화된 래그 파라미터 T에 의존하는 버퍼(541)에 대해 동작하도록 구성될 수 있다. 정규화된 래그 파라미터 T는 래그 파라미터(520)를 스트라이드 단위들로(예를 들면 MDCT 스트라이드 단위들로) 정규화함으로써 결정될 수 있다. 래그 파라미터 T가 정수이면, 추출기(543)는 하나 이상의 이전 디코딩된 변환 계수 벡터들 T 시간 단위들을 버퍼(541)에 페치할 수 있다. 즉, 래그 파라미터 T는 재구성된 계수들의 하나 이상의 이전 블록들(149)이 추정된 변환 계수들의 블록(150)을 결정하는데 이용되는 것을 나타낼 수 있다. 추출기(543)의 가능한 구현에 관한 상세한 논의는 그 내용이 참조로 포함되는 특허 출원 제US61750052호 및 그 우선권을 주장하는 특허 출원들에 제공된다.
추출기(543)는 전체 신호 엔벨로프들을 전달하는 벡터들(또는 블록들)에 대해 동작할 수 있다. 반면, 추정된 변환 계수들의 블록(150)(부대역 예측기(517)에 의해 제공될)은 플래트닝된 도메인에서 표현된다. 결과적으로, 추출기(543)의 출력은 플래트닝된 도메인 벡터로 성형될 수 있다. 이것은 재구성된 계수들의 하나 이상의 이전 블록들(149)의 조정된 엔벨로프들(139)을 이용하는 성형기(544; shaper)를 이용하여 달성될 수 있다. 재구성된 계수들의 하나 이상의 이전 블록들(149)의 조정된 엔벨로프들(139)은 엔벨로프 버퍼(542)에 저장될 수 있다. 성형기 유닛(544)은 T0 시간 단위들로부터의 플래트닝에 이용될 지연된 신호 엔벨로프를 엔벨로프 버퍼(542)에 페치하도록 구성될 수 있고, 여기서 T0는 T에 가장 근접한 정수이다. 그 후에 플래트닝된 도메인 벡터는 추정된 변환 계수들의 블록(150)(플래트닝된 도메인에서)을 산출하기 위해 이득 파라미터 g에 의해 스케일링될 수 있다.
성형기 유닛(544)은 성형기 유닛(544)의 출력에서의 플래트닝된 도메인 벡터들이 각각의 주파수 대역에서 단위 분산을 나타내도록 플래트닝된 도메인 벡터를 결정하도록 구성될 수 있다. 성형기 유닛(544)은 이 타겟을 달성하기 위해 엔벨로프 버퍼(542)에서의 데이터에 전적으로 의존할 수 있다. 예를 들면, 성형기 유닛(544)은 성형기 유닛(544)의 출력에서의 플래트닝된 도메인 벡터들이 각각의 주파수 대역에서 단위 분산을 나타내도록 지연된 신호 엔벨로프를 선택하도록 구성될 수 있다. 대안적으로 또는 부가적으로, 성형기 유닛(544)은 성형기 유닛(544)의 출력에서의 플래트닝된 도메인 벡터들의 분산을 측정하고 벡터들의 분산을 단위 분산 특성쪽으로 조정하도록 구성될 수 있다. 플래트닝된 도메인 벡터들을 단위 분산 벡터로 정규화하는 가능한 타입의 정규화가 단일 광대역 이득(슬롯당)을 이용할 수 있다. 이득들은 비트스트림 내에서 인코더(100)로부터 대응하는 디코더(500)(예를 들면, 양자화되고 인코딩된 형태로)로 전송될 수 있다.
대안적으로, 성형기(544)에 의해 수행되는 지연된 플래트닝 처리는 플래트닝된 도메인에서 동작하는 부대역 예측기(517), 예를 들면 재구성된 플래트닝된 계수들의 블록들(148)에 대해 동작하는 부대역 예측기(517)를 이용하여 생략될 수 있다. 그러나 플래트닝된 도메인 벡터들(또는 블록들)의 시퀀스는 변환(예를 들면, MDCT 변환)의 시간 에일리어싱된 양태들(time aliased aspects)로 인해 시간 신호들에 잘 맵핑되지 않는다는 것을 알게 되었다. 결과적으로, 추출기(543)의 기본적인 신호 모델에 대한 적합성(fit)은 감소되고 대안적인 구조로부터 고레벨의 코딩 잡음이 유발된다. 즉, 부대역 예측기(517)에 의해 이용되는 신호 모델들(예를 들면, 사인 곡선 또는 주기적인 모델들)이 플래트닝되지 않은 도메인에서(플래트닝된 도메인에 비해) 증가된 성능을 유발한다는 것이 밝혀졌다.
대안적인 예에서, 예측기(517)의 출력(즉, 추정된 변환 계수들의 블록(150))은 역 플래트닝 유닛(114)의 출력에(즉, 재구성된 계수들의 블록(149)에) 가산될 수 있다는 것을 유념해야한다(도 5a 참조). 도 5c의 성형기 유닛(544)은 그 후에, 지연된 플래트닝 및 역 플래트닝의 조합 동작을 수행하도록 구성될 수 있다.
수신된 비트스트림의 요소들은 예를 들면, I-프레임의 제 1 코딩 단위(즉, 제 1 블록)의 경우에, 부대역 버퍼(541) 및 엔벨로프 버퍼(542)의 가끔씩의 플러싱(flushing)을 제어할 수 있다. 이것은 이전 데이터의 지식없이 I-프레임의 디코딩을 가능하게 한다. 제 1 코딩 단위는 통상적으로 예측 기여(predictive contribution)를 이용할 수 없을 것이지만, 그럼에도 예측기 정보(520)를 전달하기 위해 상대적으로 더 작은 수의 비트들을 이용할 수 있다. 예측 이득의 손실은 더 많은 비트들을 이러한 제 1 코딩 단위의 예측 에러 코딩에 할당함으로써 보상될 수 있다. 통상적으로, 예측 기여는 다시 I-프레임의 제 2 코딩 단위(즉, 제 2 블록)에 대해 상당하다. 이들의 양태들로 인해, I-프레임들을 매우 빈번하게 이용하더라도 비트-레이트의 증가를 상대적으로 작게 하여 품질이 유지될 수 있다.
즉, 블록들(또한 프레임들로 칭해짐)의 세트들(132, 332)은 예측 코딩을 이용하여 인코딩될 수 있는 복수의 블록들(131)을 포함한다. I-프레임을 인코딩할 때, 블록들의 세트(332)의 제 1 블록(203)만이 예측 인코더에 의해 달성되는 코딩 이득을 이용하여 인코딩될 수 없다. 이미, 바로 다음 블록(201)이 예측 인코딩의 이점들을 이용할 수 있다. 이것은 코딩 효율성에 관한 I-프레임의 결함들이 프레임(332)의 변환 계수들의 제 1 블록(203)의 인코딩에 제한되고, 프레임(332)의 다른 블록들(201, 204, 205)에는 적용하지 않음을 의미한다. 따라서, 본 문서에 기술된 변환-기반 음성 코딩 방식은 코딩 효율성에 관한 막대한 영향을 미치지 않고 I-프레임들의 상대적으로 빈번한 이용을 허용한다. 이와 같이, 현재 기술된 변환-기반 음성 코딩 방식은 디코더와 인코더 사이의 상대적으로 고속인 및/또는 상대적으로 빈번한 동기화를 필요로 하는 응용들에 특히 적합하다.
상기에 나타낸 바와 같이, I-프레임의 초기화 동안, 예측기 신호 버퍼, 즉 부대역 버퍼(541)가 제로들로 플러싱될 수 있고 엔벨로프 버퍼(542)가 하나의 시간 슬롯의 값들만으로 채워질 수 있고, 즉 단일 조정된 엔벨로프(139)(I-프레임의 제 1 블록(131)에 대응)로만 채워질 수 있다. I-프레임의 제 1 블록(131)은 통상적으로 예측을 이용하지 않을 것이다. 제 2 블록(131)은 엔벨로프 버퍼(542)의 두 개의 시간 슬롯에(즉, 제 1 및 제 2 블록들(131)의 엔벨로프들(139)에)만, 제 3 블록은 세 개의 시간 슬롯들에(즉, 세 개의 블록들(131)의 엔벨로프들(139)에)만, 제 4 블록(131)은 네 개의 시간 슬롯들에(즉, 네 개의 블록들(131)의 엔벨로프들(139)에)만 액세스를 가진다.
스펙트럼 성형기(544)의 지연된 플래트닝 규칙(추정된 변환 계수들의 블록(150)(플래트닝된 도메인에서)을 결정하기 위한 엔벨로프 식별을 위해)은 블록 크기 K의 단위들에서(여기서 블록 크기의 단위는 시간 슬롯 또는 슬롯으로 칭해질 수 있음) 예측기 래그 파라미터 T를 가장 근접한 정수로 라운딩함으로써 결정되는 정수 래그 값 T0에 기초한다. 그러나, I-프레임의 경우에, 이러한 정수 래그 값 T0은 엔벨로프 버퍼(542)에서 이용 가능하지 않은 엔트리들을 가리킬 수 있다. 이러한 관점에서, 스펙트럼 성형기(544)는 정수 래그 값 T0이 엔벨로프 버퍼(542) 내에 저장되는 엔벨로프들(139)의 수로 제한되도록, 즉 정수 래그 값 T0이 엔벨로프 버퍼(542) 내에서 이용 가능하지 않은 엔벨로프들(139)을 가리키지 않도록, 정수 래그 값 T0을 결정하도록 구성될 수 있다. 이를 위해, 정수 래그 값 T0은 현재 프레임 내부의 블록 인덱스의 함수인 값으로 제한될 수 있다. 예를 들면, 정수 래그 값 T0은 현재 프레임 내의 현재 블록(131)(인코딩되어야 하는)의 인덱스 값으로 제한될 수 있다(예를 들면, 프레임의 제 1 블록(131)에 대해 1로, 제 2 블록(131)에 대해 2로, 제 3 블록(131)에 대해 3으로, 및 제 4 블록(131)에 대해 4로). 이렇게 함으로써, 플래트닝 처리로 인한 바람직하지 않은 상태들 및/또는 왜곡들이 회피될 수 있다.
도 5d는 예시적 스펙트럼 디코더(502)의 블록도를 도시한다. 스펙트럼 디코더(502)는 엔트로피 인코딩된 계수 데이터(163)를 디코딩하도록 구성되는 무손실 디코더(551)를 포함한다. 또한, 스펙트럼 디코더(502)는 계수 데이터(163) 내에 포함되는 양자화 인덱스들에 계수 값들을 할당하도록 구성되는 역 양자화기(552)를 포함한다. 인코더(100, 170)의 맥락에서 개요가 설명된 바와 같이, 미리 결정된 양자화기들의 세트, 예를 들면 모델 기반 스칼라 양자화기들의 유한 세트로부터 선택되는 상이한 양자화기들을 이용하여, 상이한 변환 계수들이 양자화될 수 있다. 도 4에 도시된 바와 같이, 양자화기들(321, 322, 323)의 세트는 상이한 타입들의 양자화기들을 포함할 수 있다. 양자화기들의 세트는 잡음 합성(제로 비트-레이트의 경우에)을 제공하는 양자화기(321), 하나 이상의 디더링된 양자화기들(322)(상대적으로 낮은 신호-대-잡음비들, SNR들에 대해, 및 중간 비트-레이트들에 대해) 및/또는 하나 이상의 보통의 양자화기들(323)(상대적으로 높은 SNR들에 대해 및 상대적으로 높은 비트-레이트들에 대해)을 포함할 수 있다.
엔벨로프 조정 유닛(107)은 할당 벡터를 산출하기 위해 계수 데이터(163) 내에 포함되는 오프셋 파라미터와 조합될 수 있는 할당 엔벨로프(138)를 제공하도록 구성될 수 있다. 할당 벡터는 각각의 주파수 대역(302)에 대한 정수 값을 포함한다. 특정 주파수 대역(302)에 대한 정수 값은 특정 대역(302)의 변환 계수들의 역 양자화에 이용될 레이트-왜곡점을 가리킨다. 즉, 특정 주파수 대역(302)에 대한 정수 값은 특정 대역(302)의 변환 계수들의 역 양자화에 이용될 양자화기를 가리킨다. 정수 값의 1만큼의 증가는 SNR의 1.5dB 증가에 대응한다. 디더링된 양자화기들(322) 및 보통의 양자화기들(323)에 대해, 라플라시안 확률 분포 모델이 산술 코딩을 활용할 수 있는 무손실 코딩에서 이용될 수 있다. 하나 이상의 디더링된 양자화기들(322)은 낮은 및 높은 비트-레이트 경우들 사이의 갭을 무결절 방식으로 브리징하는데 이용될 수 있다. 디더링된 양자화기들(322)은 정적 잡음형 신호들에 대한 충분히 부드러운 출력 오디오 품질을 생성하는데 유리할 수 있다.
즉, 역 양자화기(552)는 변환 계수들의 현재 블록(131)의 계수 양자화 인덱스들을 수신하도록 구성될 수 있다. 특정 주파수 대역(302)의 하나 이상의 계수 양자화 인덱스들은 미리 결정된 세트의 양자화기들로부터 대응하는 양자화기를 이용하여 결정되었다. 특정 주파수 대역(302)에 대한 할당 벡터의 값(할당 엔벨로프(138)를 오프셋 파라미터로 오프셋함으로써 결정될 수 있는)은 특정 주파수 대역(302)의 하나 이상의 계수 양자화 인덱스들을 결정하는데 이용된 양자화기를 나타낸다. 양자화기를 식별하면, 하나 이상의 계수 양자화 인덱스들은 양자화된 에러 계수들의 블록(145)을 산출하기 위해 역 양자화될 수 있다.
또한, 스펙트럼 디코더(502)는 스케일링된 양자화된 에러 계수들의 블록(147)을 제공하기 위해 역-리스케일링된 유닛(113)을 포함할 수 있다. 도 5d의 무손실 디코더(551) 및 역 양자화기(552) 주위의 부가 툴들 및 상호접속들은 도 5a에 도시된 전체 디코더(500)에서의 이용에 스펙트럼 디코딩을 적응시키기 위해 이용될 수 있으며, 이 경우 스펙트럼 디코더(502)의 출력(즉, 양자화된 에러 계수들의 블록(145))은 예측된 플래트닝된 도메인 벡터에(즉, 추정된 변환 계수들의 블록(150)에) 대한 부가 정정을 제공하기 위해 이용된다. 특히, 부가 툴들은 디코더(500)에 의해 수행되는 처리가 인코더(100, 170)에 의해 수행되는 처리에 대응하는 것을 보장할 수 있다.
특히, 스펙트럼 디코더(502)는 경험 스케일링 유닛(111; heuristic scaling unit)을 포함할 수 있다. 인코더(100, 170)와 함께 도시된 바와 같이, 경험 스케일링 유닛(111)은 비트 할당에 영향을 미칠 수 있다. 인코더(100, 170)에서, 예측 에러 계수들의 현재 블록들(141)은 경험 규칙에 의한 단위 분산으로 업(up) 스케일링될 수 있다. 결과적으로, 디폴트 할당은 경험 스케일링 유닛(111)의 최종 다운스케일링된 출력의 양자화를 너무 미세하게 할 수 있다. 따라서 할당은 예측 에러 계수들의 수정과 유사한 방식으로 수정되어야 한다. 그러나 하기에 개요가 설명된 바와 같이, 하나 이상의 낮은 주파수 빈들(또는 낮은 주파수 대역들)에 대한 코딩 리소스들의 감소를 회피하는 것이 유리할 수 있다. 특히, 이것은 음성 상황들에서 가장 중요하게 발생하는 LF(low frequency) 럼블/잡음 아티팩트(즉, 상대적으로 큰 제어 파라미터(146), rfu를 가진 신호에 대해)를 대항하는데 유리할 수 있다. 이와 같이, 제어 파라미터(146)에 의존하는 비트 할당/양자화기 선택은, 하기에 기술되는 바와 같이, "음성 적응형 LF 품질 증대(voicing adaptive LF quality boost)"인 것으로 간주될 수 있다.
스펙트럼 디코더는 제한된 버전의 예측기 이득 g, 예를 들면
rfu = min(1, max(g, 0))
일 수 있는 rfu로 명명된 제어 파라미터(146)에 의존할 수 있다.
제어 파라미터(146), rfu를 결정하기 위한 대안적인 방법들이 이용될 수 있다. 특히, 제어 파라미터(146)는 [표 1]에 주어진 의사 코드를 이용하여 결정될 수 있다.
Figure 112016103385551-pat00013

Figure 112016103385551-pat00014
변수 f_gain 및 f_pred_gain은 동일하게 설정될 수 있다. 특히, 변수 f_gain는 예측기 이득 g에 대응할 수 있다. 제어 파라미터(146), rfu는 [표 1]에서 f_rfu로 칭해진다. 이득 f_gain은 실수일 수 있다.
제어 파라미터(146)의 제 1 정의와 비교하여, 후자 정의([표 1]에 따른)는 1보다 높은 예측기 이득들에 대해 제어 파라미터(146), rfu를 감소시키고 음의 예측기 이득들에 대해 제어 파라미터(146), rfu를 증가시킨다.
제어 파라미터(146)를 이용하여, 인코더(100, 170)의 계수 양자화 유닛(112)에 이용되고 역 양자화기(552)에 이용된 양자화기들의 세트가 적응될 수 있다. 특히, 양자화기들의 세트의 잡음은 제어 파라미터(146)에 기초하여 적응될 수 있다. 예를 들면, 1에 근접한 제어 파라미터(146), rfu의 값은 디더링된 양자화기를 이용하여 할당 레벨들의 레인지의 제한을 트리거링할 수 있고, 잡음 합성 레벨의 분산의 감소를 트리거링할 수 있다. 일례에서, rfu = 0.75의 디더 결정 임계값 및 1 - rfu와 동일한 잡음 이득이 설정될 수 있다. 디더 적응은 두 무손실 디코딩 및 역 양자화기에 영향을 미칠 수 있지만, 잡음 이득 적응은 통상적으로 역 양자화기에만 영향을 미친다.
예측기 기여는 음성/음조 상황들에 상당하다고 가정할 수 있다. 이와 같이, 상대적으로 높은 예측기 이득 g(즉, 상대적으로 높은 제어 파라미터(146))는 음성 또는 음조 음성 신호를 나타낼 수 있다. 이러한 상황들에서, 디더-관련된 또는 명시적(제로 할당 경우) 잡음의 추가는 경험적으로, 인코딩된 신호의 지각 품질에 역효과를 낳는 것을 보여주었다. 결과적으로, 디더링된 양자화기들(322)의 수 및/또는 잡음 합성 양자화기(321)에 이용된 잡음의 타입은 예측기 이득 g에 기초하여 적응될 수 있고, 그에 의해 인코딩된 음성 신호의 인식 품질을 개선한다.
이와 같이, 제어 파라미터(146)는 디더링된 양자화기들(322)이 이용되는 SNR들의 레인지(324, 325)를 수정하는데 이용될 수 있다. 예를 들면, 제어 파라미터(146) rfu < 0.75인 경우, 디더링된 양자화기들에 대한 레인지(324)가 이용될 수 있다. 즉, 제어 파라미터(146)가 미리 결정된 임계값보다 아래이면, 양자화기들의 제 1 세트(326)가 이용될 수 있다. 반면에, 제어 파라미터(146) rfu ≥ 0.75인 경우, 디더링된 양자화기들에 대한 레인지(325)가 이용될 수 있다. 즉, 제어 파라미터(146)가 미리 결정된 임계값 이상이면, 양자화기들의 제 2 세트(327)가 이용될 수 있다.
또한, 제어 파라미터(146)는 분산 및 비트 할당의 수정을 위해 이용될 수 있다. 이에 대한 이유는, 통상적으로 성공적인 예측이 특히 0 - 1 kHz에서의 낮은 주파수 레인지에서 작은 정정을 필요로 한다는 점이다. 더 높은 주파수 대역들(302)에 코딩 리소스들을 풀어주기 위해 양자화기가 단위 분산 모델로부터 이러한 편차를 명시적으로 자각하게 하는 것이 유리할 수 있다. 이것은 그 내용이 참조로 포함되는 제WO2009/086918호의 도 17c 패널 ⅲ의 맥락에서 기술된다. 디코더(500)에서, 이 수정은 경험 스케일링 규칙(스케일링 유닛(111)을 이용함으로써 적용된)에 따라 명목상 할당 벡터를 수정함으로써, 및 동시에 역 스케일링 유닛(113)을 이용하여 역 경험 스케일링 규칙에 따라 역 양자화기(552)의 출력을 스케일링함으로써 구현될 수 있다. 제WO2009/086918호의 이론에 따르면, 경험 스케일링 규칙 및 역 경험 스케일링 규칙은 근접하게 매칭되어야 한다. 그러나 음성 신호 성분들에 대한 LF(low frequency) 잡음이 있는 가끔씩의 문제들에 대항하기 위해, 하나 이상의 가장 낮은 주파수 대역들(302)에 대한 할당 수정을 취소하는 것이 경험상 유리하다는 것을 알았다. 할당 수정의 취소는 예측기 이득 g 및/또는 제어 파라미터(146)의 값에 의존하여 수정될 수 있다. 특히, 할당 수정의 취소는 제어 파라미터(146)가 디더 결정 임계값을 초과하는 경우에만 수행될 수 있다.
상기에 개요가 설명된 바와 같이, 인코더(100, 170) 및/또는 디코더(500)는 리스케일링된 에러 계수들의 블록(142)을 산출하기 위해 예측 에러 계수들 Δ(k)를 리스케일링하도록 구성되는 스케일링 유닛(111)을 포함할 수 있다. 리스케일링 유닛(111)은 리스케일링을 수행하기 위해 하나 이상의 미리 결정된 경험 규칙들을 이용할 수 있다. 일례에서, 리스케일링 유닛(111)은 이득 d(f), 예를 들면,
Figure 112016103385551-pat00015
를 포함하는 경험 스케일링 규칙을 이용할 수 있고, 여기서 브레이크 주파수 f0는 예를 들면 1000Hz로 설정될 수 있다. 따라서, 리스케일링 유닛(111)은 리스케일링된 에러 계수들의 블록(142)을 산출하기 위해 주파수 의존 이득 d(f)을 예측 에러 계수들에 적용하도록 구성될 수 있다. 역 리스케일링 유닛(113)은 주파수 의존 이득 d(f)의 역을 적용하도록 구성될 수 있다. 주파수 의존 이득 d(f)은 제어 파라미터 rfu(146)에 의존할 수 있다. 상기 예에서, 이득 d(f)은 로패스 특성을 나타내어, 예측 에러 계수들은 더 낮은 주파수들에서보다 더 높은 주파수들에서 더 많이 감쇠되고 및/또는 예측 에러 계수들은 더 높은 주파수들에서보다 더 낮은 주파수들에서 더 많이 강조된다. 상기에 언급된 이득 d(f)은 항상 1 이상이다. 따라서, 양호한 실시예에서, 경험 스케일링 규칙은 예측 에러 계수들이 팩터에 의해(주파수에 의존하여) 하나 이상 강조되게 한다.
주파수-의존 이득은 전력 또는 분산을 나타낼 수 있음을 유념해야 한다. 이러한 경우들에서, 스케일링 규칙 및 역 스케일링 규칙은 주파수-의존 이득의 제곱근에 기초하여, 예를 들면,
Figure 112016103385551-pat00016
에 기초하여 도출되어야 한다.
강조 및/또는 감쇠의 정도는 예측기(117)에 의해 달성되는 예측 품질에 의존할 수 있다. 예측기 이득 g 및/또는 제어 파라미터 rfu(146)는 예측 품질을 나타낼 수 있다. 특히, 상대적으로 낮은 값의 제어 파라미터 rfu(146)(상대적으로 제로에 근접)는 낮은 예측 품질을 나타낼 수 있다. 이러한 경우들에서, 예측 에러 계수들은 모든 주파수들에 걸쳐 상대적으로 높은(절대) 값들을 가진다고 예상되어야 한다. 상대적으로 높은 값의 제어 파라미터 rfu(146)(상대적으로 1에 근접)는 높은 예측 품질을 나타낼 수 있다. 이러한 경우들에서, 예측 에러 계수들은 높은 주파수들에 대해 상대적으로 높은(절대) 값들(예측하기가 더 어려움)을 가진다고 예상되어야 한다. 따라서, 리스케일링 유닛(111)의 출력에서 단위 분산을 달성하기 위해, 이득 d(f)은, 상대적으로 낮은 예측 품질의 경우에, 이득 d(f)이 모든 주파수들에 대해 실질적으로 평탄한 반면, 상대적으로 높은 예측 품질의 경우에, 이득 d(f)이 낮은 주파수들에서의 분산을 증가 또는 증대시키기 위해 로패스 특성을 가지게 될 수 있다. 이것은 상기 언급된 rfu-의존 이득 d(f)에 대한 경우이다.
상기에 개요가 설명된 바와 같이, 비트 할당 유닛(110)은 할당 엔벨로프(138)에서의 대응하는 에너지 값에 의존하여, 상이한 리스케일링된 에러 계수들에 대한 비트들의 상대적 할당을 제공하도록 구성될 수 있다. 비트 할당 유닛(110)은 경험 리스케일링 규칙을 고려하도록 구성될 수 있다. 경험 리스케일링 규칙은 예측 품질에 의존할 수 있다. 상대적으로 높은 예측 품질의 경우, 낮은 주파수들에서의 계수들의 인코딩에보다 높은 주파수들에서의 예측 에러 계수들(또는 리스케일링된 에러 계수들의 블록(142))의 인코딩에 상대적으로 증가된 수의 비트들을 할당하는 것이 유리할 수 있다. 이것은 높은 예측 품질의 경우에, 낮은 주파수 계수들이 이미 잘 예측되는 반면, 높은 주파수 계수들은 통상적으로 덜 잘 예측된다는 사실에 기인할 수 있다. 반면, 상대적으로 낮은 예측 품질의 경우에, 비트 할당은 변하지 않은 상태로 남아 있어야 한다.
상기 거동은 예측 품질을 고려하는 할당 엔벨로프(138)를 결정하기 위해, 경험 규칙들/이득 d(f)의 역을 현재 조정된 엔벨로프(139)에 적용함으로써 구현될 수 있다.
조정된 엔벨로프(139), 예측 에러 계수들 및 이득 d(f)는 로그 또는 dB 도메인에서 표현될 수 있다. 이러한 경우, 예측 에러 계수들에 대한 이득 d(f)의 적용은 "가산(add)" 동작에 대응할 수 있고, 조정된 엔벨로프(139)에 대한 이득 d(f)의 역의 적용은 "감산(subtract)" 동작에 대응할 수 있다.
경험 규칙들/이득 d(f)의 다양한 변형들이 가능함을 유념해야 한다. 특히, 로패스 특성의 고정된 주파수 의존 곡선
Figure 112016103385551-pat00017
은 엔벨로프 데이터에(예를 들면 현재 블록(131)에 대한 조정된 엔벨로프(139)에) 의존하는 함수로 대체될 수 있다. 수정된 경험 규칙들은 제어 파라미터 rfu(146)에 및 엔벨로프 데이터에 둘다 의존할 수 있다.
다음에는 예측기 이득 g에 대응할 수 있는 예측기 이득 ρ를 결정하기 위한 상이한 방식들이 기술된다. 예측기 이득 ρ는 예측 품질의 표시로서 이용될 수 있다. 예측 잔여 벡터(prediction residual vector)(즉, 예측 에러 계수들의 블록(141)) z는: z = x - ρy에 의해 주어질 수 있고, 여기서 x는 타겟 벡터(예를 들면, 플래트닝된 변환 계수들의 현재 블록(140) 또는 변환 계수들의 현재 블록(131))이고, y는 예측을 위한 선택된 후보(예를 들면, 재구성된 계수들의 이전 블록들(149))를 표현하는 벡터이고, ρ는 (스칼라) 예측기 이득이다.
w≥ 0은 예측기 이득 ρ의 결정을 위해 이용되는 가중 벡터일 수 있다. 일부 실시예들에서, 가중 벡터는 단일 엔벨로프의 함수(예를 들면, 조정된 엔벨로프(139)의 함수이고, 이것은 인코더(100, 170)에서 추정된 후에 디코더(500)에 전송될 수 있다)이다. 가중 벡터는 통상적으로 타겟 벡터 및 후보 벡터와 동일한 차원을 가진다. 벡터 x의 i번째 엔트리는 xi(예를 들면 i = 1,..., K)로 표시될 수 있다.
예측기 이득 ρ을 규정하기 위한 상이한 방식들이 존재한다. 일 실시예에서, 예측기 이득 ρ은 최소 평균 제곱 에러 기준에 따라 규정된 MMSE(minimum mean square error) 이득이다. 이 경우, 예측기 이득 ρ은 다음의 공식을 이용하여 계산될 수 있다:
Figure 112016103385551-pat00018
이러한 예측기 이득 ρ은 통상적으로
Figure 112016103385551-pat00019
로서 규정된 평균 제곱 에러를 최소화한다.
평균 제곱 에러 D의 규정에 가중치를 도입하는 것은 종종 (지각적으로) 유리하다. 가중치는 신호 스펙트럼의 지각적으로 중요한 부분들에 대해 x와 y 사이의 매칭의 중요성을 강조하고 상대적으로 덜 중요한 신호 스펙트럼의 부분들에 대해 x와 y 사이의 매칭의 중요성을 덜 강조하는데 이용될 수 있다. 이러한 방식은 다음의 에러 기준을 유발하고:
Figure 112016103385551-pat00020
이것은 다음의 최적의 예측기 이득 규정(가중된 평균 제곱 에러의 관점에서)을 유발한다:
Figure 112016103385551-pat00021
상기의 예측기 이득 규정은 통상적으로 무한한 이득을 유발한다. 상기에 나타낸 바와 같이, 가중 벡터 w의 가중치들 wi는 조정된 엔벨로프(139)에 기초하여 결정될 수 있다. 예를 들면, 가중 벡터 w는 조정된 엔벨로프(139)의 미리 규정된 함수를 이용하여 결정될 수 있다. 미리 규정된 함수는 인코더에서 및 디코더에서 알려져 있을 수 있다(조정된 엔벨로프(139)에 대한 경우도 마찬가지이다). 따라서 가중 벡터는 인코더에서 및 디코더에서 동일한 방식으로 결정될 수 있다.
다른 가능한 예측기 이득 공식은
Figure 112016103385551-pat00022
에 의해 주어지고, 여기서
Figure 112016103385551-pat00023
및
Figure 112016103385551-pat00024
이다. 이러한 예측기 이득 규정은, 항상 간격 [-1, 1] 내에 있는 이득을 산출한다. 후자의 공식에 의해 지정된 예측기 이득의 중요한 특징은 예측기 이득 ρ이 타겟 신호의 에너지 x와 잔여 신호의 에너지 z 사이의 다루기 쉬운 관계를 용이하게 한다는 것이다. LTP 잔여 에너지는:
Figure 112016103385551-pat00025
로서 표현될 수 있다.
제어 파라미터 rfu(146)는 상기 언급된 공식들을 이용하여 예측기 이득 g에 기초하여 결정될 수 있다. 예측기 이득 g는 임의의 상기 언급된 공식들을 이용하여 결정되는 예측기 이득 ρ와 동일할 수 있다.
상기에 개요가 설명된 바와 같이, 인코더(100, 170)는 잔여 벡터 z(즉, 예측 에러 계수들의 블록(141))를 양자화하여 인코딩하도록 구성된다. 양자화 처리는 통상적으로, 지각적으로 중요한 방식으로 신호의 스펙트럼 성분들 사이에 이용 가능한 비트들을 분포하기 위해, 기본 지각 모델에 따라 신호 엔벨로프에 의해(예를 들면, 할당 엔벨로프(138)에 의해) 안내된다. 레이트 할당 처리는 입력 신호로부터(예를 들면, 변환 계수들의 블록(131)으로부터) 도출되는 신호 엔벨로프에 의해(예를 들면, 할당 엔벨로프(138)에 의해) 안내된다. 예측기(117)의 동작은 통상적으로 신호 엔벨로프를 변경한다. 양자화 유닛(112)은 통상적으로, 단위 분산 소스에 대한 동작을 가정하여 설계되는 양자화기들을 이용한다. 특히 높은 품질 예측의 경우에(즉, 예측기(117)가 성공적일 때), 단위 분산 특성은 더이상 그 경우가 아니며, 즉 예측 에러 계수들의 블록(141)은 단위 분산을 나타내지 않을 수 있다.
예측 에러 계수들의 블록(141)의 엔벨로프(즉, 잔여 z에 대해)를 추정하는 것과 이 엔벨로프를 디코더에 전송하는 것(및 추정된 엔벨로프를 이용하여 예측 에러 계수들의 블록(141)을 리플래트닝하는 것)은 통상적으로 효율적이지 않다. 대신에, 인코더(100) 및 디코더(500)는 예측 에러 계수들의 블록(141)을 리스케일링하기 위한 경험 규칙을 이용할 수 있다(상기에 개요가 설명된 바와 같이). 경험 규칙은 예측 에러 계수들의 블록(141)을 리스케일링하는데 이용될 수 있어서, 리스케일링된 계수들의 블록(142)은 단위 분산에 접근한다. 이에 대한 결과로서, 양자화 결과들은 개선될 수 있다(단위 분산을 가정하는 양자화기들을 이용하여).
또한, 이미 개요가 설명된 바와 같이, 경험 규칙은 비트 할당 처리에 이용되는 할당 엔벨로프(138)를 수정하는데 이용될 수 있다. 할당 엔벨로프(138)의 수정 및 예측 에러 계수들의 블록(141)의 리스케일링은 통상적으로 인코더(100)에 의해 및 디코더(500)에 의해 동일한 방식으로(동일한 경험 규칙을 이용하여) 수행될 수 있다.
가능한 경험 규칙 d(f)이 상기에 기술되었다. 다음에는 경험 규칙을 결정하기 위한 다른 방식이 기술된다. 가중된 도메인 에너지 예측 이득의 역은 ρ ∈ [0, 1]로 주어질 수 있어서,
Figure 112016103385551-pat00026
이고, 여기서
Figure 112016103385551-pat00027
은 가중된 도메인에서 잔여 벡터(즉, 예측 에러 계수들의 블록(141))의 제곱 에너지를 나타내고,
Figure 112016103385551-pat00028
은 가중된 도메인에서 타겟 벡터(즉, 플래트닝된 변환 계수들의 블록(140))의 제곱 에너지를 나타낸다.
다음의 가정이 이루어질 수 있다
1. 타겟 벡터 x의 엔트리들은 단위 분산을 가진다. 이것은 플래트닝 유닛(108)에 의해 수행되는 플래트닝의 결과일 수 있다. 이 가정은 플래트닝 유닛(108)에 의해 수행되는 엔벨로프 기반 플래트닝의 품질에 의존하여 이행된다.
2. 예측 잔여 벡터 z의 엔트리들의 분산은 i = 1, ..., K에 대해 및 일부 t ≥ 0에 대해
Figure 112016103385551-pat00029
의 형태이다. 이 가정은 적어도 제곱 지향 예측기 탐색(squares oriented predictor search)이 가중된 도메인에서 균일하게 분포된 에러 기여를 유발하여, 잔여 벡터
Figure 112016103385551-pat00030
가 다소 평탄하게 되는 경험에 기초한다. 또한, 적당한 경계
Figure 112016103385551-pat00031
를 유발하는 예측기 후보가 평탄에 근접하는 것이 예상될 수 있다. 이러한 두 번째 가정의 다양한 수정들이 이용될 수 있음을 유념해야 한다.
파라미터 t를 추정하기 위해서는, 상기 언급된 두 가정들을 예측 에러 공식(예를 들면,
Figure 112016103385551-pat00032
)에 삽입할 수 있고, 그에 의해 "수위 타입(water level type)" 방정식
Figure 112016103385551-pat00033
을 제공한다.
간격 t ∈ [0, max(w(i))]에 상기 방정식에 대한 해가 존재한다는 것을 알 수 있다. 파라미터 t를 찾기 위한 방정식은 정렬 루틴들을 이용하여 풀 수 있다.
경험 규칙은 그 후에
Figure 112016103385551-pat00034
로 주어질 수 있고, 여기서 i = 1,..., K는 주파수 빈을 식별한다. 경험 스케일링 규칙의 역은
Figure 112016103385551-pat00035
Figure 112016103385551-pat00036
로 주어진다. 경험 스케일링 규칙의 역은 역 리스케일링 유닛(113)에 의해 적용된다. 주파수-의존 스케일링 규칙은 가중치들 w(i) = wi에 의존한다. 상기에 나타낸 바와 같이, 가중치들 w(i)은 변환 계수들의 현재 블록(131)(예를 들면, 조정된 엔벨로프(139), 조정된 엔벨로프(139)의 일부 미리 규정된 함수)에 의존할 수 있거나 대응할 수 있다.
예측기 이득을 결정하기 위해, 공식
Figure 112016103385551-pat00037
를 이용할 때, 다음의 관계식: p = 1 - ρ2이 적용되는 것을 알 수 있다.
따라서, 경험 스케일링 규칙은 다양한 상이한 방식들로 결정될 수 있다. 이것은 상기 언급된 두 가정들(스케일링 방법 B로 칭해짐)에 기초하여 결정되는 스케일링 규칙이 고정된 스케일링 규칙 d(f)에 비해 유리하다는 것을 실험적으로 보여주었다. 특히, 두 가정들에 기초하여 결정되는 스케일링 규칙은 예측기 후보 탐색의 과정에서 이용되는 가중치의 효과를 고려할 수 있다. 스케일링 방법 B는 잔여의 분산과 신호의 분산 사이의 분석적으로 다루기 쉬운 관계(이것은 상기에 개요가 설명된 p의 도출을 용이하게 한다)로 인해, 이득
Figure 112016103385551-pat00038
의 규정과 조합되는 것이 편리하다.
다음에는 변환-기반 오디오 코더의 성능을 개선하기 위한 다른 양태가 기술된다. 특히, 소위 분산 보존 플래그의 이용이 제안된다. 분산 보존 플래그는 블록(131)마다 기초하여 결정되어 전송될 수 있다. 분산 보존 플래그는 예측 품질을 나타낼 수 있다. 일 실시예에서, 상대적으로 높은 예측 품질의 경우에 분산 보존 플래그는 오프 상태이고, 상대적으로 낮은 예측 품질의 경우에 분산 보존 플래그는 온 상태이다. 분산 보존 플래그는 인코더(100, 170)에 의해, 예를 들면 예측기 이득 ρ에 기초하여 및/또는 예측기 이득 g에 기초하여 결정될 수 있다. 예를 들면, 분산 보존 플래그는 예측기 이득 ρ 또는 g(또는 그로부터 도출되는 파라미터)가 미리 결정된 임계값(예를 들면, 2dB) 아래이면 "온 상태"로 설정될 수 있고, 그 반대로도 가능하다. 상기에 개요가 설명된 바와 같이, 가중된 도메인 에너지 예측 이득 ρ의 역은 통상적으로 예측기 이득, 예를 들면 p = 1 - ρ2에 의존한다. 파라미터 p의 역은 분산 보존 플래그의 값을 결정하는데 이용될 수 있다. 예를 들면, 1/p(예를 들면, dB로 표현됨)는 분산 보존 플래그의 값을 결정하기 위해 미리 결정된 임계값(예를 들면, 2dB)과 비교될 수 있다. 1/p가 미리 결정된 임계값보다 큰 경우, 분산 보존 플래그는 "오프 상태"(상대적으로 높은 예측 품질을 나타냄)로 설정될 수 있고, 그 반대로도 가능하다.
분산 보존 플래그는 인코더(100)의 및 디코더(500)의 다양한 상이한 설정들을 제어하는데 이용될 수 있다. 특히, 분산 보존 플래그는 복수의 양자화기들(321, 322, 323)의 잡음 정도를 제어하는데 이용될 수 있다. 특히, 분산 보존 플래그는 다음의 설정들 중 하나 이상에 영향을 미칠 수 있다:
Figure 112016103385551-pat00039
제로 비트 할당에 대한 적응적 잡음 이득. 즉 잡음 합성 양자화기(321)의 잡음 이득은 분산 보존 플래그에 의해 영향을 받을 수 있다.
Figure 112016103385551-pat00040
디더링된 양자화기들의 레인지. 즉, 디더링된 양자화기들(322)에 대한 SNR들의 레인지(324, 325)는 분산 보존 플래그에 의해 영향을 받을 수 있다.
Figure 112016103385551-pat00041
디더링된 양자화기들의 사후-이득. 사후-이득은 디더링된 양자화기들의 평균 제곱 에러 성능에 영향을 미치기 위해 디더링된 양자화기들의 출력에 적용될 수 있다. 사후-이득은 분산 보존 플래그에 의존할 수 있다.
Figure 112016103385551-pat00042
경험 스케일링의 적용. 경험 스케일링의 이용(리스케일링 유닛(111)에서 및 역 리스케일링 유닛(113)에서)은 분산 보존 플래그에 의존할 수 있다.
분산 보존 플래그가 인코더(100) 및/또는 디코더(500)의 하나 이상의 설정들을 변경할 수 있는 방법의 예가 [표 2]에 제공된다.
설정 타입 분산 보존 오프 분산 보존 온
잡음 이득
Figure 112016103385551-pat00043
Figure 112016103385551-pat00044
디더링된 양자화기들의 레인지 제어 파라미터 rfu에 의존 상대적으로 큰 레인지(예를 들면, 가장 큰 가능한 레인지)에 고정
디더링된 양자화기들의 사후-이득
Figure 112016103385551-pat00045
Figure 112016103385551-pat00046
Figure 112016103385551-pat00047
경험 스케일링 규칙 온 오프
사후-이득,
Figure 112016103385551-pat00048
에 대한 공식은 예측 에러 계수들의 블록(141)(양자화되어야 하는)의 하나 이상의 계수들의 분산이고, Δ는 사후-이득이 적용되어야 하는 디더링된 양자화기의 스칼라 양자화기(612)의 양자화기 단계 크기이다.
[표 2]의 예로부터 알 수 있는 바와 같이, 잡음 합성 양자화기(321)의 잡음 이득 gN(즉, 잡음 합성 양자화기(321)의 분산)은 분산 보존 플래그에 의존할 수 있다. 상기에 개요가 설명된 바와 같이, 제어 파라미터 rfu(146)은 레인지 [0, 1]에 있을 수 있고, 상대적으로 낮은 rfu 값은 상대적으로 낮은 예측 품질을 나타내고 및 상대적으로 높은 rfu 값은 상대적으로 높은 예측 품질을 나타낸다. [0, 1]의 레인지에 있는 rfu 값들에 대해, 좌측 컬럼 공식은 우측 컬럼 공식보다 낮은 잡음 이득들 gN을 제공한다. 따라서, 분산 보존 플래그가 온 상태일(상대적으로 낮은 예측 품질을 나타낼) 때, 분산 보존 플래그가 오프 상태일(상대적으로 높은 예측 품질을 나타낼) 때보다 높은 잡음 이득이 이용된다. 이것은 전체적인 지각 품질을 개선한다는 것을 실험적으로 보여주었다.
상기에 개요가 설명된 바와 같이, 디더링된 양자화기들(322)의 324, 325의 SNR 레인지는 제어 파라미터 rfu에 매우 의존할 수 있다. [표 2]에 따라, 분산 보존 플래그가 온 상태일(상대적으로 낮은 예측 품질을 나타낼) 때, 디더링된 양자화기들(322)의 고정된 큰 레인지가 이용된다(예를 들면, 레인지(324)). 반면, 분산 보존 플래그가 오프 상태일(상대적으로 높은 예측 품질을 나타낼) 때, 제어 파라미터 rfu에 의존하여, 디더링된 양자화기들(322)의 상이한 레인지들(324, 325)이 이용된다.
양자화된 에러 계수들의 블록(145)의 결정은 사후-이득
Figure 112016103385551-pat00049
의 양자화된 에러 계수들에의 적용을 관련시키며, 양자화된 에러 계수들은 디더링된 양자화기(322)를 이용하여 양자화되었다. 사후-이득
Figure 112016103385551-pat00050
은 디더링된 양자화기(322)(예를 들면, 감산 디더를 가진 양자화기)의 MSE 성능을 개선하기 위해 도출될 수 있다. 사후-이득은 다음에 의해 주어질 수 있다:
Figure 112016103385551-pat00051
사후-이득을 분산 보존 플래그에 의존하게 할 때, 지각 코딩 품질이 개선될 수 있음을 실험적으로 보여주었다. 분산 보존 플래그가 오프 상태일(상대적으로 높은 예측 품질을 나타낼) 때 상기 언급된 MSE 최적의 사후-이득이 이용된다. 반면, 분산 보존 플래그가 온 상태일(상대적으로 낮은 예측 품질을 나타낼) 때, 더 높은 사후-이득([표 2]의 우측면의 공식에 따라 결정된)을 이용하는 것이 유리할 수 있다.
상기에 개요가 설명된 바와 같이, 경험 스케일링은 예측 에러 계수들의 블록들(141)보다 단위 분산 특성에 더 근접한 리스케일링된 에러 계수들의 블록들(142)을 제공하는데 이용될 수 있다. 경험 스케일링 규칙들은 제어 파라미터(146)에 의존하게 될 수 있다. 즉, 경험 스케일링 규칙들은 예측 품질에 의존하게 될 수 있다. 경험 스케일링은 상대적으로 높은 예측 품질의 경우에 특히 유리할 수 있는 반면에, 이 유리한 점들은 상대적으로 낮은 예측 품질의 경우에 제한될 수 있다. 이러한 점에서, 분산 보존 플래그가 오프 상태일(상대적으로 높은 예측 품질을 나타낼) 때 경험 스케일링을 이용하는 것만이 유리할 수 있다.
본 문서에서, 변환-기반 음성 인코더(100, 170) 및 대응하는 변환-기반 음성 디코더(500)가 기술되었다. 변환-기반 음성 코덱은 인코딩된 음성 신호들의 품질 개선을 허용하는 다양한 양태들을 이용할 수 있다. 음성 코덱은 예를 들면 5ms의 레인지에서 상대적으로 짧은 블록들(또한 코딩 단위들로 칭해짐)을 이용할 수 있고, 그에 의해 음성 신호들에 대한 적합한 시간 해상도 및 중요한 통계들을 보장한다. 또한, 음성 코덱은 코딩 단위들의 시변 스펙트럼 엔벨로프의 충분한 기술을 제공할 수 있다. 또한, 음성 코덱은 변환 도메인에서 예측을 이용할 수 있고, 예측은 코딩 단위들의 스펙트럼 엔벨로프들을 고려할 수 있다. 따라서, 음성 코덱은 코딩 단위들에 대한 엔벨로프 자각 예측 업데이트들을 제공할 수 있다. 또한, 음성 코덱은 예측의 결과들에 적응하는 미리 결정된 양자화기들을 이용할 수 있다. 즉, 음성 코덱은 예측 적응 스칼라 양자화기들을 이용할 수 있다.
본 문서에 기술된 방법들 및 시스템들은 소프트웨어, 펌웨어 및/또는 하드웨어로 구현될 수 있다. 특정 구성요소들은 예를 들면 디지털 신호 처리기 또는 마이크로프로세서 상에서 실행하는 소프트웨어로서 구현될 수 있다. 다른 구성요소들은 예를 들면 하드웨어 및 또는 주문형 반도체로서 구현될 수 있다. 기술된 방법들 및 시스템들에서 접하는 신호들은 랜덤 액세스 메모리 또는 광학 저장 매체들과 같은 매체들에 저장될 수 있다. 이들은 라디오 네트워크들, 위성 네트워크들, 무선 네트워크들 또는 유선 네트워크들, 예를 들면 인터넷과 같은 네트워크들을 통해 이송될 수 있다. 본 문서에 기술된 방법들 및 시스템들을 이용하는 통상적인 디바이스들은 휴대용 전자 디바이스들 또는 오디오 신호들을 저장 및/또는 렌더링하는데 이용되는 다른 소비자 기기이다.
100: 변환-기반 음성 인코더
101: 프레이밍 유닛
102: 엔벨로프 추정 유닛
103: 엔벨로프 양자화 유닛
104: 보간 유닛
105: 사전-플래트닝 유닛
106: 엔벨로프 이득 결정 유닛
107: 엔벨로프 조정 유닛
108: 플래트닝 유닛
109, 110: 비트 할당 유닛
111: 리스케일링 유닛
112: 계수 양자화 유닛
113: 역 리스케일링 유닛
114: 역 플래트닝 유닛
117: 예측기

Claims (46)

  1. 음성 신호를 비트스트림으로 인코딩하도록 구성된 변환-기반 음성 인코더(100, 170)에 있어서:
    - 현재 블록(131) 및 하나 이상의 이전 블록들(131)을 포함하는 변환 계수들의 복수의 시퀀스 블록들(131)을 수신하도록 구성된 프레이밍 유닛(101)으로서, 상기 복수의 시퀀스 블록들(131)은 상기 음성 신호의 샘플들을 나타내는, 상기 프레이밍 유닛(101);
    - 대응하는 현재 블록 엔벨로프(136) 및 대응하는 하나 이상의 이전 블록 엔벨로프들(136)을 이용하여 변환 계수들의 상기 대응하는 현재 블록(131) 및 상기 하나 이상의 이전 블록들(131)을 플래트닝함으로써, 플래트닝된 변환 계수들의 현재 블록(140) 및 하나 이상의 이전 블록들(140)을 각각 결정하도록 구성된 플래트닝 유닛(108);
    - 재구성된 변환 계수들의 하나 이상의 이전 블록들(149)에 기초하고 하나 이상의 예측기 파라미터들(520)에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하도록 구성된 예측기(117)로서, 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)은 플래트닝된 변환 계수들의 상기 하나 이상의 이전 블록들(140)로부터 각각 도출되었고, 상기 예측기(117)는:
    - 신호 모델을 이용하는 모델-기반 예측기로서, 상기 신호 모델은 하나 이상의 정현파 모델 성분들을 포함하고, 상기 신호 모델은 하나 이상의 모델 파라미터들을 포함하고, 상기 하나 이상의 예측기 파라미터들(520)은 상기 하나 이상의 모델 파라미터들을 나타내는, 상기 모델-기반 예측기와;
    - 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)에 기초하고 상기 하나 이상의 예측기 파라미터들(520)에 기초하여 추정된 변환 계수들의 현재 블록을 결정하도록 구성된 추출기(543)와;
    - 추정된 변환 계수들의 현재 블록에 기초하고, 상기 하나 이상의 이전 블록 엔벨로프들(136)에 기초하고 상기 하나 이상의 예측기 파라미터들(520)에 기초하여, 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하도록 구성된 스펙트럼 성형기(544; spectral shaper)를 포함하는, 상기 예측기(117); 및
    - 플래트닝된 변환 계수들의 현재 블록(140)에 기초하고 추정된 플래트닝된 변환 계수들의 현재 블록(150)에 기초하여 예측 에러 계수들의 현재 블록(141)을 결정하도록 구성된 차 유닛(115)을 포함하고,
    상기 비트스트림은 예측 에러 계수들의 현재 블록(141)에 기초하여 결정되는, 변환-기반 음성 인코더(100, 170).
  2. 제 1 항에 있어서,
    상기 모델-기반 예측기는:
    - 상기 신호 모델의 상기 하나 이상의 모델 파라미터들을 결정하고;
    - 상기 신호 모델에 기초하고 상기 하나 이상의 모델 파라미터들에 기초하여, 재구성된 변환 계수들의 이전 블록(149)의 제 1 주파수 빈(301)에서 제 1 재구성된 변환 계수에 적용될 예측 계수를 결정하고;
    - 상기 예측 계수를 상기 제 1 재구성된 변환 계수에 적용함으로써 추정된 변환 계수들의 현재 블록의 상기 제 1 주파수 빈(301)에서 제 1 추정된 변환 계수의 추정치를 결정하도록 구성되는, 변환-기반 음성 인코더(100, 170).
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 하나 이상의 모델 파라미터들은 상기 하나 이상의 정현파 모델 성분들의 주파수를 나타내는, 변환-기반 음성 인코더(100, 170).
  4. 제 3 항에 있어서,
    - 상기 하나 이상의 모델 파라미터들은 다중-정현파 신호 모델의 기본 주파수를 나타내는, 변환-기반 음성 인코더(100, 170).
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 예측기(117)는 예측 에러 계수들의 현재 블록(141)의 상기 예측 에러 계수들의 평균 제곱 값이 감소되도록 상기 하나 이상의 예측기 파라미터들(520)을 결정하도록 구성되는, 변환-기반 음성 인코더(100, 170).
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 예측기(117)는 상기 하나 이상의 예측기 파라미터들(520)을 나타내는 예측기 데이터(163)를 상기 비트스트림에 삽입하도록 구성되는, 변환-기반 음성 인코더(100, 170).
  7. 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하도록 구성된 변환-기반 음성 디코더(500)에 있어서:
    - 재구성된 변환 계수들의 하나 이상의 이전 블록들(149)에 기초하고 상기 비트스트림으로부터 도출되는 하나 이상의 예측기 파라미터들(520)에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하도록 구성된 예측기(517)로서,
    - 신호 모델을 이용하는 모델-기반 예측기로서, 상기 신호 모델은 하나 이상의 정현파 모델 성분들을 포함하고, 상기 신호 모델은 하나 이상의 모델 파라미터들을 포함하고, 상기 하나 이상의 예측기 파라미터들(520)은 상기 하나 이상의 모델 파라미터들을 나타내는, 상기 모델-기반 예측기와;
    - 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)에 기초하고 상기 하나 이상의 예측기 파라미터들(520)에 기초하여 추정된 변환 계수들의 현재 블록을 결정하도록 구성된 추출기(543)와;
    - 추정된 변환 계수들의 현재 블록에 기초하고, 하나 이상의 이전 블록 엔벨로프들(136)에 기초하고 상기 하나 이상의 예측기 파라미터들(520)에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하도록 구성된 스펙트럼 성형기(544)를 포함하는, 상기 예측기(517);
    - 상기 비트스트림 내에 포함되는 계수 데이터(163)에 기초하여 양자화된 예측 에러 계수들의 현재 블록(147)을 결정하도록 구성된 스펙트럼 디코더(502);
    - 추정된 플래트닝된 변환 계수들의 현재 블록(150)에 기초하고 양자화된 예측 에러 계수들의 현재 블록(147)에 기초하여 재구성된 플래트닝된 변환 계수들의 현재 블록(148)을 결정하도록 구성된 가산 유닛(116; adding unit); 및
    - 현재 블록 엔벨로프(136)를 이용하여, 재구성된 플래트닝된 변환 계수들의 현재 블록(148)에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 현재 블록(149)을 결정하도록 구성되고, 상기 하나 이상의 이전 블록 엔벨로프들(136)을 이용하여, 재구성된 플래트닝된 변환 계수들의 하나 이상의 이전 블록들(148)에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)을 각각 결정하도록 구성된 역 플래트닝 유닛(114)을 포함하고,
    상기 재구성된 음성 신호는 재구성된 변환 계수들의 상기 현재 및 상기 하나 이상의 이전 블록들(149)에 기초하여 결정되는, 변환-기반 음성 디코더(500).
  8. 제 7 항에 있어서,
    - 상기 하나 이상의 예측기 파라미터들(520)은 블록 래그 파라미터(block lag parameter)를 포함하고,
    - 상기 블록 래그 파라미터는 추정된 플래트닝된 변환 계수들의 현재 블록(150)에 앞서는 블록들의 수를 나타내는, 변환-기반 음성 디코더(500).
  9. 제 8 항에 있어서,
    상기 스펙트럼 성형기(544)는:
    - 현재 추정된 엔벨로프를 이용하여 추정된 변환 계수들의 현재 블록을 플래트닝하고;
    - 상기 하나 이상의 이전 블록 엔벨로프들(136)에 기초하고 상기 블록 래그 파라미터에 기초하여 상기 현재 추정된 엔벨로프를 결정하도록 구성되는, 변환-기반 음성 디코더(500).
  10. 제 9 항에 있어서,
    상기 스펙트럼 성형기(544)는:
    - 상기 블록 래그 파라미터에 기초하여 정수 래그 값을 결정하고;
    - 상기 정수 래그 값에 의해 추정된 플래트닝된 변환 계수들의 현재 블록(149)에 앞서는 재구성된 변환 계수들의 상기 이전 블록(149)의 상기 이전 블록 엔벨로프(136)로서 상기 현재 추정된 엔벨로프를 결정하도록 구성되는, 변환-기반 음성 디코더(500).
  11. 제 10 항에 있어서,
    상기 스펙트럼 성형기(544)는 상기 블록 래그 파라미터를 가장 근접한 정수로 라운딩함으로써 상기 정수 래그 값을 결정하도록 구성되는, 변환-기반 음성 디코더(500).
  12. 제 11 항에 있어서,
    - 하나 이상의 이전 블록 엔벨로프들(136)을 저장하도록 구성된 엔벨로프 버퍼(542)를 포함하고,
    - 상기 스펙트럼 성형기(544)는 상기 정수 래그 값을 상기 엔벨로프 버퍼(542) 내에 저장되는 이전 블록 엔벨로프들(136)의 수로 한정함으로써 상기 정수 래그 값을 결정하도록 구성되는, 변환-기반 음성 디코더(500).
  13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 스펙트럼 성형기(544)는 상기 하나 이상의 예측기 파라미터들(520)의 적용에 앞서, 플래트닝된 추정된 변환 계수들의 현재 블록이 단위 분산을 나타내도록 추정된 변환 계수들의 현재 블록을 플래트닝하도록 구성되는, 변환-기반 음성 디코더(500).
  14. 제 13 항에 있어서,
    - 상기 비트스트림은 분산 이득 파라미터를 포함하고,
    - 상기 스펙트럼 성형기(544)는 상기 분산 이득 파라미터를 추정된 변환 계수들의 현재 블록에 적용하도록 구성되는, 변환-기반 음성 디코더(500).
  15. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 추출기(543)는 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)에 기초하고 상기 블록 래그 파라미터에 기초하여 추정된 변환 계수들의 현재 블록을 결정하도록 구성되는, 변환-기반 음성 디코더(500).
  16. 음성 신호를 비트스트림으로 인코딩하도록 구성된 변환-기반 음성 인코더(100, 170)에 있어서:
    - 현재 블록(131) 및 하나 이상의 이전 블록들(131)을 포함하는 변환 계수들의 복수의 시퀀스 블록들(131)을 수신하도록 구성된 프레이밍 유닛(101)으로서, 상기 복수의 시퀀스 블록들(131)은 상기 음성 신호의 샘플들을 나타내는, 상기 프레이밍 유닛(101);
    - 대응하는 현재 블록 엔벨로프(136)를 이용하여 변환 계수들의 상기 대응하는 현재 블록(131)을 플래트닝함으로써, 플래트닝된 변환 계수들의 현재 블록(140)을 결정하도록 구성된 플래트닝 유닛(108);
    - 재구성된 변환 계수들의 하나 이상의 이전 블록들(149)에 기초하고 하나 이상의 예측기 파라미터들(520)에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하도록 구성된 예측기(117)로서, 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)은 변환 계수들의 상기 하나 이상의 이전 블록들(131)로부터 도출된, 상기 예측기(117);
    - 플래트닝된 변환 계수들의 현재 블록(140)에 기초하고 추정된 플래트닝된 변환 계수들의 현재 블록(150)에 기초하여 예측 에러 계수들의 현재 블록(141)을 결정하도록 구성된 차 유닛(115);
    - 미리 결정된 양자화기들의 세트(326, 327)를 이용하여, 예측 에러 계수들의 현재 블록(141)으로부터 도출된 계수들을 양자화하도록 구성된 계수 양자화 유닛(112)으로서, 상기 하나 이상의 예측기 파라미터들(520)에 의존하여 미리 결정된 양자화기들의 상기 세트(326, 327)를 결정하도록 구성되고, 미리 결정된 양자화기들의 상기 세트(326, 327)는 상이한 신호대 잡음비들을 가진 상이한 양자화기들 및 적어도 하나의 디더링된 양자화기(dithered quantizer)를 포함하고, 상기 하나 이상의 예측기 파라미터들(520)은 예측기 이득을 포함하고, 상기 예측기 이득은 재구성된 변환 계수들의 현재 블록(149)에 대한 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)의 타당성 정도(degree of relevance)를 나타내고, 미리 결정된 양자화기들의 상기 세트(326, 327) 내에 포함되는 디더링된 양자화기들의 수가 상기 예측기 이득에 의존하는, 상기 계수 양자화 유닛(112)을 포함하고,
    상기 계수 양자화 유닛(112)은 상기 양자화된 계수들에 기초하여 상기 비트스트림에 대한 계수 데이터(163)를 결정하도록 구성되는, 변환-기반 음성 인코더(100, 170).
  17. 제 16 항에 있어서,
    리스케일링된 에러 계수들의 현재 블록(142)의 상기 리스케일링된 에러 계수들의 분산이 평균적으로 예측 에러 계수들의 현재 블록(141)의 상기 예측 에러 계수들의 분산보다 높도록, 하나 이상의 스케일링 규칙들을 이용하여 예측 에러 계수들의 현재 블록(141)에 기초하여 리스케일링된 에러 계수들의 현재 블록(142)을 결정하도록 구성되는 스케일링 유닛(111; scaling unit)을 더 포함하는, 변환-기반 음성 인코더(100, 170).
  18. 제 17 항에 있어서,
    - 예측 에러 계수들의 현재 블록(141)은 대응하는 복수의 주파수 빈들(301)에 대한 복수의 예측 에러 계수들을 포함하고,
    - 상기 하나 이상의 스케일링 규칙들에 따라 상기 스케일링 유닛(111)에 의해 상기 예측 에러 계수들에 적용되는 스케일링 이득들이 각각의 예측 에러 계수들의 상기 주파수 빈들(301)에 의존하는, 변환-기반 음성 인코더(100, 170).
  19. 제 17 항 또는 제 18 항에 있어서,
    상기 스케일링 규칙은 상기 하나 이상의 예측기 파라미터들(520)에 의존하는, 변환-기반 음성 인코더(100, 170).
  20. 제 17 항 또는 제 18 항에 있어서,
    상기 스케일링 규칙은 현재 블록 엔벨로프(136)에 의존하는, 변환-기반 음성 인코더(100, 170).
  21. 제 16 항 내지 제 18 항 중 어느 한 항에 있어서,
    - 상기 예측기(117)는 가중된 평균 제곱 에러 기준을 이용하여 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하도록 구성되고,
    - 상기 가중된 평균 제곱 에러 기준은 현재 블록 엔벨로프(136)를 가중치들로서 고려하는, 변환-기반 음성 인코더(100, 170).
  22. 제 17 항 또는 제 18 항에 있어서,
    상기 계수 양자화 유닛(112)은,
    리스케일링된 에러 계수들의 현재 블록(142)의 상기 리스케일링된 에러 계수들을 양자화하도록 구성되는, 변환-기반 음성 인코더(100, 170).
  23. 제 16 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 현재 블록 엔벨로프(136)에 기초하여 할당 벡터를 결정하도록 구성된 비트 할당 유닛(109, 110, 171, 172)을 더 포함하고,
    - 상기 할당 벡터는 예측 에러 계수들의 현재 블록(141)으로부터 도출되는 제 1 계수를 양자화하는데 이용될 미리 결정된 양자화기들의 상기 세트(326, 327)로부터의 제 1 양자화기를 나타내는, 변환-기반 음성 인코더(100, 170).
  24. 제 23 항에 있어서,
    상기 할당 벡터는 예측 에러 계수들의 현재 블록(141)으로부터 도출되는 모든 상기 계수들에 각각 이용될 양자화기들을 나타내는, 변환-기반 음성 인코더(100, 170).
  25. 제 23 항에 있어서,
    상기 비트 할당 유닛(109, 110, 171, 172)은:
    - 예측 에러 계수들의 현재 블록(141)에 대한 상기 계수 데이터(163)가 미리 결정된 수의 비트들(143)을 초과하지 않도록 상기 할당 벡터를 결정하고;
    - 상기 현재 블록 엔벨로프(136)로부터 도출되는 할당 엔벨로프(138)에 적용될 오프셋을 나타내는 오프셋 값을 결정하도록 구성되고;
    상기 오프셋 값은 상기 비트스트림에 포함되는, 변환-기반 음성 인코더(100, 170).
  26. 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하도록 구성된 변환-기반 음성 디코더(500)에 있어서:
    - 재구성된 변환 계수들의 하나 이상의 이전 블록들(149)에 기초하고 상기 비트스트림으로부터 도출되는 하나 이상의 예측기 파라미터들(520)에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하도록 구성된 예측기(517);
    - 미리 결정된 양자화기들의 세트(326, 327)를 이용하여, 상기 비트스트림 내에 포함되는 계수 데이터(163)에 기초하여 양자화된 예측 에러 계수들의 현재 블록(147)을 결정하도록 구성된 스펙트럼 디코더(502)로서, 상기 하나 이상의 예측기 파라미터들(520)에 의존하여 미리 결정된 양자화기들의 상기 세트(326, 327)를 결정하도록 구성되고, 미리 결정된 양자화기들의 상기 세트(326, 327)는 상이한 신호대 잡음비들을 가진 상이한 양자화기들 및 적어도 하나의 디더링된 양자화기(dithered quantizer)를 포함하고, 상기 하나 이상의 예측기 파라미터들(520)은 예측기 이득을 포함하고, 상기 예측기 이득은 재구성된 변환 계수들의 현재 블록(149)에 대한 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)의 타당성 정도(degree of relevance)를 나타내고, 미리 결정된 양자화기들의 상기 세트(326, 327) 내에 포함되는 디더링된 양자화기들의 수가 상기 예측기 이득에 의존하는, 상기 스펙트럼 디코더(502);
    - 추정된 플래트닝된 변환 계수들의 현재 블록(150)에 기초하고 양자화된 예측 에러 계수들의 현재 블록(147)에 기초하여 재구성된 플래트닝된 변환 계수들의 현재 블록(148)을 결정하도록 구성된 가산 유닛(116); 및
    - 현재 블록 엔벨로프(136)를 이용하여, 재구성된 플래트닝된 변환 계수들의 현재 블록(148)에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 현재 블록(149)을 결정하도록 구성된 역 플래트닝 유닛(114)을 포함하고,
    상기 재구성된 음성 신호는 재구성된 변환 계수들의 현재 블록(149)에 기초하여 결정되는, 변환-기반 음성 디코더(500).
  27. 제 26 항에 있어서,
    미리 결정된 양자화기들의 상기 세트(326, 327) 내에 포함되는 디더링된 양자화기들의 상기 수는 예측기 이득 증가에 따라 감소하는, 변환-기반 음성 디코더(500).
  28. 제 26 항 또는 제 27 항에 있어서,
    - 상기 스펙트럼 디코더(502)는 미리 결정된 양자화기들의 제 1 세트(326) 및 제 2 세트(327)에 대한 액세스를 갖고,
    - 상기 제 2 세트(327)는 양자화기들의 상기 제 1 세트(326)보다 낮은 수의 디더링된 양자화기들을 포함하고,
    - 상기 스펙트럼 디코더(502)는 상기 예측기 이득에 기초하여 세트 기준을 결정하도록 구성되고,
    - 상기 스펙트럼 디코더(502)는 상기 세트 기준이 미리 결정된 임계값보다 작은 경우 미리 결정된 양자화기들의 상기 제 1 세트(326)를 이용하도록 구성되고,
    - 상기 스펙트럼 디코더(502)는 상기 세트 기준이 상기 미리 결정된 임계값 이상인 경우 미리 결정된 양자화기들의 상기 제 2 세트(327)를 이용하도록 구성되는, 변환-기반 음성 디코더(500).
  29. 제 26 항 또는 제 27 항에 있어서,
    - 리스케일링된 예측 에러 계수들의 현재 블록(147)을 제공하기 위해, 역 스케일링 규칙을 이용하여 양자화된 예측 에러 계수들의 현재 블록(147)의 상기 양자화된 예측 에러 계수들을 리스케일링하도록 구성된 역 리스케일링 유닛(113)을 포함하고,
    - 상기 가산 유닛(116)은 리스케일링된 예측 에러 계수들의 현재 블록(147)을 추정된 플래트닝된 변환 계수들의 현재 블록(150)에 가산함으로써 재구성된 플래트닝된 변환 계수들의 현재 블록(148)을 결정하도록 구성되는, 변환-기반 음성 디코더(500).
  30. 제 29 항에 있어서,
    - 상기 역 스케일링 규칙에 따라 상기 역 리스케일링 유닛(113)에 의해 상기 양자화된 예측 에러 계수들에 적용되는 스케일링 이득들이 각각의 양자화된 예측 에러 계수들의 주파수 빈들(301)에 의존하고, 및/또는
    - 상기 역 스케일링 규칙은 대응하는 변환-기반 음성 인코더(100, 170)의 스케일링 유닛(111)에 의해 적용되는 스케일링 규칙의 역인, 변환-기반 음성 디코더(500).
  31. 제 26 항 또는 제 27 항에 있어서,
    - 상기 하나 이상의 제어 파라미터들은 분산 보존 플래그(variance preservation flag)를 포함하고,
    - 상기 분산 보존 플래그는 양자화된 예측 에러 계수들의 현재 블록(147)의 분산이 어떻게 성형되어야 하는지를 나타내고,
    - 미리 결정된 양자화기들의 상기 세트(326, 327)는 상기 분산 보존 플래그에 의존하여 결정되는, 변환-기반 음성 디코더(500).
  32. 제 31 항에 있어서,
    - 미리 결정된 양자화기들의 상기 세트(326, 327)는 잡음 합성 양자화기(321)를 포함하고,
    - 상기 잡음 합성 양자화기(321)의 잡음 이득이 상기 분산 보존 플래그에 의존하는, 변환-기반 음성 디코더(500).
  33. 제 31 항에 있어서,
    - 미리 결정된 양자화기들의 상기 세트(326, 327)는 SNR 레인지(324, 325)를 커버하는 하나 이상의 디더링된 양자화기들(322)을 포함하고,
    - 상기 SNR 레인지(324, 325)는 상기 분산 보존 플래그에 의존하여 결정되는, 변환-기반 음성 디코더(500).
  34. 제 31 항에 있어서,
    - 미리 결정된 양자화기들의 상기 세트(326, 327)는 적어도 하나의 디더링된 양자화기(322)를 포함하고,
    - 상기 적어도 하나의 디더링된 양자화기(322)는 양자화된 예측 에러 계수를 결정할 때 사후-이득(post-gain)
    Figure 112016103385551-pat00052
    을 적용하도록 구성되고,
    - 상기 사후-이득
    Figure 112016103385551-pat00053
    은 상기 분산 보존 플래그에 의존하는, 변환-기반 음성 디코더(500).
  35. 제 31 항에 있어서,
    - 리스케일링된 예측 에러 계수들의 현재 블록(147)을 제공하기 위해, 양자화된 예측 에러 계수들의 현재 블록(147)의 상기 양자화된 예측 에러 계수들을 리스케일링하도록 구성된 역 리스케일링 유닛(113)을 포함하고,
    - 상기 가산 유닛(116)은 상기 분산 보존 플래그에 의존하여, 추정된 플래트닝된 변환 계수들의 현재 블록(150)에 리스케일링된 예측 에러 계수들의 현재 블록(147)을 가산함으로써 또는 양자화된 예측 에러 계수들의 현재 블록(147)을 가산함으로써 재구성된 플래트닝된 변환 계수들의 현재 블록(148)을 결정하도록 구성되는, 변환-기반 음성 디코더(500).
  36. 제 1 세그먼트를 포함하는 오디오 신호를 비트스트림으로 인코딩하도록 구성된 변환-기반 오디오 인코더에 있어서:
    - 상기 오디오 신호로부터의 상기 제 1 세그먼트를 음성 세그먼트인 것으로 식별하도록 구성된 신호 분류기로서, 상기 제 1 세그먼트는 변환-기반 음성 인코더(100, 170)에 의해 인코딩되기 위한 것인, 상기 신호 분류기;
    - 상기 제 1 세그먼트에 기초하여 변환 계수들의 복수의 시퀀스 블록들(131)을 결정하도록 구성된 변환 유닛으로서, 변환 계수들의 하나의 블록(131)은 대응하는 복수의 주파수 빈들(301)에 대한 복수의 변환 계수들을 포함하고, 상기 변환 유닛은 제 1 수의 변환 계수들을 포함하는 긴 블록들 및 제 2 수의 변환 계수들을 포함하는 짧은 블록들을 결정하도록 구성되고, 상기 제 1 수는 상기 제 2 수보다 크고, 상기 복수의 시퀀스 블록들(131)의 블록들(131)은 짧은 블록들인, 상기 변환 유닛; 및
    - 상기 복수의 시퀀스 블록들(131)을 상기 비트스트림으로 인코딩하도록 구성된 제 1 항에 따른 변환-기반 음성 인코더(100, 170)를 포함하는, 변환-기반 오디오 인코더.
  37. 제 36 항에 있어서,
    상기 제 1 세그먼트 이외에 상기 오디오 신호의 세그먼트를 인코딩하도록 구성된 일반 변환-기반 오디오 인코더를 더 포함하는, 변환-기반 오디오 인코더.
  38. 제 37 항에 있어서,
    상기 일반 변환-기반 오디오 인코더는 AAC 또는 HE-AAC 인코더인, 변환-기반 오디오 인코더.
  39. 제 36 항 내지 제 38 항 중 어느 한 항에 있어서,
    - 상기 변환 유닛은 MDCT를 수행하도록 구성되고; 및/또는
    - 상기 제 1 수의 샘플들은 1024개이고; 및/또는
    - 상기 제 2 수의 샘플들은 256개인, 변환-기반 오디오 인코더.
  40. 제 1 세그먼트를 포함하는 오디오 신호를 나타내는 비트스트림을 디코딩하도록 구성된 변환-기반 오디오 디코더에 있어서:
    - 상기 비트스트림 내에 포함되는 데이터(161, 162, 163, 164)에 기초하여 재구성된 변환 계수들의 복수의 시퀀스 블록들(149)을 결정하도록 구성된 제 7 항에 따른 변환-기반 음성 디코더(500); 및
    - 재구성된 변환 계수들의 상기 복수의 시퀀스 블록들(149)에 기초하여 재구성된 제 1 세그먼트를 결정하도록 구성된 역 변환 유닛(504)으로서, 재구성된 변환 계수들의 하나의 블록(149)은 대응하는 복수의 주파수 빈들(301)에 대한 복수의 재구성된 변환 계수들을 포함하고, 상기 역 변환 유닛(504)은 제 1 수의 재구성된 변환 계수들을 포함하는 긴 블록들 및 제 2 수의 재구성된 변환 계수들을 포함하는 짧은 블록들을 처리하도록 구성되고, 상기 제 1 수는 상기 제 2 수보다 크고, 상기 복수의 시퀀스 블록들(149)의 상기 블록들(149)은 짧은 블록들인, 상기 역 변환 유닛(504)을 포함하는, 변환-기반 오디오 디코더.
  41. 음성 신호를 비트스트림으로 인코딩하기 위한 방법에 있어서:
    - 현재 블록(131) 및 하나 이상의 이전 블록들(131)을 포함하는 변환 계수들의 복수의 시퀀스 블록들(131)을 수신하는 단계로서, 상기 복수의 시퀀스 블록들(131)은 상기 음성 신호의 샘플들을 나타내는, 상기 수신 단계;
    - 대응하는 현재 블록 엔벨로프(136) 및 대응하는 하나 이상의 이전 블록 엔벨로프들(136)을 이용하여 변환 계수들의 상기 대응하는 현재 블록(131) 및 상기 하나 이상의 이전 블록들(140)을 플래트닝함으로써, 플래트닝된 변환 계수들의 현재 블록(140) 및 하나 이상의 이전 블록들(140)을 각각 결정하는 단계;
    - 재구성된 변환 계수들의 하나 이상의 이전 블록들(149)에 기초하고 예측기 파라미터(520)에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하는 단계로서, 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)은 플래트닝된 변환 계수들의 상기 하나 이상의 이전 블록들(140)로부터 각각 도출되었고, 추정된 플래트닝된 변환 계수들의 현재 블록(150) 결정 단계는:
    - 신호 모델을 이용하여 상기 예측기 파라미터(520)에 기초하고 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)에 기초하여 추정된 변환 계수들의 현재 블록을 결정하는 단계로서, 상기 신호 모델은 하나 이상의 정현파 모델 성분들을 포함하고, 상기 신호 모델은 하나 이상의 모델 파라미터들을 포함하며, 상기 예측기 파라미터(520)는 상기 하나 이상의 모델 파라미터들을 나타내는, 상기 결정 단계와;
    - 추정된 변환 계수들의 현재 블록에 기초하고, 상기 하나 이상의 이전 블록 엔벨로프들(136)에 기초하고 상기 예측기 파라미터(520)에 기초하여, 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하는 단계를 포함하는, 상기 추정된 플래트닝된 변환 계수들의 현재 블록(150) 결정 단계;
    - 플래트닝된 변환 계수들의 현재 블록(140)에 기초하고 추정된 플래트닝된 변환 계수들의 현재 블록(150)에 기초하여 예측 에러 계수들의 현재 블록(141)을 결정하는 단계; 및
    - 예측 에러 계수들의 현재 블록(141)에 기초하여 상기 비트스트림을 결정하는 단계를 포함하는, 음성 신호를 비트스트림으로 인코딩하기 위한 방법.
  42. 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하기 위한 방법에 있어서:
    - 재구성된 변환 계수들의 하나 이상의 이전 블록들(149)에 기초하고 상기 비트스트림으로부터 도출되는 예측기 파라미터(520)에 기초하여 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하는 단계로서:
    - 신호 모델을 이용하여 상기 예측기 파라미터(520)에 기초하고 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)에 기초하여 추정된 변환 계수들의 현재 블록을 결정하는 단계로서, 상기 신호 모델은 하나 이상의 정현파 모델 성분들을 포함하고, 상기 신호 모델은 하나 이상의 모델 파라미터들을 포함하며, 상기 예측기 파라미터(520)는 상기 하나 이상의 모델 파라미터들을 나타내는, 상기 결정 단계와;
    - 추정된 변환 계수들의 현재 블록에 기초하고, 하나 이상의 이전 블록 엔벨로프들(136)에 기초하고 상기 예측기 파라미터(520)에 기초하여, 추정된 플래트닝된 변환 계수들의 현재 블록(150)을 결정하는 단계를 포함하는, 추정된 플래트닝된 변환 계수들의 현재 블록(150) 결정 단계;
    - 상기 비트스트림 내에 포함되는 계수 데이터(163)에 기초하여 양자화된 예측 에러 계수들의 현재 블록(147)을 결정하는 단계;
    - 추정된 플래트닝된 변환 계수들의 현재 블록(150)에 기초하고 양자화된 예측 에러 계수들의 현재 블록(147)에 기초하여 재구성된 플래트닝된 변환 계수들의 현재 블록(148)을 결정하는 단계;
    - 현재 블록 엔벨로프(136)를 이용하여, 재구성된 플래트닝된 변환 계수들의 현재 블록(148)에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 현재 블록(149)을 결정하는 단계;
    - 상기 하나 이상의 이전 블록 엔벨로프들(136)을 이용하여, 재구성된 플래트닝된 변환 계수들의 하나 이상의 이전 블록들(148)에 스펙트럼 성형을 제공함으로써 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)을 각각 결정하는 단계; 및
    - 재구성된 변환 계수들의 상기 현재 및 상기 하나 이상의 이전 블록들(149)에 기초하여 상기 재구성된 음성 신호를 결정하는 단계를 포함하는, 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하기 위한 방법.
  43. 음성 신호를 비트스트림으로 인코딩하기 위한 방법에 있어서:
    - 현재 블록(131) 및 하나 이상의 이전 블록들(131)을 포함하는 변환 계수들의 복수의 시퀀스 블록들(131)을 수신하는 단계로서, 상기 복수의 시퀀스 블록들(131)은 상기 음성 신호의 샘플들을 나타내는, 상기 수신 단계;
    - 재구성된 변환 계수들의 하나 이상의 이전 블록들(149)에 기초하고 예측기 파라미터(520)에 기초하여 추정된 변환 계수들의 현재 블록(150)을 결정하는 단계로서, 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)은 변환 계수들의 상기 하나 이상의 이전 블록들(131)로부터 도출된, 상기 결정 단계;
    - 변환 계수들의 현재 블록(140)에 기초하고 추정된 변환 계수들의 현재 블록(150)에 기초하여 예측 에러 계수들의 현재 블록(141)을 결정하는 단계;
    - 미리 결정된 양자화기들의 세트(326, 327)를 이용하여, 예측 에러 계수들의 현재 블록(141)으로부터 도출되는 계수들을 양자화하는 단계로서, 미리 결정된 양자화기들의 상기 세트(326, 327)는 상기 예측기 파라미터(520)에 의존하고, 미리 결정된 양자화기들의 상기 세트(326, 327)는 상이한 신호대 잡음비들을 가진 상이한 양자화기들 및 적어도 하나의 디더링된 양자화기를 포함하고, 상기 예측기 파라미터(520)은 예측기 이득을 포함하고, 상기 예측기 이득은 재구성된 변환 계수들의 현재 블록(149)에 대한 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)의 타당성 정도를 나타내고, 미리 결정된 양자화기들의 상기 세트(326, 327) 내에 포함되는 디더링된 양자화기들의 수가 상기 예측기 이득에 의존하는, 상기 양자화 단계; 및
    - 상기 양자화된 계수들에 기초하여 상기 비트스트림에 대한 계수 데이터(163)를 결정하는 단계를 포함하는, 음성 신호를 비트스트림으로 인코딩하기 위한 방법.
  44. 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하기 위한 방법에 있어서:
    - 재구성된 변환 계수들의 하나 이상의 이전 블록들(149)에 기초하고 상기 비트스트림으로부터 도출되는 예측기 파라미터(520)에 기초하여 추정된 변환 계수들의 현재 블록(150)을 결정하는 단계;
    - 미리 결정된 양자화기들의 세트(326, 327)를 이용하여, 상기 비트스트림 내에 포함되는 계수 데이터(163)에 기초하여 양자화된 예측기 에러 계수들의 현재 블록(147)을 결정하는 단계로서, 미리 결정된 양자화기들의 상기 세트(326, 327)는 상기 예측기 파라미터(520)의 함수이고, 미리 결정된 양자화기들의 상기 세트(326, 327)는 상이한 신호대 잡음비들을 가진 상이한 양자화기들 및 적어도 하나의 디더링된 양자화기를 포함하고, 상기 예측기 파라미터(520)은 예측기 이득을 포함하고, 상기 예측기 이득은 재구성된 변환 계수들의 현재 블록(149)에 대한 재구성된 변환 계수들의 상기 하나 이상의 이전 블록들(149)의 타당성 정도를 나타내고, 미리 결정된 양자화기들의 상기 세트(326, 327) 내에 포함되는 디더링된 양자화기들의 수가 상기 예측기 이득에 의존하는, 상기 양자화된 예측기 에러 계수들의 현재 블록(147) 결정 단계;
    - 추정된 변환 계수들의 현재 블록(150)에 기초하고 양자화된 예측 에러 계수들의 현재 블록(147)에 기초하여 재구성된 변환 계수들의 현재 블록(149)을 결정하는 단계; 및
    - 재구성된 변환 계수들의 현재 블록(149)에 기초하여 상기 재구성된 음성 신호를 결정하는 단계를 포함하는, 재구성된 음성 신호를 제공하기 위해 비트스트림을 디코딩하기 위한 방법.
  45. 음성 세그먼트를 포함하는 오디오 신호를 비트스트림으로 인코딩하기 위한 방법에 있어서:
    - 상기 오디오 신호로부터 상기 음성 세그먼트를 식별하는 단계;
    - 변환 유닛을 이용하여, 상기 음성 세그먼트에 기초하여 변환 계수들의 복수의 시퀀스 블록들(131)을 결정하는 단계로서, 변환 계수들의 하나의 블록(131)은 대응하는 복수의 주파수 빈들(301)에 대한 복수의 변환 계수들을 포함하고, 상기 변환 유닛은 제 1 수의 변환 계수들을 포함하는 긴 블록들 및 제 2 수의 변환 계수들을 포함하는 짧은 블록들을 결정하도록 구성되고, 상기 제 1 수는 상기 제 2 수보다 크고, 상기 복수의 시퀀스 블록들(131)의 상기 블록들(131)은 짧은 블록들인, 변환 계수들의 상기 복수의 시퀀스 블록들(131) 결정 단계; 및
    - 제 41 항 또는 제 43 항에 따른 비트스트림으로 상기 복수의 시퀀스 블록들(131)을 인코딩하는 단계를 포함하는, 음성 세그먼트를 포함하는 오디오 신호를 비트스트림으로 인코딩하기 위한 방법.
  46. 음성 세그먼트를 포함하는 오디오 신호를 나타내는 비트스트림을 디코딩하기 위한 방법에 있어서:
    - 제 42 항에 따른 비트스트림 내에 포함되는 데이터(161, 162, 163, 164)에 기초하여 재구성된 변환 계수들의 복수의 시퀀스 블록들(149)을 결정하는 단계;
    - 역 변환 유닛을 이용하여, 재구성된 변환 계수들의 상기 복수의 시퀀스 블록들(149)에 기초하여 재구성된 음성 세그먼트를 결정하는 단계로서, 재구성된 변환 계수들의 하나의 블록(149)은 대응하는 복수의 주파수 빈들(301)에 대한 복수의 재구성된 변환 계수들을 포함하고, 상기 역 변환 유닛(504)은 제 1 수의 재구성된 변환 계수들을 포함하는 긴 블록들 및 제 2 수의 재구성된 변환 계수들을 포함하는 짧은 블록들을 처리하도록 구성되고, 상기 제 1 수는 상기 제 2 수보다 크고, 상기 복수의 시퀀스 블록들(149)의 블록들(149)은 짧은 블록들인, 상기 재구성된 음성 세그먼트 결정 단계를 포함하는, 음성 세그먼트를 포함하는 오디오 신호를 나타내는 비트스트림을 디코딩하기 위한 방법.
KR1020167029688A 2013-04-05 2014-04-04 오디오 인코더 및 디코더 KR102028888B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361808675P 2013-04-05 2013-04-05
US61/808,675 2013-04-05
US201361875553P 2013-09-09 2013-09-09
US61/875,553 2013-09-09
PCT/EP2014/056851 WO2014161991A2 (en) 2013-04-05 2014-04-04 Audio encoder and decoder

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157027587A Division KR101739789B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197028066A Division KR102150496B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더

Publications (2)

Publication Number Publication Date
KR20160125540A KR20160125540A (ko) 2016-10-31
KR102028888B1 true KR102028888B1 (ko) 2019-11-08

Family

ID=50439392

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020167029688A KR102028888B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더
KR1020197028066A KR102150496B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더
KR1020217011662A KR102383819B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더
KR1020207024594A KR102245916B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더
KR1020157027587A KR101739789B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020197028066A KR102150496B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더
KR1020217011662A KR102383819B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더
KR1020207024594A KR102245916B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더
KR1020157027587A KR101739789B1 (ko) 2013-04-05 2014-04-04 오디오 인코더 및 디코더

Country Status (20)

Country Link
US (4) US10043528B2 (ko)
EP (3) EP2981958B1 (ko)
JP (1) JP6227117B2 (ko)
KR (5) KR102028888B1 (ko)
CN (2) CN109712633B (ko)
AU (6) AU2014247000B2 (ko)
BR (3) BR122020017853B1 (ko)
CA (6) CA2948694C (ko)
DK (1) DK2981958T3 (ko)
ES (1) ES2665599T3 (ko)
HK (2) HK1218802A1 (ko)
HU (1) HUE039143T2 (ko)
IL (5) IL294836A (ko)
MX (1) MX343673B (ko)
MY (1) MY176447A (ko)
PL (1) PL2981958T3 (ko)
RU (3) RU2630887C2 (ko)
SG (1) SG11201507703SA (ko)
UA (1) UA114967C2 (ko)
WO (1) WO2014161991A2 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2665599T3 (es) 2013-04-05 2018-04-26 Dolby International Ab Codificador y descodificador de audio
JP6276846B2 (ja) * 2014-05-01 2018-02-07 日本電信電話株式会社 周期性統合包絡系列生成装置、周期性統合包絡系列生成方法、周期性統合包絡系列生成プログラム、記録媒体
AU2015291897B2 (en) * 2014-07-25 2019-02-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Acoustic signal encoding device, acoustic signal decoding device, method for encoding acoustic signal, and method for decoding acoustic signal
US9530400B2 (en) * 2014-09-29 2016-12-27 Nuance Communications, Inc. System and method for compressed domain language identification
US10210871B2 (en) * 2016-03-18 2019-02-19 Qualcomm Incorporated Audio processing for temporally mismatched signals
CN106782573B (zh) * 2016-11-30 2020-04-24 北京酷我科技有限公司 一种编码生成aac文件的方法
DK3642839T3 (da) * 2017-06-19 2022-07-04 Rtx As Audiosignalkodning og -afkodning
CN110764422A (zh) * 2018-07-27 2020-02-07 珠海格力电器股份有限公司 电器的控制方法和装置
EP3751567B1 (en) 2019-06-10 2022-01-26 Axis AB A method, a computer program, an encoder and a monitoring device
BR112022010062A2 (pt) * 2019-11-27 2022-09-06 Fraunhofer Ges Forschung Codificador, decodificador, aparelho para ocultação de perda de quadro, sistema e métodos
CN112201283B (zh) * 2020-09-09 2022-02-08 北京小米松果电子有限公司 音频播放方法及装置
US11935546B2 (en) * 2021-08-19 2024-03-19 Semiconductor Components Industries, Llc Transmission error robust ADPCM compressor with enhanced response
WO2023056920A1 (en) * 2021-10-05 2023-04-13 Huawei Technologies Co., Ltd. Multilayer perceptron neural network for speech processing

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1062963C (zh) * 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
JP3123286B2 (ja) * 1993-02-18 2001-01-09 ソニー株式会社 ディジタル信号処理装置又は方法、及び記録媒体
US5684920A (en) * 1994-03-17 1997-11-04 Nippon Telegraph And Telephone Acoustic signal transform coding method and decoding method having a high efficiency envelope flattening method therein
JP3087814B2 (ja) 1994-03-17 2000-09-11 日本電信電話株式会社 音響信号変換符号化装置および復号化装置
US5751903A (en) 1994-12-19 1998-05-12 Hughes Electronics Low rate multi-mode CELP codec that encodes line SPECTRAL frequencies utilizing an offset
SE506379C3 (sv) * 1995-03-22 1998-01-19 Ericsson Telefon Ab L M Lpc-talkodare med kombinerad excitation
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
US6370502B1 (en) * 1999-05-27 2002-04-09 America Online, Inc. Method and system for reduction of quantization-induced block-discontinuities and general purpose audio codec
US7039581B1 (en) * 1999-09-22 2006-05-02 Texas Instruments Incorporated Hybrid speed coding and system
US6978236B1 (en) 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
US7254116B2 (en) * 2000-04-07 2007-08-07 Broadcom Corporation Method and apparatus for transceiver noise reduction in a frame-based communications network
EP1279167B1 (en) * 2000-04-24 2007-05-30 QUALCOMM Incorporated Method and apparatus for predictively quantizing voiced speech
SE0001926D0 (sv) 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
JP3590342B2 (ja) 2000-10-18 2004-11-17 日本電信電話株式会社 信号符号化方法、装置及び信号符号化プログラムを記録した記録媒体
US6636830B1 (en) * 2000-11-22 2003-10-21 Vialta Inc. System and method for noise reduction using bi-orthogonal modified discrete cosine transform
US6658383B2 (en) * 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
US6963842B2 (en) 2001-09-05 2005-11-08 Creative Technology Ltd. Efficient system and method for converting between different transform-domain signal representations
US6988066B2 (en) * 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
WO2003077425A1 (fr) * 2002-03-08 2003-09-18 Nippon Telegraph And Telephone Corporation Procedes de codage et de decodage signaux numeriques, dispositifs de codage et de decodage, programme de codage et de decodage de signaux numeriques
WO2003091989A1 (en) * 2002-04-26 2003-11-06 Matsushita Electric Industrial Co., Ltd. Coding device, decoding device, coding method, and decoding method
RU2321901C2 (ru) 2002-07-16 2008-04-10 Конинклейке Филипс Электроникс Н.В. Аудиокодирование
SG108862A1 (en) * 2002-07-24 2005-02-28 St Microelectronics Asia Method and system for parametric characterization of transient audio signals
US7634399B2 (en) * 2003-01-30 2009-12-15 Digital Voice Systems, Inc. Voice transcoder
US7318027B2 (en) * 2003-02-06 2008-01-08 Dolby Laboratories Licensing Corporation Conversion of synthesized spectral components for encoding and low-complexity transcoding
WO2004082288A1 (en) 2003-03-11 2004-09-23 Nokia Corporation Switching between coding schemes
US8359197B2 (en) * 2003-04-01 2013-01-22 Digital Voice Systems, Inc. Half-rate vocoder
KR101000345B1 (ko) * 2003-04-30 2010-12-13 파나소닉 주식회사 음성 부호화 장치, 음성 복호화 장치 및 그 방법
US7460684B2 (en) * 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
US7325023B2 (en) 2003-09-29 2008-01-29 Sony Corporation Method of making a window type decision based on MDCT data in audio encoding
NZ562188A (en) * 2005-04-01 2010-05-28 Qualcomm Inc Methods and apparatus for encoding and decoding an highband portion of a speech signal
EP1760696B1 (en) * 2005-09-03 2016-02-03 GN ReSound A/S Method and apparatus for improved estimation of non-stationary noise for speech enhancement
US8396717B2 (en) * 2005-09-30 2013-03-12 Panasonic Corporation Speech encoding apparatus and speech encoding method
RU2427978C2 (ru) * 2006-02-21 2011-08-27 Конинклейке Филипс Электроникс Н.В. Кодирование и декодирование аудио
US7590523B2 (en) 2006-03-20 2009-09-15 Mindspeed Technologies, Inc. Speech post-processing using MDCT coefficients
US20070270987A1 (en) * 2006-05-18 2007-11-22 Sharp Kabushiki Kaisha Signal processing method, signal processing apparatus and recording medium
EP1870880B1 (en) 2006-06-19 2010-04-07 Sharp Kabushiki Kaisha Signal processing method, signal processing apparatus and recording medium
US7987089B2 (en) 2006-07-31 2011-07-26 Qualcomm Incorporated Systems and methods for modifying a zero pad region of a windowed frame of an audio signal
US8135047B2 (en) * 2006-07-31 2012-03-13 Qualcomm Incorporated Systems and methods for including an identifier with a packet associated with a speech signal
EP2958106B1 (en) * 2006-10-11 2018-07-18 The Nielsen Company (US), LLC Methods and apparatus for embedding codes in compressed audio data streams
DK2102619T3 (en) * 2006-10-24 2017-05-15 Voiceage Corp METHOD AND DEVICE FOR CODING TRANSITION FRAMEWORK IN SPEECH SIGNALS
RU2420815C2 (ru) 2006-10-25 2011-06-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для генерации значений подполос звукового сигнала и устройство и способ для генерации отсчетов звукового сигнала во временной области
US20100017197A1 (en) 2006-11-02 2010-01-21 Panasonic Corporation Voice coding device, voice decoding device and their methods
FR2912249A1 (fr) * 2007-02-02 2008-08-08 France Telecom Codage/decodage perfectionnes de signaux audionumeriques.
US8214200B2 (en) 2007-03-14 2012-07-03 Xfrm, Inc. Fast MDCT (modified discrete cosine transform) approximation of a windowed sinusoid
EP2165328B1 (en) * 2007-06-11 2018-01-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of an audio signal having an impulse-like portion and a stationary portion
KR101411901B1 (ko) 2007-06-12 2014-06-26 삼성전자주식회사 오디오 신호의 부호화/복호화 방법 및 장치
EP2015293A1 (en) 2007-06-14 2009-01-14 Deutsche Thomson OHG Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain
JP5539203B2 (ja) * 2007-08-27 2014-07-02 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 改良された音声及びオーディオ信号の変換符号化
EP2191467B1 (en) 2007-09-12 2011-06-22 Dolby Laboratories Licensing Corporation Speech enhancement
KR101373004B1 (ko) * 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
US9177569B2 (en) * 2007-10-30 2015-11-03 Samsung Electronics Co., Ltd. Apparatus, medium and method to encode and decode high frequency signal
CN101465122A (zh) 2007-12-20 2009-06-24 株式会社东芝 语音的频谱波峰的检测以及语音识别方法和系统
ATE500588T1 (de) 2008-01-04 2011-03-15 Dolby Sweden Ab Audiokodierer und -dekodierer
CN101527138B (zh) * 2008-03-05 2011-12-28 华为技术有限公司 超宽带扩展编码、解码方法、编解码器及超宽带扩展系统
CN101971251B (zh) * 2008-03-14 2012-08-08 杜比实验室特许公司 像言语的信号和不像言语的信号的多模式编解码方法及装置
CN101572586B (zh) * 2008-04-30 2012-09-19 北京工业大学 编解码方法、装置及系统
RU2536679C2 (ru) * 2008-07-11 2014-12-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Передатчик сигнала активации с деформацией по времени, кодер звукового сигнала, способ преобразования сигнала активации с деформацией по времени, способ кодирования звукового сигнала и компьютерные программы
AU2009267525B2 (en) * 2008-07-11 2012-12-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio signal synthesizer and audio signal encoder
KR20100007738A (ko) * 2008-07-14 2010-01-22 한국전자통신연구원 음성/오디오 통합 신호의 부호화/복호화 장치
US8407046B2 (en) 2008-09-06 2013-03-26 Huawei Technologies Co., Ltd. Noise-feedback for spectral envelope quantization
US8352279B2 (en) 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
WO2010028301A1 (en) 2008-09-06 2010-03-11 GH Innovation, Inc. Spectrum harmonic/noise sharpness control
US8463603B2 (en) * 2008-09-06 2013-06-11 Huawei Technologies Co., Ltd. Spectral envelope coding of energy attack signal
GB2466671B (en) * 2009-01-06 2013-03-27 Skype Speech encoding
EP3751570B1 (en) 2009-01-28 2021-12-22 Dolby International AB Improved harmonic transposition
US8848788B2 (en) * 2009-05-16 2014-09-30 Thomson Licensing Method and apparatus for joint quantization parameter adjustment
RU2591661C2 (ru) * 2009-10-08 2016-07-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Многорежимный декодировщик аудио сигнала, многорежимный кодировщик аудио сигналов, способы и компьютерные программы с использованием кодирования с линейным предсказанием на основе ограничения шума
MX2012004593A (es) * 2009-10-20 2012-06-08 Fraunhofer Ges Forschung Codec multimodo de audio y codificacion de celp adaptada a este.
JP5316896B2 (ja) * 2010-03-17 2013-10-16 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、並びにプログラム
US8600737B2 (en) * 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
PL2591470T3 (pl) * 2010-07-08 2019-05-31 Fraunhofer Ges Forschung Koder wykorzystujący kasowanie aliasingu w przód
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
US8560330B2 (en) 2010-07-19 2013-10-15 Futurewei Technologies, Inc. Energy envelope perceptual correction for high band coding
KR101826331B1 (ko) * 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
CN102436820B (zh) 2010-09-29 2013-08-28 华为技术有限公司 高频带信号编码方法及装置、高频带信号解码方法及装置
CN103229235B (zh) * 2010-11-24 2015-12-09 Lg电子株式会社 语音信号编码方法和语音信号解码方法
TWI469136B (zh) 2011-02-14 2015-01-11 Fraunhofer Ges Forschung 在一頻譜域中用以處理已解碼音訊信號之裝置及方法
EP2702589B1 (en) * 2011-04-28 2017-04-05 Dolby International AB Efficient content classification and loudness estimation
EP2727105B1 (en) 2011-06-30 2015-08-12 Telefonaktiebolaget LM Ericsson (PUBL) Transform audio codec and methods for encoding and decoding a time segment of an audio signal
DK2791937T3 (en) * 2011-11-02 2016-09-12 ERICSSON TELEFON AB L M (publ) Generation of an højbåndsudvidelse of a broadband extended buzzer
EP2830062B1 (en) * 2012-03-21 2019-11-20 Samsung Electronics Co., Ltd. Method and apparatus for high-frequency encoding/decoding for bandwidth extension
EP2903004A4 (en) * 2012-09-24 2016-11-16 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR HAMPERING FRAME ERRORS, AND METHOD AND APPARATUS FOR DECODING AUDIO DATA
CN107452392B (zh) 2013-01-08 2020-09-01 杜比国际公司 临界采样滤波器组中的基于模型的预测
ES2665599T3 (es) * 2013-04-05 2018-04-26 Dolby International Ab Codificador y descodificador de audio
US9487224B1 (en) * 2015-09-22 2016-11-08 Siemens Industry, Inc. Mechanically extendable railroad crossing gate

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Grant A. Davidson. Digital audio coding: Dolby AC-3. The Digital Signal Processing Handbook, CRC Press LLC. 1998.
Hynek Hermansky, et al. Spectral envelope sampling and interpolation in linear predictive analysis of speech. IEEE International Conference on ICASSP'84. 1984.
ISO/IEC FDIS 23003-3:2011(E), Information technology - MPEG audio technologies - Part 3: Unified speech and audio coding. ISO/IEC JTC 1/SC 29/WG 11. 2011.09.20.*
Max Neuendorf, et al. MPEG unified speech and audio coding-the ISO/MPEG standard for high-efficiency audio coding of all content types. Audio Engineering Society Convention 132. 2012.04.29.*

Also Published As

Publication number Publication date
IL258331A (en) 2018-05-31
CA2908625A1 (en) 2014-10-09
KR20150127654A (ko) 2015-11-17
IL241739A (en) 2017-06-29
CA3029037C (en) 2021-12-28
AU2014247000A1 (en) 2015-10-08
CA3029033C (en) 2021-03-30
CA2997882C (en) 2020-06-30
AU2018260843B2 (en) 2020-09-03
US20180322886A1 (en) 2018-11-08
RU2740359C2 (ru) 2021-01-13
KR101739789B1 (ko) 2017-05-25
CA2948694A1 (en) 2014-10-09
BR112015025139A2 (pt) 2017-07-18
AU2017201874B2 (en) 2018-08-09
IL252640B (en) 2018-04-30
IL278164A (en) 2020-11-30
JP2016514857A (ja) 2016-05-23
KR102383819B1 (ko) 2022-04-08
MY176447A (en) 2020-08-10
CA2997882A1 (en) 2014-10-09
EP3671738A1 (en) 2020-06-24
RU2017129552A (ru) 2019-02-04
ES2665599T3 (es) 2018-04-26
DK2981958T3 (en) 2018-05-28
IL278164B (en) 2022-08-01
UA114967C2 (uk) 2017-08-28
RU2015147276A (ru) 2017-05-16
CN105247614A (zh) 2016-01-13
US20200126574A1 (en) 2020-04-23
US20160064007A1 (en) 2016-03-03
CN109712633A (zh) 2019-05-03
CA3029033A1 (en) 2014-10-09
US10515647B2 (en) 2019-12-24
US20230238011A1 (en) 2023-07-27
KR20200103881A (ko) 2020-09-02
WO2014161991A3 (en) 2015-04-23
CN105247614B (zh) 2019-04-05
CN109712633B (zh) 2023-07-07
CA3029037A1 (en) 2014-10-09
EP2981958B1 (en) 2018-03-07
MX2015013927A (es) 2015-12-11
KR20160125540A (ko) 2016-10-31
CA3029041A1 (en) 2014-10-09
EP3352167B1 (en) 2019-10-02
RU2740690C2 (ru) 2021-01-19
RU2630887C2 (ru) 2017-09-13
AU2023200174A1 (en) 2023-02-16
HK1250836A1 (zh) 2019-01-11
US10043528B2 (en) 2018-08-07
HUE039143T2 (hu) 2018-12-28
RU2017129566A (ru) 2019-02-05
CA2908625C (en) 2017-10-03
WO2014161991A2 (en) 2014-10-09
IL241739A0 (en) 2015-11-30
RU2017129566A3 (ko) 2020-11-02
CA2948694C (en) 2019-02-05
AU2017201872B2 (en) 2018-08-09
BR112015025139B1 (pt) 2022-03-15
CA3029041C (en) 2021-03-30
AU2017201874A1 (en) 2017-04-06
EP2981958A2 (en) 2016-02-10
KR20210046846A (ko) 2021-04-28
KR102245916B1 (ko) 2021-04-30
IL252640A0 (en) 2017-07-31
AU2023200174B2 (en) 2024-02-22
HK1218802A1 (zh) 2017-03-10
BR122020017853B1 (pt) 2023-03-14
KR102150496B1 (ko) 2020-09-01
IL294836A (en) 2022-09-01
AU2014247000B2 (en) 2017-04-20
EP3352167A1 (en) 2018-07-25
AU2020281040A1 (en) 2021-01-07
AU2018260843A1 (en) 2018-11-22
IL258331B (en) 2020-11-30
AU2017201872A1 (en) 2017-04-06
US11621009B2 (en) 2023-04-04
PL2981958T3 (pl) 2018-07-31
KR20190112191A (ko) 2019-10-02
RU2017129552A3 (ko) 2020-11-02
SG11201507703SA (en) 2015-10-29
AU2020281040B2 (en) 2022-10-13
BR122020017837B1 (pt) 2022-08-23
JP6227117B2 (ja) 2017-11-08
MX343673B (es) 2016-11-16

Similar Documents

Publication Publication Date Title
KR102028888B1 (ko) 오디오 인코더 및 디코더
KR102072365B1 (ko) 고급 양자화기

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant