KR101145578B1

KR101145578B1 - 동적 가변 와핑 특성을 가지는 오디오 인코더, 오디오 디코더 및 오디오 프로세서

Info

Publication number: KR101145578B1
Application number: KR1020087032110A
Authority: KR
Inventors: 유르겐 헤어; 베른하르트 그릴; 마쿠스 물트라스; 스테판 바이어; 율리히 크레이머; 젠스 허쉬펠트; 스테판 와브닉; 제랄드 슐러
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2006-06-30
Filing date: 2007-05-16
Publication date: 2012-05-16
Also published as: CA2656423C; IL195983A0; HK1128811A1; AU2011200461B2; AU2011200461A1; MX2008016163A; IL195983A; TWI348683B; CA2656423A1; NO340436B1; ES2559307T3; AU2007264175B2; WO2008000316A8; JP2009541802A; RU2009103010A; MY142675A; EP2038879B1; BRPI0712625A2; EP2038879A1; JP5205373B2

Abstract

오디오 인코더, 오디오 디코더 또는 오디오 프로세서는, 시변 제어 신호(16)에 대하여 제어 가능한 가변 와핑 특성을 가지고, 필터링된 오디오 신호를 생성하는 필터로서, 상기 제어 신호는 작은 와핑 또는 비-와핑 특성 또는 비교적 높은 와핑 특성을 나타내는, 필터(12)를 포함한다. 또한, 제어기(18)가 오디오 신호에 의존하는 시변 제어 신호를 제공하기 위해 연결된다. 필터링된 오디오 신호는, 그 중 하나가 특정 신호 패턴에 적절한 코딩 알고리즘인 여러 인코딩 알고리즘을 가지는 인코딩 프로세서(22)에 제공될 수 있다. 대안적으로 상기 필터는 디코딩된 오디오 신호를 수신하는 포스트-필터이다.

Description

동적 가변 와핑 특성을 가지는 오디오 인코더, 오디오 디코더 및 오디오 프로세서{Audio Encoder, Audio Decoder and Audio Processor Having a Dynamically Variable Warping Characteristic}

본 발명은 와핑된(warped) 필터들을 이용한 오디오 프로세싱 그리고, 특히 다중-목적 오디오 코딩에 관한 것이다.

저(low) 비트레이트 오디오 및 스피치 코딩 기술의 관점에서, 주어진 비트레이트에서 가능한 최선의 본래 품질(subjective quality)을 가지는 신호들의 저 비트레이트 코딩을 획득하기 위해 여러 다른 코딩 기술들이 전통적으로 채용되어 왔다. 일반적인 음악/사운드 신호를 위한 코더는 지각적 모델(perceptual model)("지각적 오디오 코딩")을 이용해 입력 신호로부터 추정되는 마스킹 임계치 곡선에 따른 양자화 에러의 스펙트럴( 및 임시적인) 형태를 형성함으로써 본래 품질을 최적화하는 것을 목적으로 한다. 다른 한편으로, 스피치를 매우 낮은 비트 레이트로 코딩하는 것은, 사람의 스피치의 생성 모델에 기초할 때, 즉 선형 예측 코딩(Linear Predictive Coding, LPC)을 잔여 여기 신호(residual excitation signal)의 효과적인 코딩과 함께 인간의 성도(vocal tract)의 공명 효과를 모델링하는 데 적용할 때 매우 효과적으로 동작함이 밝혀져 있다.

이러한 두 개의 다른 접근의 결과로, 일반적인 오디오 코더들(MPEG-1 Layer 3, 또는 MPEG-2/4 Advanced 오디오 코딩, AAC와 같이)은, 스피치 소스 모델을 활용하지 않기 때문에, 매우 낮은 데이터 레이트에서 전용 LPC-기반 스피치 코더만큼 스피치 신호에 대해 잘 수행하지 못한다. 반대로, LPC-기반 스피치 코더는 일반적으로, 마스킹 임계치 곡선에 따른 코딩 왜곡의 스펙트럴 포락선을 유연하게 형성하는 능력을 가지지 못하기 때문에, 일반적인 음악 신호에 적용될 때 확실한 효과를 얻지는 못한다. 본 발명의 목적은 LPC-기반 코딩 및 지각적 오디오 코딩의 양자의 장점들을 하나의 프레임워크 내로 결합하고, 따라서 일반적인 오디오 및 스피치 신호 양자에 효과적인 통합된 오디오 코딩을 서술하는 개념을 제공하는 것이다.

아래 섹션은 오디오 및 스피치 신호의 효과적인 코딩을 위해 제안된 관련 기술들 세트를 서술한다.

지각적 오디오 코딩(도 9)

전통적으로, 지각적 오디오 코더는 오디오 신호를 효과적으로 코딩하기 위해, 그리고 마스킹 곡선의 추정에 따른 양자화 왜곡(distortion)을 형성하기 위해 필터뱅크-기반 접근을 사용한다.

도 9는 모노포닉 지각적 코딩 시스템의 기본적인 블록 다이어그램을 도시한다. 분석 필터뱅크는 시간 영역 샘플들을 서브 샘플링된 스펙트럴 성분들로 매핑하는 데 사용된다.

스펙트럴 성분들의 개수에 따라, 시스템은 또한 서브밴드 코더(적은 개수의 서브밴드들, 예를 들어, 32) 또는 필터뱅크-기반 코더(많은 개수의 주파수 라인들, 예를 들어, 512)로 불리기도 한다. 지각적 ("음향심리학적") 모델은 실시간 의존적 마스킹 임계치를 추정하는 데 사용된다. 스펙트럴("서브밴드" 또는 "주파수 영역") 성분들은 양자화 노이즈가 실제로 전송된 신호 밑에 숨겨져 있어, 디코딩 후 지각적이지 않게 되는 방식으로 양자화되고 코딩된다. 이는 시간 및 주파수 상에서 스펙트럴 값들의 양자화의 세분화 정도(granularity)를 변화시킴으로써 얻어진다.

전적으로 필터뱅크-기반 지각적 코딩 개념에 대한 대안으로서, 프리-/포스트- 필터링 접근에 기반한 코딩이, 도 10에 도시된 바와 같이 훨씬 최근에 소개되었다.

[Ed100]에서는, 주파수 상에서 스펙트럴 계수들의 가변 양자화 대신 소위 프리-필터를 사용함으로써, 비상관 감소(irrelevance reduction)(즉, 지각적 기준에 따른 노이즈 형성)와 리던던시 감소(즉, 수학적으로 보다 간소화된 정보의 표현을 획득하는 것)의 측면들을 분리하는 지각적 오디오 코더가 소개되었다. 원리는 아래에서 설명된다. 입력 신호는 주파수 상에서 마스킹 임계치 곡선의 추정을 계산하기 위해 지각적 모델에 의해 분석된다. 마스킹 임계치는 그 주파수 응답의 크기가 마스킹 임계치에 역비례하도록 프리-필터 계수들의 세트로 변환된다. 프리-필터 동작은, 이러한 계수들의 세트를 그 지각적 중요도(지각적 백색화(perceptual whitening))에 따라 표현되는 모든 주파수 성분들이 표현되는 출력 신호를 생성하는 입력 신호들에 대해 적용시킨다. 이 신호는 이어서 백색 양자화 왜곡을 생성하는 임의의 오디오 코더에 의해 코딩된다. 즉, 어떤 지각적 노이즈 형성도 적용하지 않는다. 따라서, 오디오 신호의 전송/저장은 프리-필터링 계수들의 코딩된 버전 및 코더의 비트-스트림 양자를 포함한다. 디코더에서, 코더 비트-스트림은 중간 오디오 신호로 디코딩되고, 그리고 나서 이 신호는 전송된 필터 계수들에 따른 포스트-필터링 동작에 놓여진다. 포스트-필터가 프리-필터에 대해 역 필터링 프로세스를 수행하기 때문에, 포스트-필터는 마스킹 곡선에 따른 그 입력 신호에 스펙트럴 가중치를 적용한다. 이러한 방법으로, 스펙트럼적으로 평평한(백색) 코딩 노이즈가 디코더 출력에서 의도된 대로 지각적으로 형성되어 나타난다.

이러한 방법에서, 스펙트럴 계수들의 주파수 의존적인 양자화가 아닌 프리-/포스트- 필터링 단계를 통해 지각적 노이즈 형성이 얻어지기 때문에, 이 개념은 필터뱅크-기반 오디오 코더가 아닌 프리-필터링된 오디오 신호를 나타내는 비-필터뱅크-기반 코딩 메카니즘을 포함하는 것으로 일반화될 수 있다. [Sch02]에서는 이것은 예측적 및 엔트로피 코딩 스테이지들을 이용한 시간 영역 코딩에 대해 보여진다.

[Edl00] B. Edler, G. Schuller: "Audio coding using a psychoacoustic pre- and post-filter", ICASSP 2000, 볼륨 2, 2000년 6월 5일~9일 페이지:II881 - II884 vol.2

[Sch02] G. Schuller, B. Yu, D. Huang, 및 B. Edler, "Perceptual Audio Coding using Adaptive Pre- and Post-Filters and Lossless Compression", IEEE Transactions on Speech and Audio Processing, 2002년 9월, pp. 379-390

프리-/포스트-필터링 기술을 이용함으로써 적절한 스펙트럴 노이즈 형성을 가능하도록 하기 위해서는, 프리-/포스트-필터의 주파수 해상도를 인간 청각 시스템의 해상도에 적용하는 것이 중요하다. 이상적으로는, 주파수 해상도가 BARK 또는 ERB 주파수 스케일[Zwi]과 같은 잘 알려진 지각적 주파수 스케일을 따를 것이다. 이는 특히 프리-/포스트-필터 모델의 차수 및 그에 따른 관련된 계산 복잡성과 부가 정보 전송 레이트를 최소화하기 위해 바람직하다.

프리-/포스트-필터 주파수 해상도의 적용은 공지의 주파수 와핑(frequency warping) 개념[KHL97]을 통해 얻어질 수 있다. 필수적으로, 필터 구조 내의 유닛 지연들은 (1차 혹은 더 높은 차수의) 올패스(allpass) 필터들에 의해 대체되고 이는 필터 주파수 응답의 비-균일 변형("와핑")을 도출한다. 심지어는 1차 올패스 필터(예를 들어,

)를 이용하는 경우에도, 올패스 계수들의 적절한 선택에 의해 지각적 주파수 스케일의 꽤 정확한 예측이 가능하다는 것이 보여졌다[SA99]. 따라서, 가장 잘 알려진 시스템들은 주파수 와핑을 위해 고차수 올패스 필터를 사용하지 않는다. 1차 올패스 필터는 하나의 스칼라 파라미터("와핑 팩터" -1<λ<1 로 불려질)에 의해 전적으로 결정되기 때문에, 이 파라미터는 주파수 스케일의 변형을 결정한다. 예를 들어, λ=0의 와핑 팩터에 대해서는 어떤 변형도 없다. 즉 필터가 일반적인 주파수 스케일 상에서 동작한다. 와핑 팩터가 더 높이 선택될수록, 더 많은 주파수 해상도가 스펙트럼의 더 낮은 주파수 부분으로 집중되고(지각적 주파수 스케일을 근사화하기 위해 필요하기 때문에), 스펙트럼의 더 높은 주파수 부 분으로부터는 제거된다. 이는 도 5에서 양의 그리고 음의 와핑 계수들 양쪽에 대해 도시되어 있다.

와핑된 프리-/포스트- 필터를 이용해, 오디오 코더들은 통상적으로 48kHz 또는 44.1kHz 와 같은 공통 샘플링 레이트에서 8 및 20 사이의 필터 차수를 이용한다[WSKH05].

와핑된 필터링의 여러 다른 어플리케이션들, 예를 들어, 룸 임펄스 응답들의 모델링[HKS00] 및 (동등한 이름인 Laguerre/ Kauz 필터링 하에서) 오디오 신호에서의 노이즈 성분의 파라메트릭 모델링[SOB03]이 서술되었다.

[Zwi] Zwicker, E. 및 H. Fastl, "Psychoacoustics, Facts and Models", Springer Verlag, Berlin

[KHL97] M. Karjalainen, A.

U.K. Laine, "Realizable warped IIR filters and their properties", IEEE ICASSP 1997, pp. 2205 - 2208, vol.3

[SA99] J.O. Smith, J.S. Abel, "BARK and ERB Bilinear Transforms", IEEE Transactions on Speech and Audio Processing, Volume 7, Issue 6, 1999년 11월, pp. 697 - 708

[HKS00]

Aki; Karjalainen, Matti; Savioja, Lauri;

, Vesa; Laine, Unto K.; Huopaniemi, Jyri, "Frequency-Warped Signal Processing for Audio Applications" Journal of the AES, Volume 48 Number 11 pp. 1011-1031; 2000년 11월

[SOB03] E. Schuijers, W. Oomen, B. den Brinker, J. Breebaart, "Advances in Parametric Coding for High-Quality Audio", 114차 컨벤션, 네델란드, 암스테르담, 2003, preprint 5852

[WSKH05] S. Wabnik, G. Schuller, U.

, J. Hirschfeld, "Frequency Warping in Low Delay Audio Coding" IEEE International Conference on Acoustics, Speech, and Signal Processing, 2005년 3월 18일-23일, Philadelphia, PA, USA

LPC-기반 스피치 코딩

전통적으로, 효과적인 스피치 코딩은 잔여 여기 신호의 효과적인 코딩과 함께 인간의 성도(vocal tract)의 공명 효과를 모델링하는 선형 예측적 코딩(LPC)에 기초해왔다[VM06]. LPC 및 여기 파라미터들 양자가 인코더로부터 디코더로 전송된다. 이 원칙이 아래 도면(인코더 및 디코더)에서 도시된다.

시간이 흐르면서, 잔여 (여기) 신호의 효과적인 그리고 지각적으로 확실한 표현과 관련하여, 멀티-펄스 여기(Multi-Pulse Exitation, MPE), 정규 펄스 여 기(RPE), 및 코드-여기된 선형 예측(Code-Excited Linear Prediction, CELP)과 같은 많은 방법들이 제안되어 왔다.

선형 예측 코딩은 과거 관측의 선형 조합으로서 특정 개수의 과거 값들의 관측에 기초한 시퀀스의 현재 샘플 값의 추정을 생성하고자 시도한다. 입력 신호에서 리던던시를 줄이기 위해서, 인코더 LPC 필터가 그 스펙트럴 포락선에서의 입력 신호를 "백색화시킨다(whitens)," 즉, 그 주파수 응답이 신호의 스펙트럴 포락선의 역의 모델이다. 반대로, 디코더 LPC 필터의 주파수 응답은 신호의 스펙트럴 포락선의 모델이다. 구체적으로, 공지의 자동-회귀(auto-regressive, AR) 선형 예측 분석이 전체-폴(all-pole) 근사화에 의해 신호의 스펙트럴 포락선을 모델링하는 것으로 알려져 있다.

통상적으로 협대역 스피치 코더들(즉, 8kHz의 샘플링 레이트를 가지는 스피치 코더들)은 8 과 12 사이의 차수를 가지는 LPC 필터를 적용한다. LPC 필터의 특성으로 인해, 균일한 주파수 해상도가 전체 주파수 범위에 걸쳐 유효하다. 이는 지각적 주파수 스케일에 상응하지 않는다.

와핑된 LPC 코딩

비-균일 주파수 민감성은, 그것이 와핑 기술에 의해 제공되는 바와 같이, 스피치 코딩에도 이점을 제공할 수 있다는 점을 주목하여, 일반적인 LPC 분석을 와핑된 예측 분석으로 대체하는 제안들이 있었다. 구체적으로는, [TML94]가, 시변 입력 신호에 따라 샘플 단위로 업데이트되는 켑스트럴 계수들(cepstral coefficients) c(m)에 의해 스피치 스펙트럴 포락선을 모델링하는 스피치 코더를 제안한다. 이 모델의 주파수 스케일은 일반적인 유닛 지연 대신 1차 올-패스 필터를 사용함으로써 지각적 MEL 스케일 [Zwi] 을 근사화하도록 적용된다. 와핑 계수에 대한 고정된 값 0.31이 코더 샘플링 레이트 8kHz에서 사용된다. 이러한 접근은, 다시 와핑 계수에 대한 고정된 값 0.31을 코더 샘플링 레이트 8kHz에서 사용하여, [KTK95]에서 여기 신호를 표현하기 위한 CELP 코딩 코어를 포함하도록 더 발전되었다.

비록 저자들이 제안된 방식들의 좋은 성능을 주장하고 있긴 하지만, 당시 최신의 스피치 코딩도 와핑된 예측 코딩 기술을 채용하지 않았다.

와핑된 LPC 및 CELP 코딩의 다른 조합들이 알려져 있으며, 예를 들어 0.723의 와핑 팩터가 44.1kHz의 샘플링 레이트에서 사용된 [HLM99]를 들 수 있다.

[TMK94] K. Tokuda, H. Matsumura, T. Kobayashi 및 S. Imai, “Speech coding based on adaptive mel-cepstral analysis,” Proc. IEEE ICASSP’94, pp.197-200, 1994년 4월.

[KTK95] K. Koishida, K. Tokuda, T. Kobayashi 및 S. Imai, “CELP coding based on mel-cepstral analysis,” Proc. IEEE ICASSP’95, pp.33-36, 1995.

[HLM99] Aki Harma, Unto K. Laine, Matti Karjalainen, “Warped low- delay CELP for wideband audio coding”, 17차 International AES Conference, Florence, Italy, 1999

[VM06] Peter Vary, Rainer Martin, “Digital Speech Trans-mission: Enhancement, Coding and Error Conceal-ment”, published by John Wiley & Sons, LTD, 2006, ISBN 0-471-56018-9

정규화된 와핑된 LPC 코딩

와핑된 주파수 스케일 상에서 스피치 코딩을 실행하는 아이디어는 이후 수년에 걸쳐 더 발전되었다. 구체적으로, 지각적 주파수 스케일에 따른 스펙트럴 분석의 완전 통상적인 와핑은 코딩 스피치 신호에 대해 가능한 최선의 품질을 얻는 데 적합하지 않을 수 있음이 알려졌다. 그러므로, Mel-일반화된(Mel-generalized) 켑스트럴 분석이, (완전히 와핑된 주파수 스케일 및 켑스트럴 분석을 가지는) 위에서 제안된 멜-켑스트럴 분석의 특성 및 (균일 주파수 스케일 및 신호의 스펙트럴 포락선의 전체-폴 모델을 가지는)전통적인 LPC 모델의 특성 간의 스펙트럴 모델의 특성들을 희미해지도록 하는 [KTK96]에 소개되었다. 특히, 제안된 일반화된 분석은 이러한 특성들을 제어하는 두 파라미터들을 가진다:

ㆍ파라미터 γ, -1≤γ≤0 은 분석의 켑스트럴-타입 및 LPC-타입 사이에서 지속적으로 페이딩되는데, 여기서 γ= 0 은 켑스트럴-타입 분석에 대응하고, γ=-1 은 LPC-타입 분석에 대응한다.

ㆍ파라미터 α, |α|<1 은 와핑 팩터이다. α= 0 의 값은 완전히 균일한 주파수 스케일(표준 LPC에서와 같이)에 대응하고 켑스트럴-타입 분석에 대응하고, α= 0.31 의 값은 완전 지각적 주파수 와핑에 대응한다.

동일한 개념이 [KHT98]에서 (16kHz의 샘플링 레이트에서의) 광대역 스피치의 코딩에 적용된다. 이러한 일반화된 분석에 대한 동작 포인트(γ; α)는 선험적이고 시간에 따라 변하지 않는다.

[KTK96] K. Koishida, K. Tokuda, T. Kobayashi 및 S. Imai, “CELP coding system based on mel-generalized cep-stral analysis,” Proc. ICSLP’96, pp. 318-321, 1996.

[KHT98] K. Koishida, G. Hirabayashi, K. Tokuda, 및 T. Kobayashi, “A wideband CELP speech coder at 16 kbit/s based on mel-generalized cepstral analysis,” Proc. IEEE ICASSP’98, pp. 161 - 164, 1998.

인코딩 필터 및 두 대안 코딩 커널들 양자를 포함하는 구조는 앞서 나온 문헌("WB-AMR+Coder" [BLS05])에서 이미 언급되었다. 여기서는 와핑된 필터를 사용하 는 어떤 개념도 존재하지 않으며, 심지어 시변 와핑 특성들을 가지는 필터조차도 존재하지 않는다.

[BLS05] B. Bessette, R. Lefebvre, R. Salami, “UNIVERSAL SPEECH/AUDIO CODING USING HYBRID ACELP/TCX TECH-NIQUES,” Proc. IEEE ICASSP 2005, pp. 301 - 304, 2005.

이러한 모든 선행 기술들의 불리한 점은, 이들이 모두 특정 오디오 코딩 알고리즘에 전용되어 있다는 점이다. 와핑 필터들을 이용한 임의의 스피치 코더는 스피치 신호에 대해 최적으로 적용되지만, 음악 신호와 같은 일반적인 오디오 신호들의 인코딩에 대해서는 타협을 수행한다.

반면, 일반적인 오디오 코더들은 양자화 노이즈를 마스킹 임계치 아래로 완벽하게 숨기도록 최적화되어 있다. 즉, 비상관 감소를 수행하도록 최적 적용된다. 이를 위해, 일반적인 오디오 코더들은 인간 청각 메카니즘의 비-균일 주파수 해상도를 고려하는 기능을 가진다. 하지만 이들이 일반적인 오디오 인코더들이라는 사실로 인해, 이들은, 예를 들어, 스피치 코더들로부터 알려진 매우 낮은 비트레이트를 획득하는 이유인 특정 종류의 신호 패턴들에 대한 선험적 지식을 특별히 사용하지 못한다.

또한, 많은 스피치 코더들이 고정된 및 가변의 코드북들을 사용한 시간-영역 인코더들인 반면, 대부분의 일반적인 오디오 코더들은, 주파수 기준인 마스킹 임계 치 이슈로 인해, 필터뱅크-기반 인코더들이고, 따라서 물론 시간-영역 기반 일반저적인 오디오 인코더들이 존재하기는 하지만, 이들 양쪽 코더들을 효과적으로 하나의 인코딩/디코딩 프레임으로 제공하는 것이 매우 문제가 된다.

본 발명의 목적은, 특정 신호 패턴뿐 아니라 일반적인 오디오 신호들에 대해서도 고품질 및 낮은 비트레이트를 제공하는 향상된 일반적인 목적 코딩 개념을 제공하는 것이다.

본 발명의 제1 측면에 따르면, 이러한 목적은, 시변 제어 신호에 대하여 제어 가능한 가변 와핑 특성을 가지고, 프리-필터링된 오디오 신호를 생성하는 프리-필터로서, 상기 제어 신호는 작은 와핑 특성 또는 비-와핑 특성 또는 비교적 높은 와핑 특성을 표시하는, 프리-필터, 상기 오디오 신호에 의존하는 시변 제어 신호를 제공하는 제어기, 및 상기 프리-필터링된 오디오 신호를 처리하여 인코딩된 오디오 신호를 획득하는 제어가능 인코딩 프로세서로서, 특정 신호 패턴에 적절한 제1 코딩 알고리즘에 따라, 또는 일반적인 오디오 신호를 인코딩하기에 적합한 제2 다른 인코딩 알고리즘에 따라 상기 프리-필터링된 오디오 신호를 처리하는, 제어가능 인코딩 프로세서를 포함하는, 오디오 신호를 인코딩하는 오디오 인코더에 의해 달성된다.

바람직하게, 상기 인코딩 프로세서는, 비교적 높은 와핑 특성을 사용해 필터링되는 오디오 신호 부분이 상기 제2 인코딩 알고리즘에 의해 처리되어 인코딩 신호를 얻고, 작은 와핑 특성 또는 비-와핑 특성을 이용해 필터링된 오디오 신호는 상기 제1 인코딩 알고리즘을 이용해 처리되도록, 상기 제어기에 의해 제어된다.

본 발명의 추가적인 측면에 따르면, 이러한 목적은, 인코딩된 오디오 신호를 디코딩하는 오디오 디코더로서, 상기 인코딩된 오디오 신호는, 특정 신호 패턴에 적절한 제1 코딩 알고리즘에 따라 인코딩된 제1 부분을 가지고, 일반적인 오디오 신호를 인코딩하기에 적합한 다른 제2 코딩 알고리즘에 따라 인코딩된 제2 부분을 가지는, 오디오 디코더에 있어서, 상기 제1 부분 또는 제2 부분에 내재하는 코딩 알고리즘을 검출하는 검출기, 상기 검출기에 응하여, 제1 디코딩된 시간 부분을 획득하기 위해 상기 제1 코딩 알고리즘을 이용해 상기 제1 부분을 디코딩하고, 제2 디코딩된 시간 부분을 획득하기 위해 상기 제2 코딩 알고리즘을 이용해 상기 제2 부분을 디코당하는 디코딩 프로세서, 작은 와핑 특성 또는 비-와핑 특성을 가지는 제1 상태 및 비교적 높은 와핑 특성을 가지는 제2 상태 사이에서 제어 가능한 가변 와핑 특성을 가지는 포스트-필터를 포함하는 오디오 디코더에 의해 달성된다.

바람직하게 상기 포스트-필터는, 제1 디코딩된 시간 부분이 작은 와핑 특성 또는 비-와핑 특성을 이용해 필터링되고, 제2 디코딩된 시간 부분이 비교적 높은 와핑 특성을 사용해 필터링되도록 제어된다.

본 발명의 추가적인 측면에 따르면, 이러한 목적은, 시변 제어 신호에 대하여 제어 가능한 가변 와핑 특성을 가지고, 필터링된 오디오 신호를 생성하는 필터로서, 상기 제어 신호는 작은 와핑 특성 또는 비-와핑 특성 또는 비교적 높은 와핑 특성을 나타내는, 필터 및 상기 오디오 신호에 의존하는 시변 제어 신호를 제공하는 제어기를 포함하는, 오디오 프로세서에 의해 달성된다.

본 발명의 추가적은 측면들은 상응하는 인코딩, 디코딩, 오디오 프로세싱 방법들뿐 아니라 관련된 컴퓨터 프로그램들 및 인코딩된 오디오 신호들과 관련된다.

본 발명은 오디오 인코더 측에서 가변 와핑 특성을 가지는 프리필터가 여러 코딩 알고리즘을 하나의 인코더 프레임으로 통합하기 위한 주요한 특징이라는 발견에 기초한다. 이러한 두 다른 코딩 알고리즘들은 서로 다르다. 제1 코딩 알고리즘은 스피치 신호와 같은 특정 신호 패턴에 적용되고, 어떤 다른 특정 하모닉 패턴들, 경사진(pitched) 패턴 또는 과도적(transient) 패턴들은 선택사항인 반면, 제2 코딩 알고리즘은 일반적인 오디오 신호를 인코딩하는 데 적합하다. 인코더-측 상의 프리-필터 또는 디코더-측 상의 포스트-필터는 신호 특정 코딩 모듈 및 일반적인 코딩 모듈을 하나의 인코더/디코더 프레임워크 내로 통합하는 것을 가능하도록 한다.

통상적으로, 일반적 오디오 인코더 모듈 또는 신호 특정 인코더 모듈을 위한 입력은 더 높은 또는 더 낮은 또는 0의 등급으로 와핑될 수 있다. 이것은 특정 신호 및 인코더 모듈의 구현에 의존한다. 따라서, 어느 와프 필터 특성이 어느 코딩 모듈에 속하는지의 상호연관성이 시그널링될 수 있다. 여러 경우에서 더 강한 와핑 특성이 일반적 오디오 코더에 속하고 더 약한 와핑 또는 와핑이 없는 특성은 신호 특정 모듈에 속한다. 이러한 상황은, 어떤 실시예들에서는, 확고하게 설정될 수 있거나 특정 신호 부분에 대한 인코더 모듈을 동적으로 시그널링한 것의 결과일 수 있다.

특정 신호 패턴들에 적용된 코딩 알고리즘은 일반적으로 비상관 감소를 위한 마스킹 임계치의 사용에 크게 의존하지 않지만, 이러한 코딩 알고리즘이 필수적으로 어떤 와핑 프리-프로세싱 또는 단지 "소프트" 와핑 프리-프로세싱을 필요로 하는 것은 아니다. 이는 특정 신호 패턴에 적용된 제1 코딩 알고리즘이 특정 신호 패턴에 대한 선험적 지식을 이용하지만, 마스킹 임계치에는 그다지 많이 의존하지 않고, 따라서 인간 청취 메카니즘의 비-균일 주파수 해상도에 접근할 필요가 없음을 의미한다. 인간 청취 메카니즘의 비-균일 주파수 해상도는 주파수 스케일과 함께 여러 대역폭들을 가지는 스케일 팩터 대역들에 의해 반영된다. 이 비-균일 주파수 스케일은 또한 BARK 또는 ERB 스케일로도 알려져 있다.

비-균일 주파수 해상도를 이용한 프로세싱 및 노이즈 형성은 단지, 코딩 알고리즘이 마스킹 임계치의 개념을 활용함으로써 비상관 감소에 크게 의존할 때만 필요하고, 특정 신호 패턴에 적용되고 특정 신호 패턴과 같은 고 효율적 프로세스에 선험적 지식을 사용하는 특정 코딩 알고리즘에는 필요하지 않다. 사실, 어떤 비-균일 주파수 와핑 프로세싱도 이런 특정 신호 패턴 적응적 코딩 알고리즘의 효율성에는 해로울 수 있는데, 이러한 와핑이, 제1 코딩 알고리즘이 특정 신호 패턴에 심하게 최적화되어 있다는 사실로 인해 제1 코딩 알고리즘의 코딩 효율성을 매우 심하게 손상시킬 수 있는, 특정 신호 패턴에 영향을 미칠 수 있기 때문이다.

이와는 반대로, 최적의 이익이 마스킹 임계치로부터 도출될 수 있도록 인간 청취 메카니즘의 비-균일 주파수 해상도를 고려하는 어떤 측정이 취해진 경우, 제2 코딩 알고리즘은 허용가능한 오디오 품질과 함께 허용 가능한 출력 비트레이트만 생성할 수 있다.

오디오 신호는 일반적 신호, 즉 특정 신호 패턴을 가지지 않거나 또는 작은 한도 내에서 이러한 특정 신호 패턴을 가지는 신호가 뒤를 잇는 특정 신호 패턴을 포함할 수 있으며, 본 발명의 프리-필터는 특정 신호 패턴을 가지지 않는 신호 부분이 있을 때는 강한 정도로만 와핑하는 반면, 특정 신호 패턴을 가지지 않는 신호에 대해서는 아무 와핑도 적용하지 않거나 작은 와핑 특성만이 적용된다.

제1 코딩 알고리즘이 선형 예측적 코딩에 의존하는 임의의 코딩 알고리즘인 경우 그리고 제2 코딩 알고리즘이 프리-필터/포스트-필터 구조에 기초하는 일반적 오디오 코더인 경우에 대해 특별히, 프리-필터가 동일한 필터를 이용해 다른 일을 수행할 수 있다. 오디오 신호가 특정 신호 패턴을 가질 때, 프리-필터는 LPC 분석 필터로서 동작하여 제1 인코딩 알고리즘은 잔여 신호 또는 LPC 여기 신호의 인코딩 에만 관련되도록 한다.

특정 신호 패턴을 가지지 않는 신호 부분이 있을 때, 프리-필터는 강한 와핑 특성을 가지도록, 바람직하게는 음향심리학적 마스킹 임계치에 기초한 LPC 필터링을 수행하도록 제어되어, 프리-플터링된 출력 신호가 주파수-와핑된 필터에 의해 필터링되도록, 그리고 음향심리학적으로 보다 중요한 스펙트럴 부분들이 음향심리학적으로 덜 중요한 스펙트럴 부분들에 대해 증폭되도록 된다. 그리고 나서, 직접적 양자화기기가 사용될 수 있거나 혹은 인코딩 중의 양자화는 와핑된 필터의 출력에서 주파수 영역에 걸쳐 코딩 노이즈를 비-균일하게 분배할 필요 없이 발생할 수 있다고 일반적으로 말할 수 있다. 양자화 노이즈의 노이즈 형성은 디코더 측에서 시변 와핑된 필터에 의해 얻어진 포스트-필터링 동작에 의해 자동적으로 일어날 수 있으며, 이는 와핑 특성에 대해, 인코더-측 프리-필터와 동일하고, 이 필터가 디코더 측에서 프리-필터에 역이라는 사실로 인해, 높은 오디오 품질을 유지하면서도 최대 비상관 감소를 획득하는 노이즈 형성을 자동적으로 생성한다.

본 발명의 바람직한 실시예들이 첨부되는 도면들을 참조하여 설명될 것이다.

도 1은 바람직한 오디오 인코더의 블록 다이어그램이다.

도 2는 바람직한 오디오 디코더의 블록 다이어그램이다.

도 3a는 인코딩된 오디오 신호의 도식적 표현이다.

도 3b는 도 3a의 제1 및/또는 제2 시간 부분에 대한 부가 정보의 도식적 표현이다.

도 4는 종래 기술 FIR 프리-필터 또는 포스트-필터의 표현으로, 본 발명에서의 이용에 적합한 표현이다.

도 5는 와핑 팩터에 의존적인 필터의 와핑 특성을 도시한다.

도 6은 시변 와핑 특성을 가지는 선형 필터 및 제어기를 가지는 본 발명의 오디오 프로세서를 도시한다.

도 7은 본 발명의 오디오 인코더의 바람직한 일 실시예를 도시한다.

도 8은 본 발명의 오디오 디코더의 바람직한 일 실시예를 도시한다.

도 9는 인코더 및 디코더를 가지는 종래 기술 필터뱅크-기반 코딩 알고리즘을 도시한다.

도 10은 인코더 및 디코더를 가지는 종래 기술 프리/포스트-필터 기반 오디오 인코딩 알고리즘을 도시한다.

도 11은 인코더 및 디코더를 가지는 종래 기술 LPC 코딩 알고리즘을 도시한다.

본 발명의 바람직한 실시예들은, 양쪽 타입의 신호들에 대해 가장 잘 알려진 코딩 방법의 성능코딩에 적어도 매칭되는 성능을 가지는 일반적인 오디오 신호 및 스피치 신호의 코딩을 가능케 하는 균일 방법을 제공한다. 이는 아래의 고려사항들에 기초한다:

ㆍ 일반적인 오디오 신호에 대해, 마스킹 임계치 곡선("지각적 오디오 코딩"의 아이디어에 따른)에 따른 코딩 노이즈 스펙트럴 포락선을 형성하는 것이 필수적이고, 따라서 지각적으로 와핑된 주파수 스케일이 바람직하다. 그럼에도 불구하고, 균일 주파수 해상도가 그 개별적인 스펙트럴 구조를 더 잘 분해할 수 있기 때문에 균일 주파수 해상도가 지각적으로 와핑된 것보다 더 좋은 성능을 가질 수 있는 상황에서, 어떤 (예를 들어, 하모닉) 오디오 신호가 있을 수 있다.

ㆍ 스피치 신호의 코딩에 대해서는, 최신의 코딩 성능이 일반적인(비-와핑된) 선형 예측에 의해 얻어질 수 있다. 어느 정도의 와핑이 코딩 성능을 향상시키는 어떤 스피치 신호가 있을 수 있다.

본 발명의 아이디어에 따르면, 이러한 딜레마(dilemma)는, 음악 신호의 코딩 에 일반적으로 바람직한 전적으로 와핑된 동작과 스피치 신호의 코딩에 일반적으로 바람직한 비-와핑된 동작 사이의 그 특성들을 원활하게 페이딩시킬 수 있는 인코더 필터를 포함하는 코딩 시스템에 의해 해결된다. 특히, 제안된 본 ㅂ라명의 접근은 시변(time-varying) 와핑 팩터를 가지는 선형 필터를 포함한다. 이 필터는 원하는 와핑 팩터를 수신하는 여분의 입력에 의해 제어되고, 그에 따라 필터 동작을 수정한다.

이러한 필터의 동작은 필터로 하여금, 제어 입력에 따라 마스킹 곡선의 모델(와핑이 ON된, λ=λ₀ 인 음악의 코딩에 대한 포스트-필터)로서, 그리고 신호의 스펙트럴 포락선의 모델(와핑이 오프된, λ= 0 인 스피치의 코딩에 대한 역 LPC 필터)로서의 양쪽으로서 동작하도록 해준다. 만약 본 발명의 필터가 중간 와핑 팩터 0≤λ≤λ₀ 의 연속을 또한 처리하도록 갖추어진다면, 추가적으로 소프트 사이(in-between) 특성들 또한 가능하다.

물론, 역 디코더 필터링 메카니즘 즉, 시변 와핑 팩터를 가지는 선형 디코더 필터가 유사하게 갖추어지고, LPC 필터뿐 아니라 지각적 프리필터로서 동작할 수도 있다.

연속적으로 코딩될 잘-동작된 필터링된 신호를 생성하기 위해, 와핑 팩터의 두 다른 값들 시이에서 순간적으로 스위칭하는 것이 바람직하지 않으며, 시간에 따라 와핑 팩터의 소프트 전이(soft transition)을 적용하는 것이 바람직하다. 일 예로, 비와핑된 및 전적으로 지각적으로 와핑된 동작 사이의 128개 샘플들의 전이는 출력 신호에서 바람직하지 않은 비연속성을 피하게 된다.

이러한 가변 와핑을 가지는 필터를 이용하면, 아래의 방법으로(도 7 또는 8 참조) 최적 스피치 및 오디오 코딩 품질 양자를 획득하는 결합된 스피치/오디오 코더를 설치하는 것이 가능하다:

ㆍ사용될 코딩 모드("스피치 모드" 또는 "음악 모드")에 관한 결정은, 입력 신호의 분석을 수행함으로써 별도의 모듈에서 실행되고, 음악으로부터 스피치 신호를 분리해내는 공지의 기술에 기초할 수 있다. 결과적으로, 결정 모듈은 코딩 모드/ 그리고 필터에 대한 관련된 최적의 와핑 팩터에 관한 결정을 생성한다. 또한, 이러한 결정에 기초하여, 선택된 코딩 모드에서 입력 신호에 적절한 적합한 필터 계수들의 세트를 결정한다, 즉 스피치의 코딩에 대해, LPC 분석(와핑 없이 또는 낮은 와핑 팩터로)이 수행되는 반면, 음악의 코딩에 대해서는 마스킹 곡선이 추정되고 그 역이 와핑된 스펙트럴 계수들로 변환된다.

ㆍ 시변 와핑 특성들을 가지는 필터는 공통 인코더/디코더 필터로 사용되고, 코딩 모드 결정/와핑 팩터 및 결정 모듈에 의해 생성된 필터 계수들의 세트에 따라 신호에 적용된다.

ㆍ 필터링 단계의 출력 신호는 코딩 코드에 따라 스피치 코딩 커널(예를 들어, CELP 코더) 또는 고유의 오디오 코더 커널(예를 들어, 필터뱅크/서브밴드 코 더, 또는 예측 오디오 코더), 또는 양쪽 모두에 의해 코딩된다.

ㆍ 전송될/저장될 정보는 코딩 모드 결정(또는 와핑 팩터의 표시), 몇몇 코딩된 형태에서의 필터 계수들, 및 스피치/여기 및 고유 오디오 코더에 의해 전달된 정보를 포함한다.

대응하는 디코더가 이에 따라서 동작한다: 디코더는 전송된 정보를 수신하고, 코딩 모드 정보에 따라 스피치 및 고유 오디오 부분을 디코딩하고, 이들을 하나의 중간 신호로 결합하며(예를 들어, 이들을 더함으로써), 이 중간 신호를 코딩 모드/와핑 팩터 및 필터 계수들을 이용해 필터링하여 최종 출력 신호를 형성한다.

이어서, 본 발명의 오디오 인코더의 바람직한 일 실시예가 도 1과 관련하여 논의될 것이다. 도 1의 오디오 인코더는 라인 10에서의 오디오 신호 입력을 인코딩하도록 동작한다. 오디오 신호는 라인 14에 나타나는 프리-필터링된 오디오 신호를 생성하는 프리-필터(12)로 입력된다. 프리-필터는 가변 와핑 특성을 가지고, 와핑 특성은 라인 16 상의 시변 제어 신호에 응하여 제어 가능하다. 제어 신호는 작은 와핑 또는 와핑 없는 특성 또는 비교적 높은 와핑 특성을 나타낸다. 따라서, 시변 와프 제어 신호는, 강한 와프에 대한 "1" 또는 비-와핑(no warping)에 대한 "0"과 같은 두개의 다른 상태들을 가지는 신호일 수 있다. 와핑을 적용하는 의도된 목적은 BARK 스케일와 유사한 프리필터의 주파수 해상도를 획득하는 것이다. 하지만, 신호/와핑 특성 설정의 다른 상태들 또한 가능하다.

또한, 본 발명의 오디오 인코더는 시변 제어 신호를 제공하는 제어기(18)를 포함하고, 시변 제어 신호는 도 1에서 라인 20에 의해 나타지는 오디오 신호에 의존한다. 뿐만 아니라, 본 발명의 오디오 인코더는, 라인 24에서 인코딩된 오디오 신호 출력을 획득하기 위해 프리-필터링된 오디오 신호를 프로세싱하는 제어가능 인코딩 프로세서(22)를 포함한다. 특히, 인코딩 프로세서(22)는 특정 신호 패턴에 맞춰진 제1 인코딩 알고리즘에 따라, 또는 일반적인 오디오 신호를 인코딩하기에 적합한 제2의 다른 인코딩 알고리즘에 따라 프리-필터링된 오디오 신호를 처리하도록 조절된다. 특히, 인코딩 프로세서(22)는 바람직하게 라인 26 상에 인코더 제어 신호를 통해 제어기(18)에 의해 제어되도록 조절되어, 비교적 높은 와핑 팩터를 이용해 필터링된 오디오 신호 부분이 제2 인코딩 알고리즘을 이용해 처리되어 이 오디오 신호 부분을 위한 인코딩된 신호를 획득하고, 와핑이 없거나 작은 와핑 특성만을 이용해 필터링된 오디오 신호 부분이 제1 인코딩 알고리즘을 이용해 처리되도록 한다.

따라서, 제어 라인(26) 상의 신호에 대한 제어 테이블(28)에서 보여지는 바와 같이, 오디오 신호를 처리하는 몇몇 상황에서는, 제1 코딩 알고리즘에 따라 필터링된 신호에 대해서는 와핑이 없거나 작은 와핑만이 필터에 의해 수행되는 반면, 강하고 바람직하게는 지각적으로 풀-스케일(full-scale) 와핑이 프리-필터에 의해 적용되는 경우에는, 시간 부분이 일반적인 오디오 신호에 대한 제1 코딩 알고리즘을 이용해 처리되는데, 이는 바람직하게는 심리음향적 마스킹 임계치 아래의 양자화 노이즈를 숨기는 것에 기초한다. 물론, 본 발명은 또한, 신호-특정적 패턴을 가 지는 오디오 신호의 추가적 부분에 대해서는 높은 와핑 특성이 적용되고, 특정 신호 패턴을 가지지 않는 더 추가적인 부분에 대해서는 비-와핑 특성 또는 낮은 와핑 특성이 사용되는 경우도 커버한다. 이는 예를 들어, 합성 인코더 결정에 의해 또는 기술분야에서 알려진 어떤 다른 알고리즘에 의한 분석에 의해 결정될 수도 있다. 하지만, 인코더 모듈 제어는 전송된 와핑 팩터에 따라 또한 고정적으로 설정될 수 거나, 와핑 팩터가 전송된 코더 모듈 표시로부터 도출될 수도 있다. 또한, 정보 아이템들 양자, 즉 코더 모듈 또는 와핑 팩터가 부가 정보로서 전송될 수 있다.

도 2는 라인 30에서 인코딩된 오디오 신호 입력을 디코딩하는 본 발명의 디코더를 도시한다. 인코딩된 오디오 신호는 특정 신호 패턴에 적합한 제1 코딩 알고리즘에 따라 인코딩된 제1 부분을 가지고, 일반적인 오디오 신호를 인코딩하기에 적합한 다른 제2 코딩 알고리즘에 따라 인코딩된 제2 부분을 가진다. 특히, 본 발명의 디코더는 제1 또는 제2 부분에 내재된 코딩 알고리즘을 검출하는 검출기(32)를 포함한다. 이러한 검출은 파선 34에 의해 도시된 인코딩된 오디오 신호로부터 부가 정보를 추출함으로써 일어나고, 그리고/또는 파선 38에 의해 도시된 디코딩 프로세서(36)로 입력되는 비트-스트림을 관찰함으로써 일어난다. 디코딩 프로세서(36)는 제어 라인(40)에 의해 도시된 바와 같이 검출기에 응하여 디코딩을 수행하여, 제1 및 제2 부분 양쪽에 대해 보정 코딩 알고리즘이 선택되도록 한다.

바람직하게는, 디코딩 프로세서는 제1 시간 부분을 디코딩하기 위해 제1 코딩 알고리즘을 사용하고, 제2 시간 부분을 디코딩하기 위해 제2 코딩 알고리즘을 사용하도록 동작하여, 제1 및 제2 디코딩된 시간 부분들이 라인 42 상에 출력되도 록 한다. 라인 42는 가변 와핑 특성을 가지는 포스트-필터(44)로의 입력을 가진다. 특히, 포스트-필터(44)는 라인(46) 상에 시변 와핑 제어 신호를 이용하여 제어 가능하여, 이러한 포스트-필터가 제1 상태에서 아주 작은 와핑 특성 혹은 비-와핑 특성을 가지고, 제2 상태에서 높은 와핑 특성을 가진다.

바람직하게는, 포스트-필터(44)는 제1 코딩 알고리즘을 이용해 디코딩된 제1 시간 부분이 작은 와핑 특성 또는 비-와핑 특성을 이용해 필터링되도록 그리고, 디코딘된 오디오 신호의 제2 시간 부분은 비교적 강한 와핑 특성을 이용해 필터링되도록 제어되어, 오디오 디코더 출력 신호가 라인 48 상에 얻어지도록 한다.

도 1 및 도 2를 살펴보면, 제1 코딩 알고리즘은 인코딩 프로세서(22)에서 취해질 인코더-관련 과정 및 디코딩 프로세서(36)에서 구현될 대응하는 디코더-관련 과정들을 결정한다. 또한, 제2 코딩 알고리즘은 인코딩 프로세서에서 사용될 인코더-관련 제2 코딩 알고리즘 및 디코딩 프로세서(36)에서 사용될 대응하는 제2 코딩 알고리즘-관련 디코딩 과정들을 결정한다.

또한, 프리-필터(12) 및 포스트-필터(44)는 일반적으로 서로에 대해 반대이다. 이러한 필터들의 와핑 특성들은 포스트-필터가 프리-필터와 동일한 와핑 특성 또는 10 퍼센트 허용오차 범위 내에서 유사한 와핑 특성을 가지도록 제어된다.

물론, 프리-필터가 예를 들어, 특정 신호 패턴을 가지는 신호가 존재한다는 사실로 인해 와핑되지 않을 때, 포스트-필터 또한 와핑된 필터일 필요가 없다.

그럼에도 불구하고, 이후 설명될 것처럼, 포스트-필터(44)뿐 아니라 프리-필터(12)가, 제1 코딩 알고리즘 또는 제2 코딩 알고리즘과 관련해 요구되는 어떤 다 른 프리-필터 또는 포스트-필터 동작을 구현할 수 있다.

도 3a는 도 1의 라인 24 상에서 얻어지는 바와 같은 그리고 도 2의 라인 30 상에 발견될 수 있는 바와 같은 인코딩된 오디오 신호의 일 예를 도시한다. 특히, 인코딩된 오디오 신호는, 50에 도시된 바와 같은 제1 코딩 알고리즘에 의해 생성된 인코딩된 형태의 제1 시간 부분 및 제1 부분에 대한 대응하는 부가 정보(52)을 포함한다. 또한, 비트-스트림은 54에 나타난 바와 같이 인코딩된 형태로 제2 시간 부분 및 제2 시간 부분에 대한 부가 정보(56)를 포함한다. 여기에서 도 3a의 아이템들의 순서가 변할 수 있음이 유의되어야 할 것이다. 또한, 부가 정보가 필수적으로 메인 정보(50 및 54) 사이에 멀티플렉싱되어야 할 필 필요는 없다. 이러한 신호들은 심지어 명시적 요구사항 또는 구현에 의해 지시되는 바와 같이 별개의 소스로부터 올 수도 있다.

도 3b는, 도 3a의 52 및 56에서 사용될 수 있는 와핑 팩터 및 인코더 모드를 명시적으로 시그널링하기 위한 본 발명의 명시적인 시그널링 실시예에 대한 부가 정보를 도시한다. 이는 도 3b 부가 정보 스트림 아래에 표시되어 있다. 따라서, 부가 정보는 부가 정보가 속하는 이 부분에 내재된 제1 또는 제2 코딩 알고리즘을 명시적으로 시그널링하는 코딩 모드 표시를 포함한다.

또한, 와핑 팩터가 시그널링될 수 있다. 전체 시스템이 두 다른 와핑 특성들, 즉, 제1 가능성과 같은 비-와핑 특성 및 제2 가능성과 같은 지각적 풀-스케일 와핑 특성만을 사용할 수 있는 경우, 와핑 팩터의 시그널링은 필요치 않다. 이 경우, 와핑 팩터가 고정적일 수 있고, 꼭 전송되어야 할 필요는 없다.

그럼에도 불구하고, 바람직한 실시예들에서는, 와핑 팩터가 이러한 두 극단적인 값들보다 많이 가지도록 하여, 절대 값 또는 차동적으로 코딩된 값들과 같은 와핑 팩터의 명시적인 시그널링이 사용되도록 할 수도 있다.

또한, 프리-필터는 와핑을 수행할 뿐 아니라 제1 코딩 알고리즘 및 제2 코딩 알고리즘에 의해 지시된 일들을 수행하며, 이는 제1 및 제2 코딩 알고리즘의 보다 효율적인 기능을 유도한다.

제1 코딩 알고리즘이 LPC-기반 코딩 알고리즘일 때, 프리-필터는 바람직하게는, 프리-필터링 후에, 음향적으로 보다 덜 중요한 부분들에 대해 음향적으로 보다 중요한 부분들이 증폭되도록 오디오 신호를 프리-필터링하는 LPC 필터이다.

제2 코딩 알고리즘이 특정 노이즈 형성 기능을 가지지 않는 일반적인 오디오 인코더일 때, 프리-필터는 바람직하게 오디오 신호를 프리-필터링하는 LPC 필터이고 따라서, 프리-필터링 후에 심리음향적으로 덜 중요한 부분들에 대해 심리음향적으로 보다 더 중요한 부분들이 증폭되게 된다. 디코더-측 상에서는, 포스트-필터가 프리-필터링 전의 상황과 유사한 상황을 재생성하는 필터, 즉 보다 중요한 부분에 대해 보다 덜 중요한 부분들을 증폭하여 포스트-필터링 후에 신호가 - 코딩 에러와는 별개로 - 인코더로 입력되는 원래의 오디오 신호와 유사하도록 하는, 역 필터로서 구현된다.

상기 설명된 프리-필터에 대한 필터 계수들은 바람직하게는 또한 부가 정보를 통해 인코더로부터 디코더로 전송된다.

일반적으로, 포스트-필터뿐만 아니라 프리-필터도, 도 4에 도시된 구조의 와 핑된 FIR 필터로서 또는 와핑된 IIR 디지털 필터로서 구현될 것이다. 도 4 필터가 [KHL 97]에 자세히 서술되어 있다. 와핑된 IIR 필터들에 대한 예들이 또한 [KHL 97]에 나타나 있다. 모든 이러한 디지털 필터들은, 와핑된 지연 소자들(60) 및 가중 계수들 또는 β₀, β₁, β₂,... 에 의해 표시되는 가중 소자들을 공통적으로 가진다. 와핑되지 않은 필터 구조(여기서는 미도시)에서의 지연 소자가 올-패스 필터, 도 4의 필터 구조들의 양 측 상에 도시된 바와 같이, 예를 들어 1차 올-패스 필터 D(z)와 같은 올-패스 필터에 의해 대체되는 경우, 필터 구조는 와핑 필터로 전환된다. 좌측 구조의 계산적으로 효율적인 구현이, 와핑 팩터 λ의 명시적 사용법 및 거기에서의 구현이 나타난 도 4의 우측에 도시되어 있다.

도 4의 우측에 대한 필터 구조가 포스트-필터 내 뿐 아니라 프리-필터 내에서 쉽게 구현 가능하며, 와핑 팩터는 파라미터 λ에 의해 제어되는 반면 필터 특성, 즉, 보다 중요한 부분들을 음향심리학적으로 증폭/댐핑하기 위한 LPC 분석/합성 또는 프리-필터링 또는 포스트-필터링의 필터 계수들은 가중 파라미터들 β₀, β₁, β₂,... 을 적절한 값들로 설정함으로써 제어된다.

도 5는 -0.8 및 +0.8 사이의 λs에 대한 와핑 팩터 λ상의 주파수-와핑 특성의 의존도를 도시한다. λ가 0.0으로 설정된 비-와핑(no-warping)의 경우가 설명될 것이다. 음향심리학적으로 풀-스케일 와핑은 λ를 약 0.3 및 0.4 사이로 설정함으로써 얻어진다. 일반적으로, 최적 와핑 팩터는 선택된 샘플링 레이트에 의존하고, 32 및 48kHz 사이의 샘플링 레이트에 대해 약 0.3 및 0.4 사이의 값을 가진다. 와 핑된 필터를 이용함으로써 얻어지는 비-균일 주파수 해상도는 BARK 또는 ERB 스케일과 유사하다. 실질적으로 더 강한 와핑 특성이 구현될 수 있지만, 이러한 것들은 단지, 제어기가 이러한 더 높은 와핑 팩터들이 유용하다고 판단하는 경우에 발생할 수 있는 특정 상황에서만 유용하다.

따라서, 인코더-측 상의 프리-필터는 바람직하게, 낮은 주파수 범위에서 주파수 해상도를 높이기 위해 그리고 높은 주파수 범위에서는 낮은 주파수 해상도를 가지기 위해, 양의 와핑 팩터 λ를 가질 것이다. 그러므로, 바람직한 본 발명의 시변 와핑 필터는 도 6에서 오디오 프로세서의 일부분(70)으로서 표시되어 있다. 본 발명의 필터는, 바람직하게는 음향심리학적으로 보다 더/덜 중요한 부분들을 증폭 또는 댐핑하기 위해 필터링하는 프리-필터 또는 포스트-필터로서 구현되거나, 시스템의 제어 신호에 의존해 LPC 분석/합성 필터로서 구현되는, 선형 필터이다. 이 시점에서 와핑된 필터는 선형 필터이고 필터에 대한 사인 파형 입력과 같은 구성요소의 주파수를 변경하지 않음을 주목해야 한다. 하지만, 와핑 이전의 필터가 저역 필터인 것을 가정할 때, 도 5의 다이어그램은 아래에서 설명되는 것과 같이 이해되어야 할 것이다.

예시적인 사인 파형이 0.6의 정규화된 원래 주파수를 가질 때, 필터는 - 0.0과 동일한 와핑 팩터에 대해- 이러한 와핑되지 않은 필터의 필터 임펄스 응답에 의해 정의되는 위상 및 진폭 가중치를 적용할 것이다.

0.8의 와핑 팩터가 이러한 저대역 필터에 대해 설정될 때(이제 필터는 와핑된 필터가 된다), 0.6의 정규화된 주파수를 가지는 사인 파형은, 와핑되지 않은 필 터가 도 5에서 0.97의 정규화된 주파수에 대해 가지는 위상 및 진폭 가중치에 의해 출력이 가중되도록 필터링될 것이다. 이 필터는 선형 필터이기 때문에, 사인 파형의 주파수는 변경되지 않는다.

상황에 따라서, 필터(70)가 와핑만 되는 경우, 와핑 팩터 또는, 일반적으로 와핑 제어(16 또는 46)가 적용되어야 한다. 필터 계수들 β_i 은 마스킹 임계치로부터 도출된다. 이러한 필터 계수들은, 어떤 제1 또는 제2 코딩 알고리즘과 관련하여 유용한 프리- 또는 포스트-필터 계수들, 또는 LPC 분석/합성 필터 계수들, 또는 어떤 다른 필터 계수들일 수 있다.

따라서, 본 발명에 따른 오디오 프로세서는, 가변 와핑 특성을 가지는 필터에 더하여, 오디오 입력(10/42)에서의 특정 신호 패턴을 찾아 특정 신호 패턴에 맞는 특정 와핑 특성이 설정될 수 있어 오디오 입력의 시간-적응된 가변 와핑이 인코딩된 또는 디코딩된 오디오 입력이 얻어질 수 있도록 하는, 도 1의 제어기(18) 또는 도 2의 코딩 알고리즘 검출기(32)로서 구현된 제어기 또는 일반적인 오디오 입력 신호 분석기를 포함할 수 있다. 바람직하게는, 프리-필터 계수들 및 포스트-필터 계수들은 동일하다.

필터(70) 및 제어기(74)로 구성된 도 6에 도시된 오디오 프로세서의 출력은 그리고 나서, 어떤 목적으로 저장되거나, 인코딩 프로세서(22)에 의해 처리되거나 또는 오디오 프로세서가 디코더-측 상에 있을 때에는 오디오 재생 장치에 의해 처리되거나 또는, 어떤 다른 신호 처리 알고리즘에 의해 처리될 수 있다.

후속적으로 도 7 및 8이 논의될 것인데, 이들은 본 발명의 인코더(도 7) 및 본 발명의 디코더(도 8)의 바람직한 실시예들을 도시한다. 장치의 기능들은 도 1, 도 2의 장치들과 유사하다. 특히, 도 7은 제1 코딩 알고리즘이 스피치-코더 유사한 코딩 알고리즘이고, 특정 신호 패턴이 오디오 입력(10) 내의 스피치 패턴인 경우의 실시예를 도시한다. 제2 코딩 알고리즘(22b)은 도 9와 관련되어 도시되고 논의된 직접 필터뱅크-기반 오디오 코더와 같은 고유 오디오 코더 또는 도 10에 도시된 바와 같은 프리-필터/포스트-필터 오디오 코딩 알고리즘이다.

제1 코딩 알고리즘은 도 11의 스피치 코딩 시스템에 대응하고, 이는 LPC 분석/합성 필터(1100 및 1002)뿐 아니라, 잔여/여기 코더(1104) 및 대응하는 여기 디코더(1106)을 또한 포함한다. 이 실시예에서는 도 7의 시변 와핑된 필터(12)가 LPC 필터(1100)와 같은 기능을 가지고, 도 11의 블록(1108)에 구현된 LPC 분석은 제어기(18)에 구현되어 있다.

잔여/여기 코더(1104)는 도 7의 잔여/여기 코더 커널(22a)에 대응한다. 유사하게, 여기 디코더(1106)는 도 8의 잔여/여기 디코더(36a)에 상응하고, 시변 와핑된 필터(44)는 제1 코딩 알고리즘에 따라 코딩된 제1 시간 부분에 대해 역 LPC 필터(1102)의 기능을 가진다.

LPC 분석 블록(1108)에 의해 생성된 LPC 필터 계수들은 제1 시간 부분에 대한 도 7의 90에 나타난 필터 계수들에 상응하고, 도 11의 블록(1102)로 입력되는 LPC 필터 계수들은 도 8의 라인(92) 상의 필터 계수들에 상응한다. 또한, 도 7 인코더는 인코더 출력 인터페이스(94)를 포함하는데, 이는 비트-스트림 다중화기로서 구현될 수 있지만, 또한 전송 및/또는 저장에 적합한 데이터 스트림을 생성하는 어떤 다른 장치로서 구현될 수 있다. 관련해서, 도 8 디코더는 입력 인터페이스(96)를 포함하는데, 도 3a와 관련하여 논의된 바와 같이 특정 시간 부분 정보를 역다중화하고 또한 도 3b에 도시된 바와 같이 필요한 부가-정보를 추출하기 위한 비트-스트림 역다중화기로서 구현될 수 있다.

도 7 실시예에서는, 인코딩 커널들(22a, 22b) 양자가 공통 입력(96)을 가지며, 라인들(97a 및 97b)을 통해 제어기(18)에 의해 제어된다. 이러한 제어는, 특정 시간의 순간에, 양 인코더 커널들(22a, 22b) 중 하나만이 주요 및 부가 정보를 출력 인터페이스로 출력함을 확실히 한다. 대안적으로, 양 인코딩 커널들은 전적으로 병렬로 동작할 수 있고, 인코더 제어기(18)는, 코딩 모드 정보에 의해 표시되는 인코딩 커널의 출력만이 비트-스트림으로 입력되고, 다른 인코더의 출력은 파기됨을 확실히 할 것이다.

다시 대안적으로, 양 디코더가 병렬로 동작할 수 있고 그 출력이 합쳐질 수 있다. 이러한 상황에서는, 인코더-측 프리-필터 및 디코더-측 포스트-필터에 대한 중간 와핑 특성을 사용하는 것이 바람직하다. 또한, 이 실시예는 예를 들어, 특정 주파수 범위 또는 일반적으로, 제1 코딩 알고리즘에 의한 신호 부분 및 제1 일반적인 코딩 알고리즘에 의한 신호의 잔여분과 같은 신호의 스피치 부분을 처리한다. 그리고 나서, 양 코더들의 출력은 인코더로부터 디코더 측으로 전송된다. 디코더 측 조합은 신호가 포스트-필터링되기 전에 다시 합쳐지도록 한다.

출력 인코딩된 오디오 신호(24)가, 도 3에 도시된 바와 같은 제1 및 제2 부 분들의 시퀀스 또는 스피치 부분 또는 일반적인 오디오 부분과 같은 신호의 부분들의 올바른 조합을 가지는 것이 확실한 이상, 어떤 종류의 특정 제어라도 구현 가능하다.

디코더-측 상에서, 코딩 모드 정보는 올바른 디코딩 알고리즘을 이용해 시간 부분을 디코딩하는 데 사용되어 제1 부분들 및 제2 부분들의 시간-비틀림된(time-staggered) 패턴이 디코더 커널들(36a 및 36b)의 출력에서 얻어지고, 그리고 나서, 가산기 심볼(36c)을 사용해 도식적으로 도시된 단일 시간 영역 신호로 다중화된다. 그리고 나서, 소자(36c)의 출력에서 시간-영역 오디오 신호가 존재하는데, 이는 포스트-필터링만이 되어야 하고 그래서 디코딩된 오디오 신호가 얻어진다.

도면의 간단한 설명 부분 이후의 개요 부분에서 이미 논의한 바와 같이, 도 7의 인코더뿐 아니라 도 8의 디코더 양자가 모두 보간기(interpolator)(100 또는 102)를 포함할 수 있고, 적어도 두 샘플을 포함하지만, 바람직하게는 50개 샘플 초과, 더 많게는 100 샘플보다 많은 샘플들을 포함하는, 특정 시간 부분을 통한 원활한 전이가 구현 가능하다. 이는 와핑 팩터 및 필터 계수들의 빠른 변화에 의해 야기될 수 있는 코딩 아티팩트(artifact)의 회피를 보장한다. 하지만, 프리-필터뿐 아니라 포스트-필터가 전적으로 시간 영역에서 동작하므로, 블록-기반 특정 구현과 관련해서는 아무 문제가 없다. 따라서, 다시 도 4가 고려될 때, β₀, β₁, β₂,... 및 λ에 대한 값들을 샘플 단위로 변경할 수 있어, 예를 들어, 전적으로 와핑된 상태로부터 전혀 와핑을 가지지 않는 다른 상태로의 페이드 오버(fade over)가 가능 하다. 비록 디코더-측 상에 보간기가 필요없도록 보간된 파라미터들을 전송할 수 있다 하더라도, 보간된 값들을 전송하지 않고 보간 전의 값들을 전송하는 것이 바람직한데, 보간 전의 값들에 대해 더 적은 부가-정보 비트들이 필요하기 때문이다.

또한, 앞서 이미 표시된 바와 같이, 도 7에 도시된 바와 같은 고유 오디오 코더 커널(22b)은 도 10의 코더(1000)와 동일할 수 있다. 이러한 맥락에서, 프리-필터(12)는 또한 도 10의 프리-필터(1002)의 기능을 수행할 것이다. 도 10의 지각적 모델(1004)은 그리고 나서 도 7의 제어기(180) 내에서 구현될 것이다. 지각적 모델(1004)에 의해 생성된 필터 계수들은 제2 코딩 알고리즘이 ON된 시간 부분에 대해 도 7의 라인 90 상의 필터 계수들에 대응한다.

아날로그적으로, 도 10의 디코더(1006)는 도 8의 고유 오디오 디코더 커널(36b)에 의해 구현되고, 포스트-필터(1008)는 도 8의 시변 와핑된 필터(44)에 의해 구현된다. 지각적 모델에 의해 생성된 바람직하게 코딩된 필터 계수들이 디코더-측 상에 라인 92 상에 수신되어, 도 10의 포스트-필터(1008)로 들어가는 "필터 계수들"로 지칭된 라인은 제2 코딩 알고리즘 시간 부분에 대한 도 8의 라인 92에 대응된다.

하지만, 오디오 품질 및 비트 레이트로 인해 모두 완벽하지 않은 도 10 및 11에 따른 두 병렬 동작 인코더들과 비교해, 본 발명 인코더 장치들 및 본 발명 디코더 장치들은 단지 하나의 하지만, 제어 가능한 필터를 사용하여 오디오 신호의 시간 부분이 특정 패턴을 가지는지 또는 단지 일반적인 오디오 신호인지 알아내기 위해 입력 오디오 신호에 대한 분리를 수행한다.

제어기(18) 내의 오디오 분석기와 관련하여, 여러 다양한 구현예들이 오디오 신호의 일부분이 특정 신호 패턴을 포함하는지 이 부분이 이 특정 신호 패턴을 포함하지 않는지 결정하는 데 사용될 수 있고, 그러므로 일반적인 오디오 인코딩 알고리즘을 사용해 처리되어야 한다. 비록 특정 신호 패턴이 스피치 신호인 바람직한 실시예들이 논의되었지만, 다른 신호-특정 패턴이 결정될 수 있고, 하모닉 신호, 노이즈 신호, 토널(tonal) 신호, 펄스-트레인-유사 신호 등에 대한 인코딩 알고리즘과 같은 신호-특정 제1 인코딩 알고리즘을 사용해 인코딩될 수 있다.

직접적인 검출기들은, 예를 들어 최고의 필터 계수들 및 최고의 코딩 알고리즘과 함께 최고의 와핑 팩터를 알아내기 위해 여러 와핑 검출기들과 함께, 여러 인코딩 알고리즘을 시도하는 합성 검출기들을 이용해 분석된다. 합성 검출기들에 의한 이러한 분석은 어떤 경우에는 계산적으로 매우 비싸다. 이는 적은 개수의 인코더 및 많은 개수의 디코더들이 있는 상황에서는 문제가 되지 않는데, 이 경우 디코더는 매우 간단해질 수 있기 때문이다. 이는 인코더만이 이러한 복잡한 계산적 업무를 수행하는 반면, 디코더는 단순히 전송된 부가-정보를 이용할 뿐이라는 사실 때문이다.

다른 신호 검출기들은, 매핑 정도가 특정 임계치를 초과할 때, 오디오 신호 내에서 특정 신호 패턴을 찾아 양의 결과를 시그널링하는 직접 패턴 분석 알고리즘에 기초한다. 이러한 검출기에 대한 더 많은 정보가 [BLS05]에서 주어진다.

뿐만 아니라, 본 발명의 방법의 특정 구현 요구사항들에 따라, 본 발명의 방법은 하드웨어 또는 소프트웨어로 구현될 수 있다. 본 구현은, 프로그램 가능한 컴 퓨터 시스템과 협력할 수 있어 개별 방법이 실행되도록 하는 디지털 메모리 매체, 특히 전자적으로 판독 가능한 제어 신호들을 가지는 디스크 혹은 CD 를 사용해 구현될 수도 있다. 따라서, 일반적으로 본 발명은, 컴퓨터 프로그램 제품이 컴퓨터 상에서 동작할 때 본 방법을 실행하기 위해 기계-판독 가능한 캐리어(carrier) 상에 저장된 프로그램 코드를 가지는 컴퓨터 프로그램 매체로 또한 구성될 수 있다. 즉, 본 발명은 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 상기 방법을 실행하는 프로그램 코드를 갖는 컴퓨터 프로그램으로서 구체화될 수 있다.

앞서 설명된 실시예들은 단순히 본 발명의 원리에 대한 예시적일뿐이다. 해당 기술분야의 숙련된 당업자는 본 발명의 사상적 범위로부터 벗어나지 않는 범위 내에서 본 발명의 형태 및 세부사항을 다양하게 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발멸은 첨부된 특허 청구항들의 범위에 의해서만 한정되며, 여기에서의 실시예들의 서술 및 설명에 의해 소개된 특정 구체예들에 의해서는 한정되지 않아야 할 것이다.

Claims

시변 제어 신호에 응하여 제어 가능한 가변 와핑 특성을 가지고, 프리-필터링된 오디오 신호를 생성하는 프리-필터로서, 상기 제어 신호는 작은 와핑 또는 비-와핑 특성 또는 큰 와핑 특성을 표시하는, 프리-필터;

상기 오디오 신호에 의존하는 시변 제어 신호를 제공하는 제어기; 및

상기 프리-필터링된 오디오 신호를 처리하여 인코딩된 오디오 신호를 획득하는 제어가능 인코딩 프로세서로서, 특정 신호 패턴에 적응된 제1 코딩 알고리즘에 따라, 또는 일반적인 오디오 신호를 인코딩하도록 적응된 제2 다른 인코딩 알고리즘에 따라 상기 프리-필터링된 오디오 신호를 처리하는, 제어가능 인코딩 프로세서를 포함하는, 오디오 신호를 인코딩하는 오디오 인코더.
청구항 1에 있어서,

상기 인코딩 프로세서는 상기 제1 인코딩 알고리즘으로서 스피치-코딩 알고리즘의 적어도 일부를 이용하는, 오디오 인코더.
청구항 1에 있어서,

상기 인코딩 프로세서는 상기 제1 코딩 알고리즘의 일부로서 잔여/여기 인코딩 알고리즘을 사용하고, 상기 잔여/여기 인코딩 알고리즘은 코드-여기된 선형 예측(CELP) 코딩 알고리즘, 멀티-펄스 여기(MPE) 코딩 알고리즘, 또는 정규 펄스 여 기(RPE) 코딩 알고리즘을 포함하는, 오디오 인코더.
청구항 1에 있어서,

상기 인코딩 프로세서는 필터 뱅크 기반, 필터뱅크-기반, 또는 시간-영역 기반 인코딩 알고리즘을 제2 코딩 알고리즘으로 사용하는, 오디오 인코더.
청구항 1에 있어서,

마스킹 임계치에 대한 정보를 제공하는 심리음향적 모듈을 더 포함하고,

상기 프리-필터는 상기 마스킹 임계치에 기초하여 필터 동작을 수행하여, 상기 프리-필터링된 오디오 신호에서, 음향심리학적으로 덜 중요한 부분들에 대해 음향심리학적으로 보다 더 중요한 부분들이 증폭되도록 하는, 오디오 인코더.
청구항 5에 있어서,

프리-필터는 제어가능한 와핑 팩터를 가지는 선형 필터이고, 상기 제어가능한 와핑 팩터는 시변 제어 신호에 의해 결정되며,

필터 계수들은 상기 마스킹 임계치에 기초한 분석에 의해 결정되는, 오디오 인코더.
청구항 1에 있어서,

상기 제1 코딩 알고리즘은 잔여 또는 여기 코딩 단계를 포함하고, 상기 제2 코딩 알고리즘은 일반적인 오디오 코딩 단계를 포함하는, 오디오 인코더.
청구항 1에 있어서,

상기 인코딩 프로세서는,

상기 오디오 신호에 상기 제1 코딩 알고리즘을 적용하는 제1 코딩 커널;

상기 오디오 신호에 상기 제2 코딩 알고리즘을 적용하는 제2 코딩 커널을 포함하고,

양 코딩 커널들은 상기 프리-필터의 출력에 연결된 공통 입력을 가지고, 양 코딩 커널들은 별개의 출력들을 가지며,

상기 오디오 인코더는 상기 인코딩된 신호를 출력하는 출력 스테이지를 더 포함하고,

상기 제어기는, 제어기에 의해 어느 시간 부분에 대해 활성 상태로 될 것으로 표시되는 코딩 커널의 출력만 상기 출력 스테이지에 연결하도록 동작하는 오디오 인코더.
청구항 1에 있어서,

상기 인코딩 프로세서는,

상기 오디오 신호에 상기 제1 코딩 알고리즘을 적용하는 제1 코딩 커널;

상기 오디오 신호에 상기 제2 코딩 알고리즘을 적용하는 제2 코딩 커널을 포함하고,

양 코딩 커널들은 상기 프리-필터의 출력에 연결된 공통 입력을 가지고, 양 코딩 커널들은 별개의 출력을 가지며,

상기 제어기는, 코딩 모드 표시에 의해 선택된 코딩 커널을 활성화시키고, 상기 코딩 모드 표시에 의해 선택되지 않은 코딩 커널을 비활성화시키거나, 상기 오디오 신호의 동일한 시간 부분의 다른 파트들에 대해 양 코딩 커널들을 모두 활성화시키도록 동작하는, 오디오 인코더.
청구항 1에 있어서,

시변 제어 신호 또는, 양자화 또는 코딩에 의해 시변 제어 신호로부터 도출된 신호를 부가 정보로서 상기 인코딩된 신호에 대해 출력하는 출력 스테이지를 더 포함하는, 오디오 인코더.
청구항 6에 있어서,

상기 마스킹 임계치에 대한 정보를 부가 정보로서 상기 인코딩된 오디오 신호에 대해 출력하는 출력 스테이지를 더 포함하는 오디오 인코더.
청구항 6에 있어서,

상기 인코딩 프로세서는, 상기 제2 코딩 알고리즘을 적용할 때, 평평한 스펙트럴 분포를 가지는 양자화 노이즈를 보이는 양자화 특성을 가지는 양자화기를 이용해 상기 프리-필터링된 오디오 신호를 양자화하도록 동작하는, 오디오 인코더.
청구항 12에 있어서,

상기 인코딩 프로세서는, 제2 코딩 알고리즘을 적용할 때, 상기 프리-필터링된 오디오 신호로부터 도출된 프리-필터링된 시간 영역 샘플들, 또는 서브-밴드 샘플들, 주파수 계수들, 또는 잔여 샘플들을 양자화하도록 동작하는, 오디오 인코더.
청구항 1에 있어서,

상기 제어기는 시변 제어 신호를 제공하여, 상기 프리-필터의 작은 와핑 또는 비-와핑 특성에 비해, 상기 프리-필터의 큰 와핑 특성에 대해서, 와핑 동작이 낮은 주파수 범위에서 주파수 해상도를 높이고 높은 주파수 범위에서는 주파수 해상도를 감소시키도록 동작하는, 오디오 인코더.
청구항 1에 있어서,

상기 제어기는 상기 시변 제어 신호를 결정하기 위해 상기 오디오 신호를 분석하는 오디오 신호 분석기를 포함하는, 오디오 인코더.
청구항 1에 있어서,

상기 제어기는, 비-와핑 또는 단지 작은 와핑 특성을 표시하는 제1 한계 상태 및 최대 와핑 특성을 나타내는 제2 한계 상태뿐 아니라, 상기 한계 상태들 사이의 와핑 특성을 나타내는 0, 1 또는 그 이상의 중간 상태들을 가지는 시변 제어 신 호를 생성하도록 동작하는, 오디오 인코더.
청구항 1에 있어서,

보간기(interpolator)를 더 포함하고,

상기 보간기는, 상기 와핑 특성이, 적어도 두 개의 시간-영역 샘플들을 가지는 페이딩 시간 구간에 걸쳐 상기 시변 제어 신호에 의해 시그널링되는 두 와핑 상태들 사이에서 페이딩되도록 상기 프리-필터를 제어하도록 동작하는, 오디오 인코더.
청구항 17에 있어서,

상기 페이딩 시간 구간은 비-와핑 또는 작은 와핑을 야기하는 필터 특성 및 큰 와핑을 야기하는 필터 특성 사이에 적어도 50개 시간 영역 샘플들을 포함하여, BARK 또는 ERB 스케일과 유사한 와핑된 주파수 해상도를 도출하는, 오디오 인코더.
청구항 17에 있어서,

상기 보간기는, 상기 페이딩 시간 구간에서 상기 시변 제어 신호에 의해 표시되는 두 와핑 특성들 사이의 와핑 특성을 낳는 와핑 팩터를 사용하도록 동작하는, 오디오 인코더.
청구항 1에 있어서,

상기 프리-필터는 와핑된 FIR 또는 와핑된 IIR 구조를 가지는 디지털 필터이고, 상기 구조는 지연 소자들을 포함하되, 지연 소자는 상기 지연 소자가 1차 또는 더 높은 차수의 올-패스 필터 특성을 가지도록 형성되는, 오디오 인코더.
청구항 20에 있어서,

상기 올-패스 필터 특성은, 아래의 필터 특성에 기초하고,

여기서, z^-1은 시간-이산 영역에서의 지연을 나타내고, λ은 "1"에 더 가까운 와핑 팩터 크기에 대해 더 큰 와핑 특성을 나타내고 "0"에 더 가까운 와핑 팩터의 크기에 대해 더 작은 와핑 특성을 나타내는 와핑 팩터인, 오디오 인코더.
청구항 20에 있어서,

상기 FIR 또는 IIR 구조는, 각 가중 소자가 관련 가중 팩터를 가지는 가중 소자들을 더 포함하고,

상기 가중 팩터들은 상기 프리-필터에 대한 필터 계수들에 의해 결정되고, 상기 필터 계수들은 LPC 분석 또는 합성 필터 계수들, 또는 마스킹-임계치 결정된 분석 또는 합성 필터 계수들을 포함하는 오디오 인코더.
청구항 20에 있어서,

상기 프리-필터는 6 및 30 사이의 필터 차수를 가지는, 오디오 인코더.
청구항 1에 있어서,

상기 인코딩 프로세서가 상기 제어기에 의해 제어되어, 인코딩된 신호를 얻기 위해 큰 와핑 특성을 사용해 필터링되는 오디오 신호 부분은 상기 제2 인코딩 알고리즘에 의해 처리되도록 하고, 작은 와핑 또는 비-와핑 특성을 이용해 필터링된 오디오 신호는 상기 제1 인코딩 알고리즘을 이용해 처리되도록 하는, 오디오 인코더.
인코딩된 오디오 신호를 디코딩하는 오디오 디코더에 있어서, 상기 인코딩된 오디오 신호는, 특정 신호 패턴에 적응된 제1 코딩 알고리즘에 따라 인코딩된 제1 부분을 가지고, 일반적인 오디오 신호를 인코딩하는 데 적응된 다른 제2 코딩 알고리즘에 따라 인코딩된 제2 부분을 가지는, 오디오 디코더로서,

상기 제1 부분 또는 상기 제2 부분에 내재하는 코딩 알고리즘을 검출하는 검출기;

상기 검출기에 응하여, 제1 디코딩된 시간 부분을 획득하기 위해 상기 제1 코딩 알고리즘을 이용해 상기 제1 부분을 디코딩하고, 제2 디코딩된 시간 부분을 획득하기 위해 상기 제2 코딩 알고리즘을 이용해 상기 제2 부분을 디코당하는 디코딩 프로세서; 및

작은 와핑 또는 비-와핑 특성을 가지는 제1 상태 및 큰 와핑 특성을 가지는 제2 상태 사이에서 제어가능한 가변 와핑 특성을 가지는 포스트-필터를 포함하는 오디오 디코더.
청구항 25에 있어서,

포스트-필터링 동안의 와핑 특성이 와핑 강도와 관련하여 10 퍼센트의 허용범위 내에서 오디오 인코더의 프리-필터에서의 프리-필터링 동안에 사용된 와핑 특성으로 설정되도록 상기 포스트-필터가 설정되는, 오디오 디코더.
청구항 25에 있어서,

상기 인코딩된 오디오 신호는 코딩 모드 지시자 또는 와핑 팩터 정보를 포함하고,

상기 검출기는 상기 인코딩된 오디오 신호로부터 상기 코딩 모드 또는 와핑 팩터에 대한 정보를 추출하도록 동작하고,

상기 디코딩 프로세서 또는 포스트 필터는 상기 추출된 정보를 사용해 제어되도록 동작하는, 오디오 디코더.
청구항 27에 있어서,

상기 추출된 정보로부터 도출되어 상기 포스트-필터를 제어하는 데 사용된 와핑 팩터는 양의 부호를 가지는, 오디오 디코더.
청구항 25에 있어서,

상기 인코딩된 신호는 상기 인코딩된 신호에 내재하는 원래 신호의 마스킹 임계치에 의존하는 필터 계수들에 관한 정보를 더 포함하고,

상기 검출기는 상기 인코딩된 오디오 신호로부터 상기 필터 계수들에 대한 정보를 추출하도록 동작하고,

상기 포스트-필터는 상기 필터 계수들에 대한 추출된 정보에 기초하여 제어되어 포스트-필터링된 신호가 포스트-필터링 전의 신호보다 원래 신호에 더 유사하게 되도록 조절되는, 오디오 디코더.
청구항 25에 있어서,

상기 디코딩 프로세서는 스피치-코딩 알고리즘을 상기 제1 코딩 알고리즘으로서 사용하는, 오디오 디코더.
청구항 25에 있어서,

상기 디코딩 프로세서는 잔여/여기 디코딩 알고리즘을 상기 제1 코딩 알고리즘으로서 사용하는, 오디오 디코더.
청구항 31에 있어서,

상기 잔여/여기 디코딩 알고리즘은 상기 제1 코딩 알고리즘의 일부분으로서 잔여/여기 인코딩 알고리즘을 포함하고, 상기 잔여/여기 인코딩 알고리즘은 코드-여기된 선형 예측(CELP) 코딩 알고리즘, 멀티-펄스 여기(MPE) 코딩 알고리즘, 또는 정규 펄스 여기(RPE) 코딩 알고리즘을 포함하는, 오디오 디코더.
청구항 25에 있어서,

상기 디코더 프로세서는 필터팽크-기반 또는 변환(transform)-기반 또는 시간-영역-기반 디코딩 알고리즘을 제2 코딩 알고리즘으로서 사용하는, 오디오 디코더.
청구항 25에 있어서,

상기 디코더 프로세서는,

상기 제1 코딩 알고리즘을 상기 인코딩된 오디오 신호에 적용하는 제1 코딩 커널,

제2 코딩 알고리즘을 상기 인코딩된 오디오 신호에 적용하는 제2 코딩 커널을 포함하고,

상기 양 코딩 커널들은 결합기에 연결된 출력을 각각 포함하고, 상기 결합기는 상기 포스트-필터의 입력에 연결된 출력을 가지고, 선택된 코딩 알고리즘에 의해 출력된 디코딩된 시간 부분만이 상기 결합기 및 상기 포스트-필터로 포워딩되거나, 또는 상기 오디오 신호의 동일한 시간 부분의 다른 파트들이 다른 코딩 커널들에 의해 처리되어 상기 결합기가 상기 다른 부분들의 디코딩된 표현들을 결합하도록, 상기 코딩 커널들이 제어되는, 오디오 디코더.
청구항 25에 있어서,

상기 디코더 프로세서는, 상기 제2 코딩 알고리즘을 적용할 때, 평평한 스펙트럴 분포를 가지는 양자화 노이즈를 보이는 양자화 특성을 가지는 양자화기를 이용해 양자화된 오디오 신호를 역양자화하도록 동작하는 오디오 디코더.
청구항 25에 있어서,

상기 디코딩 프로세서는, 상기 제2 코딩 알고리즘을 적용할 때, 양자화된 시간-영역 샘플들, 양자화된 서브밴드 샘플들, 양자화된 주파수 계수들, 또는 양자화된 잔여 샘플들을 역양자화하도록 동작하는, 오디오 디코더.
청구항 25에 있어서,

상기 검출기는 시변 포스트-필터 제어 신호를 제공하여, 와핑된 필터 출력 신호가 작은 와핑 또는 비-와핑 특성을 가지는 포스트-필터의 필터 출력 신호와 비교해, 포스트-필터의 큰 와핑 특성에 대해 낮은 주파수 범위에서 증가된 주파수 해상도 및 높은 주파수 범위에서 감소된 주파수 해상도를 가지도록 하는, 오디오 디코더.
청구항 25에 있어서,

상기 와핑 특성이 적어도 두 개의 시간-영역 샘플들을 가지는 페이딩 시간 구간에 걸쳐 두 와핑 상태들 사이에서 페이딩되도록, 상기 포스트-필터를 제어하는 보간기(interpolator)를 더 포함하는 오디오 디코더.
청구항 25에 있어서,

상기 포스트-필터는 와핑된 FIR 또는 와핑된 IIR 구조를 가지는 디지털 필터이고, 상기 구조는 지연 소자들을 포함하되, 지연 소자는 상기 지연 소자가 1차 또는 더 높은 차수의 올-패스 필터 특성을 가지도록 형성되는, 오디오 디코더.
청구항 39에 있어서,

상기 올-패스 필터 특성은 아래의 필터 특성에 기초하고,

여기서, z^-1은 시간-이산 영역에서의 지연을 나타내고, λ은 "1"에 더 가까운 와핑 팩터 크기에 대해 더 큰 와핑 특성을 나타내고 "0"에 더 가까운 와핑 팩터의 크기에 대해 더 작은 와핑 특성을 나타내는 와핑 특성인, 오디오 디코더.
청구항 39에 있어서,

상기 와핑된 FIR 또는 와핑된 IIR 구조는, 각 가중 소자가 관련 가중 팩터를 가지는 가중 소자들을 더 포함하고,

상기 가중 팩터들은 오디오 인코더의 프리-필터에 대한 필터 계수들에 의해 결정되고, 상기 필터 계수들은 LPC 분석 또는 합성 필터 계수들, 또는 마스킹-임계치 결정된 분석 또는 합성 필터 계수들을 포함하는 오디오 디코더.
청구항 25에 있어서,

상기 포스트-필터는, 제1 디코딩된 시간 부분이 작은 와핑 또는 비-와핑 특성을 이용해 필터링되고, 제2 디코딩된 시간 부분이 큰 와핑 특성을 사용해 필터링되도록 제어되는, 오디오 디코더.
특정 신호 패턴에 적응된 제1 코딩 알고리즘에 따라 인코딩된 제1-시간 부분을 가지고, 일반적인 오디오 신호를 인코딩하도록 적응된 다른 제2 코딩 알고리즘에 따라 인코딩된 제2 시간 부분을 가지며, 부가 정보로서, 인코딩된 오디오 신호의 제1 또는 제2 부분에 내재하는 와핑 강도를 나타내는 와핑 팩터, 또는 오디오 신호를 인코딩하는 데 사용되는 프리-필터를 나타내거나 또는 오디오 신호를 디코딩할 때 사용될 포스트-필터를 나타내는 필터 계수 정보를 가지는, 인코딩된 오디오 신호를 저장한 디지털 저장 매체.
시변 제어 신호에 응하여 제어 가능한 가변 와핑 특성을 가지는 프리-필터를 사용해 프리-필터링된 오디오 신호를 생성하는 단계로서, 상기 제어 신호는 작은 와핑 또는 비-와핑 특성 또는 큰 와핑 특성을 표시하는, 상기 단계;

상기 오디오 신호에 의존하는 시변 제어 신호를 제공하는 단계; 및

인코딩된 오디오 신호를 획득하기 위해 상기 프리-필터링된 오디오 신호를 처리하는 단계로서, 특정 신호 패턴에 적응된 제1 인코딩 알고리즘에 따라, 또는 일반적인 오디오 신호를 인코딩하도록 적응된 제2 다른 인코딩 알고리즘에 따라 상기 프리-필터링된 오디오 신호를 처리하고, 상기 처리하는 단계는, 큰 와핑 특성을 이용해 필터링된 오디오 신호 부분은 상기 제2 인코딩 알고리즘을 사용해 처리되고 작은 와핑 특성 또는 비 와핑 특성을 이용해 필터링된 오디오 신호 부분은 상기 제1 인코딩 알고리즘을 이용해 처리되도록 수행되는, 상기 단계를 포함하는 오디오 신호 인코딩 방법.
인코딩된 오디오 신호를 디코딩하는 방법으로서, 상기 인코딩된 오디오 신호는, 특정 신호 패턴에 적응된 제1 코딩 알고리즘에 따라 인코딩된 제1 부분을 가지고, 일반적인 오디오 신호를 인코딩하도록 적응된 다른 제2 코딩 알고리즘에 따라 인코딩된 제2 부분을 가지는, 인코딩된 오디오 신호의 디코딩 방법에 있어서,

상기 제1 부분 또는 제2 부분에 내재하는 코딩 알고리즘을 검출하는 단계;

상기 검출 단계에 응하여, 제1 디코딩된 시간 부분을 획득하기 위해 상기 제1 코딩 알고리즘을 이용해 상기 제1 부분을 디코딩하고, 제2 디코딩된 시간 부분을 획득하기 위해 상기 제2 코딩 알고리즘을 이용해 상기 제2 부분을 디코당하는 단계; 및

작은 와핑 또는 비-와핑 특성을 가지는 제1 상태 및 큰 와핑 특성을 가지는 제2 상태 사이에서 제어 가능한 가변 와핑 특성을 이용해 포스트-필터링하는 단계를 포함하는 인코딩된 오디오 신호의 디코딩 방법.
오디오 신호를 처리하는 오디오 프로세서로서,

시변 제어 신호에 응하여 제어 가능한 가변 와핑 특성을 가지고, 필터링된 오디오 신호를 생성하는 필터로서, 상기 제어 신호는 작은 와핑 또는 비-와핑 특성 또는 큰 와핑 특성을 나타내고, 상기 필터는 제어 신호에 따라, 심리음향적으로 다소 중요한 부분들을 증폭 또는 감쇄(damp)하도록 필터링하기 위한 프리-필터 또는 포스트-필터로서 구현되거나, 또는 LPC 분석 또는 합성 필터로서 구현되는 선형 필터인, 상기 필터; 및

상기 오디오 신호에 의존하는 시변 제어 신호를 제공하는 제어기를 포함하는, 오디오 프로세서.
청구항 46에 있어서,

상기 선형 필터는 저역 통과 필터인, 오디오 프로세서.
오디오 신호를 처리하는 방법으로서,

시변 제어 신호에 응하여 제어가능한 가변 와핑 특성을 가지는 필터를 이용해 필터링된 오디오 신호를 생성하는 단계로서, 상기 제어 신호는 작은 와핑 또는 비-와핑 특성 또는 큰 와핑 특성을 나타내고, 상기 필터는 제어 신호에 따라, 심리음향적으로 다소 중요한 부분들을 증폭 또는 감쇄하도록 필터링하기 위한 프리-필터 또는 포스트-필터로서 구현되거나, 또는 LPC 분석 또는 합성 필터로서 구현되는 선형 필터인, 상기 단계; 및

상기 오디오 신호에 의존하는 시변 제어 신호를 제공하는 단계를 포함하는 오디오 신호의 처리 방법.
컴퓨터 상에서 실행될 때, 청구항 44, 45 또는 48의 방법을 수행하는 프로그램 코드를 가지는 컴퓨터 프로그램을 저장한 디지털 저장 매체.