KR101376099B1 - 적응적 고주파수 대역 복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 오디오 신호를 부호화/복호화하는 방법 및 장치에 관한 것으로서, 기 설정된 주파수 보다 작은 영역에 마련된 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 신호를 시간 도메인 또는 주파수 도메인에서 적응적으로 부호화하거나 복호화함으로써 적은 비트를 이용하여 오디오 신호를 부호화하거나 복호화함에도 불구하고 고주파수 영역에 해당하는 신호의 음질을 저하시키지 않으므로 코딩 효율을 극대화할 수 있다.

Description

적응적 고주파수 대역 복호화 방법 및 장치{Method and apparatus for decoding adaptive high frequency band}

본 발명은 음성 신호 또는 음악 신호와 같은 오디오 신호를 부호화하거나 복호화하는 방법 및 장치에 관한 것으로, 보다 상세하게는 저주파수 영역에 마련된 신호 또는 스펙트럼을 이용하여 고주파수 영역에 마련된 신호를 부호화하거나 복호화하는 방법 및 장치에 관한 것이다.

고주파수 영역에 해당하는 신호는 저주파수 영역에 해당하는 신호에 비하여 인간이 소리로서 인식하는 데 중요성이 떨어지는 것이 일반적이다. 그러므로 오디오 신호를 부호화함에 있어서 가용한 비트에 대한 제약이 있어 코딩의 효율을 높여야 할 경우 저주파수 영역에 해당하는 신호에는 많은 비트를 할당하여 부호화하지만 이에 비하여 고주파수 영역에 해당하는 신호에는 적은 비트를 할당하여 부호화한다.

그러므로 고주파수 영역에 해당하는 신호를 부호화함에 있어서 적은 비트를 이용하고도 인간이 인식하는 음질을 최대한 향상시킬 수 있는 방법 및 장치가 요구된다.

본 발명이 이루고자 하는 기술적 과제는, 기 설정된 주파수 보다 작은 영역에 마련된 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 신호를 시간 도메인 또는 주파수 도메인에서 적응적으로 부호화하거나 복호화하는 방법 및 장치를 제공하는 것이다.

상기의 과제를 이루기 위한 본 발명에 의한 적응적 고주파수영역 복호화 장치는, 기 설정된 주파수 보다 큰 영역인 고주파수 영역에 마련된 각 주파수 밴드가 부호화된 도메인을 판단하는 도메인 판단부, 상기 시간 도메인으로 부호화된 것으로 판단된 주파수 밴드(들)를 기 설정된 주파수 보다 작은 저주파수 영역에 마련된 여기 신호를 이용하여 복호화하는 시간도메인 복호화부, 및 상기 주파수 도메인으로 부호화된 것으로 판단된 주파수 밴드(들)를 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 복호화하는 주파수도메인 복호화부를 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위한 본 발명에 의한 적응적 고주파수영역 복호화 장치는, 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 스펙트럼 가운데 기 설정된 주파수 보다 큰 영역인 고주파수 영역을 복호화하는 데 이용할 주파수 밴드(들)에 대한 정보를 이용하여 상기 고주파수 영역에 노이즈를 생성하는 노이즈 생성부, 및 상기 고주파수 영역에 마련된 고주파수 스펙트럼의 포락선을 복호화하여 상기 생성된 노이즈의 포락선을 조절하는 포락선 조절부를 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위한 본 발명에 의한 적응적 고주파수영역 복호화 장치는, 기 설정된 주파수 보다 큰 영역인 고주파수 영역이 부호화된 도메인을 판단하는 도메인 판단부, 상기 도메인 판단부에서 상기 고주파수 영역이 시간 도메인에서 부호화된 것으로 판단되면, 상기 고주파수 영역에 마련된 고주파수 신호를 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 신호를 이용하여 복호화하는 시간도메인 복호화부, 및 상기 도메인 판단부에서 상기 고주파수 영역이 주파수 도메인에서 부호화된 것으로 판단되면, 상기 고주파수 영역에 마련된 고주파수 스펙트럼을 상기 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 복호화하는 주파수도메인 복호화부를 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위한 본 발명에 의한 적응적 고주파수영역 복호화 방법은, 기 설정된 주파수 보다 큰 영역인 고주파수 영역에 마련된 각 주파수 밴드가 부호화된 도메인을 판단하는 단계, 상기 시간 도메인으로 부호화된 것으로 판단된 주파수 밴드(들)를 기 설정된 주파수 보다 작은 저주파수 영역에 마련된 여기 신호를 이용하여 복호화하는 단계, 상기 주파수 도메인으로 부호화된 것으로 판단된 주파수 밴드(들)를 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 복호화하는 단계를 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위한 본 발명에 의한 적응적 고주파수영역 복호화 방법은, 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 스펙트럼 가운데 기 설정된 주파수 보다 큰 영역인 고주파수 영역을 복호화하는 데 이용할 주파수 밴드(들)에 대한 정보를 이용하여 상기 고주파수 영역에 노이즈를 생성하는 단계, 및 상기 고주파수 영역에 마련된 고주파수 스펙트럼의 포락선을 복호화하여 상기 생성된 노이즈의 포락선을 조절하는 단계를 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위한 본 발명에 의한 적응적 고주파수영역 복호화 방법은, 기 설정된 주파수 보다 큰 영역인 고주파수 영역이 부호화된 도메인을 판단하는 단계, 상기 판단하는 단계에서 상기 고주파수 영역이 시간 도메인에서 부호화된 것으로 판단되면, 상기 고주파수 영역에 마련된 고주파수 신호를 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 신호를 이용하여 복호화하는 단계, 및 상기 판단하는 단계에서 상기 고주파수 영역이 주파수 도메인에서 부호화된 것으로 판단되면, 상기 고주파수 영역에 마련된 고주파수 스펙트럼을 상기 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 복호화하는 단계를 포함하는 것을 특징으로 한다.

상기의 과제를 이루기 위한 본 발명에 의한 기록 매체는, 기 설정된 주파수 보다 큰 영역인 고주파수 영역에 마련된 각 주파수 밴드가 부호화된 도메인을 판단하는 단계, 상기 시간 도메인으로 부호화된 것으로 판단된 주파수 밴드(들)를 기 설정된 주파수 보다 작은 저주파수 영역에 마련된 여기 신호를 이용하여 복호화하는 단계, 상기 주파수 도메인으로 부호화된 것으로 판단된 주파수 밴드(들)를 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 복호화하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다.

상기의 과제를 이루기 위한 본 발명에 의한 기록 매체는, 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 스펙트럼 가운데 기 설정된 주파수 보다 큰 영역인 고주파수 영역을 복호화하는 데 이용할 주파수 밴드(들)에 대한 정보를 이용하여 상기 고주파수 영역에 노이즈를 생성하는 단계, 및 상기 고주파수 영역에 마련된 고주파수 스펙트럼의 포락선을 복호화하여 상기 생성된 노이즈의 포락선을 조절하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다.

상기의 과제를 이루기 위한 본 발명에 의한 기록 매체는, 기 설정된 주파수 보다 큰 영역인 고주파수 영역이 부호화된 도메인을 판단하는 단계, 상기 판단하는 단계에서 상기 고주파수 영역이 시간 도메인에서 부호화된 것으로 판단되면, 상기 고주파수 영역에 마련된 고주파수 신호를 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 신호를 이용하여 복호화하는 단계, 및 상기 판단하는 단계에서 상기 고주파수 영역이 주파수 도메인에서 부호화된 것으로 판단되면, 상기 고주파수 영역에 마련된 고주파수 스펙트럼을 상기 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 복호화하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있다.

본 발명에 의한 적응적 고주파수영역 부호화 방법 및 장치에 의하면, 기 설정된 주파수 보다 작은 영역에 마련된 신호를 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 신호를 시간 도메인 또는 주파수 도메인에서 적응적으로 부호화하거나 복호화한다.

이렇게 함으로써 적은 비트를 이용하여 오디오 신호를 부호화하거나 복호화함에도 불구하고 고주파수 영역에 해당하는 신호의 음질을 저하시키지 않으므로 코딩 효율을 극대화할 수 있는 효과를 거둘 수 있다.

도 1a는 본 발명에 의한 적응적 고주파수영역 부호화 장치의 일 실시예를 블록도로 도시한 것이다.
도 1b는 본 발명에 의한 적응적 고주파수영역 부호화 장치에 포함된 고주파수영역 부호화부(160)의 일 실시예를 블록도로 도시한 것이다.
도 2a는 본 발명에 의한 적응적 고주파수영역 부호화 장치의 일 실시예를 블록도로 도시한 것이다.
도 2b은 본 발명에 의한 적응적 고주파수영역 부호화 장치에 포함된 고주파수영역 부호화부(250)의 일 실시예를 블록도로 도시한 것이다.
도 3a는 본 발명에 의한 적응적 고주파수영역 부호화 장치의 일 실시예를 블록도로 도시한 것이다.
도 3b는 본 발명에 의한 적응적 고주파수영역 부호화 장치에 포함된 고주파수영역 부호화부(360)의 일 실시예를 블록도로 도시한 것이다.
도 4a은 본 발명에 의한 적응적 고주파수영역 복호화 장치의 일 실시예를 블록도로 도시한 것이다.
도 4b은 본 발명에 의한 적응적 고주파수영역 복호화 장치에 포함된 고주파수영역 복호화부(440)의 일 실시예를 블록도로 도시한 것이다.
도 5a은 본 발명에 의한 적응적 고주파수영역 복호화 장치의 일 실시예를 블록도로 도시한 것이다.
도 5b은 본 발명에 의한 적응적 고주파수영역 복호화 장치에 포함된 고주파수영역 복호화부(525)의 일 실시예를 블록도로 도시한 것이다.
도 6a은 본 발명에 의한 적응적 고주파수영역 복호화 장치의 일 실시예를 블록도로 도시한 것이다.
도 6b은 본 발명에 의한 적응적 고주파수영역 복호화 장치의 일 실시예를 블록도로 도시한 것이다.
도 7a는 LPC 계수에 의하여 복원된 포락선의 일 실시예를 그래프로 도시한 것이다.
도 7b는 저주파수 신호와 LPC 계수에 의하여 복원된 포락선과 여기 신호를 승산한 일 실시예를 그래프로 도시한 것이다.
도 7c는 저주파수 신호와 고주파수 신호 사이에 존재하는 미스매칭을 보상한 일 실시예를 그래프로 도시한 것이다.
도 8a는 저주파수 영역에 마련된 여기 스펙트럼의 일 실시예를 그래프로 도시한 것이다.
도 8b는 저주파수 영역에 마련된 여기 스펙트럼을 고주파수 영역에 패치한 일 실시예를 그래프로 도시한 것이다.
도 8c는 고주파수 스펙트럼의 포락선을 조절한 일 실시예를 그래프로 도시한 것이다.
도 9a는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 9b는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 포함된 제960단계에 대한 일 실시예를 흐름도로 도시한 것이다.
도 10a는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 10b는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 포함된제1050단계에 대한 일 실시예를 흐름도로 도시한 것이다.
도 11a는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 11b는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 포함된 제1160단계에 대한 일 실시예를 흐름도로 도시한 것이다.
도 12a는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 12b는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 포함된 제1240단계에 대한 일 실시예를 흐름도로 도시한 것이다.
도 13a는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 13b는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 포함된 제1325단계에 대한 일 실시예를 흐름도로 도시한 것이다.
도 14a는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 14b는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 포함된 제1435단계에 대한 일 실시예를 흐름도로 도시한 것이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 적응적 시간/주파수 도메인 부호화 방법 및 장치에 대해 상세히 설명한다.

도 1a는 본 발명에 의한 적응적 고주파수영역 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 적응적 고주파수영역 부호화 장치는 제1 변환부(100), 도메인 선택부(105), 선형 예측부(110), 장구간 예측부(115), 여기신호 부호화부(120), 제2 변환부(125), 양자화부(130), 역양자화부(135), 제2 역변환부(140), 저장부(145), 여기신호 복호화부(150), 여기스펙트럼 생성부(155), 고주파수영역 부호화부(160) 및 다중화부(165)를 포함하여 이루어진다.

제1 변환부(100)는 입력단자 IN을 통하여 입력된 신호를 소정의 주파수 밴드 별로 시간 도메인으로 나타내도록 변환한다. 제1 변환부(100)에서 변환하는 방식으로 QMF(Quadrature Mirror Filterbank) 및 LOT(lapped orthogonal transform) 등이 있다.

그러나 제1 변환부(100)는 FV-MLT(Frequency Varying Modulated Lapped Transform)와 같이 입력단자 IN을 통하여 입력된 신호를 소정의 주파수 밴드 별로 시간 도메인 또는 주파수 도메인으로 나타내도록 변환함으로써 제2 변환부(125)를 구비하지 않고 도메인 선택부(105)에서 선택된 도메인으로 제1 변환부(100)에서 변환하여 실시할 수도 있다.

도메인 선택부(105)는 제1 변환부(100)에서 변환된 각 주파수 밴드의 신호들 가운데 기 설정된 주파수 보다 작은 영역에 포함되는 주파수 밴드의 신호들을 기 설정된 기준에 따라 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 선택한다. 또한, 도메인 선택부(105)는 각 주파수 밴드가 부호화된 도메인에 대한 정보를 부호화하여 다중화부(165)로 출력한다.

여기서, 기 설정된 기준의 예로 선형 예측 부호화 이득값, 인접한 프레임의 선형 예측 필터 간의 스펙트럴 변화, 피치 지연 및 장구간 예측 이득값 등이 있다.

선형 예측부(110)는 도메인 선택부(105)에서 시간 도메인에서 부호화하는 것으로 결정된 주파수 밴드(들)에 마련된 신호(들)에 대해 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출하고 부호화하며, 도메인 선택부(105)에서 시간 도메인에서 부호화하는 것으로 결정된 주파수 밴드(들)에 마련된 신호(들)에서 단구간 상관을 제거하여 제1 여기 신호를 추출한다.

장구간 예측부(115)는 선형 예측부(110)에서 추출된 제1 여기 신호에 대하여 장구간 예측(long-term prediction)을 수행하고, 제2 여기 신호를 추출한다. 또한, 장구간 예측부(115)는 장구간 예측이 수행된 결과를 부호화하여 다중화부(165)로 출력한다.

장구간 예측부(115)에서 수행하는 장구간 예측의 예로 주기성(periodicity)의 연속성(continuity) 정도, 주파수 스펙트럼의 기울기(frequency spectral tilt) 정도 및 프레임 에너지 정도 등이 있다. 여기서, 주기성의 연속성은 피치 래그(pitch lag)의 변화가 적고 피치 상관도(pitch correlation)가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다. 또한, 주기성의 연속성은 첫번째 포먼트 주파수(1st formant frequency)가 매우 낮고 피치 상관도가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다.

여기신호 부호화부(120)는 장구간 예측부(115)에서 추출된 제2 여기 신호를 부호화한다.

제2 변환부(125)는 도메인 선택부(105)에서 주파수 도메인에서 부호화하는 것으로 결정된 주파수 밴드(들)에 마련된 신호(들)를 시간 도메인에서 주파수 도메인으로 변환하여 스펙트럼(들)을 생성한다.

양자화부(130)는 제2 변환부(125)에서 생성된 스펙트럼(들)을 양자화한다. 양자화부(130)에서 양자화된 스펙트럼(들)은 다중화부(165)로 출력된다.

역양자화부(135)는 양자화부(130)에서 양자화된 스펙트럼(들)을 역양자화한다.

제2 역변환부(140)는 제2 변환부(125)에서 수행하는 변환의 역과정으로 역양자화부(135)에서 역양자화된 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환한다.

저장부(145)는 제2 역변환부(140)에서 역변환된 신호를 저장한다. 저장부(145)에서 역변환된 신호를 저장하는 이유는 다음 프레임 가운데 시간 도메인으로 부호화하는 주파수 밴드에 마련된 신호에 대하여 장구간 예측부(115)에서 장구간 예측을 수행하는데 이용하기 위하여 버퍼링(buffering)한다.

여기신호 복호화부(150)는 여기신호 부호화부(120)에서 부호화된 제2 여기 신호를 복호화한다.

여기스펙트럼 생성부(155)는 역양자화부(135)에서 역양자화된 스펙트럼(들)을 화이트닝(whitening) 처리하여 여기 스펙트럼(들)을 생성한다.

고주파수영역 부호화부(160)는 기 설정된 주파수 보다 작은 영역에 해당하는 주파수 밴드(들)에 마련된 신호(들)를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드(들)의 신호(들)를 시간 도메인 또는 주파수 도메인에서 적응적으로 부호화한다. 고주파수영역 부호화부(160)에서 이용하는 신호(들)는 시간 도메인에서 부호화할 경우 여기신호 복호화부(150)에서 복호화된 제2 여기 신호이고, 주파수 도메인에서 부호화할 경우 여기스펙트럼 생성부(155)에서 생성된 여기 스펙트럼이다.

다중화부(165)는 도메인 선택부(105)에서 부호화된 각 주파수 밴드가 부호화된 도메인에 대한 정보, 선형 예측부(110)에서 부호화된 LPC 계수, 장구간 예측부(115)에서 부호화된 장구간 예측이 수행된 결과, 여기신호 부호화부(120)에서 부호화된 제2 여기신호, 양자화부(130)에서 양자화된 스펙트럼 및 고주파수영역 부호화부(160)에서 부호화된 결과를 포함하여 다중화함으로써 비트스트림을 생성하고, 출력단자 OUT을 통해 출력한다.

도 1b는 본 발명에 의한 적응적 고주파수영역 부호화 장치에 포함된 고주파수영역 부호화부(160)의 일 실시예를 블록도로 도시한 것으로서, 상기 고주파수영역 부호화부(160)는 도메인 선택부(170), 선형 예측부(175), 승산기(180), 이득값 부호화부(185), 노이즈정보 부호화부(190) 및 포락선정보 부호화부(195)를 포함하여 이루어진다.

도메인 선택부(170)는 기 설정된 주파수 보다 큰 영역에 해당하는 각 주파수 밴드에 마련된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 선택한다.

도메인 선택부(170)에서 부호화할 도메인을 선택함에 있어서, 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드를 부호화하는 데 이용되는 기 설정된 주파수 보다 작은 영역에 해당하는 주파수 밴드가 시간 도메인으로 부호화되었는지 주파수 도메인으로 부호화되었는지 여부를 기준으로 도메인을 선택할 수 있다. 만일 기 설정된 주파수 보다 큰 영역에 해당하는 소정의 주파수 밴드를 부호화하는 데 이용되는 기 설정된 주파수 보다 작은 영역에 해당하는 소정의 주파수 밴드가 시간 도메인으로 부호화된 경우 해당하는 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드는 시간 도메인에서 부호화하는 것으로 선택하고, 만일 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드를 부호화하는 데 이용되는 기 설정된 주파수 보다 작은 영역에 해당하는 주파수 밴드가 주파수 도메인으로 부호화된 경우 해당하는 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드는 주파수 도메인에서 부호화하는 것으로 선택한다.

선형 예측부(175)는 도메인 선택부(170)에서 시간 도메인에서 부호화하는 것으로 선택된 주파수 밴드(들)에 마련된 신호(들)에 대하여 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출한다. 선형 예측부(175)에서 추출된 LPC 계수는 부호화되어 출력단자 OUT 1을 통해 도 1a의 다중화부(165)로 출력되고, 복호화기에서 도 7a에 도시된 일 예와 같은 포락선을 복원하는 데 이용된다.

승산부(180)는 입력단자 IN 1을 통해 입력된 도 1a의 여기신호 복호화부(150)에서 복호화된 제2 여기 신호와 선형 예측부(175)에서 추출된 LPC 계수에 의한 포락선을 승산한다. 승산부(180)에서 승산된 신호의 예로 도 7b에 도시된 식별번호 710에 해당하는 신호가 있다.

이득값 부호화부(185)는 승산부(180)에서 승산된 신호가 기 설정된 주파수 보다 작은 영역에 마련된 신호인 저주파수 신호에 대하여 존재하는 미스매칭(mismatching)을 보상해 주는 이득값을 계산하여 부호화한다. 이득값 부호화부(185)에서 계산된 이득값에 의하여 도 7b에 도시된 바와 같이 저주파수 신호인 식별번호 720에 해당하는 신호와 승산부(180)에서 승산된 신호인 식별변호 710에 해당하는 신호의 경계에 존재하는 미스매칭을 복호화기에서 도 7c에 도시된 바와 같이 보상할 수 있다. 또한, 이득값 부호화부(185)에서 부호화된 이득값은 출력단자 OUT 2를 통해 도 1a의 다중화부(165)로 출력한다.

노이즈정보 부호화부(190)는 도메인 선택부(170)에서 주파수 도메인에서 부호화하는 것으로 선택된 주파수 밴드(들)에 노이즈를 생성하는 데 이용할 여기스펙트럼 생성부(155)에서 생성된 여기 스펙트럼의 주파수 밴드(들)을 선택하여 해당 주파수 밴드(들)에 대한 정보를 부호화한다. 노이즈정보 부호화부(190)에서 부호화된 주파수 밴드(들)에 대한 정보는 출력단자 OUT 3을 통해 도 1a의 다중화부(165)로 출력된다.

포락선정보 부호화부(195)는 기 설정된 주파수 보다 큰 영역에 마련된 주파수 밴드(들) 가운데 도메인 선택부(170)에서 주파수 도메인에서 부호화하는 것으로 선택된 주파수 밴드(들)에 마련된 스펙트럼의 포락선 정보를 추출하여 부호화한다. 포락선정보 부호화부(195)에서 부호화된 스펙트럼의 포락선 정보는 출력단자 OUT 4를 통해 도 1a의 다중화부(165)로 출력된다.

도 1a 및 도 1b의 실시예와 같이 부호화할 도메인을 먼저 결정하고 결정된 도메인에서 부호화하는 개-루프(open-loop) 방식에 한정하여 실시해야 하는 것은 아니다. 주파수 도메인과 시간 도메인 모두에 대하여 부호화를 수행한 후 부호화된 결과를 비교하여 더 나은 도메인을 선택하는 폐-루프(close-loop) 방식으로도 실시할 수 있다.

도 2a는 본 발명에 의한 적응적 고주파수영역 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 적응적 고주파수영역 부호화 장치는 영역 분할부(200), 선형 예측부(205), 변환부(210), 양자화부(215), 역양자화부(220), 역변환부(225), 저장부(230), 신호 분석부(235), 장구간 예측부(240) 및 스위칭부(245), 고주파수영역 부호화부(250) 및 다중화부(255)를 포함하여 이루어진다.

영역 분할부(200)는 입력단자 IN을 통해 입력된 신호를 기 설정된 주파수 보다 작은 영역에 마련된 저주파수 신호와 기 설정된 주파수 보다 큰 영역에 마련된 고주파수 신호로 분할한다.

선형 예측부(205)는 영역 분할부(200)에서 분할된 저주파수 신호에 대해 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출하고, 영역 분할부(200)에서 분할된 저주파수 신호에서 단구간 상관을 제거하여 제1 여기 신호를 추출한다. 또한, 선형 예측부(205)는 추출된 LPC 계수를 부호화하여 다중화부(255)로 출력한다.

변환부(210)는 선형 예측부(205)에서 추출된 제1 여기 신호를 시간 도메인에서 주파수 도메인으로 변환하여 여기 스펙트럼을 생성한다.

양자화부(215)는 변환부(210)에서 생성된 여기 스펙트럼을 양자화한다. 양자화부(215)에서 양자화된 여기 스펙트럼은 다중화부(255)로 출력된다.

역양자화부(220)는 양자화부(215)에서 양자화된 여기 스펙트럼을 역양자화한다.

역변환부(225)는 변환부(210)에서 수행하는 변환의 역과정으로서 역양자화부(220)에서 역양자화된 여기 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환하여 제2 여기 신호를 생성한다.

저장부(230)는 역변환부(225)에서 역변환된 제2 여기 신호를 저장한다. 저장부(230)에서 제2 여기 신호를 저장하는 이유는 다음 프레임에 대하여 부호화를 수행함에 있어서 시간 도메인으로 부호화하는 주파수 밴드(들)에 마련된 신호에 대하여 장구간 예측부(240)에서 장구간 예측을 수행하는데 이용하기 위하여 버퍼링(buffering)한다.

신호 분석부(235)는 선형 예측부(205)에서 추출된 제1 여기 신호를 분석하여 저주파수 신호의 특성에 따라 장구간 예측부(240)에서 장구간 예측을 수행할지 여부를 결정한다. 여기서, 신호 분석부(235)에서 장구간 예측을 수행할지 여부를 결정하는 기준이 되는 저주파수 신호의 특성에 대한 예로 선형 예측 부호화 이득값, 인접한 프레임의 선형 예측 필터간의 스펙트럴 변화, 피치 지연 및 장구간 예측 이득값 등이 있다.

장구간 예측부(240)는 신호 분석부(235)에서 장구간 예측을 수행하는 것으로 결정된 경우 선형 예측부(205)에서 추출된 제1 여기 신호에 대하여 장구간 예측(long-term prediction)을 수행하고, 제3 여기 신호를 추출한다.

장구간 예측부(240)에서 수행하는 장구간 예측의 예로 주기성(periodicity)의 연속성(continuity) 정도, 주파수 스펙트럼의 기울기(frequency spectral tilt) 정도 및 프레임 에너지 정도 등이 있다. 여기서, 주기성의 연속성은 피치 래그(pitch lag)의 변화가 적고 피치 상관도(pitch correlation)가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다. 또한, 주기성의 연속성은 첫번째 포먼트 주파수(1st formant frequency)가 매우 낮고 피치 상관도가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다.

스위칭부(245)는 신호 분석부(235)에서 결정된 장구간 예측을 수행할지 여부에 따라 장구간 예측부(240)에서 추출된 제2 여기 신호를 스위칭한다.

고주파수영역 부호화부(160)는 역양자화부(220)에서 역양자화된 기 설정된 주파수 보다 작은 영역에 마련된 여기 스펙트럼을 이용하여 주파수 도메인에서 고주파수 신호를 부호화한다.

다중화부(255)는 선형 예측부(205)에서 부호화된 LPC 계수, 양자화부(215)에서 양자화된 여기 스펙트럼, 장구간 예측부(240)에서 수행된 장구간 예측의 결과 및 고주파수영역 부호화부(250)에서 부호화된 결과를 포함하여 비트스트림을 생성함으로써 다중화하여 출력단자 OUT을 통해 출력한다.

도 2b은 본 발명에 의한 적응적 고주파수영역 부호화 장치에 포함된 고주파수영역 부호화부(250)의 일 실시예를 블록도로 도시한 것으로서, 상기 고주파수영역 부호화부(250)는 노이즈정보 부호화부(260) 및 포락선정보 부호화부(265)를 포함하여 이루어진다.

노이즈정보 부호화부(260)는 입력단자 IN 1에서 입력받은 도 2a의 역양자화부(220)에서 역양자화된 여기 스펙트럼 가운데 기 설정된 주파수 보다 큰 고주파수 스펙트럼을 부호화하는데 이용할 주파수 밴드(들)에 대한 정보를 부호화한다. 노이즈정보 부호화부(260)에서 부호화된 고주파수 스펙트럼을 부호화하는 데 이용할 주파수 밴드(들)에 대한 정보는 출력단자 OUT 1을 통해 도 2a의 다중화부(255)로 출력한다.

포락선정보 부호화부(265)는 입력단자 IN 2를 통해 고주파수 스펙트럼을 입력받아 고주파수 스펙트럼에 대한 포락선을 추출하고, 추출된 포락선 정보를 부호화한다. 포락선 정보의 예로 소정의 주파수 밴드 단위로 계산된 에너지값이 있다. 포락선정보 부호화부(265)에서 부호화된 포락선 정보를 출력단자 OUT 2를 통해 도 2b의 다중화부(255)로 출력한다.

도 3a는 본 발명에 의한 적응적 고주파수영역 부호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 적응적 고주파수영역 부호화 장치는 영역 분할부(300), 선형 예측부(305), 도메인 선택부(310), 장구간 예측부(315), 여기신호 부호화부(320), 변환부(325), 양자화부(330), 역양자화부(335), 역변환부(340), 저장부(345), 여기신호 복호화부(350), 고주파수영역 부호화부(360) 및 다중화부(365)를 포함하여 이루어진다.

영역 분할부(300)는 입력단자 IN을 통해 입력된 신호를 기 설정된 주파수 보다 작은 영역에 마련된 신호인 저주파수 신호와 기 설정된 주파수 보다 큰 영역에 마련된 신호인 고주파수 신호로 분할한다.

선형 예측부(305)는 영역 분할부(300)에서 분할된 저주파수 신호에 대해 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출하고, 영역 분할부(300)에서 분할된 저주파수 신호에서 단구간 상관을 제거하여 제1 여기 신호를 추출한다. 선형 예측부(305)에서 추출된 LPC 계수는 부호화되어 다중화부(365)로 출력된다.

도메인 선택부(310)는 선형 예측부(305)에서 추출된 제1 여기 신호를 기 설정된 기준에 따라 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 선택한다. 여기서, 기 설정된 기준의 예로 선형 예측 부호화 이득값, 인접한 프레임의 선형 예측 필터 간의 스펙트럴 변화, 피치 지연 및 장구간 예측 이득값 등이 있다.

만일 도메인 선택부(310)에서 제1 여기 신호를 시간 도메인에서 부호화하는 것으로 선택되면, 장구간 예측부(315)는 선형 예측부(305)에서 추출된 제1 여기 신호에 대하여 장구간 예측(long-term prediction)을 수행하고 제2 여기 신호를 추출한다.

장구간 예측부(315)에서 수행하는 장구간 예측의 예로 주기성(periodicity)의 연속성(continuity) 정도, 주파수 스펙트럼의 기울기(frequency spectral tilt) 정도 및 프레임 에너지 정도 등이 있다. 여기서, 주기성의 연속성은 피치 래그(pitch lag)의 변화가 적고 피치 상관도(pitch correlation)가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다. 또한, 주기성의 연속성은 첫번째 포먼트 주파수(1st formant frequency)가 매우 낮고 피치 상관도가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다.

여기신호 부호화부(320)는 장구간 예측부(315)에서 추출된 제2 여기 신호를 부호화한다.

만일 도메인 선택부(310)에서 제1 여기 신호를 주파수 도메인에서 부호화하는 것으로 선택되면, 변환부(325)는 선형 예측부(305)에서 추출된 제1 여기 신호를 시간 도메인에서 주파수 도메인으로 변환하여 여기 스펙트럼을 생성한다.

양자화부(330)는 변환부(325)에서 생성된 여기 스펙트럼을 양자화한다. 양자화부(330)에서 양자화된 여기 스펙트럼은 다중화부(365)로 출력된다.

역양자화부(335)는 양자화부(330)에서 양자화된 여기 스펙트럼을 역양자화한다.

역변환부(340)는 변환부(325)에서 수행하는 변환의 역과정으로서 역양자화부(335)에서 역양자화된 여기 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환한다.

저장부(345)는 역변환부(340)에서 역변환된 제3 여기 신호를 저장한다. 저장부(345)에서 제3 여기 신호를 저장하는 이유는 다음 프레임에 대하여 부호화를 수행함에 있어서 시간 도메인으로 부호화하는 주파수 밴드(들)에 마련된 신호에 대하여 장구간 예측부(315)에서 장구간 예측을 수행하는데 이용하기 위하여 버퍼링(buffering)한다.

여기신호 복호화부(350)는 여기신호 부호화부(320)에서 부호화된 제2 여기 신호를 복호화한다.

고주파수영역 부호화부(360)는 기 설정된 주파수 보다 작은 영역에 해당하는 신호 또는 스펙트럼를 이용하여 시간 도메인 또는 주파수 도메인에서 적응적으로 기 설정된 주파수 보다 큰 영역에 해당하는 신호를 부호화한다. 고주파수영역 부호화부(360)에서 이용하는 신호는 시간 도메인에서 부호화할 경우 여기신호 복호화부(350)에서 복호화된 여기 신호이고, 고주파수영역 부호화부(360)에서 이용하는 스펙트럼은 주파수 도메인에서 부호화할 경우 역양자화부(335)에서 역양자화된 여기 스펙트럼이다.

다중화부(365)는 선형 예측부(305)에서 추출된 LPC 계수, 장구간 예측부(315)에서 수행한 장구간 예측의 결과, 도메인 선택부(310)에서 선택된 저주파수 신호를 부호화한 도메인에 대한 정보, 여기신호 부호화부(320)에서 부호화된 여기 신호, 양자화부(330)에서 양자화된 여기 스펙트럼 및 고주파수영역 부호화부(360)에서 부호화된 결과를 포함하여 다중화함으로써 비트스트림을 생성하고, 출력단자 OUT을 통해 출력한다.

도 3b는 본 발명에 의한 적응적 고주파수영역 부호화 장치에 포함된 고주파수영역 부호화부(360)의 일 실시예를 블록도로 도시한 것으로서, 상기 고주파수영역 부호화부(360)는 도메인 선택부(370), 선형 예측부(375), 승산기(380), 이득값 부호화부(385), 노이즈정보 부호화부(390) 및 포락선정보 부호화부(395)를 포함하여 이루어진다.

도메인 선택부(370)는 입력단자 IN 1를 통해 입력된 도 3a의 도메인 선택부(310)에서 선택된 기 설정된 주파수 보다 작은 영역에 마련된 신호인 저주파수 신호를 부호화하는 도메인에 따라 기 설정된 주파수 보다 큰 영역에 마련된 신호인 고주파수 신호를 부호화할 도메인을 선택한다. 만일 도 3a의 도메인 선택부(310)에서 저주파수 신호를 주파수 도메인에서 부호화하는 것으로 선택되면, 도메인 선택부(370)도 고주파수 신호를 주파수 도메인에서 부호화할 것으로 선택한다. 그리고 만일 도 3a의 도메인 선택부(310)에서 저주파수 신호를 시간 도메인에서 부호화하는 것으로 선택되면, 도메인 선택부(370)도 고주파수 신호를 시간 도메인에서 부호화할 것으로 선택한다.

선형 예측부(375)는 도메인 선택부(370)에서 고주파수 신호를 시간 도메인에서 부호화하는 것으로 선택되면 입력단자 IN 2를 통해 입력받은 고주파수 신호에 대하여 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출한다. 선형 예측부(375)에서 추출된 LPC 계수는 부호화되어 출력단자 OUT 1을 통해 도 3a의 다중화부(365)로 출력되고, 복호화기에서 도 7a에 도시된 포락선을 복원하는 데 이용된다.

승산부(380)는 입력단자 IN 3을 통해 입력받은 도 3a의 여기신호 복호화부(350)에서 복호화된 여기 신호와 선형 예측부(375)에서 추출된 LPC 계수에 의한 고주파수 신호의 포락선을 승산한다. 승산부(380)에서 승산된 신호의 예로 도 7b에 도시된 식별번호 710에 해당하는 신호가 있다.

이득값 부호화부(385)는 승산부(380)에서 승산된 신호가 저주파수 신호에 대하여 존재하는 미스매칭(mismatching)을 보상해 주는 이득값을 계산하여 부호화한다. 도 7b에 도시된 바와 같이 저주파수 신호인 식별번호 720에 해당하는 신호와 승산부(380)에서 승산된 신호인 식별변호 710에 해당하는 신호의 경계에 존재하는 미스매칭을 도 7c에 도시된 바와 같이 보상한다. 그리고 이득값 부호화부(385)에서 부호화된 이득값은 출력단자 OUT 2를 통해 도 3a의 다중화부(365)로 출력한다.

노이즈정보 부호화부(390)는 역양자화부(335)에서 역양자화된 여기 스펙트럼 가운데 복호화기에서 고주파수 스펙트럼을 복호화하는 데 사용할 주파수 밴드(들)을 선택하여 선택된 주파수 밴드(들)에 대한 정보를 부호화한다. 노이즈정보 부호화부(390)에서 부호화된 주파수 밴드(들)에 대한 정보는 출력단자 OUT 3을 통해 출력된다.

포락선정보 부호화부(395)는 고주파수 스펙트럼의 포락선 정보를 추출하여 부호화한다. 여기서, 포락선 정보의 예로 소정의 주파수 밴드 단위로 계산된 에너지값이 있다. 포락선정보 부호화부(395)에서 부호화된 고주파수 스펙트럼의 포락선 정보는 출력단자 OUT 4를 통해 도 3a의 다중화부(365)로 출력된다.

도 3a 및 도 3b의 실시예와 같이 부호화할 도메인을 먼저 결정하고 결정된 도메인에서 부호화하는 개-루프(open-loop) 방식에 한정하여 실시해야 하는 것은 아니다. 주파수 도메인과 시간 도메인 모두에 대하여 부호화를 수행한 후 부호화된 결과를 비교하여 더 나은 도메인을 선택하는 폐-루프(close-loop) 방식으로도 실시할 수 있다.

도 4a은 본 발명에 의한 적응적 고주파수영역 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 적응적 고주파수영역 복호화 장치는 역다중화부(400), 도메인 판단부(405), 여기신호 복호화부(410), 장구간 합성부(415), 선형 합성부(420), 역양자화부(430), 제2 역변환부(433), 여기스펙트럼 생성부(435), 고주파수영역 복호화부(440) 및 제1 역변환부(445)를 포함하여 이루어진다.

역다중화부(400)는 입력단자 IN을 통해 부호화단으로부터 입력받은 비트스트림을 역다중화한다. 역다중화부(400)에서는 부호화기에서 부호화된 각 주파수 밴드가 부호화된 도메인에 대한 정보, 부호화기에서 부호화된 LPC(Linear Predictive Coding) 계수, 부호화기에서 부호화된 장구간 예측이 수행된 결과, 부호화기에서 부호화된 여기 신호, 부호화기에서 양자화된 스펙트럼 및 저주파수 영역에 마련된 신호 또는 스펙트럼을 이용하여 고주파수 신호를 복호화할 수 있는 정보를 포함하여 역다중화한다.

도메인 판단부(405)는 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 주파수 밴드들이 부호화기에서 부호화된 도메인에 대한 정보를 역다중화부(400)로부터 입력받아 각 주파수 밴드가 부호화된 도메인을 판단한다.

여기신호 복호화부(410)는 도메인 판단부(405)에서 시간 도메인에서 부호화된 주파수 밴드(들)로 판단된 주파수 밴드(들)에 마련된 부호화기에서 부호화된 여기 신호를 역다중화부(400)로부터 입력받아 복호화한다.

장구간 합성부(415)는 도메인 판단부(405)에서 시간 도메인에서 부호화된 주파수 밴드(들)로 판단된 주파수 밴드(들)에 대하여 부호화기에서 장구간 예측(long-term prediction)이 수행된 결과를 역다중화부(400)로부터 입력받아 복호화하고, 여기신호 복호화부(410)에서 복호화된 여기 신호에 장구간 예측이 수행된 결과를 합성한다.

선형 합성부(420)는 도메인 판단부(405)에서 시간 도메인에서 부호화된 것으로 판단된 주파수 밴드(들)의 LPC 계수를 역다중화부(400)로부터 입력받아 복호화하고 장구간 합성부(415)에서 합성된 신호에 LPC 계수를 합성한다.

역양자화부(430)는 도메인 판단부(405)에서 주파수 도메인으로 부호화된 것으로 판단된 주파수 밴드(들)에 마련된 스펙트럼(들)을 역다중화부(400)로부터 입력받아 역양자화한다.

제2 역변환부(433)는 도 1a의 제2 변환부(125)에서 수행하는 변환의 역과정으로서 역양자화부(430)에서 역양자화된 스펙트럼(들)을 주파수 도메인에서 시간 도메인으로 역변환한다.

여기스펙트럼 생성부(435)는 역양자화부(430)에서 역양자화된 스펙트럼을 화이트닝(whitening) 처리하여 여기 스펙트럼을 생성한다.

고주파수영역 복호화부(440)는 여기신호 복호화부(410)에서 복호화된 소정 주파수 밴드(들)에 마련된 여기 신호(들) 또는 여기스펙트럼 생성부(435)에서 복호화된 소정 주파수 밴드(들)에 마련된 여기 스펙트럼(들)을 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 신호인 고주파수 신호를 복호화한다.

제1 역변환부(445)는 도 1a의 제1 변환부(100)에서 수행하는 변환의 역과정으로서 신호 합성부(425)에서 합성된 소정 주파수 밴드(들)에 마련된 신호 또는 제2 역변환부(433)에서 역변환된 소정 주파수 밴드(들)에 마련된 신호 및 고주파수영역 복호화부(440)에서 복호화된 고주파수 신호를 합성하여 시간 도메인으로 나타낸 단수의 신호로 합성함으로써 역변환하여 출력단자 OUT을 통해 출력한다. 제1 역변환부(445)에서 변환하는 방식으로 QMF(Quadrature Mirror Filterbank) 및 LOT(lapped orthogonal transform) 등이 있다.

그러나 제1 역변환부(445)는 FV-MLT(Frequency Varying Modulated Lapped Transform)와 같이 소정의 주파수 밴드 별로 시간 도메인 또는 주파수 도메인으로 나타낸 신호를 시간 도메인으로 나타낸 단수의 신호로 합성하여 고주파수영역 복호화부(440)에서 별도로 주파수 도메인에서 시간 도메인으로 변환하는 역환부(480)를 구비하지 않고 실시할 수도 있다.

도 4b은 본 발명에 의한 적응적 고주파수영역 복호화 장치에 포함된 고주파수영역 복호화부(440)의 일 실시예를 블록도로 도시한 것으로서, 상기 적응적 고주파수영역 복호화부(440)는 도메인 판단부(450), 선형 합성부(455), 승산기(460), 이득값 적용부(465), 노이즈정보 복호화부(470), 포락선 조절부(475) 및 역변환부(480)를 포함하여 이루어진다.

도메인 판단부(450)는 기 설정된 주파수 보다 큰 영역인 고주파수 영역에 포함된 주파수 밴드들에 마련된 신호들이 시간 도메인에서 부호화되었는지 주파수 도메인에서 부호화되었는지 여부를 판단한다. 도메인 판단부(450)에서 각 주파수 밴드들이 부호화된 도메인은 부호화단으로부터 도메인과 관련된 정보를 전송받아 도 4a의 역다중화부(400)로부터 입력받아 알 수 있거나 고주파수 영역에 포함된 각 주파수 밴드에서 이용하려는 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 포함된 주파수 밴드가 복호화된 도메인을 도 4a의 도메인 판단부(405)로부터 입력받아 알 수 있다.

선형 합성부(455)는 고주파수 영역에 포함된 주파수 밴드들 가운데 시간 도메인으로 부호화된 주파수 밴드(들)에 대한 LPC(Linear Predictive Coding) 계수를 입력단자 IN 1을 통해 도 4a의 역다중화부(400)로부터 입력받아 복호화한다. 선형 합성부(455)에서 복호화된 LPC 계수에 의하여 도 7a에 도시된 그래프와 같은 포락선을 복원할 수 있다.

승산부(460)는 입력단자 IN 2를 통해 입력받은 도 4a의 여기신호 복호화부(150)에서 복호화된 여기 신호와 선형 합성부(455)에서 복호화된 LPC 계수에 의한 포락선을 승산한다. 승산부(460)에서 승산된 신호의 예로 도 7b에 도시된 식별번호 710에 해당하는 신호가 있다.

이득값 적용부(465)는 입력단자 IN 3를 통해 입력받은 이득값을 복호화하여 승산부(460)에서 승산된 신호에 적용한다. 이득값 적용부(465)에서 이득값을 적용함으로써 복호화된 저주파수 신호와 복호화된 고주파수 신호 사이에 존재하는 미스매칭(mismatching)을 보상할 수 있다. 예를 들어, 승산부(460)에서 승산된 고주파수 신호는 도 7b에 도시된 바와 같이 저주파수 신호와의 경계면에 미스매칭이 발생하지만 이득값 적용부(465)에서 이득값을 적용함으로써 도 7c에 도시된 바와 같이 저주파수 신호와 고주파수 신호 사이에 미스매칭이 발생하지 않도록 한다. 이득값 적용부(465)에서 이득값이 적용된 신호는 출력단자 OUT 1을 통해 제1 역변환부(445)로 출력된다.

노이즈 복호화부(470)는 도 4a의 여기스펙트럼 생성부(435)에서 생성된 여기 스펙트럼 가운데 고주파수 영역에 마련된 주파수 밴드(들)의 스펙트럼을 복호화하는 데 이용할 주파수 밴드(들)에 대한 정보를 입력단자 IN 4을 통해 도 4a의 역다중화부(400)로부터 입력받아 복호화한다. 노이즈 복호화부(470)는 복호화한 정보를 이용하여 해당하는 주파수 밴드에 마련된 여기 스펙트럼을 도메인 판단부(450)에서 주파수 도메인에서 부호화하는 것으로 판단된 주파수 밴드(들)에 패치(patch)하거나 대칭적으로 폴딩(folding)함으로써 노이즈를 생성한다. 예를 들어, 노이즈 복호화부(535)는 도 8a에 도시된 저주파수 영역에 마련된 여기 스펙트럼을 고주파수 영역에 도 8b에 도시된 바와 같이 패치한다.

포락선 조절부(475)는 부호화기에서 부호화된 고주파수 스펙트럼의 포락선 정보를 입력단자 IN 5를 통해 도 4b의 역다중화부(400)로부터 입력받아 복호화한다. 포락선 조절부(475)에서 복호화된 고주파수 스펙트럼의 포락선 정보를 이용하여 노이즈 복호화부(470)에서 생성된 노이즈의 포락선을 조절한다. 예를 들어, 포락선 조절부(475)는 도 8b에 도시된 노이즈 복호화부(470)에서 생성된 노이즈를 고주파수 스펙트럼의 포락선 정보를 이용하여 도 8c에 도시된 바와 같이 포락선을 조절한다.

역변환부(480)는 도 1a의 제2 변환부(125)에서 수행하는 변환의 역과정으로서 포락선 조절부(475)에서 포락선이 조절된 노이즈를 주파수 도메인에서 시간 도메인으로 역변환하여 고주파수 신호를 생성한다.

도 5a은 본 발명에 의한 적응적 고주파수영역 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 적응적 고주파수영역 복호화 장치는 역다중화부(500), 역양자화부(505), 역변환부(510), 장구간 합성부(515), 선형 합성부(520) 및 고주파수영역 복호화부(525)를 포함하여 이루어진다.

역다중화부(500)는 입력단자 IN을 통해 부호화단으로부터 입력받은 비트스트림을 역다중화한다. 역다중화부(500)에서는 부호화기에서 부호화된 LPC 계수, 부호화기에서 양자화된 여기 스펙트럼, 부호화기에서 수행된 장구간 예측의 결과 및 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 고주파수 신호를 복호화할 수 있는 정보 등을 역다중화한다.

역양자화부(505)는 부호화기에서 양자화된 저주파수 영역에 마련된 여기 스펙트럼을 역다중화부(500)로부터 입력받아 역양자화한다.

역변환부(510)는 도 2a의 변환부(210)에서 수행하는 변환의 역과정으로서 역양자화부(505)에서 역양자화된 여기 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환하여 여기 신호를 생성한다.

장구간 합성부(515)는 부호화기에서 저주파수 영역에 마련된 여기 신호에 대해 장구간 예측(long-term prediction)이 수행된 결과를 역다중화부(500)로부터 입력받아 복호화하고 역변환부(510)에서 생성된 여기 신호에 장구간 예측이 수행된 결과를 선택적으로 합성한다. 장구간 합성부(515)에서 장구간 예측이 수행된 결과를 합성하는 경우는 부호화기에서 장구간 예측이 수행된 결과가 부호화되어 전송된 여기 신호에 한하여 합성한다.

선형 합성부(520)는 LPC 계수를 역다중화부(500)로부터 입력받아 복호화한다. 선형 합성부(520)는 LPC 계수를 복호화한 후 장구간 합성부(515)에서 장구간 예측이 수행된 결과를 합성하지 않은 경우 역변환부(510)에서 생성된 여기 신호에 LPC 계수를 합성하고, 장구간 합성부(515)에서 장구간 예측이 수행된 결과를 합성한 경우 장구간 합성부(515)에서 합성된 신호에 LPC 계수를 합성한다. 선형 합성부(520)에서 합성된 신호는 최종적으로 저주파수 영역에 마련될 저주파수 신호가 복원된 것이다.

고주파수영역 복호화부(525)는 역양자화부(505)에서 역양자화된 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 고주파수 신호를 복호화한다.

영역 합성부(530)는 선형 합성부(520)에서 복원된 저주파수 신호와 고주파수영역 복호화부(525)에서 복호화된 고주파수 신호를 합성하여 출력단자 OUT을 통해 출력한다.

도 5b은 본 발명에 의한 적응적 고주파수영역 복호화 장치에 포함된 고주파수영역 복호화부(525)의 일 실시예를 블록도로 도시한 것으로서, 상기 고주파수영역 복호화부(525)는 노이즈 복호화부(535), 포락선 조절부(540) 및 역변환부(545)를 포함하여 이루어진다.

노이즈 복호화부(535)는 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 스펙트럼 가운데 기 설정된 주파수 보다 큰 고주파수 스펙트럼을 부호화하는데 이용할 주파수 밴드(들)에 대한 정보를 역다중화부(500)로부터 입력단자 IN 1을 통해 입력받아 복호화한다. 노이즈 복호화부(535)는 복호화된 정보에 따라 입력단자 IN 1'을 통해 역양자화부(505)에서 역양자화된 여기 스펙트럼 가운데 이용할 소정의 여기 스펙트럼을 선택하고, 해당하는 여기 스펙트럼을 기 설정된 주파수 보다 큰 영역에 패치(patch)하거나 대칭적으로 폴딩(folding)함으로써 노이즈를 생성한다. 예를 들어, 노이즈 복호화부(535)는 도 8a에 도시된 저주파수 영역에 마련된 여기 스펙트럼을 고주파수 영역에 도 8b에 도시된 바와 같이 패치한다.

포락선 조절부(540)는 입력단자 IN 2를 통해 도 5a의 역다중화부(500)로부터 부호화기에서 부호화된 고주파수 스펙트럼의 포락선 정보를 입력받아 복호화한다. 포락선 조절부(540)는 복호화된 고주파수 스펙트럼의 포락선 정보를 이용하여 노이즈 복호화부(535)에서 생성된 노이즈의 포락선을 조절한다. 예를 들어, 포락선 조절부(540)는 도 8b에 도시된 노이즈 복호화부(535)에서 생성된 노이즈를 고주파수 스펙트럼의 포락선 정보를 이용하여 도 8c에 도시된 바와 같이 포락선을 조절한다.

역변환부(545)는 도 2a의 변환부(210)에서 수행하는 변환의 역과정으로서 포락선 조절부(540)에서 포락선이 조절된 노이즈를 주파수 도메인에서 시간 도메인으로 역변환하여 고주파수 신호를 생성한다. 역변환부(545)에서 생성된 고주파수 신호는 출력단자 OUT 1을통해 도 2b의 영역 합성부(530)로 출력된다.

도 6a은 본 발명에 의한 고주파수영역 복호화 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 고주파수영역 복호화 장치는 역다중화부(600), 도메인 판단부(605), 여기신호 복호화부(610), 장구간 합성부(615), 역양자화부(620), 역변환부(625), 선형 합성부(630), 고주파수영역 복호화부(635) 및 영역 합성부(640)를 포함하여 이루어진다.

역다중화부(600)는 입력단자 IN을 통해 부호화단으로부터 입력받은 비트스트림을 역다중화한다. 역다중화부(600)에서는 부호화기에서 선택된 저주파수 신호를 부호화한 도메인에 대한 정보, 부호화기에서 부호화된 LPC 계수, 부호화기에서 수행한 장구간 예측의 결과, 부호화기에서 부호화된 여기 신호, 부호화기에서 양자화된 여기 스펙트럼 및 기 설정된 주파수 보다 작은 영역에 마련된 저주파수 신호 또는 저주파수 스펙트럼을 이용하여 고주파수 신호를 복호화하는 정보를 역다중화한다.

도메인 판단부(605)는 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 영역이 부호화기에서 부호화된 도메인의 정보를 역다중화부(600)로부터 입력받아 복호화하고 저주파수 영역이 시간 도메인에서 부호화되었는지 주파수 도메인에서 부호화되었는지 판단한다.

도메인 판단부(605)에서 저주파수 영역이 시간 도메인에서 부호화되었다고 판단되면, 여기신호 복호화부(610)는 부호화기에서 부호화된 저주파수 영역의 여기 신호를 역다중화부(400)로부터 입력받아 복호화한다.

장구간 합성부(615)는 기 설정된 주파수 보다 작은 영역에 마련된 신호인 저주파수 신호에 대해 부호화기에서 장구간 예측(long-term prediction)이 수행된 결과를 역다중화부(600)로부터 입력받아 복호화하고, 여기신호 복호화부(610)에서 복호화된 여기 신호에 장구간 예측이 수행된 결과를 합성한다.

도메인 판단부(605)에서 저주파수 영역이 주파수 도메인에서 부호화되었다고 판단되면, 역양자화부(620)는 부호화기에서 양자화된 여기 스펙트럼을 역다중화부(600)로부터 입력받아 역양자화한다.

역변환부(625)는 도 3a의 변환부(325)에서 수행하는 변환의 역과정으로서 역양자화부(620)에서 역양자화된 여기 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환하여 여기 신호를 생성한다.

선형 합성부(630)는 저주파수 신호의 LPC(Linear Predictive Coding) 계수를 역다중화부(600)로부터 입력받아 복호화하고, 장구간 합성부(615)에서 합성된 여기 신호 또는 역변환부(625)에서 생성된 여기 신호에 복호화된 LPC 계수를 합성한다. 선형 합성부(630)에서 합성된 신호는 최종적으로 저주파수 영역에 마련될 저주파수 신호가 복원된 것이다.

고주파수영역 복호화부(635)는 역양자화부(620)에서 역양자화된 여기 스펙트럼 또는 여기신호 복호화부(610)에서 복호화된 여기 신호를 이용하여 고주파수 신호를 복호화한다. 만일 저주파수 영역이 시간 도메인에서 부호화되었다면 고주파수영역 복호화부(635)는 역양자화부(620)에서 역양자화된 여기 스펙트럼을 이용하여 고주파수 신호를 복호화하고, 만일 저주파수 영역이 주파수 도메인에서 부호화되었다면 고주파수 영역 복호화부(635)는 여기신호 복화부(610)에서 복호화된 여기 신호를 이용하여 고주파수 신호를 복호화한다.

영역 합성부(640)는 선형 합성부(630)에서 복원된 저주파수 신호와 고주파수영역 복호화부(635)에서 복호화된 고주파수 신호를 합성하여 출력단자 OUT을 통해 출력한다.

도 6b은 본 발명에 의한 고주파수 영역 복호화 장치에 포함된 고주파수영역 복호화부(635)의 일 실시예를 블록도로 도시한 것으로서, 상기 고주파수영역 복호화부(635)는 도메인 판단부(645), 선형 합성부(650), 승산부(655), 노이즈 복호화부(665), 포락선 조절부(670) 및 역변환부(675)를 포함하여 이루어진다.

도메인 판단부(645)는 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 영역이 부호화된 도메인을 판단하여 기 설정된 주파수 보다 큰 영역에 해당하는 고주파수 영역을 시간 도메인에서 복호화할지 주파수 도메인에서 복호화할지 여부를 판단한다.

만일 도메인 판단부(645)에서 고주파수 영역을 시간 도메인에서 복호화하는 것으로 판단되면, 선형 합성부(650)는 기 설정된 주파수 보다 큰 영역에 마련된 고주파수 신호에 대한 LPC(Linear Predictive Coding) 계수를 도 6a의 역다중화부(600)로부터 입력단자 IN 1을 통해 입력받아 복호화한다. 선형 합성부(650)에서 복호화된 LPC 계수에 의하여 도 7a에 도시된 그래프와 같은 포락선을 복원할 수 있다.

승산부(655)는 입력단자 IN 2를 통해 입력받은 도 6a의 여기신호 복호화부(610)에서 복호화된 여기 신호에 선형 합성부(650)에서 복호화된 LPC 계수에 의한 포락선을 승산한다. 승산부(655)에서 승산된 신호의 예로 도 7b에 도시된 식별번호 710에 해당하는 신호가 있다.

이득값 적용부(660)는 입력단자 IN 3을 통해 입력받은 이득값을 도 6a의 역다중화부(600)으로부터 입력받아 복호화하여 승산부(655)에서 승산된 신호에 적용한다. 이득값 적용부(660)에서 이득값을 적용함으로써 도 6a의 선형 합성부(630)에서 복원된 저주파수 신호와 복호화된 고주파수 신호 사이에 존재하는 미스매칭(mismatching)을 보상할 수 있다. 예를 들어, 승산부(655)에서 승산된 고주파수 신호는 도 7b에 도시된 바와 같이 저주파수 신호와의 경계면에 미스매칭이 발생하지만 이득값 적용부(660)에서 이득값을 적용함으로써 도 7c에 도시된 바와 같이 저주파수 신호와 고주파수 신호 사이에 미스매칭이 발생하지 않도록 한다. 이득값 적용부(660)에서 이득값이 적용된 신호는 출력단자 OUT 1을 통해 도 6a의 영역 합성부(640)로 출력된다.

만일 도메인 판단부(645)에서 고주파수 영역을 주파수 도메인에서 복호화하는 것으로 판단되면, 노이즈 복호화부(665)는 입력단자 IN 4를 통해 도 6a의 역양자화부(620)에서 역양자화된 여기 스펙트럼을 입력받아 고주파수 영역에 패치(patch)하거나 대칭적으로 폴딩(folding)함으로써 스펙트럼을 생성한다. 예를 들어, 도 8a에 도시된 여기 스펙트럼을 고주파수 영역에 도 8b에 도시된 바와 같이 패치한다.

포락선 조절부(670)는 입력단자 IN 5를 통해 도 6a의 역다중화부(600)로부터 부호화기에서 부호화된 고주파수 스펙트럼의 포락선 정보를 입력받아 복호화한다. 포락선 조절부(670)는 복호화된 고주파수 스펙트럼의 포락선 정보를 이용하여 노이즈 복호화부(665)에서 생성된 스펙트럼의 포락선을 조절한다. 예를 들어, 포락선 조절부(670)는 도 8b에 도시된 노이즈 복호화부(665)에서 생성된 스펙트럼을 고주파수 스펙트럼의 포락선 정보를 이용하여 도 8c에 도시된 바와 같이 포락선을 조절한다.

역변환부(675)는 도 3a의 변환부(325)에서 수행하는 변환의 역과정으로서 포락선 조절부(670)에서 포락선이 조절된 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환하여 고주파수 신호를 생성한다.

도 9a는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 입력된 신호를 소정의 주파수 밴드 별로 시간 도메인으로 나타내도록 변환한다(제900단계). 제900단계에서 변환하는 방식으로 QMF(Quadrature Mirror Filterbank) 및 LOT(lapped orthogonal transform) 등이 있다.

그러나 제900단계에서는 FV-MLT(Frequency Varying Modulated Lapped Transform)와 같이 입력된 신호를 소정의 주파수 밴드 별로 시간 도메인 또는 주파수 도메인으로 나타내도록 변환함으로써 제925단계를 수행하지 않고 제905단계에서 선택된 도메인으로 제900단계에서 변환하여 실시할 수도 있다.

제900단계에서 변환된 각 주파수 밴드의 신호들 가운데 기 설정된 주파수 보다 작은 영역에 포함되는 주파수 밴드의 신호들을 기 설정된 기준에 따라 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 선택한다(제905단계). 여기서, 기 설정된 기준의 예로 선형 예측 부호화 이득값, 인접한 프레임의 선형 예측 필터 간의 스펙트럴 변화, 피치 지연 및 장구간 예측 이득값 등이 있다.

제905단계에서 시간 도메인에서 부호화하는 것으로 결정된 주파수 밴드(들)에 마련된 신호(들)에 대해 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출하고 부호화하며, 제905단계에서 시간 도메인에서 부호화하는 것으로 결정된 주파수 밴드(들)에 마련된 신호(들)에서 단구간 상관을 제거하여 제1 여기 신호를 추출한다(제910단계).

제910단계에서 추출된 제1 여기 신호에 대하여 장구간 예측(long-term prediction)을 수행하고, 제2 여기 신호를 추출한다(제915단계).

제915단계에서 수행하는 장구간 예측의 예로 주기성(periodicity)의 연속성(continuity) 정도, 주파수 스펙트럼의 기울기(frequency spectral tilt) 정도 및 프레임 에너지 정도 등이 있다. 여기서, 주기성의 연속성은 피치 래그(pitch lag)의 변화가 적고 피치 상관도(pitch correlation)가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다. 또한, 주기성의 연속성은 첫번째 포먼트 주파수(1st formant frequency)가 매우 낮고 피치 상관도가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다.

제915단계에서 추출된 제2 여기 신호를 부호화한다(제920단계).

제905단계에서 주파수 도메인에서 부호화하는 것으로 결정된 주파수 밴드(들)에 마련된 신호(들)를 시간 도메인에서 주파수 도메인으로 변환하여 스펙트럼(들)을 생성한다(제925단계).

제925단계에서 생성된 스펙트럼(들)을 양자화한다(제930단계).

제930단계에서 양자화된 스펙트럼(들)을 역양자화한다(제935단계).

제925단계에서 수행하는 변환의 역과정으로 제935단계에서 역양자화된 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환한다(제940단계).

제2 역변환부(140)에서 역변환된 신호를 저장한다(제945단계). 제945단계에서 역변환된 신호를 저장하는 이유는 다음 프레임 가운데 시간 도메인으로 부호화하는 주파수 밴드에 마련된 신호에 대하여 제915단계에서 장구간 예측을 수행하는데 이용하기 위하여 버퍼링(buffering)한다.

제920단계에서 부호화된 제2 여기 신호를 복호화한다(제950단계).

제935단계에서 역양자화된 스펙트럼(들)을 화이트닝(whitening) 처리하여 여기 스펙트럼(들)을 생성한다(제955단계).

기 설정된 주파수 보다 작은 영역에 해당하는 주파수 밴드(들)에 마련된 신호(들)를 이용하여 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드(들)의 신호(들)를 시간 도메인 또는 주파수 도메인에서 적응적으로 부호화한다(제960단계). 제960단계에서 이용하는 신호(들)는 시간 도메인에서 부호화할 경우 제950단계에서 복호화된 제2 여기 신호이고, 주파수 도메인에서 부호화할 경우 제955단계에서 생성된 여기 스펙트럼이다.

제905단계에서 부호화된 각 주파수 밴드가 부호화된 도메인에 대한 정보, 제910단계에서 부호화된 LPC 계수, 제915단계에서 부호화된 장구간 예측이 수행된 결과, 제920단계에서 부호화된 제2 여기신호, 제930단계에서 양자화된 스펙트럼 및 제960단계에서 부호화된 결과를 포함하여 다중화함으로써 비트스트림을 생성한다(제965단계).

도 9b는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 포함된 제960단계에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 기 설정된 주파수 보다 큰 영역에 해당하는 각 주파수 밴드에 마련된 신호를 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 선택한다(제970단계).

제970단계에서 부호화할 도메인을 선택함에 있어서, 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드를 부호화하는 데 이용되는 기 설정된 주파수 보다 작은 영역에 해당하는 주파수 밴드가 시간 도메인으로 부호화되었는지 주파수 도메인으로 부호화되었는지 여부를 기준으로 도메인을 선택할 수 있다. 만일 기 설정된 주파수 보다 큰 영역에 해당하는 소정의 주파수 밴드를 부호화하는 데 이용되는 기 설정된 주파수 보다 작은 영역에 해당하는 소정의 주파수 밴드가 시간 도메인으로 부호화된 경우 해당하는 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드는 시간 도메인에서 부호화하는 것으로 선택하고, 만일 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드를 부호화하는 데 이용되는 기 설정된 주파수 보다 작은 영역에 해당하는 주파수 밴드가 주파수 도메인으로 부호화된 경우 해당하는 기 설정된 주파수 보다 큰 영역에 해당하는 주파수 밴드는 주파수 도메인에서 부호화하는 것으로 선택한다.

제970단계에서 시간 도메인에서 부호화하는 것으로 선택된 주파수 밴드(들)에 마련된 신호(들)에 대하여 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출한다(제975단계). 제975단계에서 추출된 LPC 계수는 복호화기에서 도 7a에 도시된 일 예와 같은 포락선을 복원하는 데 이용된다.

승산부(180)는 도 9a의 제950단계에서 복호화된 제2 여기 신호와 제975단계에서 추출된 LPC 계수에 의한 포락선을 승산한다(제980단계). 제980단계에서 승산된 신호의 예로 도 7b에 도시된 식별번호 710에 해당하는 신호가 있다.

제980단계에서 승산된 신호가 기 설정된 주파수 보다 작은 영역에 마련된 신호인 저주파수 신호에 대하여 존재하는 미스매칭(mismatching)을 보상해 주는 이득값을 계산하여 부호화한다(제985단계). 제985단계에서 계산된 이득값에 의하여 도 7b에 도시된 바와 같이 저주파수 신호인 식별번호 720에 해당하는 신호와 제980단계에서 승산된 신호인 식별변호 710에 해당하는 신호의 경계에 존재하는 미스매칭을 복호화기에서 도 7c에 도시된 바와 같이 보상할 수 있다.

제970단계에서 주파수 도메인에서 부호화하는 것으로 선택된 주파수 밴드(들)에 노이즈를 생성하는 데 이용할 제955단계에서 생성된 여기 스펙트럼의 주파수 밴드(들)을 선택하여 해당 주파수 밴드(들)에 대한 정보를 부호화한다(제990단계).

기 설정된 주파수 보다 큰 영역에 마련된 주파수 밴드(들) 가운데 제970단계에서 주파수 도메인에서 부호화하는 것으로 선택된 주파수 밴드(들)에 마련된 스펙트럼의 포락선 정보를 추출하여 부호화한다(제995단계).

도 9a 및 도 9b의 실시예와 같이 부호화할 도메인을 먼저 결정하고 결정된 도메인에서 부호화하는 개-루프(open-loop) 방식에 한정하여 실시해야 하는 것은 아니다. 주파수 도메인과 시간 도메인 모두에 대하여 부호화를 수행한 후 부호화된 결과를 비교하여 더 나은 도메인을 선택하는 폐-루프(close-loop) 방식으로도 실시할 수 있다.

도 10a는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 입력된 신호를 기 설정된 주파수 보다 작은 영역에 마련된 저주파수 신호와 기 설정된 주파수 보다 큰 영역에 마련된 고주파수 신호로 분할한다(제1000단계).

제1000단계에서 분할된 저주파수 신호에 대해 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출하고, 제1000단계에서 분할된 저주파수 신호에서 단구간 상관을 제거하여 제1 여기 신호를 추출한다(제1005단계).

제1005단계에서 추출된 제1 여기 신호를 시간 도메인에서 주파수 도메인으로 변환하여 여기 스펙트럼을 생성한다(제1010단계).

제1010단계에서 생성된 여기 스펙트럼을 양자화한다(제1015단계).

제1015단계에서 양자화된 여기 스펙트럼을 역양자화한다(제1020단계).

제1010단계에서 수행하는 변환의 역과정으로서 제1020단계에서 역양자화된 여기 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환하여 제2 여기 신호를 생성한다(제1025단계).

제1025단계에서 역변환된 제2 여기 신호를 저장한다(제1030단계). 제1030단계에서 제2 여기 신호를 저장하는 이유는 다음 프레임에 대하여 부호화를 수행함에 있어서 시간 도메인으로 부호화하는 주파수 밴드(들)에 마련된 신호에 대하여 제1040단계에서 장구간 예측을 수행하는데 이용하기 위하여 버퍼링(buffering)한다.

제1005단계에서 추출된 제1 여기 신호를 분석하여 저주파수 신호의 특성에 따라 장구간 예측부(240)에서 장구간 예측을 수행할지 여부를 결정한다(제1035단계). 제1035단계에서 장구간 예측을 수행할지 여부를 결정하는 기준이 되는 저주파수 신호의 특성에 대한 예로 선형 예측 부호화 이득값, 인접한 프레임의 선형 예측 필터간의 스펙트럴 변화, 피치 지연 및 장구간 예측 이득값 등이 있다.

제1035단계에서 장구간 예측을 수행하는 것으로 결정된 경우 제1005단계에서 추출된 제1 여기 신호에 대하여 장구간 예측(long-term prediction)을 수행하고, 제3 여기 신호를 추출한다(제1040단계).

제1040단계에서 수행하는 장구간 예측의 예로 주기성(periodicity)의 연속성(continuity) 정도, 주파수 스펙트럼의 기울기(frequency spectral tilt) 정도 및 프레임 에너지 정도 등이 있다. 여기서, 주기성의 연속성은 피치 래그(pitch lag)의 변화가 적고 피치 상관도(pitch correlation)가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다. 또한, 주기성의 연속성은 첫번째 포먼트 주파수(1st formant frequency)가 매우 낮고 피치 상관도가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다.

제1020단계에서 역양자화된 기 설정된 주파수 보다 작은 영역에 마련된 여기 스펙트럼을 이용하여 주파수 도메인에서 고주파수 신호를 부호화한다(제1050단계).

제1005단계에서 부호화된 LPC 계수, 제1015단계에서 양자화된 여기 스펙트럼, 제1040단계에서 수행된 장구간 예측의 결과 및 제1050단계에서 부호화된 결과를 포함하여 비트스트림을 생성함으로써 다중화한다(제1055단계).

도 10b는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 포함된 제1050단계에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 도 10a의 제1020단계에서 역양자화된 여기 스펙트럼 가운데 기 설정된 주파수 보다 큰 고주파수 스펙트럼을 부호화하는데 이용할 주파수 밴드(들)에 대한 정보를 부호화한다(제1060단계).

제1060단계 후에, 고주파수 스펙트럼을 입력받아 고주파수 스펙트럼에 대한 포락선을 추출하고, 추출된 포락선 정보를 부호화한다(제1065단계). 포락선 정보의 예로 소정의 주파수 밴드 단위로 계산된 에너지값이 있다.

도 11a는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 입력된 신호를 기 설정된 주파수 보다 작은 영역에 마련된 신호인 저주파수 신호와 기 설정된 주파수 보다 큰 영역에 마련된 신호인 고주파수 신호로 분할한다(제1100단계).

제1100단계에서 분할된 저주파수 신호에 대해 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출하고, 제1100단계에서 분할된 저주파수 신호에서 단구간 상관을 제거하여 제1 여기 신호를 추출한다(제1105단계).

제1105단계에서 추출된 제1 여기 신호를 기 설정된 기준에 따라 시간 도메인에서 부호화할지 주파수 도메인에서 부호화할지 여부를 선택한다(제1110단계). 여기서, 기 설정된 기준의 예로 선형 예측 부호화 이득값, 인접한 프레임의 선형 예측 필터 간의 스펙트럴 변화, 피치 지연 및 장구간 예측 이득값 등이 있다.

만일 제1110단계에서 제1 여기 신호를 시간 도메인에서 부호화하는 것으로 선택되면, 제1105단계에서 추출된 제1 여기 신호에 대하여 장구간 예측(long-term prediction)을 수행하고 제2 여기 신호를 추출한다(제1115단계).

제1115단계에서 수행하는 장구간 예측의 예로 주기성(periodicity)의 연속성(continuity) 정도, 주파수 스펙트럼의 기울기(frequency spectral tilt) 정도 및 프레임 에너지 정도 등이 있다. 여기서, 주기성의 연속성은 피치 래그(pitch lag)의 변화가 적고 피치 상관도(pitch correlation)가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다. 또한, 주기성의 연속성은 첫번째 포먼트 주파수(1st formant frequency)가 매우 낮고 피치 상관도가 높은 프레임이 일정 구간 이상 연속적으로 지속되는 정도일 수 있다.

제1115단계에서 추출된 제2 여기 신호를 부호화한다(제1120단계).

만일 제1110단계에서 제1 여기 신호를 주파수 도메인에서 부호화하는 것으로 선택되면, 제1105단계에서 추출된 제1 여기 신호를 시간 도메인에서 주파수 도메인으로 변환하여 여기 스펙트럼을 생성한다(제1125단계).

제1125단계에서 생성된 여기 스펙트럼을 양자화한다(제1130단계).

제1130단계에서 양자화된 여기 스펙트럼을 역양자화한다(제1135단계).

제1125단계에서 수행하는 변환의 역과정으로서 제1135단계에서 역양자화된 여기 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환한다(제1140단계).

제1140단계에서 역변환된 제3 여기 신호를 저장한다(제1145단계). 제1145단계에서 제3 여기 신호를 저장하는 이유는 다음 프레임에 대하여 부호화를 수행함에 있어서 시간 도메인으로 부호화하는 주파수 밴드(들)에 마련된 신호에 대하여 제1115단계에서 장구간 예측을 수행하는데 이용하기 위하여 버퍼링(buffering)한다.

제1120단계에서 부호화된 제2 여기 신호를 복호화한다(제1150단계).

기 설정된 주파수 보다 작은 영역에 해당하는 신호 또는 스펙트럼을 이용하여 시간 도메인 또는 주파수 도메인에서 적응적으로 기 설정된 주파수 보다 큰 영역에 해당하는 신호를 부호화한다(제1160단계). 제1160단계에서 이용하는 신호는 시간 도메인에서 부호화할 경우 제1150단계에서 복호화된 여기 신호이고, 제1160단계에서 이용하는 스펙트럼은 주파수 도메인에서 부호화할 경우 제1135단계에서 역양자화된 여기 스펙트럼이다.

제1105단계에서 추출된 LPC 계수, 제1110단계에서 선택된 저주파수 신호를 부호화한 도메인에 대한 정보, 제1115단계에서 수행한 장구간 예측의 결과, 제1120단계에서 부호화된 여기 신호, 제1130단계에서 양자화된 여기 스펙트럼 및 제1160단계에서 부호화된 결과를 포함하여 다중화함으로써 비트스트림을 생성한다(제1165단계).

도 11b는 본 발명에 의한 적응적 고주파수영역 부호화 방법에 포함된 제1160단계에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 도 11a의 제1110단계에서 선택된 기 설정된 주파수 보다 작은 영역에 마련된 신호인 저주파수 신호를 부호화하는 도메인에 따라 기 설정된 주파수 보다 큰 영역에 마련된 신호인 고주파수 신호를 부호화할 도메인을 선택한다(제1170단계). 만일 도 11a의 제1110단계에서 저주파수 신호를 주파수 도메인에서 부호화하는 것으로 선택되면, 제1170단계에서도 고주파수 신호를 주파수 도메인에서 부호화할 것으로 선택한다. 그리고 만일 도 11a의 제1110단계에서 저주파수 신호를 시간 도메인에서 부호화하는 것으로 선택되면, 제1170단계에서도 고주파수 신호를 시간 도메인에서 부호화할 것으로 선택한다.

제1170단계에서 고주파수 신호를 시간 도메인에서 부호화하는 것으로 선택되면, 고주파수 신호에 대하여 LPC(Linear Predictive Coding) 분석을 수행하여 LPC 계수를 추출한다(제1175단계). 제1175단계에서 추출된 LPC 계수는 복호화기에서 도 7a에 도시된 포락선을 복원하는 데 이용된다.

도 11a의 제1150단계에서 복호화된 제2 여기 신호와 제1175단계에서 추출된 LPC 계수에 의한 고주파수 신호의 포락선을 승산한다(제1180단계). 제1180단계에서 승산된 신호의 예로 도 7b에 도시된 식별번호 710에 해당하는 신호가 있다.

제1180단계에서 승산된 신호가 저주파수 신호에 대하여 존재하는 미스매칭(mismatching)을 보상해 주는 이득값을 계산하여 부호화한다(제1185단계). 도 7b에 도시된 바와 같이 저주파수 신호인 식별번호 720에 해당하는 신호와 제1180단계에서 승산된 신호인 식별변호 710에 해당하는 신호의 경계에 존재하는 미스매칭을 도 7c에 도시된 바와 같이 보상한다.

제1135단계에서 역양자화된 여기 스펙트럼 가운데 복호화기에서 고주파수 스펙트럼을 복호화하는 데 이용할 주파수 밴드(들)을 선택하여 선택된 주파수 밴드(들)에 대한 정보를 부호화한다(제1190단계).

제1190단계 후에, 고주파수 스펙트럼의 포락선 정보를 추출하여 부호화한다(제1195단계). 여기서, 포락선 정보의 예로 소정의 주파수 밴드 단위로 계산된 에너지값이 있다.

도 11a 및 도 11b의 실시예와 같이 부호화할 도메인을 먼저 결정하고 결정된 도메인에서 부호화하는 개-루프(open-loop) 방식에 한정하여 실시해야 하는 것은 아니다. 주파수 도메인과 시간 도메인 모두에 대하여 부호화를 수행한 후 부호화된 결과를 비교하여 더 나은 도메인을 선택하는 폐-루프(close-loop) 방식으로도 실시할 수 있다.

도 12a는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 부호화단으로부터 입력받은 비트스트림을 역다중화한다(제1200단계). 제1200단계에서는 부호화기에서 부호화된 각 주파수 밴드가 부호화된 도메인에 대한 정보, 부호화기에서 부호화된 LPC(Linear Predictive Coding) 계수, 부호화기에서 부호화된 장구간 예측이 수행된 결과, 부호화기에서 부호화된 여기 신호, 부호화기에서 양자화된 스펙트럼 및 저주파수 영역에 마련된 신호 또는 스펙트럼을 이용하여 고주파수 신호를 복호화할 수 있는 정보를 포함하여 역다중화한다.

기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 주파수 밴드들이 부호화기에서 부호화된 도메인에 대한 정보를 입력받아 각 주파수 밴드가 부호화된 도메인을 판단한다(제1205단계).

제1205단계에서 시간 도메인에서 부호화된 주파수 밴드(들)로 판단된 주파수 밴드(들)에 마련된 부호화기에서 부호화된 여기 신호를 복호화한다(제1210단계).

제1250단계에서 시간 도메인에서 부호화된 주파수 밴드(들)로 판단된 주파수 밴드(들)에 대하여 부호화기에서 장구간 예측(long-term prediction)이 수행된 결과를 복호화하고, 제1210단계에서 복호화된 여기 신호에 장구간 예측이 수행된 결과를 합성한다(제1215단계).

제1205단계에서 시간 도메인에서 부호화된 것으로 판단된 주파수 밴드(들)의 LPC 계수를 복호화하고 제1215단계에서 합성된 신호에 LPC 계수를 합성한다(제1220단계).

제1205단계에서 주파수 도메인으로 부호화된 것으로 판단된 주파수 밴드(들)에 마련된 스펙트럼(들)을 역양자화한다(제1230단계).

도 9a의 제1225단계에서 수행하는 변환의 역과정으로서 제1230단계에서 역양자화된 스펙트럼(들)을 주파수 도메인에서 시간 도메인으로 역변환한다(제1233단계).

제1230단계에서 역양자화된 스펙트럼을 화이트닝(whitening) 처리하여 여기 스펙트럼을 생성한다(제1235단계).

제1210단계에서 복호화된 소정 주파수 밴드(들)에 마련된 여기 신호(들) 또는 제1235단계에서 복호화된 소정 주파수 밴드(들)에 마련된 여기 스펙트럼(들)을 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 신호인 고주파수 신호를 복호화한다(제1240단계).

도 9a의 제900단계에서 수행하는 변환의 역과정으로서 제1225단계에서 합성된 소정 주파수 밴드(들)에 마련된 신호 또는 제1233단계에서 역변환된 소정 주파수 밴드(들)에 마련된 신호 및 제1240단계에서 복호화된 고주파수 신호를 합성하여 시간 도메인으로 나타낸 단수의 신호로 합성함으로써 역변환한다(제1245단계). 제1245단계에서 변환하는 방식으로 QMF(Quadrature Mirror Filterbank) 및 LOT(lapped orthogonal transform) 등이 있다.

그러나 제1245단계에서는 FV-MLT(Frequency Varying Modulated Lapped Transform)와 같이 소정의 주파수 밴드 별로 시간 도메인 또는 주파수 도메인으로 나타낸 신호를 시간 도메인으로 나타낸 단수의 신호로 합성하여 제1240단계에서 별도로 주파수 도메인에서 시간 도메인으로 변환하는 제1280단계을 수행하지 않고 실시할 수도 있다.

도 12b는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 포함된 제1240단계에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 기 설정된 주파수 보다 큰 영역인 고주파수 영역에 포함된 주파수 밴드들에 마련된 신호들이 시간 도메인에서 부호화되었는지 주파수 도메인에서 부호화되었는지 여부를 판단한다(제1250단계). 제1250단계에서 각 주파수 밴드들이 부호화된 도메인은 부호화단으로부터 도메인과 관련된 정보를 전송받아 알 수 있거나 고주파수 영역에 포함된 각 주파수 밴드에서 이용하려는 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 포함된 주파수 밴드가 복호화된 도메인을 도 12a의 제1205단계로부터 알 수 있다.

고주파수 영역에 포함된 주파수 밴드들 가운데 시간 도메인으로 부호화된 주파수 밴드(들)에 대한 LPC(Linear Predictive Coding) 계수를 복호화한다(제1255단계). 제1255단계에서 복호화된 LPC 계수에 의하여 도 7a에 도시된 그래프와 같은 포락선을 복원할 수 있다.

도 12a의 제1250단계에서 복호화된 여기 신호와 제1255단계에서 복호화된 LPC 계수에 의한 포락선을 승산한다(제1260단계). 제1260단계에서 승산된 신호의 예로 도 7b에 도시된 식별번호 710에 해당하는 신호가 있다.

제1260단계 후에, 이득값을 복호화하여 제1260단계에서 승산된 신호에 적용한다(제1265단계). 제1265단계에서 이득값을 적용함으로써 복호화된 저주파수 신호와 복호화된 고주파수 신호 사이에 존재하는 미스매칭(mismatching)을 보상할 수 있다. 예를 들어, 제1260단계에서 승산된 고주파수 신호는 도 7b에 도시된 바와 같이 저주파수 신호와의 경계면에 미스매칭이 발생하지만 제1265단계에서 이득값을 적용함으로써 도 7c에 도시된 바와 같이 저주파수 신호와 고주파수 신호 사이에 미스매칭이 발생하지 않도록 한다.

도 12a의 제1235단계에서 생성된 여기 스펙트럼 가운데 고주파수 영역에 마련된 주파수 밴드(들)의 스펙트럼을 복호화하는 데 이용할 주파수 밴드(들)에 대한 정보를 복호화한다(제1270단계). 제1270단계에서는 복호화한 정보를 이용하여 해당하는 주파수 밴드에 마련된 여기 스펙트럼을 제1250단계에서 주파수 도메인에서 부호화하는 것으로 판단된 주파수 밴드(들)에 패치(patch)하거나 대칭적으로 폴딩(folding)함으로써 노이즈를 생성한다. 예를 들어, 제1270단계에서는 도 8a에 도시된 저주파수 영역에 마련된 여기 스펙트럼을 고주파수 영역에 도 8b에 도시된 바와 같이 패치한다.

부호화기에서 부호화된 고주파수 스펙트럼의 포락선 정보를 복호화한다(제1275단계). 제1275단계에서 복호화된 고주파수 스펙트럼의 포락선 정보를 이용하여 제1270단계에서 생성된 노이즈의 포락선을 조절한다. 예를 들어, 제1275단계에서는 도 8b에 도시된 제1270단계에서 생성된 노이즈를 고주파수 스펙트럼의 포락선 정보를 이용하여 도 8c에 도시된 바와 같이 포락선을 조절한다.

도 9a의 제925단계에서 수행하는 변환의 역과정으로서 제1275단계에서 포락선이 조절된 노이즈를 주파수 도메인에서 시간 도메인으로 역변환하여 고주파수 신호를 생성한다(제1280단계).

도 13a는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 부호화단으로부터 입력받은 비트스트림을 역다중화한다(제1300단계). 제1300단계에서는 부호화기에서 부호화된 LPC 계수, 부호화기에서 양자화된 여기 스펙트럼, 부호화기에서 수행된 장구간 예측의 결과 및 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 기 설정된 주파수 보다 큰 영역에 마련된 고주파수 신호를 복호화할 수 있는 정보 등을 역다중화한다.

부호화기에서 양자화된 저주파수 영역에 마련된 여기 스펙트럼을 역양자화한다(제1305단계).

도 10a의 제1010단계에서 수행하는 변환의 역과정으로서 제1305단계에서 역양자화된 여기 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환하여 여기 신호를 생성한다(제1310단계).

부호화기에서 저주파수 영역에 마련된 여기 신호에 대해 장구간 예측(long-term prediction)이 수행된 결과를 복호화하고 제1310단계에서 생성된 여기 신호에 장구간 예측이 수행된 결과를 선택적으로 합성한다(제1315단계). 제1315단계에서 장구간 예측이 수행된 결과를 합성하는 경우는 부호화기에서 장구간 예측이 수행된 결과가 부호화되어 전송된 여기 신호에 한하여 합성한다.

LPC 계수를 복호화한다(제1320단계). 제1320단계에서는 LPC 계수를 복호화한 후 제1315단계에서 장구간 예측이 수행된 결과를 합성하지 않은 경우 제1310단계에서 생성된 여기 신호에 LPC 계수를 합성하고, 제1315단계에서 장구간 예측이 수행된 결과를 합성한 경우 제1315단계에서 합성된 신호에 LPC 계수를 합성한다. 제1320단계에서 합성된 신호는 최종적으로 저주파수 영역에 마련될 저주파수 신호가 복원된 것이다.

제1305단계에서 역양자화된 저주파수 영역에 마련된 여기 스펙트럼을 이용하여 고주파수 신호를 복호화한다(제1325단계).

제1320단계에서 복원된 저주파수 신호와 제1325단계에서 복호화된 고주파수 신호를 합성한다(제1330단계).

도 13b는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 포함된 제1325단계에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 기 설정된 주파수 보다 작은 영역인 저주파수 영역에 마련된 여기 스펙트럼 가운데 기 설정된 주파수 보다 큰 고주파수 스펙트럼을 부호화하는데 이용할 주파수 밴드(들)에 대한 정보를 복호화한다(제1335단계). 제1335단계에서는 복호화된 정보에 따라 제1305단계에서 역양자화된 여기 스펙트럼 가운데 이용할 소정의 여기 스펙트럼을 선택하고, 해당하는 여기 스펙트럼을 기 설정된 주파수 보다 큰 영역에 패치(patch)하거나 대칭적으로 폴딩(folding)함으로써 노이즈를 생성한다. 예를 들어, 제1335단계에서는 도 8a에 도시된 저주파수 영역에 마련된 여기 스펙트럼을 고주파수 영역에 도 8b에 도시된 바와 같이 패치한다.

부호화기에서 부호화된 고주파수 스펙트럼의 포락선 정보를 복호화한다(제1340단계). 제1340단계에서는 복호화된 고주파수 스펙트럼의 포락선 정보를 이용하여 제1335단계에서 생성된 노이즈의 포락선을 조절한다. 예를 들어, 제1340단계에서는 도 8b에 도시된 제1335단계에서 생성된 노이즈를 고주파수 스펙트럼의 포락선 정보를 이용하여 도 8c에 도시된 바와 같이 포락선을 조절한다.

도 11a의 제1110단계에서 수행하는 변환의 역과정으로서 제1340단계에서 포락선이 조절된 노이즈를 주파수 도메인에서 시간 도메인으로 역변환하여 고주파수 신호를 생성한다(제1345단계).

도 14a는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 부호화단으로부터 입력받은 비트스트림을 역다중화한다(제1400단계). 제1400단계에서는 부호화기에서 선택된 저주파수 신호를 부호화한 도메인에 대한 정보, 부호화기에서 부호화된 LPC 계수, 부호화기에서 수행한 장구간 예측의 결과, 부호화기에서 부호화된 여기 신호, 부호화기에서 양자화된 여기 스펙트럼 및 기 설정된 주파수 보다 작은 영역에 마련된 저주파수 신호 또는 저주파수 스펙트럼을 이용하여 고주파수 신호를 복호화하는 정보를 역다중화한다.

기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 영역이 부호화기에서 부호화된 도메인의 정보를 복호화하고 저주파수 영역이 시간 도메인에서 부호화되었는지 주파수 도메인에서 부호화되었는지 판단한다(제1405단계).

제1405단계에서 저주파수 영역이 시간 도메인에서 부호화되었다고 판단되면, 부호화기에서 부호화된 저주파수 영역의 여기 신호를 복호화한다(제1410단계).

기 설정된 주파수 보다 작은 영역에 마련된 신호인 저주파수 신호에 대해 부호화기에서 장구간 예측(long-term prediction)이 수행된 결과를 복호화하고, 제1410단계에서 복호화된 여기 신호에 장구간 예측이 수행된 결과를 합성한다(제1415단계).

제1405단계에서 저주파수 영역이 주파수 도메인에서 부호화되었다고 판단되면, 부호화기에서 양자화된 여기 스펙트럼을 역양자화한다(제1420단계).

도 11a의 제1125단계에서 수행하는 변환의 역과정으로서 제1420단계에서 역양자화된 여기 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환하여 여기 신호를 생성한다(제1425단계).

저주파수 신호의 LPC(Linear Predictive Coding) 계수를 복호화하고, 제1415단계에서 합성된 여기 신호 또는 제1425단계에서 생성된 여기 신호에 복호화된 LPC 계수를 합성한다(제1430단계). 제1430단계에서 합성된 신호는 최종적으로 저주파수 영역에 마련될 저주파수 신호가 복원된 것이다.

제1420단계에서 역양자화된 여기 스펙트럼 또는 제1410단계에서 복호화된 여기 신호를 이용하여 고주파수 신호를 복호화한다(제1435단계). 만일 저주파수 영역이 시간 도메인에서 부호화되었다면 제1435단계에서는 제1420단계에서 역양자화된 여기 스펙트럼을 이용하여 고주파수 신호를 복호화하고, 만일 저주파수 영역이 주파수 도메인에서 부호화되었다면 제1435단계에서는 제1410단계에서 복호화된 여기 신호를 이용하여 고주파수 신호를 복호화한다.

제1430단계에서 복원된 저주파수 신호와 제1435단계에서 복호화된 고주파수 신호를 합성한다(제1440단계).

도 14b는 본 발명에 의한 적응적 고주파수영역 복호화 방법에 포함된 제1435단계에 대한 일 실시예를 흐름도로 도시한 것이다.

먼저, 기 설정된 주파수 보다 작은 영역에 해당하는 저주파수 영역이 부호화된 도메인을 판단하여 기 설정된 주파수 보다 큰 영역에 해당하는 고주파수 영역을 시간 도메인에서 복호화할지 주파수 도메인에서 복호화할지 여부를 판단한다(제1445단계).

만일 제1445단계에서 고주파수 영역을 시간 도메인에서 복호화하는 것으로 판단되면, 기 설정된 주파수 보다 큰 영역에 마련된 고주파수 신호에 대한 LPC(Linear Predictive Coding) 계수를 복호화한다(제1450단계). 제1450단계에서 복호화된 LPC 계수에 의하여 도 7a에 도시된 그래프와 같은 포락선을 복원할 수 있다.

도 12a의 제1410단계에서 복호화된 여기 신호에 제1450단계에서 복호화된 LPC 계수에 의한 포락선을 승산한다(제1455단계). 제1455단계에서 승산된 신호의 예로 도 7b에 도시된 식별번호 710에 해당하는 신호가 있다.

부호화기에서 부호화된 이득값을 복호화하여 제1455단계에서 승산된 신호에 적용한다(제1460단계). 제1460단계에서 이득값을 적용함으로써 도 14a의 제1430단계에서 복원된 저주파수 신호와 복호화된 고주파수 신호 사이에 존재하는 미스매칭(mismatching)을 보상할 수 있다. 예를 들어, 제1455단계에서 승산된 고주파수 신호는 도 7b에 도시된 바와 같이 저주파수 신호와의 경계면에 미스매칭이 발생하지만 제1460단계에서 이득값을 적용함으로써 도 7c에 도시된 바와 같이 저주파수 신호와 고주파수 신호 사이에 미스매칭이 발생하지 않도록 한다.

만일 제1445단계에서 고주파수 영역을 주파수 도메인에서 복호화하는 것으로 판단되면, 도 14a의 제1420단계에서 역양자화된 여기 스펙트럼을 고주파수 영역에 패치(patch)하거나 대칭적으로 폴딩(folding)함으로써 스펙트럼을 생성한다(제1465단계). 예를 들어, 제1465단계는 도 8a에 도시된 여기 스펙트럼을 고주파수 영역에 도 8b에 도시된 바와 같이 패치한다.

부호화기에서 부호화된 고주파수 스펙트럼의 포락선 정보를 입력받아 복호화한다(제1470단계). 제1470단계에서는 복호화된 고주파수 스펙트럼의 포락선 정보를 이용하여 제1465단계에서 생성된 스펙트럼의 포락선을 조절한다. 예를 들어, 제1470단계에서는 도 8b에 도시된 제1465단계에서 생성된 스펙트럼을 고주파수 스펙트럼의 포락선 정보를 이용하여 도 8c에 도시된 바와 같이 포락선을 조절한다.

도 11a의 제1125단계에서 수행하는 변환의 역과정으로서 제1470단계에서 포락선이 조절된 스펙트럼을 주파수 도메인에서 시간 도메인으로 역변환하여 고주파수 신호를 생성한다(제1475단계).

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.

이러한 본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

400: 역다중화부 405: 도메인 판단부
410: 여기신호 복호화부 415: 장구간 합성부
420: 선형 합성부 430: 역양자화부
433: 제2 역변환부 435: 여기스펙트럼 생성부
440: 고주파수영역 복호화부 445: 제1 역변환부

Claims (1)

1. 소정의 주파수 대역보다 높은 제1 주파수 대역의 부호화 도메인을 결정하는 단계;
   상기 제 1 주파수 대역이 시간 도메인에서 부호화된 것으로 판단되는 경우, 상기 소정의 주파수 대역보다 낮은 주파수 범위를 갖는 제2 주파수 대역의 여기신호를 이용하여 상기 제1 주파수 대역을 복호화하는 단계; 및
   상기 제 1 주파수 대역이 주파수 도메인에서 부호화된 것으로 판단되는 경우, 상기 제2 주파수 대역의 복호화된 스펙트럼을 이용하여 상기 제1 주파수 대역을 복호화하는 단계를 포함하는 주파수 대역 복호화 방법.

Images