KR19980024631A - 음성 복호화 방법 및 장치 - Google Patents

Abstract

만약 동일한 파라미터가 원래 피치가 없는 무성음 프레임에 반복적으로 사용되면, 프레임 장주기의 피치가 생성되어 부자연스러운 음감이 발생한다. 이것은 동일한 파형 형상을 갖는 여기 벡터의 반복적 사용을 회피하므로써 발생을 방지할 수 있다. 이런 목적으로, 본 발명에 의하면, 시간축상에서 소정의 부호화 단위에 의해 입력 음성신호를 구분하여 얻어진 이 부호화 단위에 시간축 음성신호를 파형 부호화하여 얻어진 부호화 음성신호를 복호화할 때, 입력 데이터는 CRC 검사 및 배드 프레임 마스킹 회로(281)에 의한 CRC에 의해 검사되고, 이에따라 오차가 발생된 프레임에 바로 직전 프레임의 파라미터를 반복 사용하는 배드 프레임 마스킹를 한다. 만약 오차 발생 프레임이 무성음이면, 무성음 합성부(220)는 잡음을 잡음 코드북으로부터의 여기 벡터에 부가하거나 임의로 잡음 코드북의 여기 벡터를 선택한다.

Description

음성 복호화 방법 및 장치

본 발명은 입력 음성신호를 블록이나 프레임과 같은 소정의 부호화단위로 구분하여서 생성된 부호화신호를 복호화하고 이 결과의 부호화 신호를 한 부호화단위로부터 또다른 부호화단위로 복호화 하기 위한 음성 복호화 방법 및 장치에 관한 것이다.

지금까지, 시간영역과 주파수영역에서 신호의 통계적 성질과 인간의 귀의 청각상 특성을 이용하여서 신호 압축을 위해 (음성신호 및 음향신호를 포함한)오디오신호를 부호화하기 위한 다양한 부호화방법이 알려져 있다. 이 부호화방법들로서, 이른바 부호 여기 선형예측(CELP)부호화계로서의 벡터합 여기 선형예측(VSELP)부호화계 또는 피치 동기 이노베이션-CELP(Pitch Synchronus Innovation ; PSI-CELP)이 최근에 저비트율 부호화계로서 관심을 끌고 있다.

이 CELP부호화계와 같은 파형 부호화계에서, 입력 음성신호는 부호화단위로서 이것의 소정의 수의 샘플로 블록 또는 프레임을 형성하고, 음성 시간축 파형에 기초한 블록-또는 프레임-에 대해, 합성에 의한 분석방법에 의해 최적 벡터의 폐쇄루프 탐색이 행해져서, 최적벡터의 인덱스를 출력하기 위해 상기 파형을 벡터양자화 한다.

한편, CELP부호화계와 같은, 상기 파형 부호화계에서, 중요 파라미터에 순회 용장 검사 부호가 첨부된다. 만약 복호기측의 CRC오차 검사에서 오차가 생기면, 직전의 블록 또는 프레임의 파라미터가 반복적으로 사용되어 재생 음성의 갑작스런 방해가 방지된다. 만약 오차가 계속되면 이득은 점차로 낮아져 음소거(무음)상태가 된다.

그런데, 오차발생 바로 직전의 블록 또는 프레임의 파라미터가 반복적으로 사용되면, 블록-또는 프레임 장주기의 피치가 들려져서, 청각상위화감이 생긴다.

반면, 재생속도가 속도제어에 의해 과도하게 지연되면, 같은 프레임이 반복되거나 작은 엇갈림으로 여러번 발생하는 것이 빈번하게 일어난다. 이 경우에, 마찬가지로 블록-또는 프레임-장주기의 피치가 들려지고, 따라서 다시 청각상위화감이 생긴다.

따라서 본 발명의 목적은 음성 복호화 방법 및 장치를 제공하는 것으로, 이에의해 복호화시에 오차 등으로 인해 현재 블록 또는 프레임의 올바른 파라미터가 생성될 수 없는 경우에도 동일한 파라미터의 반복으로 인한 상기와 같은 청각상위화감을 방지할 수 있다.

도 1은 본 발명에 의한 부호화 방법을 행하기 위한 음성신호 부호화 장치(부호기)의 기본 구조를 나타내는 블록도이다.

도 2는 본 발명에 의한 복호화 방법을 행하기 위한 음성신호 복호화 장치(복호기)의 기본구조를 나타내는 블록도이다.

도 3은 도 1에 도시된 음성신호 부호화 장치의 더 상세한 구조를 나타내는 블록도이다.

도 4는 음성신호 부호화 장치의 비트속도를 나타내는 표이다.

도 5는 도 2에 도시된 음성신호 복호기의 더 상세한 구조를 나타내는 블록도이다.

도 6은 잡음 코드북으로부터 잡음과 여기 벡터사이를 전환하는 상세한 일예를 나타내는 블록도이다.

도 7은 LSP양자화기의 기본 구조를 나타내는 블록도이다.

도 8은 LSP양자화기의 더 상세한 구조를 나타내는 블록도이다.

도 9는 벡터 양자화기의 기본 구조를 나타내는 블록도이다.

도 10은 벡터 양자화기의 더 상세한 구조를 도해한 그래프이다.

도 11은 차원의 양자화값과 차원의 수 및 비트수 사이의 관계를 나타내는 표이다.

도 12는 본 발명의 음성신호 부호화 장치의 CELP부호화부(제 2부호화부)의 도식적 구조를 나타내는 블록회로도이다.

도 13은 도 10에 도시된 구조에서 처리 흐름을 나타내는 순서도이다.

도 14a 및 도 14b는 다른 임계값에서에서 클리핑 후의 잡음 및 가우스 잡음의 상태를 나타낸다.

도 15는 타임 0에서 학습에 의해 형상(Shape) 코드북을 생성하는 처리 흐름을 나타내는 순서도이다.

도 16은 V/UV전이에 따른 LSP전환의 상태를 나타내는 표이다.

도 17은 10차 LPC분석에 의해 얻어진 α파라미터에 의거한 10차 선형 스펙트럼쌍을 나타낸다.

도 18은 무성음(UV)프레임으로부터 유성음(V)프레임까지의 이득 변화의 상태를 나타낸다.

도 19는 프레임마다 합성된 스펙트럼 또는 파형에 대한 보간 작동을 나타낸다.

도 20은 유성음(V)프레임과 무성음(UV)프레임사이의 접속부분에서 중첩(Overlapping)을 나타낸다.

도 21은 유성음의 합성시에 잡음 부가처리를 나타낸다.

도 22는 유성음의 합성시에 부가된 잡음의 진폭연산의 일예를 나타낸다.

도 23은 포스트 필터의 도식적인 구조를 나타낸다.

도 24는 필터 계수의 갱신주기와 포스트필터의 이득 갱신주기를 나타낸다.

도 25는 이득의 프레임 경계부와 포스트필터의 필터계수를 합체하는 처리를 나타낸다

도 26은 본 발명을 구체화하는 음성신호 부호화 장치를 사용하는 휴대용 단말기의 송신측의 구조를 나타내는 블록도이다.

도 27은 본 발명을 구체화하는 음성신호 복호화 장치를 사용하는 휴대용 단말기의 수신측의 구조를 나타내는 블록도이다.

* 도면의 주요부분에 대한 부호설명

110. 제 1부호화부 111. LPC역필터

113. LPC 분석/양자화부 114. 사인파 분석 부호화부

115. V/UV판정부 120. 제 2부호화부

121. 잡음 코드북 122. 청각 가중 합성 필터

123. 감산기 124. 거리계산회로

125. 청각 가중 필터 181. CRC생성 회로

220. 무성음 합성 회로 221. 잡음부가 회로

287. 잡음부가 회로 288. 잡음발생 회로

289. 전환 스위치

상기 목적을 달성하기 위해 타임축상의 입력 음성신호를 소정의 부호화단위로 구분하고 이 결과의 타임축에 의거한 부호화단위 파형신호를 파형부호화하여 얻어진 부호화 음성신호를 복호화할 때, 상기 부호화 음성신호를 파형복호화하여 얻어진 타임축에 의거한 부호화 단위 파형신호와 동일한 파형의 반복된 사용이 회피되어 그렇지 않다면 부호화단위를 주기로서 갖는 피치성분의 생성에 의해 발생된 재생음성에서의 위화감을 감소시킬 수 있다.

만약 시간축 파형 신호가 무성음 합성을 위한 여기신호이면 상기 동일한 파형의 반복은 잡음성분을 여기신호에 부가하거나, 잡음신호를 여기신호와 대체하거나, 다수의 여기신호가 기재된 잡음 코드북으로부터 임의로 여기신호를 읽으므로써 성취될 수 있다.

이것은 부호화단위를 주기로서 갖는 피치성분이 본래 피치가 없는 입력 무성음 신호부에서 발생되는 것을 방지한다.

도면을 참고하여 본 발명의 바람직한 실시예가 상세하게 설명될 것이다.

도 1 및 도 2는 본 발명에 의한 음성 복호화 방법을 수행하기 위한 복호화 장치(복호기) 및 부호화장치의 기본적 구조를 나타낸다. 도 2는 본 발명을 실시한 음성 부호화 장치를 나타내고 도 2는 부호화된 음성신호를 복호기로 보내기 위한 음성 부호화 장치를 나타낸다.

구체적으로, 만약 도 2의 음성 복호기에 있어서, CRC 검사 및 배드 프레임 마스킹 회로(281)에 의해 CRC오차가 검출되면, 후술될 무성음 합성기(220)에서 사용된 CELP복호기의 잡음 코드북으로부터의 여기벡터와 동일한 여기벡터의 반복적 사용을 회피하기 위해 잡음 부가 또는 잡음 대체가 사용되거나, 코드북으로부터 임의로 선택된 여기벡터가 사용되어서, 바로 직전 블록 또는 프레임과 동일한 여기벡터를 사용하지 않는다.

도 1의 음성 신호 부호기의 기초가 되는 기본 개념은, 이 부호기가, 예로 하모닉 코딩(Coding)과 같은 사인파 분석을 행하기 위해, 입력 음성신호의, 예로 선형 예측 부호화(LPC) 잔류오차(Residuals)와 같은 단기 예측 잔류오차를 찾기 위한 제 1부호화부(110)와, 입력 음성신호를 위상재현성을 갖는 파형 부호화에 의해 부호화하기 위한 제 2부호화부(120)를 갖는다는 것이고, 상기 제 1부호화부(110)와 제 2부호화부(120)는 각각 입력 신호의 유성음(V)을 부호화하고 입력 신호의 무성음(UV) 부분을 부호화하는데 사용된다는 것이다.

제 1부호화부(110)는 예로 하모닉 부호화나 다중대역여기(MBE) 부호화와 같은 사인파분석 부호화로 예를들어 LPC잔류오차를 부호화하는 구성을 사용한다. 제 2부호화부(120)는 최적 벡터의 폐쇄루프탐색에 의한 벡터양자화를 폐쇄루프에 의해 사용하고 또한 예를들어 합성에 의한 분석방법을 사용하여 부호 여기 선형예측(CELP)을 행하는 구성을 사용한다.

도 1에 나타난 실시예에서, 입력단자(101)로 공급된 음성신호는 제 1부호화부(110)의 LPC 역필터(111)와 LPC 분석 및 양자화부(113)로 보내진다. LPC 분석 양자화부(113)에 의해 얻어진 LPC계수 또는 일명 α파라미터는 제 1부호화부(110)의 LPC 역필터(111)로 보내진다. LPC 역필터(111)로부터 입력 음성신호의 선형 예측 잔류오차(LPC 잔류오차)를 출력한다. LPC 분석 양자화부(113)로부터 선형 스펙트럼쌍(LSPs)의 양자화 출력이 출력되어 후술될 출력 단자(102)로 보내진다. 사인파분석 부호화부(114)는 피치검출과, V/UV 판정부(115)에 의한 V/UV판정 뿐만아니라 스펙트럼 엔벌로프의 진폭의 계산을 행한다. 사인파 분석 부호화부(114)로부터의 스펙트럼 엔벌로프 진폭 데이터는 벡터 양자화부(116)로 보내진다. 스펙트럼 엔벌로프의 벡터 양자화 출력으로서, 벡터 양자화부(116)로부터의 코드북 인덱스는 스위치(117)를 경유하여 출력단자(103)로 보내지는 반면, 사인파분석 부호화부(114)의 출력은 스위치(118)를 통해 출력단자(104)로 보내진다. V/UV판정부(115)의 V/UV판정출력은 출력단자(105)로 보내지고, 제어신호로서 스위치(117, 118)에 보내진다. 만약 입력 음성신호가 유성음(V)이면, 인덱스와 피치가 선택되어 출력단자(103, 104)에 출력된다.

본 실시예에서, 도 1의 제 2부호화부(120)는 부호 여기 선형 예측 부호화(CELP부호화)구성을 갖고, 합성에 의한 분석방법을 이용하는 폐쇄루프탐색을 사용하여 시간영역 파형을 벡터 양자화하는데, 이 제 1부호화부에서 잡음 코드북(121)의 출력은 가중 합성필터에 의해 합성되고, 이 결과의 가중 음성은 감산기(123)로 보내지고, 이 가중 음성과 입력단자(101)에 그리고 이로부터 청각 가중 필터(125)를 통해 공급된 오차가 출력되고, 이와같이 발견된 오차는 거리계산회로(124)로 보내져서 거리계산을 이행하고 상기 오차를 최소화하는 벡터가 잡음 코드북(121)에 의해 탐색된다. 이 CELP부호화는 상기했듯이, 무성음부분을 부호화 하는데 사용된다. 잡음 코드북(121)으로부터의 UV데이터로서 코드북 인덱스는 V/UV 판정의 결과가 무성음일 때 켜지는 스위치(127)를 통해 출력단자(107)에서 출력된다.

출력단자(102, 103, 104, 105, 106)에서 출력된 파라미터는 순회 용장 검사(CRC)부호를 생성하기 위한 CRC생성회로(181)로 보내진다. 이 CRC부호는 출력단자(185)에서 출력된다. 단자(102)로부터의 LSP파라미터와 단자(105)로부터의 V/UV판정출력은 출력단자(182, 183)로 각각 보내진다. V/UV판정의 결과에 응답하여, 단자(103)로부터의 엔벌로프와 단자(104)로부터의 피치는 V에 대해, 단자(107)로부터의 UV데이터는 UV에 대해 여기 파라미터로서 출력단자(184)로 보내진다.

도 2는, 도 1의 음성 신호 부호기에 대응하는 장치로서, 본 발명에 의한 음성 복호화 방법을 수행하기 위한 음성신호 복호화 장치의 기본 구조를 나타내는 도면이다.

도 2에 의하면, 도 1의 출력단자(182)로부터의 선형 스펙트럼쌍(LSPs)의 양자화 출력으로서 코드북 인덱스는 CRC 검사 및 배드 프레임 마스킹 회로(281)의 입력단자(282)에 공급된다. 도 2의 입력단자(283)에는 도 1의 출력단자로부터의 선형 스펙트럼쌍(LPSs)의 양자화 출력으로서 코드북 인덱스가 공급된다. CRC검사 및 배드 프레임 마스킹(281)의 입력단자(284)에는, 예로 엔벌로프 양자화 출력과 같은, 도 1의 출력단자(184)로부터의 여기 파라미터로서의 인덱스와 무성음(UV)에 대한 데이터로서의 인덱스가 입력된다. CRC 검사 및 배드 프레임 마스킹 회로(281)의 입력단자(285)에는 도 1의 출력단자(185)로부터의 CRC데이터가 입력된다.

CRC 검사 및 배드 프레임 마스킹 회로(281)는 CRC부호에 의해 입력단자(282 내지 285)로부터의 데이터에 대해 검사를 수행한다. 또한, 오차가 발생된 프레임은 일명 배드 프레임 마스킹 처리된다. 이것은 직전 프레임의 파라미터의 반복적 사용에 의한 갑작스런 재생 음성 방해를 방지한다. 그런데, 만약 무성음에 대해 동일한 파라미터가 반복적으로 사용되면, 동일한 여기 벡터가 후술될 코드북으로부터 반복적으로 독출되어서 프레임 장주기의 피치가 원래 피치가 없는 무성음 프레임에서 재생되고, 따라서 위화감이 생긴다. 따라서, 본 실시예에서, 상기 처리는 무성음 합성부(220)에서 CRC 오차 검사시에 동일한 파형의 여기 벡터의 반복 사용을 회피하는데 적합하다.

CRC 검사 및 배드 프레임 마스킹 회로(281)로부터, 도 1의 단자(102)로부터의 LSPs의 양자화 출력과 동일한 코드북 인덱스가 단자(202)를 통해 나오는 반면, 도 1의 각 단자(103, 104, 105)로부터의 엔벌로프 양자화 출력으로서의 인덱스, 피치, V/UV판정출력은 각각 단자(203, 204, 205)에서 출력된다. 또한, 도 1의 단자(107)의 출력에 해당하는 UV에 대한 데이터로서의 인덱스가 출력된다. CRC 검사 및 배드 프레임 마스킹 회로(281)에서 만들어진 CRC 오차 신호는 단자(286)에 출력되고 이로부터 무성음 합성부(220)로 공급된다.

입력단자(203)의 엔벌로프 양자화 출력으로서 인덱스는 역벡터 양자화를 위해 역벡터 양자화부(212)로 보내지고 LPC잔류오차의 스펙트럼 엔벌로프를 찾아서 이를 유성음 합성기(211)로 보낸다. 유성음 합성기(211)는 사인파 합성에 의해 유성음 부분의 선형 예측 부호화(LPC)잔류오차를 합성한다. 유성음 합성기(211)에는 또한 입력단자(204, 205)로부터의 피치 및 V/UV판정 출력이 공급된다. 유성음 합성부(211)로부터의 유성음의 LPC잔류오차는 LPC 합성필터(214)로 보내진다. 입력단자(207)로부터의 UV데이터의 인덱스 데이터는 무성음 합성부(220)로 보내지고 여기에서 무성음 부분의 LPC잔류오차를 꺼내기 위한 잡음 코드북이 참고가 되어야 한다. 이 LPC잔류오차는 또한 LPC 합성 필터(214)로 보내진다. LPC 합성 필터(214)에서, 유성음 부분의 LPC 잔류오차와 무성음 부분의 LPC 잔류오차가 LPC 합성에 의해 처리된다. 대신에, 서로 합해진 유성음 부분의 LPC 잔류오차와 무성음 부분의 LPC 잔류오차가 LPC 합성처리될 수도 있다. 입력단자(202)로부터의 LSP 인덱스 데이터는 LPC파라미터 재생부(213)로 보내지고 여기에서 LPC의 α파라미터는 꺼내져서 LPC 합성 필터(214)로 보내진다. LPC 합성 필터(214)에 의해 합성된 음성신호는 출력 단자(201)에 꺼내진다.

일예로, 유성음 프레임에 대한 오차 검출시에, 바로 직전 프레임의 파라미터가 CRC 검사 및 배드 프레임 마스킹 회로(281)에 의한 마스킹에 의해 반복적으로 사용되어서 일예로 사인파 합성에 의해 유성음을 합성한다. 역으로, 무성음 프레임에 대한 오차 검출시에, CRC 오차 신호는 단자(286)을 통해 무성음 합성부(220)로 보내져서, 다음에 설명될 것처럼, 동일한 파형 형상(Shape)의 여기벡터를 계속해서 사용하지 않고도 무성음 합성 작동을 수행한다.

도 3을 참고로 도 1에 도시된 음성 신호 부호기의 더 상세한 구조를 이제 설명한다. 도 3에서, 도 1과 비슷한 부분 또는 구성요소는 동일한 참고번호로 표시한다.

도 3에 도시된 음성 신호 부호기에서, 입력단자(101)에 공급된 음성 신호는 고역 통과 필터(HPF)(109)에 의해 필터되어 불필요한 범위의 신호가 제거되고 이로부터 LPC 분석/양자화부(113)의 LPC(선형 예측 부호화) 분석회로(132)와 LPC 역필터(111)에 공급된다.

LPC 분석/양자화부(113)의 LPC 분석 회로(132)는 입력 신호 파형의 256샘플 정도의 길이를 1블록으로서, 해밍창(Hamming Windowing)을 적용하고, 일명 α파라미터인 선형 예측 계수를 자기 상관법에 의해 구한다. 1데이터 출력부로서 프레임 간격은 대략 160 샘플로 설정된다. 일예로, 만약 샘플링 주파수(fs)가 8kHz이면 1프레임 간격은 20msec 또는 160샘플이다.

LPC 분석 회로(132)로부터의 α파라미터는 α-LSP 변환회로(133)로 보내져서 선형 스펙트럼쌍(LSP) 파라미터로 변환된다. 이것은 직접형 필터계수로서 구해진 α파라미터를, 일예로 LSP 파라미터의 5쌍인 10으로 변환한다. 이 변환은, 일예로 뉴튼-랩슨법에 의해 수행된다. α파라미터가 LSP 파라미터로 변환되는 이유는 LSP 파라미터가 보간 특성에서 α파라미터보다 우수하기 때문이다.

α-LSP 변환회로(133)로부터의 LSP파라미터는 LSP 양자화기(134)에 의한 매트릭스-또는 벡터-이다. 양자화전의 프레임간 차이를 취하거나 매트릭스 양자화를 수행하기 위해 복수의 프레임을 모을 수 있다. 이 경우에, 20msec마다 계산된, 각각 20msec 길이의, LSP 파라미터의 2프레임이 함께 취급되어 매트릭스 양자화 및 벡터 양자화 처리된다.

LSP 양자화의 인덱스 데이터인 양자화기(134)의 양자화 출력은 단자(102)에서 출력되는 반면, 양자화 LSP 벡터는 LSP 보간 회로(136)로 보내진다.

LSP 보간회로(136)는 20msec 또는 40msec 마다 양자화된 LSP 벡터를 보간한다. 즉, LSP 벡터는 2.5msec 마다 갱신된다. 이것은, 만약 잔류오차 파형이 하모닉 부호화/복호화 방법에 의해 분석/합성 처리되면, 합성 파형의 엔벌로프가 매우 매끄러운 파형을 나타내므로, LPC 계수가 20msec 마다 갑작스럽게 변화하면 이상음이 발생될 것 같다. 다시말해, 만약 LPC 계수가 2.5msec마다 서서히 변하면, 상기 이상음의 발생이 방지될 수 있다.

2.5msec 마다 생성된 보간 LSP 벡터를 사용하여 입력 음성을 역 필터링하기 위해, LSP 파라미터는 LSP→α 변환회로(137)에 의해 α파라미터로 변환되고, 이것은 일예로 10차정도의 직접형 필터의 필터계수이다. LSP→α변환회로(137)의 출력은 LPC 변환 필터회로(111)로 보내져서, 역 필터링을 실행하여 2.5msec 마다 갱신된 α파라미터를 사용하여 매끄러운 출력을 생성한다. LPC 역필터(111)의 출력은, 일예로 하모닉 부호화 회로와 같은 사인파 분석 부호화부(114)의, 일예로 DCT 회로와 같은 직교 변환회로(145)로 보내진다.

LPC 분석/양자화부(113)의 LPC분석회로(132)로부터의 α파라미터는 청각가중 계산 회로(139)로 보내져서 청각 가중을 위한 데이터가 구해진다. 이 가중 데이터는 청각 가중 벡터 양자화기(116)와 제 2부호화부(120)의 청각 가중 필터(125)와 청각 가중 합성 필터(122)로 보내진다.

하모닉 부호화 회로의 사인파 분석 부호화부(114)는 하모닉 부호화 방법으로 LPC 역필터(111)의 출력을 분석한다. 다시말해, 피치검출, 각 하모닉스의 진폭(Am) 산출 및 유성음(V)/무성음(UV) 판별이 행해지고, 피치로 변화된 각 하모닉스의 엔벌로프 또는 진폭(Am)의 개수는 차원변환에 의해 일정하게 된다.

도 3에 도시된 사인파 분석 부호화부(114)의 구체적인 예에서는, 일반적인 하모닉 부호화가 사용된다. 특히, 다중대역 여기(MBE) 부호화에서, 모델화할 때 동시각(동일한 블록 또는 프레임)의 주파수영역 즉 대역마다 유성음 부분과 무성음 부분이 존재한다고 가정한다. 다른 하모닉 부호화 기술에서는, 1블록 또는 1프레임에서의 음성이 유성음인지 무성음인지가 택일적으로 판단된다. 다음 설명에서, MBE 부호화가 관련된 한에 있어서는, 대역 전체가 UV이면 소정의 프레임이 UV 인 것으로 판정된다. 상기한 MBE에 대한 분석합성방법 기술의 구체적인 예는 본 출원의 출원인의 이름으로 제출된 일본 특허출원번호 4-91442에 나와 있다.

도 3의 사인파 분석 부호화부(114)의 개방루프 피치 탐색부(141)와 영교차 카운터(142)에는 입력단자(101)로부터의 입력 음성신호와 고역 통과 필터(HPF)로부터의 신호가 각각 공급된다. 사인파 분석 부호화부(114)의 직교 변환회로(145)에는 LPC 역필터(111)로부터의 LPC 잔류오차 즉 선형 예측 잔류오차가 공급된다. 개방루프 피치 탐색부(141)는 입력신호의 LPC 잔류오차를 받아들여 개방루프 탐색에 의해 비교적 대략의 피치 탐색을 행한다. 상기 추출된 대략적인 피치 데이터는 후술될 폐쇄루프 탐색에 의해 고정밀 피치 탐색부(146)로 보내진다. 개방루프 피치 탐색부(141)로부터, 상기 대략적인 피치 탐색 데이터와 함께 LPC 잔류오차의 자기상관의 최대값을 정규화하므로써 얻어진 정규화 자기 상관의 최대값(r(p))이 대략적인 피치 데이터와 함께 출력되어 V/UV판정부(115)로 보내진다.

직교 변환회로(145)는, 일예로 이산(離散) 푸리에 변환(DFT)과 같은 직교변환을 행하여 타임축의 LPC잔류오차를 추파수축의 스펙트럼 진폭 데이터로 변환한다. 직교 변환회로(145)의 출력은 고정밀 피치 탐색부(146)와 스펙트럼 진폭 또는 엔벌로프를 평가하기 위해 구성된 스펙트럼 평가부(148)로 보내진다.

고정밀 피치 탐색부(146)에는 개방 루프 피치 탐색부(141)에 의해 추출된 비교적 대략적인 피치 데이터와 직교 변환부(145)에 의한 DFT에 의해 얻어진 주파수 영역 데이터가 공급된다. 고정밀 피치 탐색부(146)는 대략적인 피치 데이터값의 중심에 있는 0.2 내지 0.5의 비율로, ±몇몇 샘플로 피치데이터를 진동시켜서, 최적 소수점(플로우팅 포인트;Floating point)을 갖는 고정밀 피치 데이터의 값까지 도달하도록 한다. 합성에 의한 분석 방법은 피치를 선택하기 위한 고정밀 탐색 기술로서 사용되어서 파워 스펙트럼이 원음의 파워 스펙트럼에 가장 근접하게 될 것이다. 폐쇄루프 고정밀 피치 탐색부(146)로부터의 피치 데이터는 스위치(118)를 경유하여 출력단자(104)로 보내진다.

스펙트럼 평가부(148)에서, 각 하모닉스의 진폭과 하모닉스의 집합으로서의 스펙트럼 엔벌로프는 LPC잔류오차의 직교 변환 출력으로서의 스펙트럼 진폭과 피치를 기초로 평가되어, 고정밀 피치 탐색부(146)와 V/UV판정부(115)와 청각 가중 벡터 양자화부(116)로 보내진다.

V/UV 판정부(115)는, 직교 변환회로(145)의 출력, 고정밀 피치 탐색부(146)로부터의 최적 피치, 스펙트럼 평가부(148)로부터의 스펙트럼 진폭 데이터, 개방루프 피치 탐색부(141)로부터의 정규화 자기 상관의 최대값(r(p))과 영교차 카운터(142)로부터의 영교차 카운터값에 따른 프레임의 V/UV를 판정한다. 또한, MBE에 있어서 대역에 따른 V/UV판정의 경계위치는 V/UV 판정에 대한 조건으로 또한 사용될 수 있다. V/UV 판정부(115)의 판정출력은 출력단자(105)에서 출력된다.

스펙트럼 평가부(148)의 출력부 또는 벡터 양자화부(116)의 출력부에는 데이터수 변환부(일종의 샘플링율 변환을 수행하는 부)가 공급된다. 데이터수 변환부는 주파수축에 구분된 대역의 수와 데이터의 수가 피치와 다름을 고려하여 엔벌로프의 진폭 데이터(｜Am｜)를 일정한 값으로 설정하는데 사용된다. 다시말해, 만약 유효대역이 3400kHz까지이면, 유효대역은 피치에 따라 8 내지 63대역으로 구분될 수 있다. 각 대역 마다 얻어진 진폭 데이터 (｜Am｜)의 m_MX+1의 개수는 8 내지 63의 범위에서 변화된다. 따라서 데이터수 변환부는 가변개수 (m_MX+1)개의 진폭 데이터를, 일예로 44데이터와 같은 데이터의 일정개수 (M)개로 변환한다.

스펙트럼 평가부(148)의 출력부 즉 벡터 양자화부(116)의 입력부에 제공된, 데이터 개수 변환부로부터의 일예로 44와 같은 일정개수 (M)개의 진폭데이터나 엔벌로프 데이터는, 가중 벡터 양자화를 수행하기 위해, 데이터 양자화부(116)에 의해, 한 단위로서 일예로 44데이터와 같은 일정개수의 데이터에 의하여 함께 처리된다. 이 중량은 청각 가중 필터 연산부(139)의 출력에 의해 공급된다. 벡터 양자화기(116)로부터의 엔벌로프의 인덱스는 스위치(117)에 의해 출력단자(103)에서 출력된다. 가중 벡터 양자화에 앞서, 일정개수의 데이터로 이루어진 벡터에 대해 적당한 리키지(Leakage) 계수를 사용하여 프레임간 차이를 취하는 것이 바람직하다.

제 2부호화부(120)를 설명한다. 제 2부호화부(120)는 일명 CELP부호화구조를 갖고 특히 입력 음성신호의 무성음 부분을 부호화하는데 사용된다. 입력 음성신호의 무성음 부분을 위한 CELP 부호화 구조에서, 일명 스터캐스틱 코드북(121)이라고도 하는 잡음 코드북의 대표값 출력으로서, 무성음의 LPC 잔류오차에 해당하는, 다음에 상세하게 설명된 잡음출력은 이득 제어회로(126)를 통해 청각 가중 합성필터(122)로 보내진다. 가중 합성필터(122)는 LPC합성에 의해 입력 잡음을 LPC합성하고 여기서 생성된 가중 무성음 신호를 감산기(123)로 보낸다. 감산기(123)에는 고역 통과 필터(HPF)(109)를 통해 입력 단자(101)로부터 제공되고 청각 가중 필터(125)에 의해 청각 가중된 신호가 공급된다. 가산기는 이 신호와 합성필터(122)로부터의 신호간에 차이나 오차를 찾는다. 이때에, 청각 가중 합성필터의 제로 입력 응답은 청각 가중 필터(125)의 출력으로부터 미리 감산된다. 이 오차는 거리를 계산하기 위해 거리 계산회로(124)로 공급된다. 상기 오차를 최소화할 대표값 벡터는 잡음 코드북(121)에서 탐색된다. 상기는 합성에 의한 분석법에 의해 폐쇄루프 탐색을 사용하는 시간축 파형의 벡터 양자화의 요약이다.

CELP 부호화 구조를 사용하는 제 2부호화기(120)로부터 무성음(UV)부분을 위한 데이터로서 잡음 코드북(121)으로부터의 코드북의 형상(Shape) 인덱스와 이득 회로(126)로부터의 코드북의 이득 인덱스가 출력된다. 잡음 코드북(121)으로부터의 UV데이터인 형상(Shape) 인덱스는 스위치(127s)를 통해 출력 단자(107s)로 보내지는 반면, 이득 회로(126)의 UV데이터인 이득 인덱스는 스위치(127g)를 통해 출력 단자(107g)로 보내진다.

이 스위치(127s, 127g)와 스위치(117, 118)는 V/UV판정부(115)로부터의 V/UV판정결과에 따라 온/오프 된다. 구체적으로, 만약 현재 송신된 프레임의 음성신호의 V/UV판정의 결과가 유성음(V)을 나타내면, 스위치(117, 118)가 온되는 반면, 만약 현재 송신된 프레임의 음성신호가 무성음(UV)이면, 스위치(127s, 127g)가 온된다.

단자(102 내지 105, 107s 및 107g)의 출력은 CRC 생성회로(181)를 통해 출력 단자(182 내지 184)에서 출력된다. 6kbps모드 동안, 후술될 것처럼, CRC생성회로(181)는 전체 음성에 중요하게 영향을 미치는 중요 비트에 대해서만 40msec마다 8비트 CRC를 계산하고 이 결과를 출력 단자(185)에 출력한다.

도 5는 본 발명을 실시하는 음성신호 복호기의 더 상세한 구조를 나타낸다. 도 5에서, 도 2와 비슷한 부분이나 구성요소는 동일한 참고번호로 표시된다.

도 5에 나타난 CRC검사 및 배드 프레임 마스킹 회로(281)에서, 도 1 및 도 3의 출력단자(182)로부터의 LSP 코드북 인덱스는 입력단자(282)에 입력되는 반면, 도 1 및 도 3의 출력단자(182)로부터의 U/V 판정출력은 입력 단자(283)에 입력된다. 또한, 도 1 및 도 3의 출력단자(184)로부터의 여기 파라미터는 입력단자(284)에 입력된다. 도 1 및 도 3의 출력단자(185)로부터의 CRC데이터는 CRC 검사 및 배드 프레임 마스킹 회로(281)의 입력단자(285)에 입력된다.

CRC 검사 및 배드 프레임 마스킹 회로(281)는 이 입력단자(282 내지 285)로부터의 데이터를 CRC코드에 의해 검사하고 이와 동시에 일명 배드 프레임 마스킹을, 바로 직전 프레임의 프레임의 반복에 의한 오차가 발생된 프레임에 행하여 재생 음성의 갑작스런 방해를 방지한다. 그런데, 무성음 부분에 대해, CRC 검사 및 배드 프레임 마스킹 회로(281)는, 동일한 파라미터의 반복 사용은 잡음 코드북(221)으로부터 동일한 여기 벡터를 반복하여 읽도록 한다는 것을 고려하여 잡음 부가 회로(287)에 의해 잡음을 여기 벡터에 부가한다. 따라서, CRC 검사 및 배드 프레임 마스킹 회로(281)에 의한 CRC검사에서 얻어진 CRC오차는 단자(286)를 통해 잡음 부가 회로(287)로 보내진다.

도 1 및 도 3의 단자(102)의 출력, 일명 코드북에 해당하는 LSP 벡터 양자화 출력은 CRC 검사 및 배드 프레임 마스킹 회로(281)의 단자(202)를 통해 공급된다.

이 LSP 인덱스는, LPC파라미터 생성부(213)의 역벡터 양자화기(231)로 보내져서 선형 스펙트럼쌍(LSPs)에 역벡터 양자화를 하고 그리고나서 이 선형 스펙트럼쌍(LSPs)은 LSP 보간을 위해 LSP 보간회로로 보내진다. 이 결과의 데이터는 LSP→α변환회로(234, 235)로 보내져서 선형 예측 코드(LSP)의 α파라미터로 변환되고 이것은 LPC 합성필터(214)로 보내진다. LSP 보간회로(232)와 LSP→α변환회로(234)는 유성음(V)을 위해 지정되는 반면, LSP 보간회로(233)와 LSP→α변환회로는 무성음(UV)을 위해 지정된다. 다시말해, 무성음 부분 및 유성음 부분을 위한 LPC계수 보간을 독립적으로 행하므로써, 완전히 다른 성질의 LSPs의 보간의 결과로서 유성음 부분으로부터 무성음 부분까지의 또는 그 역으로의 천이부분에서는 어떤 역효과도 생성되지 않는다.

도 5의 CRC 검사 및 배드 프레임 마스킹 회로(281)에서, 도 1 및 도 3의 부호기측 단자(103)로부터의 출력에 해당하는 스펙트럼 엔벌로프(Am)의 가중 벡터 양자화 코드 인덱스 데이터는 단자(203)에서 출력된다. 반면, 도 1 및 도 3의 단자(104)로부터의 피치 데이터와 도 1 및 도 3의 단자(105)로부터의 V/UV 판정 데이터는 각각 단자(204, 205)에서 출력된다.

단자(203)로부터의 스펙트럼 엔벌로프(Am)의 벡터 양자화 인덱스 데이터는 역벡터 양자화기(212)로 보내져서 역벡터 양자화되고 상기한 데이터수의 역인 역변환된다. 이 결과의 스펙트럼 엔벌로프 데이터는 유성음 합성부(211)의 사인파 합성 회로(215)로 보내진다.

만약 부호화시에 스펙트럼 성분의 벡터 양자화에 앞서 프레임간 차이가 취해지면, 역벡터 양자화와 프레임간 차이와 데이터수 변환이 이 순서로 실행되어 스펙트럼 데이터가 생성된다.

사인파 합성회로(215)에는 단자(204)로부터의 피치와 단자(205)로부터의 V/UV 판정 데이터가 공급된다. 사인파 합성회로(215)로부터, 도 1 및 도 3의 LPC 역필터(111)의 출력에 해당하는 LPC 잔류오차 데이터는 출력되어 가산기(218)로 보내진다. 사인파 합성을 위한 상세한 기술은 일본 특허출원 번호4-9123 및 6-198451에 개시되어 있다.

역벡터 양자화기로부터의 엔벌로프 데이터와 단자(204, 205)로부터의 V/UV 판정 데이터뿐만아니라 피치는 잡음 합성회로(216)로 보내져서 유성음(V) 부분에 잡음이 부가된다. 잡음합성회로(216)의 출력은 가중 중첩 및 가산회로(217)를 통해 가산기(218)로 보내진다. 특히, 만약 사인파 합성에 의해 유성음용의 LPC 합성필터의 입력으로서 여기(Excitation)가 생성되면, 코가 막힌 듯한(Stuffed) 소리가 남성의 음성 등의 저음 피치로 생성되고, 또한 유성음(V) 부분과 무성음(UV) 부분간에 음질이 급속히 변화하여 부자연스러운 음감이 발생되는 점을 고려하여, 이 유성음 부분의 LPC 합성필터 입력 즉 여기와 관련하여, 일예로 피치, 스펙트럼 엔벌로프의 진폭, 잔류오차 신호의 프레임 또는 레벨에서의 최대진폭과 같은 부호화 음성 데이터로부터의 파라미터를 고려한 잡음이 LPC 잔류오차 신호의 유성음 부분에 가산된다.

가산기(218)의 부가 출력은 LPC 합성을 위해 LPC합성필터(214)의 유성음용 합성필터(236)로 보내져서 시간 파형 데이터를 발생시키고 이 데이터는 유성음용 포스트 필터(238v)에 의해 필터되어서 가산기(239)로 보내진다.

도 5의 CRC 검사 및 배드 프레임 마스킹 회로(281)의 단자(207s, 207g)로부터, 도 3의 출력단자(107s, 107g)로부터의 UV 데이터로서 형상(Shape) 인덱스 및 이득 인덱스가 각각 출력되어 무성음 합성부(220)로 공급된다. 단자(207s)로부터의 형상(Shape) 인덱스와 단자(207g)로부터의 이득 인덱스는 각각 무성음 합성부(220)의 잡음 코드북(221)과 이득 회로(222)로 공급된다. 잡음 코드북(221)으로부터 독출된 대표 출력값은 여기벡터 즉 무성음의 LPC 잔류오차에 해당하는 잡음 신호 성분이고, 이것은 소정의 이득의 진폭임을 증명하기 위해 잡음 부가회로(287)를 통해 이득 회로(222)로 보내지고, 그리고나서 윈도 회로(223)로 보내져서 유성음부분으로의 접합을 매끄럽게 하기 위해 윈도처리된다.

부가회로(287)에는 CRC 검사 및 배드 프레임 마스킹 회로(281)의 단자(286)로부터의 CRC 오차신호가 공급되고 적당하게 생성된 잡음신호 성분은 오차 발생시에 잡음 코드북(221)으로부터 독출된 여기 벡터에 부가된다.

구체적으로, CRC 검사 및 배드 프레임 마스킹 회로(281)는 입력단자(282 내지 285)로부터의 데이터에 CRC검사에 의한 오차가 발생된 프레임에 대해 바로 직전 프레임의 파라미터를 반복적으로 사용하는 배드 프레임 마스킹을 수행한다. 그런데, 만약 동일한 파라미터가 무성음 부분에 대해 반복적으로 사용되면, 동일한 여기벡터가 잡음 코드북(221)으로부터 반복적으로 독출되어서 프레임 장주기 피치의 피치가 발생되어 부자연스러운 음감이 발생한다. 이것은 상기 기술에 의해 방지된다. 일반적으로 CRC오차 검사시에 동일한 파형의 어떤 여기벡터도 무성음 합성부(220)에서 연속적으로 사용되지 않는 처리를 수행하는 것으로 충분하다.

동일한 파형의 반복을 회피하기 위한 수단의 구체적인 예로서, 적절하게 발생된 잡음이 부가회로(287)에 의해 잡음 코드북(221)로부터 독출된 여기 벡터에 부가되거나 잡음 코드북(21)의 여기 벡터가 임의로 선택될 수도 있다. 대신에, 가우스 잡음과 같은 잡음이 도 6에 도시된 바와같이, 여기벡터를 대신해서 생성되어 사용될 수도 있다. 즉, 도 6의 실시예에서, 잡음 코드북(221)의 출력 또는 잡음 발생 회로(288)의 출력은 단자(286)로부터 CRC 오차 신호에 의해 전환 제어된 전환 스위치(289)를 통해 이득 회로(222)로 보내져서, 오차검출시에, 잡음 발생 회로(288)로부터 가우스 잡음과 같은 잡음은 이득 회로(222)로 보내진다. 잡음 코드북(221)의 여기 벡터를 임의로 선택하는 구체적인 구성은 오차 검출시에 잡음 코드북(221)을 독출하기 위한 형상(Shape) 인덱스로서 적합한 임의의 수를 출력하는 CRC 검사 및 배드 프레임 마스킹 회로(281)에 의해 이행될 수 있다.

윈도 회로(223)의 출력은 LPC 합성필터(214)의 무성음(UV)을 위한 합성필터(237)로 보내진다. 합성필터(237)로 보내진 데이터는 LPC 합성처리되어 무성음을 위한 시간 파형 데이터가 된다. 무성음 부분의 시간 파형 데이터는 가산기(239)로 보내지기 전에 무성음 부분(238u)을 위한 포스트필터에 의해 필터된다.

가산기(239)에서, 유성음(238v)용의 포스트필터로부터의 시간 파형 신호와 무성음용의 포스트 필터(238u)로부터의 무성음 부분을 위한 시간 파형 데이터는 서로 가산되어 이 합해진 결과의 데이터는 출력단자(201)에 출력된다.

상기 음성신호 부호기는 요구되는 음질에 따라 다른 비트율의 데이터를 출력할 수 있다. 즉, 출력 데이터는 다양한 비트율로 출력될 수 있다.

구체적으로, 출력 데이터의 비트율은 저비트율과 고비트율사이에서 전환될 수 있다. 예를들어, 만약 저비트율이 2kbps이고 고비트율이 6kbps이면, 출력데이터는 도 4에 도시된 다음 비트율을 갖는 비트율의 데이터이다.

도 4에서, 출력단자(104)로부터의 피치데이터는 유성음에 대해 항상 8bits/20msec로 출력되고, 출력단자(105)로부터의 V/UV 판정출력은 항상 1bit/20msec이 된다. 출력단자(102)로부터 출력된 LSP양자화에 대한 인덱스는 32bits/40msec 와 48bits/40msec사이에서 전환된다. 한편, 유성음(V)이 출력단자(103)에 의해 출력될 때의 인덱스는 15bits/20msec와 87bits/20msec사이에서 전환된다. 출력단자(107s, 107g)로부터 출력된 무성음(UV)에 대한 인덱스는 11bits/10msec 와 23bits/5msec 사이에서 전환된다. 유성음(UV)에 대한 출력데이터는 2kbps에 대해 40bits/20msec이고 6kbps에 대해 120kbps/20msec이다. 한편, 유성음(UV)에 대한 출력데이터는 2kbps에 대해 39bits/20msec이고 6kbps에 대해 117bits/20msec이다.

LSP양자화를 위한 인덱스는 유성음(V)용 인덱스와 무성음(UV)용 인덱스가 적절한 부분의 구성과 관련하여 후술될 것이다.

도 7 및 도 8을 참고하여, LSP 양자화기(134)에서 매트릭스 양자화 및 벡터 양자화가 상세하게 설명된다.

LPC 분석회로(132)로부터의 α파라미터는 LSP 파라미터로의 변환을 위해 α-LSP회로(133)로 보내진다. 만약 P차 LPC분석이 LPC 분석회로(132)에서 행해지면, P개의 α파라미터가 계산된다. 이 P개의 α파라미터는 버퍼(610)에 기억되어 있는 LSP 파라미터로 변환된다.

버퍼(610)는 LSP 파라미터의 2프레임을 출력한다. LSP파라미터의 2프레임은 제 1매트릭스 양자화기(610₁)와 제 2매트릭스 양자화기(610₂)로 이루어진 매트릭스 양자화기(620)에 의해 매트릭스 양자화된다. 이 LSP 파라미터의 두 프레임은 제 1매트릭스 양자화기(610₁)에서 매트릭스 양자화되고 이 결과의 양자화 오차는 또한 제 2매트릭스 양자화기(610₂)에서 매트릭스 양자화된다. 매트릭스 양자화는 시간축과 주파수축 모두에서 상관관계를 이용한다.

매트릭스 양자화기(620₂)로부터의 두 프레임에 대한 양자화 오차는 제 1벡터 양자화기(640₁)와 제 2벡터 양자화기(640₂)로 이루어진 벡터 양자화부(640)에 입력된다. 제 1벡터 양자화기(640₁)는 두 개의 벡터 양자화부(650, 660)로 이루어지는 반면, 제 2벡터 양자화기(640₂)는 두 개의 벡터 양자화부(670, 680)로 이루어진다. 매트릭스 양자화부(620)로부터의 양자화 오차는 제 1벡터 양자화기(640₁)의 벡터 양자화부(650, 660)에 의해 프레임 기준으로 양자화된다. 이 결과의 양자화오차 벡터는 또한 제 2벡터 양자화기(640₂)의 벡터 양자화부(670, 680)에 의해 벡터 양자화된다. 상기 벡터 양자화는 주파수 축에서 상관관계를 이용한다.

상기한 매트릭스 양자화를 실행하는 매트릭스 양자화부(620)는 적어도 제 1매트릭스 양자화 단계를 행하는 제 1매트릭스 양자화기(620₁)와 제 1매트릭스, 양자화에 의해 생성된 양자화 오차를 매트릭스 양자화 하기 위한 제 2매트릭스 양자화 단계를 행하는 제 2 매트릭스 양자화기(620₂)를 포함한다. 상기한 벡터 양자화를 실행하는 벡터 양자화부(640)는 적어도 제 1벡터 양자화 단계를 행하는 제 1 벡터 양자화기(640₁)와 제 1벡터 양자화에 의해 발생될 양자화 오차를 매트릭스 양자화 하기 위한 제 2매트릭스 양자화 단계를 행하는 제 2 벡터 양자화기(640₂)를 포함한다.

매트릭스 양자화와 벡터 양자화가 상세하게 설명될 것이다.

버퍼(600)에 기억된 두 프레임에 대한 LSP파라미터, 즉 10×2매트릭스는 제 1매트릭스 양자화기(620₁)에 보내진다. 제 1매트릭스 양자화기(620₁)는 두 프레임에 대한 LSP파라미터를 LSP 파라미터 가산기(621)를 통해 가중거리 계산부(623)로 보내서 최소값의 가중거리를 구한다.

제 1매트릭스 양자화기(620₁)에 의해 코드북 탐색시에 왜곡 척도(d_MQ1)는 수학식 1에 의해 주어진다.

여기에서, X₁은 LSP파라미터이고 X1'은 양자화 값이며, t 와 i는 P차원의 수이다.

주파수축과 시간축에서의 중량 제한이 고려되지 않는 중량(w)이 수학식 2에 의해 주어진다.

여기에서, t에 관계없이 x(t,0) = 0, x(t,p+1) = π이다.

수학식 2의 중량(w)은 또한 후단의 매트릭스 양자화 및 벡터 양자화에 사용된다.

연산된 가중거리는 매트릭스 양자화기(MQ₁)(622)로 보내져서 매트릭스 양자화된다. 이 매트릭스 양자화에 의해 출력된 8비트 인덱스는 신호 전환기(690)로 보내진다. 매트릭스 양자화에 의한 양자화 값은 버퍼(610)로부터의 두 프레임에 대해 LSP파라미터로부터 가산기(621)에서 가산된다. 가중 거리 계산부(623)는 두 프레임마다 가중거리를 계산하여서 매트릭스 양자화가 매트릭스 양자화부(622)에서 수행된다. 또한, 가중거리를 최소화하는 양자화값이 선택된다. 가산기(621)의 출력은 제 2 매트릭스 양자화기(620₂)의 가산기(631)로 보내진다.

제 1매트릭스 양자화기(620₁)와 마찬가지로, 제 2매트릭스 양자화기(620₂)는 매트릭스 양자화를 수행한다. 가산기(621)의 출력은 가산기(631)를 통해 가중거리 계산부(633)로 보내져서 여기에서 최소 가중거리가 계산된다.

제 2매트릭스 양자화기(620₂)에 의한 코드북 탐색시에 왜곡척도(d_MQ2)는 수학식 3에 의해 주어진다.

가중거리는 매트릭스 양자화를 위해 매트릭스 양자화부(MQ₂)(632)로 보내진다. 매트릭스 양자화에 의해 출력된 8비트 인덱스는 신호 전환기(690)로 보내진다. 가중거리 계산부(633)는 다음으로 가산기(631)를 사용하여 가중거리를 계산한다. 가중거리를 최소화하는 양자화값이 선택된다. 가산기(631)의 출력은 프레임마다 제 1벡터 양자화기(640₁)의 가산기(651,661)로 보내진다.

제 1벡터 양자화기(640₁)는 프레임마다 벡터 양자화를 행한다. 가산기(631)의 출력은 최소 가중거리를 계산하기 위해 가산기(651, 661)를 통해 각 가중거리 계산부(652, 662)로 보내진다.

양자화 오차(X₂)와 양자화 오차(X₂')는 (10×2)의 매트릭스이다. 만약 차이가 X2－X2'=[x_3-1', x_3-2]로 표현된다면, 제 1벡터 양자화기(640₁)의 벡터 양자화부(652, 662)에 의한 코드북 탐색시의 왜곡척도(d_VQ1, d_VQ2)는 수학식 4 및 수학식 5에 의해 주어진다.

상기 가중 거리는 벡터 양자화를 위해 벡터 양자화부(VQ₁)(652)와 벡터 양자화부(VQ₂)(662)로 보내진다. 이 벡터 양자화에 의해 출력된 8비트 인덱스는 신호 전환기(690)로 보내진다. 이 양자화값은 가산기(651, 661)에 의해 입력 2프레임 양자화 오차벡터로부터 감산된다. 가중거리 계산부(653, 663)는 가산기(651, 661)의 출력을 사용하여 가중거리를 다음으로 계산하여 가중거리를 최소화하는 양자화값을 선택한다. 가산기(651, 661)의 출력은 제 2벡터 양자화기(640₂)의 가산기(671, 681)로 보내진다.

제 2벡터 양자화기(6402)의 벡터 양자화기(672, 682)에 의한 코드북 탐색시에 왜곡척도(d_VQ3, d_VQ4)는

x_4-1= x_3-1- x_3-1'

x_4-2= x_3-2- x_3-2'

에 대해 수학식 6과 수학식 7에 의해 주어진다.

이 가중거리는 벡터 양자화를 위해 벡터 양자화기(VQ₃)(672)와 벡터 양자화기(VQ₄)(682)로 보내진다. 벡터 양자화로부터의 8비트 출력 인덱스는 가산기(671, 681)에 의해 2프레임에 대한 입력 양자화 오차벡터로부터 감산된다. 다음으로 가중거리 계산부(673, 683)는 가산기(671, 681)의 출력을 사용하여 가중거리를 계산하여 이 가중거리를 최소화하기 위한 양자화 값을 선택한다.

코드북 학습시에, 학습은 각 왜곡척도에 기초한 로이드(Lloyd) 알고리즘에 의해 수행된다.

코드북 탐색과 학습시에 왜곡척도는 다른 값일 수도 있다.

매트릭스 양자화부(622, 632)와 벡터 양자화부(652, 662, 672, 682)로부터의 8비트 인덱스 데이터는 신호 전환기(690)에 의해 전환되고 출력단자(691)에서 출력된다.

구체적으로, 저비트율에 대해서는, 제 1매트릭스 양자화 단계를 수행하는 제 1매트릭스 양자화기(620₁)와 제 2매트릭스 양자화 단계를 수행하는 제 2매트릭스 양자화기(620₂)와 제 1벡터 양자화 단계를 수행하는 제 1벡터 양자화기(640₁)의 출력이 출력되는 반면, 고비트율에 대해서는, 저비트율에 대한 출력이 제 2벡터 양자화 단계를 수행하는 제 2벡터 양자화기(640₂)의 출력에 합해지고 이 결과의 합이 출력된다.

이것은 2kbps와 6kbps에 대해 각각 32bits/40msec의 인덱스와 48bits/40msec의 인덱스를 출력한다.

매트릭스 양자화부(620)와 벡터 양자화부(640)는 LPC계수를 나타내는 파라미터의 특성에 따라 주파수축 및/또는 시간축에서 제한된 가중을 계산한다.

LSP파라미터의 특성에 따라 주파수축에서 제한된 가중이 먼저 설명된다. 만약 차수 P = 10이면, LSP파라미터(X(i))는 저역, 중역, 고역의 세 영역에 대해

L₁= {X(i)｜1≤ i ≤2}

L₂= {X(i)｜3≤ i ≤6}

L₃= {X(i)｜7≤ i ≤10}

로 그룹화된다. 만약 그룹(L₁, L₂, L₃)의 가중이 각각 1/4, 1/2, 1/4이면, 주파수축에만 제한된 가중은 수학식 8, 수학식 9, 수학식 10으로 주어진다.

각 LSP파라미터의 가중은 각 그룹에서만 수행되고 상기 가중은 각 그룹에 대한 가중에 의해 제한된다.

시간축 방향에서 보면, 각 프레임의 총합은 반드시 1이어서, 시간축 방향에서의 제한은 프레임에 기초한다. 시간축에만 제한된 중량은 1≤i≤10 및 0≤t≤1에 대해, 수학식 11에 의해 주어진다.

이 수학식 11에 의해, 주파수축 방향으로 제한되지 않은 가중은 t = 0 및 t = 1의 프레임수를 갖는 두 프레임간에 수행된다. 시간축 방향에만 제한되지 않은 가중은 매트릭스 양자화로 처리된 두 프레임간에 수행된다.

학습시에, 전체 수(T)를 갖는 학습 데이터로서 사용된 총 프레임은 1≤i≤10 및 0≤t≤T에 대해, 수학식 12에 따라 가중된다.

여기서 1≤i≤10 및 0≤t≤T이다.

주파수축 방향 및 시간축 방향으로 제한된 가중이 설명된다. 만약 차수 P=0이면, LSP파라미터 x(i,t)는 저역, 중역, 고역의 세 범위에 대해

L₁= ｛x(i, t)｜1≤i≤2, 0≤t≤1｝

L₂= ｛x(i, t)｜3≤i≤6, 0≤t≤1｝

L₃= ｛x(i, t)｜7≤i≤10, 0≤t≤1｝

로 그룹화된다. 만약 그룹 L₁, L₂, L₃에 대한 가중이 1/4, 1/2, 1/4이면, 주파수축에만 제한된 가중은 수학식 13, 수학식 14, 수학식 15에 의해 주어진다.

이 수학식 13 내지 수학식 15에 의해, 주파수축 방향에서 3프레임마다, 시간축 방향에서 매트릭스 양자화 처리된 두 프레임에 걸쳐 가중제한이 수행된다. 이것은 코드북 탐색시 및 학습시에 모두 유효하다.

학습시에, 중량부가는 전체 데이터의 총 프레임에 대한 것이다. LSP파라미터 (x(i,t))는 저역, 중역, 고역에 대해

L₁= ｛x(i, t)｜1≤i≤2, 0≤t≤T｝

L₂= ｛x(i, t)｜3≤i≤6, 0≤t≤T｝

L₃= ｛x(i, t)｜7≤i≤10, 0≤t≤T｝

로 그룹화된다. 만약 그룹 L₁, L₂, L₃의 가중이 각각 1/4, 1/2, 1/4이면, 주파수축 및 주파수방향으로 제한된 그룹 L₁, L₂, L₃에 대한 가중이 수학식 16, 수학식 17, 수학식 18에 의해 주어진다.

이 수학식 16 내지 수학식 18에 의해, 주파수축 방향에서는 세 범위에 대해 시간축 방향에서는 전체 프레임에 걸쳐 중량부가가 수행될 수 있다.

또한, 매트릭스 양자화부(620)와 벡터 양자화부(640)는 LSP파라미터에서 변화의 크기에 따라 중량부가를 행한다. 전체 음성 프레임 중에서 소수의 프레임을 나타내는 V→UV 또는 UV→V천이 영역에서, LSP파라미터는 자음과 모음간의 주파수 응답의 차이로 인하여 주로 변화된다. 따라서, 수학식 19에 의해 나타내진 가중은 가중 W'(i, t)에 의해 곱해져서 상기 천이 영역을 강조한 가중을 수행한다.

수학식 19 대신에 다음 수학식 20이 사용될 수도 있다.

LSP 양자화부(134)는 2단계 매트릭스 양자화 및 2단계 벡터 양자화를 실행하여 출력 인덱스의 비트수가 변할 수 있게 한다.

벡터 양자화기(116)의 기본 구조는 도 9에 도시되어 있는 반면, 도 9에 도시된 벡터 양자화부(116)의 더 상세한 구조는 도 19에 도시되어 있다. 이제 벡터 양자화부(116)에서 스펙트럼 엔벌로프(Am)에 대한 가중 벡터 양자화의 상세한 구조를 설명한다.

먼저, 도 3에 도시된 음성 신호 부호화장치에서, 스펙트럼 평가부(148)의 출력측 또는 벡터 양자화부(116)의 입력측에 스펙트럼 엔벌로프의 진폭의 일정한 수의 데이터를 제공하기 위한 데이터수 변환에 대한 상세한 구조를 설명한다.

상기 데이터수 변환에 대한 다양한 방법이 고려될 수 있다. 본 실시예에서, 한 블록의 마지막 데이터에서 한 블록의 첫번째 데이터까지의 값을 보간하는 더미(dummy) 데이터, 즉 한 블록의 마지막 데이터 또는 첫 번째 데이터를 반복하는 데이터 등의 소정의 데이터를 주파수축에서 유효 대역의 한 블록의 진폭 데이터에 부가하여 데이터의 수를 N_F개로 확대하고나서, 대역제한형의 O_S배 예를들어 8배 등의 오버샘플링에 의해 O_S배, 일예로 8배의 개수와 같은 진폭 데이터를 구한다. ((mMx + 1)×O_S)진폭 데이터는 직선 보간되어 예를들어 2048과 같은 큰수 N_M으로 확장된다. 이 N_M데이터는 부표본화되어 일예로 44데이터와 같은 상기 소정의 수 M의 데이터로 변환된다. 실제로, 단지 최종적으로 필요한 M데이터를 작성하는데 필요한 데이터만이, 상기한 N_M데이터 모두를 구하지 않고도 오버샘플링과 직선보간에 의해 계산된다.

도 9의 가중 벡터 양자화를 행하기 위한 벡터 양자화부(116)는 적어도 제 1벡터 양자화 단계를 수행하기 위한 제 1양자화부(500)와 상기 제 1벡터 양자화부(500)에 의해 제 1벡터 양자화시에 만들어진 양자화 오차 벡터를 양자화 하기 위한 제 2벡터 양자화단계를 행하기 위한 제 2벡터 양자화부(510)를 포함한다. 제 1벡터 양자화부(500)는 소위 제 1단계 벡터 양자화부인 반면, 제 2벡터 양자화부(501)는 소위 제 2단계 벡터 양자화부이다.

스펙트럼 평가부(48)의 출력벡터(x), 즉 소정의 수(M)을 갖는 엔벌로프 데이터는 제 1벡터 양자화부(500)의 입력단자(501)에 입력된다. 이 출력벡터(x)는 벡터 양자화부(502)에 의한 가중 벡터 양자화로 양자화된다. 따라서 벡터 양자화부(502)에 의해 출력된 형상 인덱스는 출력단자(503)에 출력되는 반면, 양자화값 (x₀')은 출력단자(504)에 출력되어 가산기(505, 513)로 보내진다. 가산기(505)는 소스 벡터(x)로부터 양자화값 (x₀')을 감산하여 복수차원의 양자화 오차벡터(y)를 얻는다. 양자화 오차벡터(y)는 제 2벡터 양자화부(510)의 벡터 양자화부(511)로 보내진다. 이 제 2벡터 양자화부(511)는 복수의 벡터 양자화기 즉, 도 9의 두 벡터 양자화기(511₁, 511₂)로 이루어진다. 양자화 오차벡터(y)는 차원으로 구분되어서 두 벡터 양자화기(511₁, 511₂)의 가중 벡터 양자화에 의해 양자화된다. 이 벡터 양자화기(511₁, 511₂)에 의해 출력된 형상 인덱스는 출력 단자(512₁, 512₂)에 출력되는 반면 양자화값(y₁',y₂')은 차원방향으로 접속되어 가산기(513)에 보내진다. 가산기(513)는 양자화값(y₁', y₂')을 양자화값(x₀')에 가산하여 양자화값(x₁')을 발생시켜 출력단자(514)에 출력한다.

따라서, 저비트율에 대해서, 제 1벡터 양자화부(500)에 의한 제 1벡터 양자화 단계의 출력이 출력되는 반면, 고비트율에 대해서는, 제 1벡터 양자화 단계의 출력과 제 2양자화부(510)에 의한 제 2양자화 단계의 출력이 출력된다.

구체적으로 벡터 양자화기(116)의 제 1벡터 양자화부(500)의 벡터 양자화기(502)는 도 10에 도시된 바와같이, 일예로 44차원 2단계 구조와 같은 L차원이다.

즉, 이득(g_i)으로 곱해진, 32의 코드북 크기를 갖는 44차원 벡터 양자화 코드북의 출력벡터의 합은 44차원 스펙트럼 엔벌로프 벡터(x)의 양자화 값(x₀')으로서 사용된다. 따라서, 도 10에 나타난 바와같이, 두 코드북은 CB₀및 CB₁인 반면, 출력벡터는 0≤i 및 j≤31에서 s_1i, s_1j이다. 한편, 이득 코드북(CB_g)의 출력은 0≤l≤31에서 g_i이고, 여기에서 g_i은 스칼라이다. 최종 출력(x₀')은 g_i(s_1i+ s_1j)이다.

LPC잔류오차의 상기 MBE분석에 의해 얻어지고 소정의 차원으로 변환된 스펙트럼 엔벌로프(Am)는 x이다. x가 얼마나 효율적으로 양자화되는가가 중요하다.

양자화 오차 에너지(E)는 다음과 같이 규정된다.

여기에서 H는 LPC 합성필터의 주파수축에서의 특성을 나타내고 W는 주파수축상의 청감 가중을 위한 특성을 나타내는 중량부가를 위한 매트릭스를 나타낸다.

만약 현재 프레임의 LPC분석의 결과에 의한 α파라미터는 α_i((1≤i≤P)로서 표시된다면, L차원, 예를들어 44차원의 각 대응점의 값은 수학식 22의 주파수 응답으로부터 표본화된다.

계산을 위해, 1,α₁, α₂, ...α_P, 0, 0, ..., 0의 열을얻기 위해 1,α₁, α₂, ...α_P의 열 다음에 0들을 채워넣어서 예를들어 256포인트 데이터를 얻는다. 그리고나서, 256포인트 FFT에 의해, (r_e ²+im²)^1/2가 연산되어 0에서 π의 범위와 관련된 포인트에 대해 계산되어 이 결과의 역수가 구해진다. 이 역수는 예를들어 44포인트 등의 L포인트로 부표본화되어 대각성분으로서 이 L포인트를 갖는 매트릭스가 형성된다.

청감가중 매트릭스(W)는 수학식 23에 의해 주어진다.

여기에서, α_i는 LPC분석의 결과이고 λ_a, λ_b는 상수이고, 이때 λ_a=0.4이고 λ_b=0.9이다.

매트릭스(W)는 상기 수학식 23의 주파수 응답으로부터 연산될 수 있다. 예를들어, FFT는 1, α₁λ_b, α₂λ_b ², ...,α_pλ_b ^p, 0, 0, ..., 0의 256포인트 데이터에 실행되어 0부터 π까지의 영역에 대해, 0≤i≤128에서 (r_e ²[i]+Im²[i])^1/2을 구한다. 분모의 주파수 응답은 128포인트의 1, α₁λ_a, α₂λ_a ², ...,α_pλ_a ^p, 0, 0, ..., 0에 대해 0에서 π까지의 영역에 대해 256포인트 FFT에 의해 구해져서 0≤i≤128일 때의 (r'²[i]+Im'²[i])^1/2를 구한다. 수학식 23의 주파수 응답은 0≤i≤128일 경우에

에 의해 구해질 수도 있다. 이것은 다음 방법에 의해 예를들어 44차원벡터의 각 대응하는 포인트에 대해 구해질 수 있다. 더 정확하게 말하면, 직선보간이 사용되어야 한다. 그런데, 다음의 예에서 가장 가까운 점이 그 대신에 사용된다.

즉,

ω[i]=ω0[nint(128i/L)], 여기에서 1≤i≤L

상기 식에서 nint(X)는 X에 가장 가까운 값으로 복귀되는 함수이다.

H에 대해서, h(1), h(2), ...h(L)는 비슷한 방법에 의해서 구해진다. 즉,

또다른 예로써, H(z)W(z)가 먼저 구해지고 그리고나서 주파수 응답이 FFT의 배수를 감소시키기 위해 구해진다. 즉,

수학식 25의 분모는

로 확장되고, 일예로, 256포인트 데이터는 1, β₁, β₂, ...,β_2P, 0, 0, ..., 0의 열을 사용하여 산출된다. 그리고나서 256포인트 FFT가 실행되어, 0≤i≤128의 경우에 진폭의 주파수 응답은,

이 된다. 이로부터 0≤i≤128인 경우에

가 된다. 이것은 L차원 벡터의 각 대응하는 포인트에 대해 구해진다. 만약 FFT의 포인트의 수가 적으면 직선보간이 사용되어야 한다. 그런데, 여기에서 가장 가까운 값은 식

에 의해 1≤i≤128인 경우에 대해 구해진다. 만약 대각성분으로서 이것을 갖는 매트릭스가 W'이라면,

수학식 26은 상기 수학식 24와 동일한 매트릭스이다. 대신에 ｜H(exp(jω))W(exp(jω))｜가, 1≤i≤L인ω≡iπ에 대해 수학식 25로부터 바로 계산되어서 wh[i]를 위해 사용될 수 있다.

대신에, 수학식 25의 임펄스 응답의, 일예로 40포인트와 같은 적합한 길이가 구해지고 FFT되어서 식

E = ∥W_k'(x - g_k(s_0c+ s_1k))∥²

에 사용된 진폭의 주파수 응답을 구할 수 있다.

이 매트릭스, 즉 가중 합성 필터의 주파수특성을 사용하여 수학식 21을 다시쓰면, 수학식 27을 얻는다.

E = ∥W'(x - g₁(s_0i+s_1j))∥²

형상 코드북과 이득 코드북을 학습하기 위한 방법이 설명된다.

왜곡의 기대값은 코드벡터(s_0c)가 (CB₀) 대해 선택되는 모든 프레임에 대해 최소화된다. 만약 M개의 프레임이 있다면, 다음식이 최소화된다면 족하다.

수학식 28에서, W_k', x_k, g_k, s_1k는 각각 k번째 프레임, k번째 프레임으로의 입력, k번째 프레임의 이득, k번째 프레임에 대한 코드북(CB₁)의 출력을 나타낸다.

수학식 28을 최소화하기 위해,

따라서,

이므로,

이며, 여기에서 은 역매트릭스을 나타내고 W_k ^T 는 W_k 의 전치매트릭스을 나타낸다.

다음으로 이득최적화를 고려한다.

이득의 코드워드(gc)를 선택하는 k번째 프레임과 관련한 왜곡의 기대값은 다음과 같이 주어진다.

를 풀면

과

를 얻는다.

수학식 31과 수학식 32는 0i31 , 0j31 , 그리고 0l31 에 대해 형상( , )과 이득( g_l )에 대한 최적 중심(centroid)조건을 제공한다. 즉, 최적의 부호기출력이다. 반면에, 은 에 대해 동일한 방법으로 구해질 수도 있다.

다음으로 최적의 부호화 조건, 즉 가장 가까운 인접(neighbor)조건이 고려된다.

식 을 최소화하는 와 인 왜곡척도를 구하기 위한 상기 수학식 27이 입력(x)과 가중매트릭스(W')가 주어질 때마다, 즉 프레임 단위마다 구해진다.

본래, E는 E의 최소값을 제공할 ( )의 세트를 구하기 위해서, gl( 0l31 ), ( 0i31 ), 그리고 ( 0j31 )의 모든 조합, 즉 32×32×32=32768에 대해 라운드로빈(round robin)형으로 구해진다. 하지만, 이것은 많은 계산을 요하기 때문에, 형상과 이득은 차례로 본 실시예에서 탐색된다. 반면에, 라운드로빈 탐색은 과 의 조합에 이용된다. 과 에 대해 32×21=1024 조합이 있다. 다음의 설명에서, 는 간단히 으로 표시된다.

상기 수학식 27은 이 된다. 만약 더 간단히 하기 위해 이고 라면, 다음의 식을 얻을 수 있다.

그러므로 만약 g_l이 충분히 정확히 될 수 있다면, 탐색은 다음의 2단계로 수행될 수 있다.

(1) 다음 식을 최대로 하는 를 탐색하고,

(2) 다음 식에 가장 가까운 g_l을 탐색한다.

만약 상기 식을 원래의 표기를 이용하여 다시 쓰면.

(1)의 탐색은 다음 식을 최대화할 와 의 세트에 대해 이루어지고,

(2)의 탐색은 다음 식에 가장 가까운 g_l에 대해 이루어진다.

상기 수학식 35는 최적 부호화 조건(가장 가까운 인접조건)을 나타낸다.

(31), (32)식의 조건(Centroid Condition)과, (35)식의 조건을 이용하여, 소위 일반화 로이드 알고리즘(Generalized Lloyd Algorithm : GLA)을 사용하여 코드북(CB0, CB1, CBg)을 동시에 트레인시킬수 있다.

본 실시예에서 W'로서 입력(x)를 표준(norm)으로 분할한 W'를 사용하고 있다. 즉, (31), (32), (35)식에 서 W'에 W'/∥x∥를 대입하고 있다.

또한, 벡터양자화기(116)에서의 벡터양자화시에 청각가중에 이용되는 무게(W')에 대하여는 상기 (26)식으로 정의되어 있다. 그렇지만, 과거의 W'를 고려하여 현재의 W'를 구함으로써 일시적인 마스킹을 고려한 W'를 구할수 있다.

상기 (26)식에서 wh(1), wh(2), …, wh(L)의 값은 시각(n)에서 즉 제 n프레임에서 산출된 것으로 각각 whn(1), whn(2), …, whn(L)로 나타낸다.

시각(n)에서 과거의 값을 고려한 무게를 An(i), 1≤i≤L로 정의하면,

여기에서, λ는 예를 들면 λ=0.2로 설정된다. 이와 같이 하여 구한 An(i), 1≤i≤L에 대하여 An(i)를 대각요소로서 가지는 매트릭스를 상기 가중치로서 이용하면 좋다.

이와 같이 무게달기 벡터 양자화에 의해 얻어진 형상인덱스(s_0i, s_1j)는 출력단자(520, 522)에서 각각 출력되고, 이득인덱스(g1)은 출력단자(521)에서 출력된다. 또한, 양자화치(x₀')는 출력단자(504)에서 출력되면서 가산기(505)에 보내진다.

가산기(505)는 스펙트럼 엔벌로프 벡터(x)로부터 양자화값(x₀')을 감산하고, 양자화오차벡터(y)가 생성된다. 특히, 이 양자화오차벡터(y)는 벡터양자화부(511)에 보내지고, 차원분할되고, 벡터양자화기(511₁~511₈)에서 가중의 벡터양자화로 양자화된다. 제 2양자화부(510)는 제 1벡터양자화부(500)보다 큰 비트수를 사용한다. 따라서, 코드북의 기억용량과 코드북탐색의 처리크기(복합성)는 현저하게 증가한다. 그래서 제 1벡터양자화부(500)와 같은 44차원으로 벡터양자화를 실행하는 것이 불가능하게 된다. 그러므로, 제 2벡터양자화부(510)에서 벡터양자화부(511)는 다수의 벡터양자화기로 구성되고 양자화된 입력값은 다수의 벡터양자화를 실행하기 위하여 다수의 저차원벡터로 차원분할된다.

벡터양자화기(511₁~511₈)에서 사용되는 양자화값(y₀~y₇), 차원수, 비트수의 관계를 다음 표(2)에서 나타낸다.

벡터양자화기(511₁~511₈)에서 출력된 인덱스값(Id_vq0~Id_vq7)은 출력단자(523₁~523₈)에서 출력된다. 이들 인덱스데이터의 합계는 72이다.

벡터양자화기(511₁~511₈)의 양자화된 출력값(y₀'~y₁')을 차원방향으로 연결하여 얻어진 값이 y'이면, 양자화된 값(y')와 (x₀')이 가산기(513)에 의해 합해져서 양자화된 값(x₁')을 산출한다. 그러므로, 양자화된 출력값(x₁')는

에 의해 표시된다.

즉, 최종양자화오차벡터는 y'-y이다.

제 2양자화기(510)로부터 양자화된 값(x₁')이 복호되면, 음성신호복호장치는 제 1양자화기(500)로부터 양자화된 값(x₁')을 필요로 하지 않는다. 그러므로, 제 1양자화기(500)와 제 2양자화기(510)로부터 인덱스데이터를 필요로 한다.

벡터양자화부(511)에서 학습법과 코드북탐색을 이하 설명한다.

학습법에 대하여 양자화오차벡터(y)는 도 11에 나타낸 것같이 8개의 저차원벡터(y₀~y₇)로 분할된다. 무게(W')가 대각요소로서 44포인트 부표본화값을 가지는 매트릭스이면,

가중치(W')는 다음의 8개의 메트릭스로서 분할된다.

이렇게 저차원으로 분할된 y와 W'는 각각 Y_i, W_i', 1≤i≤8로 한다.

왜곡척도(E)는 다음과 같이 정의 된다.

코드북벡터(s)는 y_i의 양자화의 결과이다. 왜곡척도(E)를 최소화하는 코드북의 이러한 코드벡터가 탐색된다.

코드북학습에서, 또한 가중이 일반화 로이드 알고리듬(GLA)을 사용하여 실행된다. 학습의 최적의 센트로이드(Centroid)조건이 먼저 설명된다. 코드벡터(s)를 최적 양자화결과로서 선택한 M입력벡터(y)가 있으면, 트레이닝데이터는 (y_k)이고, 왜곡의 기대치(J)는 모든 프레임(k)에 대하여 가중치에 왜곡의 중앙을 최소화하는 식(38)에 의해 주어진다.

를 풀면

를 얻는다.

양측을 전환한 값을 취하면

얻는다. 그러므로,

이다.

상기 (39)식에서, s는 최적의 대표벡터이고 최적 중심조건을 나타낸다.

최적 부호화조건에 대하여, ∥W_i'(yi-s)∥²의 값을 최소화하는 s를 탐색하는 것으로 충분하다. 탐색시의 W_i'는 반드시 학습시의 W_i'와 동일할 필요는 없고, 가중치의 매트릭스로 할 수 있다.

음성신호부호화기내의 벡터양자화부(116)를 2단의 벡터양자화부로 구성함으로써 출력하는 인덱스의 비트수를 가변으로 할수 있다.

본 발명의 CELP부호화 구조를 사용하는 제 2부호화기(120)는 다단 벡터 양자화 처리부(도 12의 본 실시예에서 2단 부호화부(120₁~120₂)를 가진다. 도 12는 전송비트율을 예를 들면 상기 2kbps와 6kbps로 전환가능한 경우에 있어서, 6kbps의 전송비트율에 대응한 구성을 나타내고 있고, 또한 형상 및 이득 인덱스출력을 23비트/5msec와 15비트/5msec로 전환되도록 하고 있다. 도 12의 구성에 있어서의 처리의 흐름은 도 13에 나타낸 것과 같다.

도 12를 참조하여, 도 12의 제 1부호화부(300)는 도 3의 제 1부호화부(113)과 같고, 도 12의 LPC분석회로(302)는 도 3에 나타낸 LPC분석회로(132)에 대응하면서, LSP 파라미터 양자화회로(303)는 도 3의 α→LSP변환회로(133)에서 LSP→α변환회로(137)까지의 구성에 대응하고, 도 12의 청각가중필터(304)는 도 3의 상기 청각가중필터 산출회로(139) 및 청각가중필터(125)와 대응하고 있다. 그러므로, 도 12에 있어서, 단자(305)에 상기 도 3의 제 1부호화부(113)의 LSP→α변환회로(137)에서의 출력과 동일한 것이 공급되고, 또 단자(307)에는 상기 도 3의 청각가중필터 산출회로(139)에서의 출력과 동일한 것이 공급되고, 또 단자(306)에는 상기 도 3의 청각가중필터(125)에서의 출력과 동일한 것이 공급된다. 그러나, 청각가중필터(125)로부터의 왜곡에서, 도 12의 청각가중필터(304)는 상기 도 3의 청각가중필터(125)과 같고 상기 LSP→α변환회로(137)의 출력을 이용하는 대신에 입력음성 데이터와 양자화전의 α파라미터를 사용하여 청각가중한 신호를 생성하고 있다.

도 12에 도시된 2단 제 2부호화부(120₁~120₂)에 있어서, 감산기(313 및 323)은 도 3의 감산기(123)과 대응하고, 거리계산회로(314 및 324)는 도 3의 거리계산회로(124)와 대응한다. 또한, 이득회로(311 및 321)는 도 3의 이득회로(126)와 대응하는 한편, 스터캐스틱(stochstic) 코드북(310, 320) 및 이득코드북(315, 325)는 도 3의 잡음 코드북(121)과 대응하고 있다.

도 12의 구성에 있어서, 도 13의 스텝(S1)에 나타낸 것같이, LPC분석회로(302)는 단자(301)에서 공급된 입력음성데이터(x)를 상술한 바와 같이 프레임으로 분할하여 LPC분석을 행하고 α파라미터를 구한다. LSP파라미터 양자화회로(303)는 LPC분석회로(302)에서의 α파라미터를 LSP파라미터로 변환하여 LSP파라미터를 양자화한다. 양자화된 LSP데이터를 보간한후, α파라미터로 변환한다. LSP파라미터 양자화회로(303)는 양자화한 LSP파라미터를 변환한 α파라미터에서 LPC합성필터 함수(1/H(z))를 생성하고, 생성된 LPC합성필터 함수(1/H(z))를 단자(305)를 통하여 1단계의 제 2부호화부(120₁)의 청각가중합성필터(312)에 보낸다.

청각가중필터(304)에서는 LPC분석회로(302)에서 α파라미터(즉 양자화전의 α파라미터)에서 상기 도 3의 청각가중필터 산출회로(139)에 의해 산출된 것과 동일 청각가중을 위한 데이터를 구한다. 이들 가중데이터가 단자(307)를 통하여, 1단계의 제 2부호화부(120₁)의 청각가중합성필터(312)에 공급된다. 청각가중필터(304)는 도 13의 스텝(S2)에 나타낸 것같이, 입력음성데이터와 양자화전의 α파라미터에서 도 3의 청각가중필터(125)에 의한 출력과 동일신호의 청각가중한 신호를 생성한다. 즉, 먼저 양자화전의 α파라미터에서 청각가중필터함수(W(z))가 생성되고, 이렇게 생성된 필터함수(W(z))는 입력음성데이터(x)에 적용되어 단자(306)를 통하여 1단계의 제 2부호화부(120₁)의 감산기(313)에 청각가중한 신호로서 보낸 x_w를 생성한다.

1단계의 제 2부호화부(120₁)에서는 9비트 형상인덱스출력의 스터캐스틱 코드북(310)에서의 대표치출력이 이득회로(311)에 보내지고, 스토케스틱 코드북(310)에서의 대표치출력에 6비트 이득인덱스출력의 이득코드북(315)에서의 이득(스칼라치)을 곱한다. 이득회로(311)에서 이득이 곱해진 대표치출력이 1/A(z)=(1/H(z))*W(z)의 청각가중의 합성필터(312)에 보내진다. 가중의 합성필터(312)에서는 도 13의 스텝(S3)와 같이 1/A(z)의 제로입력응답출력이 감산기(313)에 보내진다. 감산기(313)에서는 상기 청각가중합성필터(312)에서의 제로입력응답출력과, 상기 청각가중필터(304)에서의 상기 청각가중한 신호(x_w)를 이용한 감산이 행해지고, 이 차분 혹은 오차가 참조벡터(r)로서 취해진다. 1단계의 제 2부호화부(120₁)에서 참조벡터(r)는 거리가 계산되는 거리계산회로(314)에 보내지고 형상벡터(s)와 양자화오차에너지를 최소화하는 이득(g)이 도 13에서 스텝(S4)에 나타낸 것같이 탐색된다. 여기에서, 1/A(z)는 제로상태에 있다. 즉, 제로상태에서 1/A(z)로 합성된 코드북에서 형상벡터(s)가 s_syn이면, 식(40)을 최소화하는 형상벡터(s)와 이득이 탐색된다.

양자화오차에너지를 최소화하는 s와 g가 충분히 탐색되면, 계산의 양을 줄이기 위하여 다음의 방법이 사용될수 있다.

제 1방법은 다음식(41)에 의해 정의된 E_s를 최소화시키는 형상벡터(s)를 탐색하기 위한 것이다.

제 1방법에 의해 얻은 s로부터, 이상이득은 다음식(42)에 의해 나타내는 것과 같다.

그러므로, 제 2방법으로서 식(43)을 최소화하는 이러한 g가

Eg=(g_{r e f}-g)²

탐색된다.

E는 2차함수이므로, Eg를 최소화하는 이러한 g는 E를 최소화한다.

이것은 2단계의 제 2부호화부(120₂)의 참조로서 제 1단에서와 같이 양자화된다.

즉, 단자(305, 307)로 공급된 신호가 1단계의 제 2부호화부(120₁)의 청각 가중된 합성필터(312)로부터 2단계의 제 2부호화부(120₂)의 청각 가중 합성필터(322)에 직접 공급된다. 1단계의 제 2부호화부(120₁)에 의해 구해진 양자화 오차벡터(e)는 2단계의 제 2부호화부(120₂)의 감산기(323)에 공급된다.

도 13의 스텝(S5)에서, 2단계의 제 2부호화부(120₂)에서 제 1단계와 유사한 처리가 실행된다. 즉, 5비트 형상인덱스 출력의 스터캐스틱 코드북(320)으로부터의 대표치출력은 이득회로(321)에 보내져서 3비트 이득 인덱스출력의 이득 코드북(325)로부터 이득이 코드북(320)의 대표치출력에 곱해진다. 가중 합성필터(322)의 출력이 청각 가중합성필터(322)와 1단계의 양자화오차 벡터(e)사이의 차가 구해지는 감산기(323)에 보내진다. 이 차는 양자화오차에너지(E)를 최소화하는 형상벡터(s)와 이득(g)를 탐색하기 위하여 거리계산을 위한 거리계산회로(324)에 보내진다.

1단계의 제 2부호화부(120₁)의 스터캐스틱 코드북(310)의 형상인덱스출력과 이득코드북(315)의 이득인덱스출력과 2단계의 제 2부호화부(120₂)의 스터캐스틱 코드북(320)의 형상인덱스출력과 이득코드북(325)의 이득인덱스출력이 인덱스출력 전환회로(330)에 보내진다. 1단계와 2단계의 제 2부호화부(120₁, 120₁)의 스터캐스틱 코드북(310, 320)과 이득코드북(315, 325)의 인덱스데이터가 합쳐져서 출력된다. 15비트가 출력되면, 1단계의 제 2부호화부(120₁)의 스터캐스틱 코드북(310)과 이득코드북(315)의 인덱스데이터가 출력된다.

스텝(S6)에 나타낸 것같이 제로입력 응답출력을 계산하기 위하여 필터상태가 갱신된다.

본 실시예에서, 2단계의 제 2부호화부(120₂)의 인덱스비트의 수가 형상벡터에 대하여 5만큼 작으면, 이득에 대한 것은 3만큼 작다. 코드북에서 이 경우에 적당한 형상과 이득이 제시되지않으면, 양자화오차는 감소되는 대신에 증가하려고 한다.

이러한 문제가 발생하는 것을 방지하기 위하여 이득에서 0이 제공되지만, 이득에 대하여는 3비트뿐이다. 이들중 하나가 0으로 설정되면, 양자화실행이 현저하게 저하된다. 이것을 고찰하여 큰 비트수가 할당되는 형상벡터에 대하여 모두 0의 벡터가 제공된다. 제로벡터를 배제하여 전술의 탐색을 행하고, 양자화오차가 최종적으로 증가하여 버리면, 제로벡터가 선택된다. 이득은 임의이다. 이것에 의해, 2단계의 제 2의 부호화부(120₂)에서 양자화오차가 증가하는 것을 방지할수 있다.

도 12를 참조하여 2단구성의 경우를 예로 들고 있지만, 단수를 2보다 크게 할수 있다. 이 경우, 1단계의 개방루프 탐색에 의한 벡터양자화가 종료하면, N단째(2≤N)에서는 N-1단계의 양자화오차를 기준입력으로서 양자화를 행하고, N단째의 양자화오차는 N+1단계의 기준입력으로 사용된다.

제 2부호화부에 다단의 벡터양자화기를 이용함으로써, 도 12, 도 13에 나타낸 것같이, 동일 비트수의 직접벡터 양자화나 공액 코드북 등을 이용한 것과 비교하여 계산량이 적게 된다. 특히, CELP부호화에서는 합성에 의한 분석법을 이용한 폐쇄루프탐색을 이용한 시간축파형의 벡터양자화를 행하고, 탐색동작의 회수가 적은 것이 중요하다. 또, 2개의 단의 제 2부호화부(120₁, 120₂)의 양측 인덱스출력을 이용하는 것과 2단계의 제 2의 부호화부(120₂)의 출력을 사용하지 않고 1단계의 제 2부호화부(120₁)의 출력만을 이용하는 것사이에서 전환함으로써 비트수가 쉽게 전환될수 있다. 1단계와 2단계의 제 2부호화부(120₁, 120₂)의 인덱스출력이 결합하여 출력되면, 복호기는 인덱스출력의 한 개를 선택함으로써 구조에 쉽게 대응할수 있다. 즉, 복호기는 2kbps에서 복호동작을 사용하여 예를 들면 6kbps로 부호화된 파라미터를 복호함으로써 구조에 쉽게 대응할수 있다. 또한, 제로벡터가 2단계의 제 2부호화부(120₂)의 형상코드북에 포함되어 있으면, 0이 이득에 가해질 때 성능에서 보다 적게 저하되어서 양자화오차가 증가되는 것을 방지할수 있게 된다.

스터캐스틱 코드북(형상벡터)의 코드벡터는 예를 들면 다음의 방법에 의해 생성될수 있다.

스터캐스틱 코드북의 코드벡터는 예를 들면 소위 가우스잡음에 의해 클리핑에 의해 생성될수 있다. 특히, 코드북은 가우스잡음을 생성하고 적당한 임계치로 가우스잡음을 클리핑하고 클립된 가우스잡음을 노멀화함으로써 생성될수 있다.

그러나, 음성에는 여러 가지의 형태가 있다. 예를 들면, 사, 시, 스, 세, 소와 같은 잡음에 근접한 자음의 음성에 가우스잡음이 대응할수 있는 반면, 파, 피, 푸, 페, 포와 같이 급격하게 일어서는 자음의 음성에는 대응할수 없다.

본 발명에 따르면, 가우스잡음은 몇몇의 코드벡터에 적용할수 있는 반면, 코드벡터의 나머지부는 학습에 의해 다루어져서, 급격하게 일어서는 자음과 잡음에 가까운 자음을 가지는 2개의 자음이 대응될수 있다. 만약, 예를 들면, 임계치가 증가하면, 몇 개의 보다 큰 피크를 가지는 이러한 벡터가 구해지는 반면, 임계치가 감소하면, 코드벡터는 가우스잡음에 근접한다. 그래서, 임계치를 클리핑하는 데에 변화를 증가함으로써 파, 피, 푸, 페, 포와 같이 급격하게 일어서는 부분을 가지는 자음과 사, 시, 스, 세, 소와 같은 잡음에 근접한 자음에 대응할수 있음으로써 명확도가 증가한다. 도 14는 실선과 파선에 의해 각각 가우스잡음과 클립된 잡음의 모양을 나타낸다. 도 14는 1.0과 같게 즉 큰 임계치로 임계치를 클리핑하는 잡음과 0.4와 같게 즉 작은 임계치로 임계치를 클리핑하는 잡음을 나타낸다. 도 14a, 14b로부터 임계치가 크게 선택되면, 몇 개의 큰 피크를 가지는 벡터가 얻어지는 반면, 임계값이 작은 값으로 선택되면 잡음은 가우스잡음 자체에 근접하게 된다.

이것을 실현하기 위하여, 최초코드북은 가우스잡음을 클리핑함으로써 준비되는 반면, 비학습코드벡터의 적당한 수가 설정된다. 사, 시, 스, 세, 소와 같은 잡음에 근접한 자음에 대응하기 위하여 분산치가 증가하는 순서로 선택된다. 학습에 의해 구해진 벡터는 학습을 위해서 LBG알고리듬을 사용한다. 가장 근접한 이웃조건아래에서의 부호화는 고정코드벡터와 학습에서 구해진 코드벡터를 사용한다. 센트로이드조건에서, 학습되는 코드벡터만이 갱신된다. 그래서, 학습된 코드벡터는 파, 피, 푸, 페, 포와 같이 급격하게 일어서는 자음에 대응할수 있다.

이들 코드벡터에 대하여 통상의 학습법에 의해서 최적의 이득이 학습될수 있다.

도 15는 가우스잡음을 클리핑에 의한 코드북의 구조에 대한 처리흐름을 나타낸다.

도 15에서, 학습의 시각수(n)가 n=0으로 초기화를 위하여 스텝(S10)에서 설정된다. 오차(D₀=∞)로서 학습시각의 최대치(n_max)가 설정되고, 학습종료조건을 설정하는 임계치(ε)가 설정된다.

다음 스텝(S11)에서, 가우스잡음의 클리핑에 의한 초기코드북이 생성된다. 스텝(S12)에서 코드벡터의 일부가 비학습코드벡터로서 고정된다.

다음의 스텝(S13)에서 상기 코드북을 이용하여 부호화를 행한다. 스텝(S14)에서 오차가 산출된다. 스텝(S15)에서, (D_n-1-D_n/D_n,or n=n_max) 인가 아닌가가 판단된다. 결과가 YES이면, 처리가 종료한다. 결과가 NO이면, 처리는 스텝(S16)으로 이동한다.

스텝(S16)에서 부호화에 사용되지 않는 코드벡터가 처리된다. 다음의 스텝(S17)에서, 코드북이 갱신된다. 스텝(S18)에서, 학습수(n)는 스텝(S13)으로 돌아가기 전에 증가된다.

도 3의 음성부호기에서, 유성음/무성음(V/UV) 판별부(115)의 구체예가 설명된다.

V/UV판별부(115)는 직교전송회로(145)의 출력과 고정밀도의 피치탐색부(146)로부터의 최적피치와 스펙트럼 평가부(148)에서의 스펙트럼 진폭데이터와 개루프 피치탐색부(141)에서의 정규화 자기상관 최대치(r(p))와 영교차카운터(412)로부터 영교차카운터치에 의거하여 상기 프레임의 V/UV판정이 행해진다.

MBE의 경우에서 m번째의 하모닉스의 진폭을 나타내는 파라미터 혹은 진폭 ｜Am｜은

에 의해 표시된다. 이 식에서, ｜S(j)｜는 LPC잔류오차를 DFT하여 얻어진 스펙트럼이고, ｜E(j)｜는 기저신호의 스펙트럼이고, 구체적으로는 256 포인트의 해밍 창(Windowing)이고, a_m, b_m은 제 m하모닉스에 차례대로 대응하는 제 m대역에 대응하는 주파수의, 인덱스(j)에 의해 표시되는 상부 및 하부 극한치이다. 밴드마다의 V/UV판정을 위하여 신호대 잡음비(NSR)이 사용된다. 제 m밴드의 NSR이

에 의해 표시된다. NSR값이 0.3과 같이 리세트 임계치보다 크면, 즉 오차가 크면, 밴드에서 ｜Am｜｜E(j)｜에 의한 ｜S(j)｜의 근사가 좋지않은 것으로 즉, 여기신호｜E(j)｜가 기저로서 적당하지 않은 것으로 판단된다. 그래서 밴드를 무성음(UV)로 판단한다. 한편, 근사가 양호하게 이루어진 것으로 판단하면 유성음(V)로 판단된다.

각각의 밴드(하모닉스)의 NSR이 1개의 하모닉스로부터 다른 것까지 하모닉스의 유사도를 나타내고 있다. NSR의 이득가중 하모닉스의 합계는

에 의해 NSR_all로서 정의된다.

이 스펙트럼 유사도(NSR_all)가 어떤 임계값보다 더 큰가 작은가에 의해 V/UV판정에 이용되는 기본규칙이 결정된다. 여기에서 임계값은 TH_NSR=0.3으로 설정된다. 이 기본규칙은 프레임파워, 영교차(Zero-crossing), LPC잔류오차의 자기상관의 최대치에 관한 것이고, NSRTH_NSR에 사용된 기본규칙의 경우에 규칙이 적용되면 프레임이 V, 적용되지 않으면 프레임이 UV로 된다.

구체적인 규칙은 다음과 같다.

NSR_allTH_NSR에 대하여,

numZero XP 24, firmPow340 그리고 r00.32이면, 프레임은 V이다.

NSR_all≥TH_NSR에 대하여,

numZero XP 30, firmPow900 그리고 r00.23이면, 프레임은 UV이다.

여기에서 각 변수는 다음과 같이 정의된다.

numZero XP : 프레임당 영교차수

firmPow : 프레임 파워

r0 : 자기상관의 최대치

상기와 같이 주어진 구체적인 규칙의 세트를 나타내는 규칙은 V/UV판정을 위한 것이다.

도 4의 음성신호 복호기의 주요부분과 동작의 구성은 보다 상세히 설명한다.

스펙트럼 엔벌로프의 역벡터양자화기(212)에서, 음성부호기의 벡터양자화기에 대응하는 역벡터양자화기구조가 사용된다.

예를 들면, 벡터양자화가 도 12에 나타낸 구조에 의해 실시되면, 복호기측은 형상코드북(CB0, CB1)과 이득코드북(DBg)으로부터 코드벡터(s₀, s₁)와 이득(g)을 읽어내고, 44차원과 같은 g(s₀+s₁)고정차원의 벡터로서 취하여 원래 하모닉스 스펙트럼의 벡터의 차원수에 대응하는 가변차원벡터가 변환되도록 한다(고정/가변 차원변환).

도 14~도 17에 나타낸 것같이 부호기가 고정차원 코드벡터를 가변차원 코드벡터에 가산하는 벡터양자화기의 구조를 가지면, 가변차원에 대한 코드북(도 14의 코드북(CB0))으로부터 읽어낸 코드벡터가 고정/가변차원 변환되고 하모닉스의 저역으로부터 차원수에 대응하는 고정차원(도 14의 코드북(CB1))에 대한 코드북으로부터 읽어낸 고정차원에 대한 코드벡터의 수에 가산된다. 결과합계가 취해진다.

도 4의 LPC합성필터(214)는 이미 설명한 것같이 유성음(V)에 대하여 합성필터(236)로, 무성음(UV)에 대하여 합성필터(237)로 분리된다. LSP가 V/UV구별없이 합성필터를 구분하지 않고 20샘플마다 즉, 2.5msec마다 계속하여 보간되면, 전체 다른 성질의 LSP가 V→UV, UV→V천이부에서 보간된다. UV 및 V의 LPC가 각각 V 및 UV의 잔류오차로서 사용되는 결과, 이상한 소리가 발생되게 된다. 이러한 좋지 않은 효과가 생기는 것을 방지하기 위하여, LPC합성필터가 V 및 UV로 분리되고, LPC계수보간이 V 및 UV에 대하여 독립하여 실행된다.

이러한 경우에 LPC필터(236, 237)의 계수보간의 방법을 설명한다. 특히, LSP보간이 도 16에 나타낸 것처럼 V/UV에 의거하여 전환된다.

10차 LPC분석의 예를 취하면, 도 16에서 등간격 LSP가 플랫필터특성과 이득이 1, 즉

α₀= 1, α₁= α₂= … = α₁₀= 0이므로,

LSP_i= (π/11) x i, 0≤α≤10 이다.

이러한 10차 LPC분석, 즉 10차 LSP가 도 17에 나타낸 것같이 0과 π사이에서 11개로 같게 분리된 부분에서 등간격으로 배열된 LSP로 완전히 편평한 스펙트럼에 대응하는 LSP이다. 이러한 경우에서, 합성필터의 전체대역이득이 이 시각에서 최소 스루(through)특성을 가진다.

도 18은 이득변화의 방법을 개략적으로 나타낸다. 구체적으로 도 18은 1/H_uv(z)이득과 이득1/H_v(z)이 무성음(UV)부로부터 유성음(V)부로의 천이동안 어떻게 변화하는가를 나타낸다.

보간의 단위에 관해서, 1/H_v(z)의 계수를 위해서는 2.5msec(20샘플)인 반면, 1/H_UV(Z)를 위해서는 각각 2kbps의 비트율에 대하여 10msec(80샘플)이고 6kbps의 비트율에 대하여 5msec(40샘플)이다. UV에 대하여, 제 2부호화부(120)는 합성법에 의한 분석을 사용하여 파형매칭을 실시하기 때문에, 인접하는 V부의 LSP에서 보간이 등간격LSP에서 보간을 실행하지 않고 실행될수 있다. 제 2부호화부(120)에서 UV부의 부호화에서 제로입력응답이 V→UV천이부에서 1/A(z) 가중 합성필터(122)의 내부상태를 클리어함으로써 0으로 설정된다.

LPC합성필터(236, 237)의 출력이 각각의 독립적으로 설치된 포스트필터(238u, 238v)에 보내진다. 포스트필터의 강도와 주파수응답은 V 및 UV에 대하여 다른 값으로 설정된다.

LPC 잔류오차 신호의 V 및 UV부사이에서 연결부의 윈도잉(Windowing) 즉, LPC합성필터입력으로서 여기가 설명된다. 윈도잉(Windowing)은 도 4에 나타낸 무성음합성부(211)의 윈도잉(Windowing)회로(223)와 유성음합성부(211)의 사인파합성회로(215)에 의해 실행된다. 여기의 V부 합성법은 본 출원인에 의해 출원된 JP특허출원 No. 4-91422에 상세히 설명되어 있고, 여기의 V부의 패스트합성법이 본 출원인에 의해 유사하게 출원된 JP특허출원 NO. 6-198451에 상세히 설명되어 있다.

유성음부(V)에서는, 인접하는 프레임의 스펙트럼을 이용하여 스펙트럼을 보간하여 사인파를 합성하는데, 도 19에 나타낸 것같이 제 n프레임과 제 n+1프레임과의 사이에 모든 파형을 만들 수 있다. 그러나, 도 19의 제 n+1프레임과 제 n+2프레임과 같이, V와 UV에 걸리는 신호부분 혹은 V와 UV에 걸리는 부분에는 UV부분은 프레임중에 ±80샘플 (전체 160샘플의 총수가 1프레임간격이다)의 데이터만을 부호화 및 복호화하고 있다. 그 결과, 도 20에 나타낸 것같이 V측에서는 프레임과 프레임과의 사이의 중심점(CN)을 넘어서 윈도잉(Windowing)을 행하고, UV측에서는 중심점(CN)까지의 윈도잉(Windowing)을 행하고, 인접부분을 중첩시키고 있다. UV→V의 천이부에 대하여 그 역을 행하고 있다. 또한, V측의 윈도잉(Windowing)은 도 20에 파선으로 나타낸 것같이 할수 있다.

유성(V)부분에서의 잡음합성 및 잡음가산에 대하여 설명한다. 이것은 도 4의 잡음합성회로(216), 가중중첩회로(217), 및 가산기(218)를 이용하여 유성음부분의 여기와 LPC합성필터입력으로서 다음의 파라미터를 고려한 잡음을 LPC잔류오차신호의 유성음부분에 더함으로써 행해진다.

즉, 상기 파라미터로서는 피치랙(Pch), 유성음의 스펙트럼진폭(Am[i]), 프레임내의 최대 스펙트럼진폭(Amax), 및 잔류오차신호의 벡터(Lev)를 열거할수 있다. 여기에서, 피치랙(Pch)은 소정의 샘플링주파수(fs), fs=8kHz와 같이 피치주기내의 샘플수이고, 스펙트럼진폭 Am[i]의 I는 fs/2의 대역내의 하모닉스의 수를 I=Pch/2로 하는 동안 0iI의 범위내의 정수이다.

잡음합성회로(216)에 의한 처리는 예를 들면 멀티밴드부호화(MBE)의 무성음의 합성과 동일한 방법으로 행해진다. 도 21은 잡음합성회로(216)의 구체예를 나타내고 있다.

즉 도 21을 참고하면, 백색 잡음 발생회로(401)는 가우스잡음을 출력하여서, STFT처리부(402)에 의해 STFT(short-term Fourier transform)처리를 실시함으로써 잡음의 주파수축상의 파워스펙트럼을 얻는다. 가우스 잡음은 소정의 길이(예를 들면 256샘플)를 가지는 해밍 창(Windowing)과 같이 적당한 윈도잉(Windowing)함수에 의해 윈도잉(Windowing)로 된 시간축 화이트 잡음 신호파형이다. STFT처리부(402)에서의 파워 스펙트럼을 진폭처리를 위하여 승산기(403)에 보내고, 잡음진폭제어회로(410)에서의 출력과 승산되고 있다. 앰프(403)에서의 출력은 ISTFT처리부(404)에 보내지고, 위상은 원래의 화이트 잡음의 위상을 이용하여 역 STFT(ISTFT)처리를 실시함으로서 시간축상의 신호로 변환한다. ISTFT처리부(404)에서의 출력은 가중중첩가산회로(217)에 보내진다.

잡음진폭제어회로(410)는 예를 들면 도 22와 같은 기본구성을 가지고, 상기 도4의 스펙트럼 엔벌로프의 양자화기(212)에서 단자(411)를 통하여 주어지는 V(유성음)의 스펙트럼진폭Am[i]에 의거하여 승산기(403)에서 승산계를 제어함으로써 합성된 잡음진폭 Am_noise[i]을 구할수 있다. 즉, 도 22에서, 스펙트럼 진폭회로 Am[i]와 피치랙(Pch)이 입력되는 최적 noise_mix치의 산출회로(416)에서의 출력을 잡음의 가중회로(417)에서 가중하고, 얻어진 출력을 승산기(418)에 보내어 스펙트럼진폭 Am[i]과 승산함으로써 잡음진폭Am_noise[i]을 얻고 있다.

잡음합성가산의 제 1구체예로서, 잡음진폭(Am_noise[i])이 상기 4개의 파라미터내의 2개, 즉 피치랙(Pch) 및 스펙트럼진폭(Am)의 함수가 되는 경우에 대하여 설명한다.

이와 같은 함수(f₁(Pch, Am[i])중에서,

f₁(Pch, Am[i])=0 (0iNoise_b x I)

f₁(Pch, Am[i])=Am[i]xnoise_mix (Noise_b x I ≤iI

noise_mix=K x Pch/2.0

이다.

noise_mix치의 최대치는 noise_mix_max이고, 그 값이 클립된다고 알려져 있다. 일예로서, K=0.02, noise_mix_max=0.3, Noise_b=0.7에서, Noise_b는 전체 대역으로부터 이 잡음이 가산되는 부분을 결정하는 정수이다. 본 실시예에서는 70%보다 높은 주파수영역, 즉 fs=8kHz의 때, 4000 x 0.7=2800Hz에서 4000Hz까지의 범위에서 잡음이 가산된다.

잡음합성가산의 제 2구체예로서, 상기 잡음진폭(Am_noise[i])을 상기 4개의 파라미터내의 3개, 즉 피치랙(Pch) 및 스펙트럼진폭(Am) 및 최대스펙트럼진폭(Amax)의 함수(f₂(Pch, Am[i], Amax)로 하는 경우에 대하여 설명한다.

이들 함수(f₂(Pch, Am[i], Amax)가운데,

f₂(Pch, Am[i], Amax)=0 (0iNoise_b x I)

f₂(Pch, Am[i], Amax)=Am[i]xnoise_mix (Noise_b x I ≤iI

noise_mix=K x Pch/2.0

이다.

noise_mix치의 최대치는 noise_mix_max이고, 일예로서, K=0.02, noise_mix_max=0.3, Noise_b=0.7이다.

만약 Am[i] x noise_mix Amax x C x noise_mix 이면, f₂(Pch, Am[i], Amax)=Amax x C x noise_mix이고, 여기에서 정수(C)는 C=0.3으로 설정하고 있다. 이 조건식에 의해 잡음레벨이 매우 크게 되는 것을 방지할수 있기 때문에, 상기 K, noise_mix_max를 다시 크게 하여도 좋고, 고역의 레벨도 비교적 큰 때에 잡음레벨을 높일수 있다.

잡음합성가산의 제 3구체예로서, 상기 잡음진폭(Am_noise[i])을 상기 4개의 파라미터내의 4개 전체의 함수(f₃(Pch, Am[i], Amax, Lev)로 할수 있다.

이와 같은 함수(f₃(Pch, Am[i], Amax, Lev)의 구체예는 기본적으로는 상기 제 2구체예의 함수f₂(Pch, Am[i], Amax)와 동일하다. 단, 잔류오차신호레벨(Lev)은 스펙트럼진폭(Am[i]의 rms(root mean square) 혹은 시간축상에서 측정한 신호레벨이다. 상기 제 2구체예와의 다름은 K의 값과 noise_mix_max의 값을 Lev함수로 하는 점이다. 즉, Lev가 작거나 크면, K, noise_mix_max의 값은 각각 크거나 작게 설정된다. 또한, Lev는 K, noise_mix_max에 역비례하도록 설정될수 있다.

다음에, 포스트필터(238v, 238u)에 대하여 설명한다.

도 23은 도 4 실시예의 포스트필터(238v, 238u)로서 이용되는 포스트필터를 나타내고 있다. 포스트필터의 요부로서 스펙트럼정형필터(440)는 포먼트강조필터(441)와 고역강조필터(442)로 이루어진다. 스펙트럼정형필터(440)에서의 출력은 스펙트럼정형에 의한 이득변화를 보정하기 위한 이득조정회로(443)에 보내진다. 이 이득조정회로(443)의 이득(G)은 이득제어회로(445)에 의해 스펙트럼정형필터(440)의 입력(x)와 출력(y)을 비교하여 이득변화를 계산하고, 보정치를 산출하는 것으로 결정된다.

스펙트럼 정형필터(440)의 특성PF(z)은 LPC합성필터의 분모(Hv(z), Huv(z))의 계수, 즉 α파라미터를 α_i로 하면,

로 표현된다.

이 식의 분수부분이 포먼트강조필터특성을 나타내고, (1-kz^-1)의 부분이 고역강조필터의 특성을 나타낸다. β, γ, k는 정수이고 일예로서 β=0.6, γ=0.8, k=0.3이다.

이득조정회로(443)의 이득(G)은

에 의해 주어진다. 상기 식에서, x(i)와 y(i)는 스펙트럼정형필터(440)의 입력과 출력을 각각 나타낸다.

상기 스펙트럼 정형필터(440)의 계수의 갱신주기는 도 24에 나타낸 것같이, LPC합성필터의 계수인 α파라미터의 갱신주기와 동일하게 20샘플, 2.5msec이고, 이득조정회로(443)의 이득(G)의 갱신주기는 160샘플, 20msec이다.

이와 같이, 포스트필터의 스펙트럼 정형필터(440)의 계수의 갱신주기보다 이득조정회로(443)의 갱신주기를 길게 설정하므로써 이득조정의 변동에 의한 악영향을 방지할수 있게 된다.

즉, 일반의 포스트필터에 있어서는 스펙트럼정형필터의 계수의 갱신주기와 이득의 갱신주기를 동일하게 하고 있고, 이때 이득의 갱신주기가 20샘플, 2.5msec로 선택되면, 도 24에 나타낸 것같이 1피치의 주기중에서 변동하게 되고, 클릭잡음이 생기는 원인으로 된다. 본 예에 있어서는 이득의 전환주기를 보다 길게, 예를 들면 1프레임분의 160샘플, 20msec로 하게 되고, 급격한 이득의 변동을 방지할수 있다. 역으로 스펙트럼 정형필터의 계수의 갱신주기가 160샘플, 20msec이면, 원활한 필터특성의 변화가 얻어지지 않고, 합성파형에 악영향이 생긴다. 그러나, 이 필터계수의 갱신주기를 20샘플, 2.5msec로 짧게 함으로써 보다 효과적인 포스트필터처리가 가능하게 된다.

인접하는 프레임간에서의 이득의 연결처리는 이전 프레임의 필터계수 및 이득과 현 프레임의 필터계수 및 이득이 페이드인, 페이드아웃에 대하여 0≤i≤20인 1-W(i)와 W(i) = I/120 (0≤i≤20)의 삼각창(Windowing)에 의해 곱해지고, 결과 곱이 함께 합해진다. 도 25에서는 이전프레임의 이득(G1)이 현재프레임의 이득(G2)에 합쳐지는 모습을 나타내고 있다. 특히, 전프레임의 이득, 필터계수를 사용하는 비율이 서서히 감쇠하고, 현프레임의 이득, 필터계수의 사용이 서서히 증대한다. 또한, 도 25의 시각(T)에 있어서의 전프레임에 대한 현프레임의 필터의 내부상태가 동일상태, 즉 전프레임의 최종상태에서 시작한다.

이상 설명한 것같은 신호부호 및 신호복호화장치는 예를 들면 도 26 및 도 27에 나타낸 것같은 휴대통신단말 혹은 휴대전화기 등에 사용되는 음성코드북으로서 사용할수 있다.

도 26은 상기 도 1, 도 3에 나타낸 것같은 구성을 가지는 음성부호화부(160)를 이용하는 휴대단말의 송신측구성을 나타내고 있다. 마이크로폰(161)에서 집음된 음성신호는 앰프(162)에서 증폭되고, A/D(아날로그/디지탈) 변환기(163)에서 디지탈신호로 변환되어서, 도 1, 도 3에 나타낸 것같은 구성을 가지는 음성부호화부(160)에 보내진다. 입력단자(101)에 상기 A/D변환기(163)에서의 디지탈신호가 입력된다. 음성부호화부(160)에서는 상기 도 1, 도 3과 함께 설명한 것같은 부호화처리가 행해진다. 도 1, 도 2의 각 출력단자에서의 출력신호는 음성부호화부(160)의 출력신호로서 전송로부호화부(164)에 보내지고, 공급된 신호에 채널코딩을 실행한다. 전송로부호화부(164)의 출력신호는 변조를 위하여 변조회로(165)에 보내지고, D/A(디지탈/아날로그)변환부(166), RF앰프(167)를 거쳐서 안테나(168)에 보내진다.

도 27은 상기 도 2, 도 4에 나타낸 것같은 구성을 가지는 음성복호화부(260)를 이용하여 휴대단말의 수신측을 나타내고 있다. 이 도 27의 안테나(261)에서 수신된 음성신호는 RF앰프(262)에서 증폭되고, A/D(아날로그/디지탈) 변환기(263)를 거쳐서 복조회로(264)에 보내지고, 복조신호가 전송로복호화부(265)에 보내진다. 복호부(265)의 출력신호는 상기 도2, 도 4에 나타낸 것같은 구성을 가지는 음성복호화부(260)에 보내진다. 음성복호화부(260)는 상기 도2, 도 4와 함께 설명한 바와 같은 방법으로 신호를 복호한다. 도 2, 도 4의 출력단자(201)에서의 출력신호가 음성복호화부(260)에서의 신호로서 D/A(디지탈/아날로그) 변환기(266)에 보내진다. 이 D/A변환기(266)에서의 아날로그 음성신호가 스피커(268)에 보내진다.

상기한 음성 부호화 방법 및 장치와 음성 복호화 방법 및 장치는 또한 피치변환 또는 속도제어를 위해 사용될 수 있다.

피치제어는 일본 특허출원 7-279410에 공개된 것과 같이 수행될 수 있고, 이에 따라 소정의 부호화 단위에 의해 시간축상에 구분되고 이 부호화 단위에 따라 부호화된 부호화 파라미터는 원하는 시점에 대해 변경된 부호화 파라미터를 구하기 위해 보간된다고 나타나 있다. 이 변경된 부호화 파라미터에 따라 음성신호를 재생하므로써, 포님(Phoneme, 음소)과 피치가 변하지 않고도 광범위에 걸친 임의의 비율로 속도제어가 실현될 수 있다.

속도제어와 함께 음성복호화하는 또다른 예로서, 일예로 프레임과 같은 소정의 부호화 단위로 시간축상에 구분된 입력 음성신호의 부호화시에 구해진 부호화 파라미터에 따라 음성신호를 재생할 때, 상기 음성신호는 원래 음성신호의 부호화시에 사용된 것과 다른 프레임 길이로 재생되는 것이 고려될 수 있다.

상기 속도제어로 저속 재생시에, 음성의 1 또는 그 이상의 프레임이 1프레임 입력 파라미터에 의해 출력된다. 만약, 무성음(UV)에 대해 1프레임 여기 벡터로부터 1 또는 그 이상의 여기벡터를 재생하기 위해, 예를들어 동일한 여기 벡터가 반복적으로 사용되면, 원래 존재하지 않는 피치성분이 재생된다. 이 문제에서, 상기의 오차 발생시에 무성음 프레임에 대한 배드 프레임 마스킹에서 잡음이 잡음 코드북으로부터의 여기벡터에 부가되거나, 잡음이 대체되거나 잡음 코드북으로부터 선택된 임의의 여기 벡터가 사용되어 동일한 여기벡터의 반복적 사용을 회피할 수 있게된다.

즉, 저속재생을 수행하기 위해, 적당하게 재생된 잡음 성분은 잡음 코드북으로부터 복호되고 독출된 여기벡터에 부가되거나, 여기벡터가 여기신호로서 잡음 코드북으로부터 임의로 선택되거나, 일예로 가우스잡음과 같은 잡음이 여기벡터로서 생성되어 사용될 수 있다.

본 발명은 상기 실시예에 제한되지 않는다. 예를들어, 도 1 및 도 3의 음성 분석측(부호화측)의 구조 또는 음성 합성측(복호기측)의 구조는 하드웨어로서 설명되었지만, 예를들어 일명 디지털 신호처리기를 사용하는 소프트웨어 프로그램에 의해서도 이행될 수 있다. 복호기측의 포스트필터(238v, 238u) 또는 합성필터(237, 236)가 유성음용 및 무성음용으로 구분될 필요가 없지만 유성음용 또는 무성음용의 일반 포스트필터 또는 LPC 합성필터가 또한 사용될 수도 있다. 본 발명의 범위는 송신 또는 기록 및/또는 재생뿐만아니라 일예로 피치 또는 속도변환, 음성합성과 같은 다양한 다른분야에도 적용될 수 있음을 주지하여야 한다.

이상의 설명에서 밝힌 바와같이 본 발명에 의하면, 입력음성신호를 시간축상에서 소정의 부호화단위로 구분하여 얻어지는 각 부호화단위의 시간축파형신호가 파형부호화되어서 얻어진 부호화음성신호를 복호화할때에 상기 부호화음성신호를 파형복호화하여 얻어지는 부호화단위마다의 시간축파형신호로서, 연속하여 같은 파형을 반복이용하는 것을 회피함으로써 부호화단위를 주기로 하는 피치성분의 발생에 의한 재생음의 위화감을 개선할 수 있다.

이것은 특히 시간축파형신호가 무성음합성을 위한 여기신호일 경우 여기신호에 잡음성분을 부가하는 것, 여기신호를 잡음성분으로 치환하는 것, 혹은, 여기신호가 기입된 잡음부호장에서 랜덤에 여기신호를 독출함으로써 연속하여 동일 파형을 반복이용하지않기 때문에 본래 피치가 존재하지않는 무성음시에 부호화단위를 주기로 하는 피치성분이 생기는 것을 방지할 수 있다.

Claims (13)

1. 소정의 부호화 단위로 시간축상에서 입력 음성신호를 구분하고, 이 결과의 부호화 단위에 기초한 시간축 파형 신호를 파형 부호화하여 얻어진 부호화 음성신호를 복호화하기 위한 음성 복호화 방법에 있어서,

   부호화 단위의 시간축 파형신호를 재생하기 위한 파형 복호화 단계와,

   상기 파형 복호화에 사용된 파형과 동일한 파형의 반복적인 사용을 회피하기 위한 회피단계와,

   를 포함하여 구성된 것을 특징으로 하는 음성 복호화 방법.
2. 제 1항에 있어서,

   상기 부호화 음성신호는 분석에 의한 합성법을 사용하여 폐쇄루프 탐색에 의해 시간축 파형을 벡터 양자화하여 얻어지는 것을 특징으로 하는 음성 복호화 방법.
3. 제 1항에 있어서,

   상기 시간축 파형신호는 무성음 신호의 합성을 위한 여기신호이고, 잡음성분은 동일한 파형의 반복을 회피하는 회피단계에서 상기 여기신호에 부가되는 것을 특징으로 하는 음성 복호화 방법.
4. 제 1항에 있어서,

   상기 시간축 파형신호는 무성음 신호의 합성을 위한 여기신호이고 잡음성분은 동일한 파형의 반복을 회피하는 상기 회피단계에서 상기 여기신호에 대체되는 것을 특징으로 하는 음성 복호화 방법
5. 제 1항에 있어서,

   상기 시간축 파형신호는 무성음의 합성을 위해 잡음 코드북으로부터 독출되는 여기신호이고, 상기 동일한 파형의 반복을 회피하는 회피단계에서 여기신호는 상기 잡음 코드북으로부터 임의로 선택되는 것을 특징으로 하는 음성 복호화 방법.
6. 제 1항에 있어서,

   오차검사부호는 상기 부호화 음성신호에 부가되고, 만약 오차가 이 오차검사부호에 의해 검출되었다면, 바로 직전의 부호화 단위에 기초한 파형의 파형과 다른 파형을 갖는 신호가 동일한 파형의 반복을 회피하는 회피단계에 사용되는 것을 특징으로 하는 음성 복호화 방법.
7. 제 1항에 있어서,

   상기 부호화 음성신호는 부호화에 사용된 부호화단위의 길이보다 더 긴 부호화 단위에 의해 복호되는 것을 특징으로 하는 음성 복호화 방법.
8. 소정의 부호화 단위에 의해 시간축에서 입력 음성신호를 구분하고 이 결과의 상기 부호화 단위에 기초한 시간축 파형신호를 파형부호화하여 얻어진 부호화 음성신호를 복호화하기 위한 음성 복호화 장치에 있어서,

   부호화 단위에 기초한 시간축 파형신호를 생성하기 위해 상기 부호화 음성신호를 파형복호화하기 위한 파형 복호화수단과,

   상기 파형복호화에 사용된 파형과 동일한 파형의 반복사용을 회피하는 회피수단과,

   를 포함하여 구성된 것을 특징으로 하는 음성 복호화 장치
9. 제 8항에 있어서,

   상기 부호화 음성신호는 분석에 의한 합성법을 사용하여 폐쇄루프 탐색에 의해 시간축 파형을 벡터양자화하여 얻어지는 것을 특징으로 하는 음성 복호화 장치.
10. 제 8항에 있어서,

    상기 시간축 파형신호는 무성음 신호의 합성을 위한 여기신호이고 상기 동일한 파형의 반복을 회피하는 회피수단은 상기 여기신호에 잡음을 부가하기 위한 잡음부가신호를 포함하는 것을 특징으로 하는 음성 복호화 장치.
11. 제 8항에 있어서,

    상기 시간축 파형신호는 무성음 신호의 합성을 위한 여기신호이고 동일한 파형의 반복을 회피하기 위한 수단은 잡음성분을 상기 여기신호에 대신하여 사용하는 것을 특징으로 하는 음성 복호화 장치
12. 제 8항에 있어서,

    오차검사부호는 상기 부호화 음성신호에 부가되고, 만약 오차가 이 오차검사부호에 의해 검출되었으면, 파형에 기초한 바로 직전의 부호화 단위에 따른 파형과 다른 파형을 갖는 신호가 동일한 파형의 반복을 회피하는 회피수단으로서 사용되는 것을 특징으로 하는 음성 복호화 장치.
13. 제 8항에 있어서,

    상기 부호화 음성신호는 부호화에 사용된 부호화 단위의 길이보다 더 긴 부호화 단위에 의해 복호화되는 것을 특징으로 하는 음성 복호화 장치.