KR20000076153A - 음성 부호화 장치, 음성 복호 장치 및 음성 부호화 복호 장치 및 음성 부호화 방법, 음성 복호 방법 및 음성 부호화 복호 방법 - Google Patents

음성 부호화 장치, 음성 복호 장치 및 음성 부호화 복호 장치 및 음성 부호화 방법, 음성 복호 방법 및 음성 부호화 복호 방법 Download PDF

Info

Publication number
KR20000076153A
KR20000076153A KR1019997008244A KR19997008244A KR20000076153A KR 20000076153 A KR20000076153 A KR 20000076153A KR 1019997008244 A KR1019997008244 A KR 1019997008244A KR 19997008244 A KR19997008244 A KR 19997008244A KR 20000076153 A KR20000076153 A KR 20000076153A
Authority
KR
South Korea
Prior art keywords
sound source
encoding
pulse
decoding
gain
Prior art date
Application number
KR1019997008244A
Other languages
English (en)
Other versions
KR100350340B1 (ko
Inventor
다사키히로히사
Original Assignee
다니구찌 이찌로오, 기타오카 다카시
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다니구찌 이찌로오, 기타오카 다카시, 미쓰비시덴키 가부시키가이샤 filed Critical 다니구찌 이찌로오, 기타오카 다카시
Publication of KR20000076153A publication Critical patent/KR20000076153A/ko
Application granted granted Critical
Publication of KR100350340B1 publication Critical patent/KR100350340B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/10—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a multipulse excitation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

입력음성(5)을 스펙트럼 포락정보와 음원으로 나누어 프레임 단위에서 음원을 복수의 음원위치와 음원게인에 부호화할 때의 부호화 특성을 개선한다. 음원을 복수의 음원위치와 음원게인으로 부호화하는 음원 부호화부(11)내에, 음원위치후보마다 부여하는 의사게인을 산출하는 의사게인 산출부(40)를 마련하며, 펄스위치 검색부(41)가 이러한 의사게인을 사용하여 복수의 음원위치를 결정하여, 게인 부호화부(12)가 결정된 음원위치를 사용하여 음원게인을 부호화한다.

Description

음성 부호화 장치, 음성 복호 장치 및 음성 부호화 복호 장치 및 음성 부호화 방법, 음성 복호 방법 및 음성 부호화 복호 방법{Voice encoder, voice decoder, voice encoder/decoder, voice encoding method, voice decoding method and voice encoding/decoding method}
종래의 많은 음성 부호화 복호 장치에서는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하여 상기 부호화된 음원을 복호하여 출력음성을 생성하는 구성이 이용되고 있다.
여기서, 스펙트럼 포락정보이란, 음성신호의 진폭(파워) 스펙트럼의 개형을 나타내는 정보를 말한다. 음원이란 음성을 생성하는 에너지원을 말한다. 음성 부호화나 음성합성에 있어서는, 주기적인 패턴이나 주기적인 펄스열에서 음원을 모델화하며 근사하여 이용한다.
부호화 복호의 품질개선을 목적으로 하여, 특히, 음원의 부호화 복호방법에 대해서 여러가지 개량이 행하여지고 있다. 가장 대표적인 음성 부호화 복호장치로서, 부호여진 선형예측 부호화(celp(code-excited linear prediction coding))를 사용한 것이 있다.
도 13은 종래의 celp계 음성 부호화 복호장치의 전체 구성을 도시하는 것이다.
도면에 있어서, 1는 부호화부, 2는 복호부, 3은 다중화부, 4는 분리부, 5는 입력음성, 6은 부호, 7은 출력음성이다. 부호화부(1)는 다음 8∼12에 의해 구성되어 있다. 8은 선형예측 분석부, 9는 선형예측 계수부호화부, 10은 적응음원 부호화부, 11은 구동음원 부호화부, 12는 게인 부호화부이다. 또한, 복호부(2)는 다음 13 내지 17에 의해 구성되어 있다. 13은 선형예측 계수복호부, 14는 합성 필터, 15는 적응음원 복호부, 16은 구동음원 복호부, 17은 게인복호부이다.
이러한 종래의 음성 부호화 복호장치에서는 5∼50ms 정도 길이의 음성을 1 프레임으로 하고, 그 프레의사 음성을 스펙트럼 포락정보와 음원으로 나누어 부호화한다. 이하, 종래의 음성 부호화 복호장치의 동작에 대해서 설명한다.
우선, 부호화부(1)에 있어서, 선형예측 분석부(8)는 입력음성(5)을 분석하여, 음성의 스펙트럼 포락정보인 선형예측 계수를 추출한다. 선형예측 계수부호화부(9)는 이 선형예측 계수를 부호화하여, 그 부호를 다중화부(3)에 출력함과 동시에 음원의 부호화를 위해서 부호화한 선형예측 계수(18)를 출력한다.
다음에, 음원의 부호화에 대하여 도 20, 도 21, 도 22를 사용하여 설명한다.
도 20에 도시되는 바와 같이, 적응음원 부호화부(10)로서는, 적응음원 부호장(110)에, 적응음원 부호(111)에 대응하여 과거의 음원을 적응음원(113)으로서 복수(S개) 기억하고 있다. 이 기억하고 있는 각 적응음원 부호(111)에 대응하여 과거의 음원, 즉, 적응음원(113)을 주기적으로 반복한 시계열 벡터(114)를 생성한다. 다음에, 각 시계열 벡터(114)에 적절한 게인(g)을 곱하여, 시계열 벡터(114)를 상기 부호화된 선형예측 계수(18)를 사용한 합성 필터(115)에 통과시키는 것으로, 의사(假)의 합성음(116)을 얻는다. 이러한 의사의 합성음(116)과 입력음성(5)과의 차분으로부터 오차신호(118)를 구하여, 의사의 합성음(116)과 입력음성(5)과의 거리를 조사한다. 이 처리를 각 적응음원(113)을 사용하여 S회 반복한다. 그리고, 이 거리를 최소로 하는 적응음원 부호(111)를 선택함과 동시에, 선택된 적응음원 부호(111)에 대응하는 시계열 벡터(114)를 적응음원(113)으로서 출력한다. 또한, 선택된 적응음원 부호(111)에 대응하는 오차신호(118)를 출력한다.
도 21에 도시되는 바와 같이, 구동음원 부호화부(11)로서는, 구동음원 부호장(130)에 구동음원 부호(131)에 대응하여 음원을 구동음원(133)으로서 복수(T개) 기억하고 있다. 우선, 각 구동음원(133)에 적절한 게인(g)을 곱하여, 상기 부호화된 선형예측 계수(18)를 사용한 합성 필터(135)에 통과시키는 것으로, 의사의 합성음(136)을 얻는다. 상기 의사의 합성음(136)과 오차신호(118)와의 거리를 조사한다. 이 처리를 각 구동음원(133)을 사용하여 T회 반복한다. 그리고, 이 거리를 최소로 하는 구동음원 부호(131)를 선택함과 동시에, 선택된 구동음원 부호(131)에 대응하는 구동음원(133)을 출력한다.
도 22에 도시되는 바와 같이, 게인 부호화부(12)는 게인 부호장(150)에, 게인 부호(151)에 대응하여 게인을 복수조(U조) 기억하고 있다. 우선, 각 게인 부호(151)에 대응하는 게인 벡터(g1, g2)(154)를 생성한다. 그리고, 각 게인 벡터(154)의 각 요소(g1, g2)를 상기 적응음원(113)(시계열 벡터(114))과 상기 구동음원(133)에 승산기(166, 167)에 의해 곱하며 가산기(968)에 의해 가산하여, 상기 부호화된 선형예측 계수(18)를 사용한 합성 필터에 통과하는 것으로 의사의 합성음(156)을 얻는다. 이러한 의사의 합성음(156)과 입력음성(5)과의 거리를 조사한다. 이 처리를 각 게인을 사용하여 U회 반복한다. 그리고, 이 거리를 최소로 하는 게인 부호(151)를 선택한다. 최후에, 선택된 게인 부호(151)에 대응하는 게인 벡터(154)의 각 요소(g1, g2)를 상기 적응음원(113)과 상기 구동음원(133)을 곱하여 가산하는 것으로 음원(163)을 생성한다. 적응음원 부호화부(1O)는 음원(163)을 사용하여 적응음원 부호장(110)의 갱신을 실시한다.
또, 다중화부(3)는 상기 부호화된 선형예측 계수(18), 적응음원 부호(111), 구동음원 부호(131), 게인 부호(151)를 다중화하여 얻어진 부호(6)를 출력한다. 또한, 분리부(4)는 상기 부호(6)를 부호화된 선형예측 계수(18), 적응음원 부호(111), 구동음원 부호(131), 게인 부호(151)로 분리한다.
한편, 복호부(2)에서는, 선형예측 계수복호부(13)는 부호화된 선형예측 계수(18)로부터 선형예측 계수를 복호하여, 합성 필터(14)의 계수로서 설정한다. 다음에, 적응음원 복호부(15)는 과거의 음원을 적응음원 부호장에 기억하고 있으며, 적응음원 부호에 대응하여 복수의 과거의 음원을 주기적으로 반복한 시계열 벡터(128)를 출력하고, 또한, 구동음원 복호부(16)은 복수의 구동음원을 구동음원 부호장에 기억하고 있으며, 구동음원 부호에 대응한 시계열 벡터(148)를 출력한다. 게인 복호부(17)은 복수조의 게인을 게인 부호장에 기억하고 있어, 게인 부호에 대응한 게인 벡터(168)를 출력한다. 복호부(2)는 상기 2개의 시계열 벡터(128, 148)에 상기 게인 벡터의 각 요소(g1, g2)를 곱하여 가산하는 것으로 음원(198)을 생성하여, 이 음원(198)을 합성 필터(14)에 통과시키는 것으로 출력음성(7)을 생성한다. 최후에, 적응음원 복호부(15)는 상기 생성된 음원(198)을 사용하여 적응음원 복호부(15)내의 적응음원 부호장의 갱신을 한다.
여기서, 「CS-ACELP의 기본 알고리즘」(가타오까 아끼토시, 하야시 신지, 모리야 다케히로, 구리하라 쇼우꼬, 마노 카즈노리 저, NTT R＆D, Vol.45, pp325-330(1996년 4월), (이하, 문헌(1)이라고 칭함))에는 연산량과 메모리량의 삭감을 주된 목적으로서, 구동음원의 부호화에 펄스음원을 도입한 celp계 음성 부호화 복호장치가 개시되어 있다.
도 14는 문헌(1)에 개시되어 있는 종래의 음성 부호화 복호장치로 사용되고 있는 구동음원 부호화부(11)의 구성을 도시하는 것이다. 또, 전체 구성은 도 13과 같다.
도면에 있어서, 18은 부호화된 선형예측 계수, 19는 전술한 구동음원 부호(131)인 구동음원 부호, 20은 전술한 오차신호(118)인 부호화 대상신호, 21은 임펄스 응답산출부, 22는 펄스위치 탐색부, 23은 펄스위치 부호장이다. 부호화 대상신호(2O)는 도 21에 도시되는 바와 같이, 적응음원(113)(의 시계열 벡터(114))에 적절한 게인을 곱한 후 합성 필터(115)에 통과시켜, 이것을 입력음성(5)으로부터 감산한 오차신호(118)이다.
도 15는 문헌(1)에서 사용되고 있는 펄스위치 부호장(23)이다.
또한, 도 15는 펄스위치 부호(230)의 범위와 비트수와 구체예를 도시하고 있다.
문헌(1)에서는 음원 부호화 프레임 길이가 40샘플이고, 구동음원은 4개의 펄스로 구성되어 있다. 펄스번호 1 내지 3의 펄스위치는 도 15에 도시되는 바와 같이, 각각 8개의 위치로 제약되어 있으며, 펄스위치는 0 내지 7까지 8개있기 때문에, 각각 3bit로 부호화할 수 있다. 펄스번호(4)의 펄스는 16의 펄스위치에 제약되어 있으며, 펄스위치는 0 내지 15까지 16개있기 때문에, 4bit로 부호화할 수 있다. 4개의 펄스위치를 도시하는 펄스 위치부호는, 3+3+3+4비트=13비트의 부호어로 이루어진다. 펄스위치에 제약을 주는 것으로, 부호화 특성의 열화를 억제하면서, 부호화 bit수의 삭감, 조합수의 삭감에 의한 연산량 삭감을 실현하고 있다.
이하, 상기 종래의 음성 부호화 복호장치내의 구동음원 부호화부(11)의 동작에 대해서, 도 23, 도 24, 도 25를 사용하여 설명한다.
임펄스 응답산출부(21)는 임펄스 신호발생부(218)에서 도 25에 도시되는 바와 같이 임펄스 신호(210)를 발생시켜, 부호화된 선형예측 계수(18)를 필터계수로 하는 합성 필터(211)에 의해 임펄스 신호(210)에 대한 임펄스 응답(214)을 산출하여, 이 임펄스 응답(214)에 청각 가중부(212)가 청각 가중처리를 실시하여 청각 가중된 임펄스 응답(215)을 출력한다. 펄스위치 탐색부(22)는 도 15에 도시한 각 펄스위치부호(230)(예를 들면, 도 23에 있어서의〔5,3,0,14〕)에 대응하여, 펄스 위치부호장(23)에 격납되어 있는 펄스위치(예를 들면, 〔25,16,2,34〕)를 순차 판독하여, 판독된 소정개수(4개)의 펄스위치(〔25,16,2,34〕)에 진폭이 일정하고 극성만 극성정보(231)(예를 들면,〔0,0,1,1〕:1은 정극성, 0은 부극성을 나타낸다)를 적절하게 부여한 펄스를 발생시키는 것으로, 의사의 펄스음원(172)을 생성한다. 이 의사의 펄스음원(172)과 상기 임펄스 응답(215)을 콘벌루션 연산하는 것으로 의사의 합성음(174)을 생성하여, 이러한 의사의 합성음(174)과 부호화 대상신호(20)의 거리를 계산한다. 이 계산을 모든 펄스위치의 전 조합에서 8×8×8×16=8192회 실시한다. 그리고, 가장 작은 거리를 부여한 펄스 위치부호(230)(예를 들면, 〔5,3,0,14〕)와 각 펄스에 부여한 극성정보(231)(예를 들면,〔O,0,1,1〕)를 맞추어 구동음원 부호(19)(도 13에 도시한 구동음원 부호(131)에 상당)로서 출력함과 동시에, 그 펄스 위치부호(230)에 대응하는 의사의 펄스음원(172)(도 13에 도시한 구동음원(133)에 상당)을 부호화부(1)내의 게인 호화부(12)에 출력한다.
또한, 문헌(1)에서는 펄스위치 탐색부(22)에 있어서의 연산량을 삭감하기 때문에 실제로는 의사의 펄스음원(172)과 의사의 합성음(174)은 생성하지 않고서, 임펄스 응답과 부호화 대상신호(20)의 상관함수와 임펄스 응답의 상호 상관함수를 미리 계산하고 두고, 그것들의 간단한 가산에 의해서 거리 계산을 실행한다.
이하, 거리 계산방법에 대해서 설명한다.
우선, 거리의 최소화는 다음 수학식 1의 D를 최대화하는 것과 같으며, 이 D의 계산을 펄스위치의 전 조합에 대하여 실행하는 것으로 최소거리 탐색을 실행할 수 있다.
단지,
m(k): k번째 펄스의 펄스위치
g(k): k번째 펄스의 펄스진폭
d(x): 펄스위치(x)에 임펄스를 발생시켰을 때의 임펄스 응답과 입력음성의 상관
ψ(x, y): 펄스위치(x)에 임펄스를 발생시켰을 때의 임펄스 응답과 펄스위치(y)에 임펄스를 발생시켰을 때의 임펄스 응답과의 상관
또한, 문헌(1)의 펄스위치 탐색부(22)로서는, g(k)를 d(m(k))와 동일 부호로 절대치가 1로서 수학식 2와 수학식 3을 단순화하여 계산한다. 단순화된 수학식 2와 수학식 3은 다음식으로 된다.
단지,
따라서, 펄스위치의 전 조합에 대한 D의 계산을 시작하기 전에, d'와 ψ'의 계산을 해 두면, 후에는 수학식 4와 수학식 5의 단순 가산이라는 적은 연산량으로 D를 산출할 수 있다.
도 16은 펄스위치 탐색부(22)내에서 생성되는 의사의 펄스 음원(172)을 설명하는 설명도이다.
도 16의 (a)에 일례를 도시하는 상관 d(x)의 양음에 의해서 펄스의 극성이 결정된다. 펄스의 진폭은 1로 고정한다. 즉, 펄스위치 m(k)에 펄스를 발생시킬 때에는 d(m(k))가 양인 경우에는 (+1)의 진폭을 갖는 펄스, d(m(k))가 음인 경우에는 (-1)의 진폭을 갖는 펄스로 한다. 도 16의 (b)가 도 16의 (a)의 d(x)에 따른 의사의 펄스음원(172)이다.
상기한 바와 같이, 펄스위치에 제약을 주어, 고속탐색을 가능하게 한 펄스음원은 「대수적 부호(Algebraic Code)를 사용한 음원」으로 불리고 있다. 간단화를 위해서, 이후는 「대수적 음원」이라고 생략하여 설명한다. 대수적 음원을 사용한 음원 부호화 특성의 개선을 도모한 음성 부호화 복호장치로서, 「멀티 펄스 벡터 양자화 음원과 고속탐색에 근거하는 MP-CELP 음성 부호화」(오자와 카즈노리, 타에 신이치, 노무라 토시유끼 저, 전자 정보통신 학회논문지 A, Vol. J79-A, No.10, pp. 1655-1663(1996년 10월), (이하, 문헌(2)라고 칭함))에 개시되어 있는 것이 있다.
도 17은 이러한 종래의 음성 부호화 복호장치의 전체구성을 도시하는 것이다.
도면에 있어서, 24는 모드 판별부, 25는 제 1 펄스음원 부호화부, 26은 제 1 게인 부호화부, 27은 제 2 펄스음원 부호화부, 28은 제 2 게인 부호화부, 29는 제 1 펄스음원 복호부, 30은 제 1 게인 복호부, 31은 제 2 펄스음원 복호부, 32는 제 2 게인 복호부이다.
도 13과 동일 부분에 대해서는 동일 부호를 붙여 설명을 생략한다.
이 음성 부호화 복호장치에 있어서, 도 13과 비교하고 새로운 구성의 동작은 다음과 같다. 즉, 모드 판별부(24)는 평균 피치 예측 게인, 즉 피치 주기성의 높이에 근거하여, 사용하는 음원 부호화의 모드를 판별하여, 판별 결과를 모드정보로서 출력한다. 피치 주기성이 높은 경우에는, 제 1 음원 부호화 모드, 즉 적응음원 부호화부(10), 제 1 펄스음원 부호화부(25) 및 제 1 게인 부호화부(26)를 사용하여 음원 부호화를 실시하여, 피치 주기성이 낮은 경우에는, 제 2 음원 부호화 모드, 즉 제 2 펄스음원 부호화부(27), 제 2 게인 부호화부(28)를 사용하여 음원 부호화를 실시한다.
제 1 펄스음원 부호화부(25)는 우선 각 펄스음원 부호에 대응한 의사의 펄스음원을 생성하여, 이 의사의 펄스음원과 적응음원 부호화부(10)가 출력한 적응음원에 적절한 게인을 곱하여, 선형예측 계수 부호화부(9)가 출력한 선형예측 계수를 사용한 합성 필터에 통과시키는 것으로, 의사의 합성음을 얻는다. 이러한 의사의 합성음과 입력음성(5)과의 거리를 조사하여 거리가 가까운 순차로 펄스음원 부호후보를 구함과 동시에, 각 펄스음원 부호후보에 대응하는 의사의 펄스음원을 출력한다. 제 1 게인 부호화부(26)는 우선 각 게인 부호에 대응하는 게인 벡터를 생성한다. 그리고, 각 게인 벡터의 각 요소를 상기 적응음원과 상기 의사의 펄스음원을 곱하여 가산하여, 선형예측 계수부호화부(9)가 출력한 선형예측 계수를 사용한 합성 필터에 통과시키는 것으로 의사의 합성음을 얻는다. 이러한 의사의 합성음과 입력음성(5)과의 거리를 조사하여, 이 거리를 최소로 하는 의사의 펄스음원과 게인 부호를 선택하여 이 게인 부호와 의사의 펄스음원에 대응하는 펄스음원 부호를 출력한다.
제 2 펄스음원 부호화부(27)는, 우선 각 펄스음원 부호에 대응한 의사의 펄스음원을 생성하여, 이 의사의 펄스음원에 적절한 게인을 곱하여, 선형예측 계수부호화부(9)가 출력한 선형예측 계수를 사용한 합성 필터에 통과시키는 것으로, 의사의 합성음을 얻는다. 상기 의사의 합성음과 입력음성(5)과의 거리를 조사하여, 이 거리를 최소로 하는 펄스음원 부호를 선택함과 동시에, 거리가 가까운 순차로 펄스음원 부호후보를 구함과 동시에, 각 펄스음원 부호후보에 대응하는 의사의 펄스음원을 출력한다.
제 2 게인 부호화부(28)는, 우선 각 게인 부호에 대응하는 의사의 게인치를 생성한다. 그리고, 각 게인치를 상기 의사의 펄스음원에 곱하여, 선형예측 계수부호화부(9)가 출력한 선형예측 계수를 사용한 합성 필터로 통과시키는 것으로 의사의 합성음을 얻는다. 이러한 의사의 합성음과 입력음성(5)과의 거리를 조사하여, 이 거리를 최소로 하는 의사의 펄스음원과 게인 부호를 선택하여 이 게인 부호와 의사의 펄스음원에 대응하는 펄스음원 부호를 출력한다.
또, 다중화부(3)는 선형예측 계수의 부호, 모드정보, 제 1 음원 부호화 모드의 경우에는 적응음원 부호와 펄스음원 부호와 게인 부호, 제 2 음원 부호화 모드의 경우에는 펄스음원 부호와 게인 부호를 다중화하여 얻어진 부호(6)를 출력한다. 또한, 분리부(4)는 상기 부호(6)를 선형예측 계수의 부호, 모드정보, 모드정보가 제 1 음원 부호화 모드인 경우에는 적응음원 부호와 펄스음원 부호와 게인 부호, 모드정보가 제 2 음원 부호화 모드인 경우에는 펄스음원 부호와 게인 부호로 분리한다.
모드정보가 제 1 음원 부호화 모드인 경우에는, 제 1 펄스음원 복호부(29)가 펄스음원 부호에 대응한 펄스음원을 출력하여, 제 1 게인복호부(30)가 게인 부호에 대응한 게인 벡터를 출력하며, 복호부(2)내에서 적응음원 복호부(15)의 출력과 상기 펄스음원에 상기 게인 벡터의 각 요소를 곱하여 가산하는 것으로 음원을 생성하여, 이 음원을 합성 필터(14)에 통과시키는 것으로 출력음성(7)을 생성한다. 모드정보가 제 2 음원 부호화 모드인 경우에는, 제 2 펄스음원 복호부(31)가 펄스음원 부호에 대응한 펄스음원을 출력하여, 제 2 게인복호부(32)가 게인 부호에 대응한 게인치를 출력하며, 복호부(2)내에서 상기 펄스음원에 상기 게인치를 곱하여 음원을 생성하여, 이 음원을 합성 필터(14)에 통과시키는 것으로 출력음성(7)을 생성한다.
도 18은 상술의 음성 부호화 복호장치에 있어서의 제 1 펄스음원 부호화부(25) 및 제 2 펄스음원 부호화부(27)의 구성을 도시하는 것이다.
도면에 있어서, 33은 부호화된 선형예측 계수, 34는 펄스 음원 부호후보, 35는 부호화 대상신호, 36은 임펄스 응답산출부, 37은 펄스위치 후보탐색부, 38은 펄스진폭 후보탐색부, 39는 펄스진폭 부호장이다. 또, 부호화 대상신호(35)는 제 1 펄스음원 부호화부(25)의 경우에는, 적응음원에 적절한 게인을 곱하여 입력음성(5)으로부터 감산한 신호이며, 제 2 펄스음원 부호화부(27)의 경우에는, 입력음성(5) 그자체이다. 또, 펄스위치 부호장(23)은 도 14와 도 15로써 설명한 것과 같다.
우선, 임펄스 응답산출부(36)는 부호화된 선형예측 계수(33)를 필터계수로 하는 합성 필터의 임펄스 응답을 산출하여, 이 임펄스 응답에 청각 가중 처리를 실시한다. 또한, 적응음원 부호화부(10)에서 구한 적응음원 부호, 즉 피치 주기 길이가 음원 부호화를 실시하는 기본단위인(서브) 프레임 길이보다 짧은 경우에는 피치 필터에 의해 상기 임펄스 응답을 필터링한다.
펄스위치 후보탐색부(37)는 펄스위치 부호장(23)에 격납되어 있는 펄스위치를 순차적으로 판독하여, 판독된 소정개수의 펄스위치에 진폭이 일정하고 극성만을 적절히 부여한 펄스를 발생시키는 것으로 의사의 펄스음원을 생성하며, 이 의사의 펄스음원과 상기 임펄스 응답을 콘벌루션 연산하는 것으로 의사의 합성음을 생성하고, 이 의사의 합성음과 부호화 대상신호(35)의 거리를 계산하여, 거리가 가까운 순서로 몇가지의 펄스 위치후보를 구하여 출력한다. 또, 이 거리계산은 문헌(1)과 마찬가지로, 실제로는 의사의 음원과 의사의 합성음은 생성하지 않고서, 임펄스 응답과 부호화 대상신호(35)의 상관함수와 임펄스 응답의 상호 상관함수를 미리 계산해 두어, 그것들이 간단한 가산에 근거하여 거리계산을 실행한다. 펄스진폭 후보탐색부(38)는 펄스진폭 부호장(39)내의 펄스진폭 벡터를 순차적으로 판독하여, 상기 펄스 위치 후보의 각각과 이 펄스진폭 벡터를 사용하여 수학식 1의 D의 계산을 실시하며, D가 큰 순서로 몇가지의 펄스위치 후보와 펄스진폭 후보를 선택하여 펄스음원후보(34)로서 출력한다.
도 19는 펄스위치 후보탐색부(37)내에서 생성되는 의사의 펄스음원과, 펄스진폭 후보탐색부(38)에서 펄스진폭을 부여시킨 의사의 펄스음원을 설명하는 설명도이다.
도 19의 (a)및 도 19의 (b)는 각각 도 16의 (a)와 도 16의 (b)와 동일하다. 펄스진폭 후보탐색부(38)로써 펄스진폭 벡터를 사용하여 진폭부여한 결과가, 도 19의 (c)와 같게 된다.
대수적 음원의 부호화 정보량을 효율적으로 삭감하는 종래의 음성부호화 복호장치로서, 「CELP 부호화에 있어서 위상 적응형 펄스음원 탐색의 검토」(에하라 히로히기, 요시다 코우지, 야키 토시오 저, 일본 음향학회 강연론문집, Vol. 1, pp. 273-274(1996년 9월),(이하, 문헌(3)으로 칭함))에 개시되어 있는 것이 있다. 문헌(3)에서는, 적응음원 부호, 즉 피치 주기 길이를 사용하여 대수적 음원을 피치 주기화하여 사용한다. 또한, 적응음원의 1피치 파형의 피크 위치정보에 근거하여 대수적 음원의 시간방향의 격차(위상)를 적응화하는 방법을 도입하였을 때에, 대수적 음원의 펄스 위치선택에 치우침이 나타나는 것을 이용하여, 선택율이 낮은 위치를 삭제하여 펄스위치에 주는 정보량을 삭감하고 있다.
복수의 펄스로 구성되는 음원을 피치 주기화하는 것으로, 음원에 필요한 정보량을 삭감하는 종래의 음성 부호화 복호장치로서, 「4.8Kb/s 멀티 펄스음성 부호화법」오자와 카즈노리, 아라세키 스구루 저, 일본 음향학회 강연론문집, Vol.1, pp. 203-204(쇼오와 60년 9월), (이하, 문헌(4)라고 칭함))에 개시되어 있는 것이 있다. 문헌(4)에서는 우선, 프레임을 피치 주기마다의 서브프레임으로 분할하여, 각 서브프레의사 음원을 소정수의 펄스로 표현한다. 프레임내의 1개의 서브프레임을 선택하여 이 서브프레의사 펄스음원을 피치 주기로 반복하도록 프레임내 전체의 음원을 생성하였을 때에, 프레임 전체로서 가장 양호한 합성음을 생성하는 서브프레임을 대표구간으로서 선택하여, 그 구간의 펄스정보를 부호화한다. 또, 프레임당의 음원 부호화 정보량을 일정하게 하기 위해서, 1프레임당의 펄스수는 4로 고정되어 있다.
펄스음원에 위상 특성이나 음원파 특성을 주는 것으로, 음원의 표현성을 개선한 종래의 음성 부호화 복호장치로서, 「펄스 구동형 분석합성 부호화의 음원에 관한 검토」(호소이 시케루, 사또 요시오, 마키노 타다요시 저, 전자정보 통신학회 강연론문집, A-254(1992년 3월), (이하, 문헌(5)라고 칭함))와, 「저 비트율 CELP에서의 유성음 품질개선의 검토」(야마유라 타다시, 다까하시 신야 저, 일본 음향학회 강연론문집, Vol. 1, pp. 263-264(평성 6년 10월∼11월), (이하, 문헌(6)이라고 칭함))에 개시되어 있는 것이 있다.
문헌(5)에서는, 펄스음원에 고정의 음원파 특성(문헌(5)중에서는, 펄스파형으로 기재)을 부여한다. 장기예측지연(피치) 주기로 상기 음원파를 반복하는 것으로(서브) 프레임 길이의 음원을 생성하여, 이 음원에 의한 합성음과 입력음성의 왜곡을 최소로 하는 음원게인과 음원파 선두위치를 탐색하여 결과를 부호화한다. 문헌(6)에서는, 적응음원과 펄스음원에 양자화된 위상진폭 특성을 부여한다. 위상진폭 특성부호장내에 격납되어 있는 위상진폭 특성부가 필터계수를 순차적으로 판독하여, 적응음원의 래그(피치) 주기로 반복하는 펄스음원과 적응음원을 가산하여 얻어지는 프레임 길이의 음원에 대하여 위상진폭 특성부가 필터링과 합성 필터링을 실시하여, 얻어진 합성음과 입력음성의 거리를 최소로 하는 위상진폭특성 필터계수와 음원을 준 위상진폭 특성부호, 적응음원 부호, 펄스음원 부호를 출력한다.
펄스열 음원을 일부에 구비한 잡음 부호장을 사용하는 것으로, 유성음 구간의 부호화 품질을 개선하는 종래의 음성 부호화 복호장치로서, 「A Very High­ Quality Ce1p Coder at the Rate of 2400 bps」(Gao Yang, H.Leich, R.Boite, EUR0SPEECH'91, pp.829-832(이하, 문헌(7)이라고 칭함)에 개시되어 있는 것이 있다. 문헌(7)에서는, 피치 주기(적응음원의 래그길이)로 반복하는 펄스열과, 피치 주기의 반 주기로 반복하는 펄스열과, 대부분을 0화(스파스화)한 잡음에서 1개의 음원 부호장을 구성하고 있다.
상술과 같이, 문헌(1) 내지 문헌(7)에 개시된 종래의 음성 부호화 복호장치에는 이하에 상술하는 문제가 있다. 즉, 우선 문헌(1)의 음성 부호화 복호장치 에서는 진폭이 일정하고 극성만을 적절히 부여한 펄스를 발생시키는 것으로 의사의 음원을 생성하여 펄스위치의 탐색하고 있기 때문에, 최종적으로 펄스마다에 독립의 게인(진폭)을 부여하는 개량을 실시하는 경우에는, 이 진폭의 일정한 근사가 탐색결과에 주는 영향은 매우 크고, 알맞은 펄스위치를 찾아낼 수 없는 문제가 있다. 또한, 문헌(2)에서는, 이 근사의 영향을 억제하기 위해서, 펄스 위치후보를 복수개 남겨 두어, 펄스진폭 후보와의 조합으로 알맞은 것을 선택하는 방법을 채용하고 있지만, 이것은 단순히 연산량의 증가를 따르는 문제가 있다.
또한, 문헌(2)에 개시되어 있는 음성 부호화 복호장치에서는 적응음원과 대수적 음원의 가산으로 부호화하는 제 1 음원 부호화 모드와, 대수적 음원만으로 부호화하는 제 2 음원 부호화 모드의 어느 쪽을 사용하는지를 피치 주기성의 높이에 근거하여 결정하고 있지만, 피치 주기성이 낮더라도 적응음원을 사용한 쪽이 바람직한 경우나, 피치 주기성이 높더라도 대수적 음원만으로 부호화하는 쪽이 바람직한 경우가 있으며, 가장 좋은 부호화 특성을 주는 모드 판별을 할 수 없는 문제가 있다.
피치 주기성이 낮더라도 적응음원을 사용한 쪽이 바람직한 예로서는, 피치 주기가 짧고, 대수적 음원이 적은 펄스수에서는 양호하게 음원을 표현할 수 없는 경우가 있다. 이러한 경향은 음원 부호화 정보량이 적고, 펄스수가 적을 때 강하게 된다. 피치 주기성이 높더라도 대수적 음원만으로 부호화한 쪽이 바람직한 예로서는, 피치 주기가 길고, 대수적 음원이 적은 펄스라도 비교적 양호하게 음원을 표현할 수 있는 경우가 있다. 이것들의 예와 같이, 피치 주기나 펄스수에 의해서 모드판별의 임계치는 적응적으로 변화시킬 필요가 발생한다. 그렇지만, 문헌(2)의 음성 부호화 복호장치에서는 이러한 적응적인 처리를 하고 있지 않기 때문에, 가장 좋은 부호화 특성을 주는 모드 판별을 할 수 없다는 문제가 있다.
문헌(3)의 음성 부호화 복호장치에서는 대수적 음원을 피치 주기화하여 이용하고 있지만, 피치 주기를 적응음원 부호에 의존하고 있기 위해서 반드시 적응음원과 대수적 음원 양쪽을 사용할 필요가 있으며, 적응음원을 사용한 부호화 특성이 나쁜 부분에서는 음성부호화 특성이 열화하는 문제가 있다. 일례로서, 현 프레의사 음원의 피치 주기성이 높아도 관계되지 않으며, 전 프레임과 현 프레의사 음원의 유사도가 낮은 경우에는 적응음원의 효율은 나쁘지만, 대수적 음원의 피치 주기화는 행한 쪽이 바람직하다.
문헌(2)의 대수적 음원만으로 음원을 부호화하는 제 2 음원 부호화 모드를 사용하여, 상기 부분의 부호화를 행해도 대수적 음원의 피치 주기화를 하고 있지 않기 때문에, 역시 부호화 특성이 나쁜 과제가 있다. 문헌(2)의 대수적 음원을 피치 주기화하는 방법으로서, 피치 주기를 별도로 부호화하는 방법이 고려되지만, 피치 주기를 부호화하는 정보량은 크며, 펄스수의 삭감에 의한 품질열화가 발생하는 과제가 있다.
또한, 문헌(3)의 음성부호화 복호장치에서는 선택율이 낮은 펄스위치를 삭제하는 것으로 펄스위치에 주는 정보량을 삭감하고 있지만, 피치 주기가 짧은 경우에는 전혀 사용되지 않은 펄스위치가 있으며, 부호화 정보에 낭비가 있다. 또한, 문헌(4)의 음성부호화 복호장치에서는 프레임을 대표하는 피치 주기 길이의 서브프레의사 펄스정보를 부호화하여, 이 펄스음원을 피치 주기화하여 사용하고 있지만, 피치 주기가 짧고, 펄스위치의 부호화 범위가 좁은 경우라도, 넓은 부호화 범위에 대응하는 펄스위치 부호화 방식이 고정적으로 사용되고 있으며, 문헌(3)과 마찬가지로 부호화 정보에 낭비가 있다.
문헌(5)의 음성부호화 복호장치에서는 고정의 음원파를 피치 주기로 반복하여 (서브)프레임 길이의 음원을 생성하여, 이 음원에 의한 합성음과 입력음성의 왜곡을 최소로 하는 음원게인과 음원파 선두위치를 탐색하고 있지만, 각 음원파 선두위치마다의 거리계산에 관계되는 연산량이 많으며(조건에도 의하지만 문헌(1)의 방법인 100배정도의 오더의 연산량이 된다), 실시간 처리를 가능하게 하기 위해서는, 문헌(5)과 같이, 음원 위치 조합을 적게(100개이하) 할 필요가 있다. 요컨대, 각 피치 주기 길이의 음원 위치를 독립으로 주는 음원위치 조합수가 많은 (10000개 이상) 경우에는 실시간 처리는 곤란해지는 문제가 있다.
문헌(6)의 음성 부호화 복호장치에서는 적응음원과 펄스음원에 양자화된 위상진폭 특성을 부여하고 있지만, 문헌(5)과 마찬가지로, 1개의 음원위치당 거리계산 연산량이 많으며, 펄스위치의 조합수가 증가하면, 그것에 비례하여 탐색 연산량이 증가하여, 실시간 처리가 곤란하게 되는 문제가 있다. 문헌(7)에 개시되어 있는 음성 부호화 복호장치에서는 펄스열 음원을 일부에 구비하는 잡음 부호장을 사용되는 것으로, 유성음 구간의 부호화 품질을 개선하고 있지만, 표현할 수 있는 것은 피치 주기 펄스열, 피치 주기의 반부분의 주기 펄스열, 스파스화한 잡음만이며, 표현할 수 있는 음원에 상당한 제약이 있어, 입력음성에 의해서는 부호화 특성이 열화하는 과제가 있다. 또한, 주기화된 펄스열 음원에 대해서는, 펄스 선두위치의 차이만, 요컨대 음원 샘플수 종류의 부호가 필요하고, 작은 사이즈의 부호장으로서는 일부를 펄스열 음원으로 할 수 없는 문제가 있다.
본 발명은 이상의 문제를 해결하고자 하는 것으로, 입력음성을 스펙트럼 포락정보와 음원으로 나누어 프레임 단위로 음원을 부호화할 때의 부호화 특성을 현격하게 향상할 수 있는 음성 부호화 장치, 음성 복호장치 및 음성 부호화 복호장치를 제공하는 것이다.
본 발명은 음성신호를 디지털 신호로 압축 부호화하는 음성 부호화 장치, 그 디지털 신호를 음성신호로 신장 복호하는 음성 복호 장치 및 그것들을 조합시킨 음성 부호화 복호 장치 및 이것들의 방법에 관한 것이다.
도 1은 본 발명의 실시 형태 1의 음성 부호화 복호장치와 그 중의 구동음원 부호화부의 구성을 도시하는 블록도.
도 2는 도 1의 의사게인 산출부에서 산출되는 의사게인과 펄스위치 탐색부에서 생성되는 의사의 펄스음원의 설명에 이용되는 노선도.
도 3은 본 발명의 실시 형태 2의 음성 부호화 복호장치내의 구동음원 부호화부의 구성을 도시하는 블록도.
도 4는 본 발명의 실시 형태 2의 음성부호화 복호장치내의 구동음원 복호부의 구성을 도시하는 블록도.
도 5는 본 발명의 실시 형태 3의 음성부호화 복호장치내의 구동음원 부호화부의 구성을 도시하는 블록도.
도 6은 본 발명의 실시 형태 3의 음성 부호화 복호장치내의 구동원 복호부의 구성을 도시하는 블록도.
도 7은 도 5 및 도 6의 음성 부호화 복호장치에서 사용하는 제 1 펄스위치부호장 내지 제 N 펄스위치 부호장의 일례를 도시하는 도면.
도 8은 본 발명의 실시 형태 4의 음성 부호화 복호장치에서 사용하는 펄스위치 부호장의 일례를 도시하는 도면.
도 9는 본 발명의 실시 형태 5의 음성 부호화 복호장치의 전체 구성을 도시하는 블록도.
도 10은 본 발명의 실시 형태 6의 음성 부호화 복호장치내의 구동음원 부호화부의 구성을 도시하는 블록도.
도 11은 본 발명의 실시 형태 6의 음성 부호화 복호장치내의 구동음원 부호화부에서 사용하는 제 1 구동음원 부호장과 제 2 구동음원 부호장의 구성의 설명에 이용되는 노선도.
도 12는 본 발명의 실시 형태 7의 음성 부호화 복호장치내의 구동음원 부호화부에서 사용하는 제 1 구동음원 부호장과 제 2 구동음원 부호장의 구성의 설명에 이용되는 노선도.
도 13은 종래의 celp계 음성 부호화 복호장치의 전체구성을 도시하는 블록도.
도 14는 종래의 음성 부호화 복호장치에서 사용되고 있는 구동음원 부호화부의 구성을 도시하는 블록도.
도 15는 종래의 펄스위치 부호장의 구성을 도시하는 도면.
도 16은 종래의 펄스위치 탐색부내에서 생성되는 의사의 펄스음원의 설명에 이용되는 노선도.
도 17은 종래의 음성 부호화 복호장치의 전체구성을 도시하는 블록도.
도 18은 종래의 음성 부호화 복호장치에 있어서의 제 1 펄스음원 부호화부 및 제 2 펄스음원 부호화부의 구성을 도시하는 블록도.
도 19는 종래의 음성 부호화 복호장치에 있어서의 펄스위치후보 탐색부내에서 생성되는 의사의 펄스음원과 펄스진폭후보 탐색부에서 펄스진폭이 부여된 의사의 펄스음원의 설명에 이용되는 노선도.
도 20은 종래의 적응음원 부호화부의 동작을 도시하는 도면.
도 21은 종래의 구동음원 부호화부의 동작을 도시하는 도면.
도 22는 종래의 게인 부호화부의 동작을 도시하는 도면.
도 23은 종래의 구동음원 부호화부의 동작을 도시하는 도면.
도 24는 종래의 임펄스 응답산출부의 동작을 도시하는 도면.
도 25는 종래의 임펄스 신호와 임펄스 응답을 도시하는 도면.
도 26은 본 발명의 실시 형태 1의 구동음원 부호화부의 동작을 도시하는 도면.
도 27은 본 발명의 실시 형태 1의 의사게인을 구하는 방법을 도시하는 도면.
도 28은 본 발명의 실시 형태 1의 게인 부호화부의 일례의 일부 동작을 도시하는 도면.
도 29는 본 발명의 실시 형태 3의 피치 주기화 처리를 도시하는 도면.
본 발명에 관계되는 음성 부호화 장치는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서, 상기 음원을 복수의 음원위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 가지며, 해당 음원 부호화부내에 음원위치 후보마다 주는 의사게인을 산출하는 의사게인 산출부(40)와, 상기 의사게인을 사용하여 복수의 음원위치를 결정하는 음원위치 탐색부(41)와, 상기 결정된 음원위치를 사용하여 상기 음원게인을 부호화하는 게인 부호화부(12)를 구비하는 것을 특징으로 한다.
본 발명에 관계되는 음성 부호화 복호장치는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서, 부호화부(1)에 상기 음원을 복수의 음원위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 가지며, 해당 음원 부호화부내에 음원 위치후보마다 부여되는 의사게인을 산출하는 의사게인 산출부(40)와, 상기 의사게인을 사용하여 복수의 음원위치를 결정하는 음원위치 탐색부(41)와, 상기 결정된 음원위치를 사용하여 상기 음원게인을 부호화하는 게인 부호화부(12)를 구비하여, 복호부(2)에 상기 복수의 음원위치와 상기 음원게인을 복호하여 음원을 생성하는 음원 복호부(16와 17)를 구비하는 것을 특징으로 한다.
본 발명에 관계되는 음성 부호화 장치는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임단위로 음원을 부호화하는 음성 부호화 장치에 있어서, 스펙트럼 포락정보에 근거하는 합성 필터의 임펄스 응답을 구하는 임펄스 응답산출부(21)와, 상기 임펄스 응답에 소정의 음원 위상특성을 부여하는 위상부여 필터(42)와, 상기 음원 위상특성을 부여된 상기 임펄스 응답을 사용하여, 상기 음원을 복수의 펄스음원위치와 음원게인에 부호화하는 음원 부호화부(22와 12)를 구비하는 것을 특징으로 한다.
본 발명에 관계되는 음성 부호화 복호장치는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서, 부호화부(1)에 스펙트럼 포락정보에 근거하는 합성 필터의 임펄스 응답을 구하는 임펄스 응답산출부(21)와, 상기 임펄스 응답에 소정의 음원 위상특성을 부여하는 위상부여 필터(42)와, 상기 음원 위상특성을 부여된 상기 임펄스 응답을 이용하여, 상기 음원을 복수의 펄스 음원위치와 음원게인에 부호화하는 음원 부호화부(22와 12)를 구비하여, 복호부(2)에 상기 복수의 펄스 음원위치와 상기 음원게인을 복호하여 음원을 생성하는 음원 복호부(16와 17)를 구비하는 것을 특징으로 한다.
본 발명에 관계되는 음성 부호화 장치는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서, 음원을 복수의 펄스 음원위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 구비하여, 상기 음원 부호화부는 복수의 음원 위치후보 테이블(51, 52)를 구비하며, 피치 주기가 소정치 이하인 경우에는, 상기 음원 부호화부내의 음원 위치후보 테이블(51, 52)을 전환하여 사용하는 것을 특징으로 한다.
본 발명에 관계되는 음성 복호장치는 프레임단위로 부호화된 음원을 복호하여 출력음성을 생성하는 음성 복호장치에 있어서, 복수의 펄스 음원위치와 음원게인을 복호하여 음원을 생성하는 음원 복호부(16와 17)를 구비하여, 상기 음원 복호부는 복수의 음원 위치후보 테이블(55, 56)을 구비하여, 피치 주기가 소정치이하인 경우에는, 상기 음원 복호부내의 음원 위치후보 테이블(55, 56)를 전환하여 사용하는 것을 특징으로 한다.
본 발명에 관계되는 음성 부호화 복호장치는, 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서, 부호화부(1)에 음원을 복수의 펄스 음원위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 구비하며, 상기 음원 부호화부는 복수의 음원 위치후보 테이블(51, 52)을 구비하고, 피치 주기가 소정치 이하인 경우에는, 상기 음원 부호화부내의 음원 위치후보 테이블(51, 52)을 전환하여 사용하며, 복호부(2)에 복수의 펄스 음원위치와 음원게인을 복호하여 음원을 생성하는 음원 복호부(16와 17)를 구비하고, 상기 음원 복호부는 복수의 음원 치후보 테이블(55, 56)을 구비하여, 피치 주기가 소정치 이하인 경우에는 상기 음원 복호부내의 음원 위치후보 테이블(55, 56)을 전환하여 사용하는 것을 특징으로 한다.
본 발명에 관계되는 음성 부호화 장치는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서, 피치 주기 길이의 음원을 복수의 펄스 음원위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 구비하여, 상기 음원 부호화부내에서, 피치 주기를 초과하는 펄스 음원위치(300)를 나타내는 부호에 대하여, 피치 주기범위내의 펄스 음원위치(310)를 나타내도록 재설정하는 것을 특징으로 한다.
본 발명에 관계되는 음성 복호장치는 프레임 단위로 부호화된 음원을 복호하여 출력음성을 생성하는 음성 복호장치에 있어서, 복수의 펄스 음원위치와 음원게인을 복호하여 피치 주기 길이의 음원을 생성하는 음원 복호부(16과 17)를 구비하여, 해당 음원 복호부내에서 피치 주기를 초과하는 펄스 음원위치(300)를 나타내는 부호에 대하여, 피치 주기범위내의 펄스 음원위치(310)를 나타내도록 재설정하는 것을 특징으로 한다.
본 발명에 관계되는 음성 부호화 복호장치는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서, 부호화부(1)에 피치 주기 길이의 음원을 복수의 펄스 음원위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 구비하여, 해당 음원 부호화부내에서, 피치 주기를 초과하는 펄스 음원 위치(300)를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스 음원 위치(310)를 나타내도록 재설정하여, 복호부(2)에 복수의 펄스 음원 위치와 음원게인을 복호하여 피치 주기 길이의 음원을 생성하는 음원복호부(16와 17)를 구비하여, 해당 음원 복호부내에서, 피치 주기를 초과하는 펄스 음원위치(300)를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스 음원위치(310)를 나타내도록 재설정을 실시하는 것을 특징으로 한다.
본 발명에 관계되는 음성 부호화 장치는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서, 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 제 1 음원 부호화부(10, 11와 12)와, 해당 제 1 음원 부호화부와 다른 제 2 음원 부호화부(57와 58)와, 상기 제 1 음원 부호화부가 출력한 부호화 왜곡과 상기 제 2 음원 부호화부가 출력한 부호화 왜곡을 비교하여, 작은 부호화 왜곡을 부여한 상기 제 1 또는 제 2 음원 부호화부를 선택하는 선택부(59)를 구비하는 것을 특징으로 한다.
본 발명에 관계되는 음성부호화 복호부는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서, 부호화부(1)에 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 제 1 음원 부호화부(10, 11와 12)와, 해당 제 1 음원 부호화부와 다른 제 2 음원 부호화부(57와 58)와, 상기 제 1 음원 부호화부가 출력한 부호화 왜곡과 상기 제 2 음원 부호화부가 출력한 부호화 왜곡을 비교하여, 작은 부호화 왜곡을 준 상기 제 1 또는 제 2 음원 부호화부를 선택하는 선택부(59)를 구비하여, 복호부(2)에 상기 제 1 음원 부호화부에 대응하는 제 1 음원 복호부(15, 16와 17)와, 상기 제 2 음원 부호화부에 대응하는 제 2 음원 복호부(60와 61)와, 상기 선택부의 선택결과에 근거하여 상기 제 1 음원 복호부 또는 제 2 음원 복호부의 한쪽을 사용하는 제어부(330)를 구비하는 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 장치는, 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서, 음원위치 정보를 나타내는 복수의 부호어(340)와 음원파형을 나타내는 복수의 부호어(350)로 이루어지며, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장(63, 64)과, 해당 복수의 음원부호장를 사용하여 음원을 부호화하는 음원 부호화부(11)를 구비하는 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 장치는 상기 음원 부호장(63,64)내의 음원위치 정보를 나타내는 부호어(340)의 수를 피치 주기에 따라서 제어하는 것을 특징으로 한다.
본 발명에 관계하는 음성 복호장치는 프레임 단위로 부호화된 음원을 복호하여 출력음성을 생성하는 음성 복호장치에 있어서, 음원위치 정보를 나타내는 복수의 부호어(340)와 음원파형을 나타내는 복수의 부호어(350)로 이루어져, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장(63, 64)과 상기 복수의 음원 부호장을 사용하여, 음원을 복호하는 음원 복호부(16)를 구비하는 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 복호장치는 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서, 부호화부(1)에 음원위치 정보를 나타내는 복수의 부호어(340)와 음원파형을 나타내는 복수의 부호어(35O)로 이루어져, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장(63, 64)과, 상기 복수의 음원 부호장을 사용하여 음원을 부호화하는 음원 부호화부(11)를 구비하며, 복호부(2)에 부호화부와 같은 복수의 음원 부호장(63, 64)과, 상기 복수의 음원부호장을 사용하여 음원을 복호하는 음원 복호부(16)를 구비하는 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 방법은 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서, 상기 음원을 복수의 음원위치와 음원게인으로 부호화하는 음원 부호화 공정을 가지며, 해당 음원 부호화 공정내에 음원위치 후보마다에 부여되는 의사게인을 산출하는 의사게인 산출공정과, 상기 의사게인을 사용하여 복수의 음원위치를 결정하는 음원위치 탐색공정과, 상기 결정된 음원위치를 사용하여 상기 음원게인을 부호화하는 게인 부호화 공정을 구비하는 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 방법은 입력음성을 스펙트럼 포락정보와 음원으로 나누어 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서, 스펙트럼 포락정보에 근거하는 합성 필터의 임펄스 응답을 구하는 임펄스 응답 산출공정과, 상기 임펄스 응답에 소정의 음원위상 특성을 부여하는 위상부여 필터공정과, 상기 음원위상 특성이 부여된 상기 임펄스 응답을 사용하여, 상기 음원을 복수의 펄스음원 위치와 음원게인에 부호화하는 음원 부호화 공정을 구비하는 것을 특징으로 한다.
본 발명에 관계되는 음성 부호화 방법은 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서, 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 음원 부호화 공정을 구비하여, 피치 주기가 소정치 이하인 경우에는, 상기 음원 부호화 공정내의 음원위치후보 테이블을 전환하여 사용하는 공정을 구비한 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 방법은 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서, 피치 주기 길이의 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 음원 부호화 공정을 구비하여, 상기 음원 부호화 공정내에서 피치 주기를 초과하는 펄스음원위치를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스음원 위치를 나타내도록 재설정을 하는 공정을 구비한 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 방법은 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 범위로 음원을 부호화하는 음성 부호화 방법에 있어서, 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 제 1 음원 부호화 공정과, 해당 제 1 음원 부호화 공정과 다른 제 2 음원 부호화 공정과, 상기 제 1 음원 부호화 공정이 출력한 부호화 왜곡과 상기 제 2 음원 부호화 공정이 출력한 부호화 왜곡을 비교하여, 작은 부호화 왜곡을 준 상기 제 1 또는 제 2 음원 부호화 공정을 선택하는 선택공정을 구비하는 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 방법은 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서, 음원 위치정보를 나타내는 복수의 부호어와 음원파형을 나타내는 복수의 부호어로 이루어지며, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장과, 해당 복수의 음원 부호장을 사용하여 음원을 부호화하는 음원 부호화 공정을 구비하는 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 장치는 상기 의사게인 산출부(40)는 프레임내에서 음원위치 후보에 단일의 펄스를 발생시키는 것으로서, 각 음원위치 후보마다 게인을 구하는 것을 특징으로 한다.
본 발명에 관계하는 음성 부호화 장치는 상기 게인 부호화부(12)는 상기 음원위치 탐색부(41)에서 구한 복수의 음원위치의 각 음원위치에 대하여, 상기 의사게인과는 다른 음원게인을 구하여, 이 구한 음원게인을 부호화하는 것을 특징으로 한다.
이하, 도면을 참조하면서 발명의 실시형태를 설명한다.
(실시형태 1)
도 13, 도 14와의 대응부분에 동일부호를 붙인 도 1은 본 발명에 의한 음성 부호화 복호장치의 실시 형태 1로서, 음성 부호화 복호장치의 전체구성과 음성 부호화 복호장치내의 구동음원 부호화부(11)를 나타낸다.
도 1에 있어서, 신규인 부분은 의사게인 산출부(40), 펄스위치 탐색부(41)이다. 의사게인 산출부(40)는 임펄스 응답산출부(21)가 출력한 임펄스 응답(215)과 도 2O에 도시한 오차신호(118)인 부호화 대상신호(20)와의 상관을 계산하여, 이 상관에 근거하여 각 펄스위치에 있어서의 의사게인을 산출한다. 의사게인(216)이란, 펄스위치 부호장(23)으로부터 얻어진 어느 펄스위치에 펄스를 발생시키는 경우에, 그 펄스에 부여되는 게인치의 것이다.
도 26에 도시되는 바와 같이, 펄스위치 탐색부(41)는 도 15로 설명한 각 펄스 위치부호(230)에 대응하여, 펄스위치 부호장(23)에 격납되어 있는 펄스위치를 순차 판독하여, 판독된 소정개수의 펄스위치에 의사게인(216)을 부여한 펄스를 발생시키는 것으로, 의사 펄스음원(172a)을 생성한다. 이 의사의 펄스음원(172a)과 임펄스 응답(215)을 콘벌루션 연산하는 것으로 의사의 합성음(174)을 생성하여, 이 의사의 합성음(174)과 부호화 대상신호(20)의 거리를 계산한다. 이 계산을 모든 펄스 위치의 전 조합에서 8×8×8×16=8192회 실시한다. 그리고, 가장 적은 거리를 부여한 펄스위치 부호(230)를 구동음원 부호(19)로서 다중화부(3)로 출력함과 동시에, 그 펄스위치 부호(230)에 대응하는 의사의 펄스음원(172a)를 부호화부(1)내의 게인 부호화부(12)에 출력한다.
도 2에 의사게인 산출부(40)로 산출되는 의사게인(216)과, 펄스위치 탐색부(41)에서 생성되는 의사의 펄스음원(172a)을 도시한다.
도 2의 (a)에 도시하는 의사게인(216a)은 펄스음원으로서 4개의 펄스를 발생시키는 것이 아니라, 1개의 펄스를 발생시키는 것으로 가정하여, 각 펄스 위치마다 산출된다. 산출식의 일례를 수학식 8에 도시한다.
단,
d(x):펄스위치(x)에 임펄스를 발생시켰을 때의 임펄스 응답과 펄스 위치(y)에 입력음성의 상관
ψ(x, y):펄스위치(x)에 임펄스를 발생시켰을 때의 임펄스 응답과 펄스위치(y)에 임펄스를 발생시켰을 때의 임펄스 응답과의 상관
이 수학식 8은 펄스위치(x)에 단일의 펄스를 발생시켰 때의 최적인 게인치를 부여하고 있다. 의사게인 산출부(4O)는 도 27에 도시되는 바와 같이, 0 내지 39의 40 샘플에 대한 각 펄스위치의 의사게인을 계산하여, 펄스위치 탐색부(41)에 출력한다. 그리고, 펄스위치 탐색부(41)내에서, 펄스위치{(m(k), k=1,···, 4}에 펄스를 발생시키는 것으로, 의사의 펄스음원(172a)를 생성하는 경우에는, 도 2의 (b)에 도시되는 바와 같이, 도 2의 (a)에 도시한 의사게인(216)을 사용하여, 각 펄스에 게인 {a(m(k)), k=1, ···, 4}을 부여한다.
상기한 바와 같이, 의사게인(a(x))을 부여한 경우의 펄스위치 탐색부(41)에 있어서의 거리계산 방법에 대해서 설명한다.
거리의 최소화를 수학식 1의 D를 최대화하는 것과 등가로 하여, D의 계산을 펄스위치의 전 조합에 대하여 실행하는 것으로 탐색을 실행하는 것은 문헌(1)과 같다. 그러나, 이 실시 형태 1의 경우에는, 수학식 2와 수학식 3에 있어서, g(k)를 수학식 8로 정의되는 a(m(k))로 대치하여 단순화하여 계산한다. 단순화된 수학식 2와 수학식 3은 다음식으로 된다.
단,
m(k):k번째의 펄스의 펄스위치
따라서, 펄스위치의 전 조합에 대한 D의 계산을 시작하기 전에,
d'와 ψ'의 계산을 해 두면, 후에는 수학식 9와 수학식 10에 도시하는 단순 가산으로 하여, 적은 연산량으로 D를 산출할 수 있다.
또, 상기한 바와 같이, 의사게인(216)을 사용하여 펄스위치 탐색을 실시한 경우에는 후단의 게인 부호화부(12)에서는 펄스마다 독립 게인을 부여하는 구성이 필요하다.
도 28에, 4개의 펄스를 발생시키는 경우의 게인 부호화부(12)의 게인 부호장(150)의 일례를 도시한다.
게인탐색부(160)는 적응음원 부호화부(10)로부터 적응음원(113)과 구동음원 부호화부(11)로부터 의사의 펄스음원(172a)를 입력하여, 적응음원(113)에 게인 부호장(15O)내의 게인(g1)을 곱한 것과, 의사의 펄스음원(172a)중 4개의 펄스에 각 게인(g21~g24)을 곱한 것을 가산하여 의사의 음원(199)을 작성한다. 그 후에는 도 22에 도시하는 합성 필터(155) 이후의 동작과 같은 동작을 하여, 거리가 최소가 되는 게인 부호(151)를 구한다.
이상과 같이, 본 실시 형태 1의 음성 부호화 복호장치에서는 펄스위치를 결정하기 전에, 펄스위치마다 부여되는 의사게인을 산출하여, 이 의사게인을 사용하여 펄스의 진폭이 다른 의사의 펄스음원(172a)를 생성하여 펄스위치를 결정하도록 하였기 때문에, 게인 부호화부(12)는 최종적으로 펄스마다 독립의 게인을 부여하는 경우에, 펄스위치 탐색시에서의 최종적인 게인에 대한 근사 정밀도가 상승하여, 알맞은 펄스위치를 찾기 쉬어지고, 부호화 특성을 개선할 수 있는 효가가 있다. 종래의 기술에 있어서, 펄스위치를 결정하는 경우는 펄스의 진폭은 일정하기 때문에, 옳바른 펄스위치를 결정하는 것이 어려웠다. 또한, 상기 실시 형태 1에 의하면 펄스위치 탐색에 있어서의 연산량의 증가도 적게되는 효가가 있다.
(실시 형태 2)
도 14와의 대응부분에 동일부호를 붙인 도 3은 본 발명에 의한 음성 부호화 복호장치의 실시 형태 2로서, 도 13의 음성 부호화 복호장치내의 구동음원 부호화부(11)를 도시하며, 또한, 도 4는 도 13의 음성 부호화 복호장치내의 구동음원 복호부(16)를 도시한다.
도면에 있어서, 42, 48은 위상부여 필터, 43은 구동음원 부호, 44는 구동음원, 46은 펄스위치 복호부, 47은 부호화부(1)내의 펄스위치 부호장(23)과 같은 구성의 펄스위치 부호장이다.
부호화부(1)내의 위상부여 필터(42)는 임펄스 응답산출부(21)가 출력한 특수한 위상관계가 발생하기 쉬운 임펄스 응답(215)에 대하여 위상특성을 부여하는 필터링를 실시하여, 즉, 각 주파수마다에 이상(移相)를 하여, 현실의 위치관계에 근접한 임펄스 응답(215a)을 출력한다. 복호부(2)내의 펄스위치 복호부(46)는 구동음원 부호(43)에 근거하여 펄스위치 부호장(47)내의 펄스위치 데이터를 판독하여, 구동음원 부호(43)로 지정된 극성의 복수의 펄스를 펄스위치 데이터에 근거하여 발생시켜 구동음원으로서 출력한다. 위상부여 필터(48)는 구동음원에 대하여, 위상특성을 부여하는 필터링을 실시하여 얻어진 신호를 구동음원(44)으로서 출력한다.
또한, 음원위상 특성으로서는, 문헌(5)과 마찬가지로, 고정의 펄스파형을 주 도록 해도 좋고, 특원평 6-264832호 공보에 개시된 것과 마찬가지로, 양자화된 위상진폭 특성을 사용해도 좋다. 과거의 음원 일부를 절취하거나 평균화하여 사용해도 좋다. 또한, 실시 형태 1의 의사게인 산출부(40)와 조합하여 사용하는 것도 가능하다.
이상과 같이, 본 실시 형태 2의 음성 부호화 복호장치는 부호화부에서 음원위상 특성을 부여한 임펄스 응답을 사용하여, 음원을 복수의 펄스음원 위치와 음원게인에 부호화하여, 복호부로써 음원에 음원위상 특성을 부여하도록 하였기 때문에, 각 음원위치 조합마다의 거리계산에 관계되는 연산량을 늘리지 않고서, 음원에 위상 특성의 부여가 가능하도록 이루어지며, 펄스위치의 조합수가 증가하고 있어도 실현 가능한 연산량의 범위에서 위상특성을 부여한 음원 부호화 복호가 가능해져서, 음원의 표현성 향상에 의한 부호화 품질개선이 얻어지는 효과가 있다.
(실시 형태 3)
도 3 및 도 4와의 대응부분에 동일부호를 붙인 도 5는 본 발명에 의한 음성 부호화 복호장치의 실시 형태 3으로서, 도 13의 음성 부호화 복호장치내의 구동음원 부호화부(11)를 도시하며, 또한 도 6은 구동음원 복호부(16)을 도시한다. 음성 부호화 복호장치 전체의 구성은 도 13과 같다.
도면에 있어서, 49, 53는 피치 주기, 50은 펄스위치 탐색부, 51, 55는 제 1 펄스위치 부호장, 52, 56은 제 N 펄스위치 부호장, 54는 펄스위치 복호부이다.
구동음원 부호화부(11)내에서는, 피치 주기(49)에 근거하여 제 1 펄스위치부호장(51) 내지 제 N 펄스위치 부호장(52)의 N개의 펄스위치 부호장 중 1개를 선택한다. 여기서, 피치 주기로서는, 적응음원의 반복 주기를 그대로 사용해도 좋으며, 별도로 분석하여 산출한 피치 주기를 사용해도 좋다. 단지, 후자인 경우에는, 피치 주기를 부호화하여 복호부(2)내의 구동음원 복호부(16)에도 부여할 필요가 있다.
펄스위치 탐색부(50)는 각 펄스위치 부호에 대응하여, 선택된 펄스위치 부호장에 격납되어 있는 펄스위치를 순차로 판독하여, 판독된 소정개수의 펄스위치에 진폭이 일정하고 극성만을 적절하게 준 펄스를 발생시켜, 피치 주기(49)의 값에 따라서 피치 주기화 처리를 실시하여 의사의 펄스음원을 생성한다. 이러한 의사의 펄스음원과 임펄스 응답을 콘벌루션 연산하는 것으로 의사의 합성음을 생성하여, 이 의사의 합성음과 부호화 대상신호(20)의 거리를 계산한다. 그리고, 가장 작은 거리를 준 펄스위치 부호를 구동음원 부호(19)로서 출력함과 동시에, 그 펄스 위치부호에 대응하는 의사의 펄스음원을 부호화부(1)내의 게인 부호화부(12)에 출력한다.
구동음원 복호부(16)내에서는, 피치 주기(53)에 근거하여, 제 1 펄스위치 부호장(51) 내지 제 N 펄스위치 부호장(52)의 N개의 펄스위치 부호장 중 1개를 선택한다. 펄스위치 복호부(46)는 구동음원 부호(43)에 근거하여 선택된 펄스위치 부호장내의 펄스위치 데이터를 판독하여, 구동음원 부호(43)로 지정된 극성의 복수의 펄스를 펄스위치 데이터에 근거하여 발생시켜, 피치 주기(53)에 따라서 피치 주기화 처리를 실시하여 구동음원(44)으로서 출력한다.
도 7은 음원 부호화를 실시하는 프레임 길이가 80샘플인 경우에 사용되는 제 1 펄스위치 부호장(51) 내지 제 N 펄스위치 부호장(52)이다.
도 7의 (a)는 예를 들면, 도 29의 (a)에 도시되는 바와 같이, 피치 주기(p)가 48보다 큰 경우에 사용되는 제 1 펄스위치 부호장이다. 이 부호장인 경우, 80샘플의 구동음원을 4개의 펄스로 구성하여, 피치 주기화 처리는 실시하지 않는다. 각 펄스위치에 주는 정보량은 위에서부터 순차로 4bit, 4bit, 4bit, 5bit로 합계가 17bit이다.
도 7의 (b)는 예를 들면, 도 29의 (b)에 도시된 바와 같이, 피치 주기(p)가 48이하에서, 32보다 큰 경우에 사용되는 제 2 펄스위치 부호장이다. 이 부호장의 경우, 최대 48샘플의 구동음원을 3개의 펄스로 구성하여, 피치 주기화 처리를 1회 실시하는 것으로 80샘플의 음원을 생성한다. 이러한 부호장인 경우, 8O샘플의 구동음원을 최대 6개의 펄스로 구성할 수 있다. 각 펄스위치에 주는 정보량은 위에서부터 순차적으로 4bit, 4bit, 4bit로 합계가 12bit이다. 피치 주기를 별도 부호화할 필요가 있으면, 5bit로 부호화하면 합계가 17bit가 된다.
도 7의 (c)는 예를 들면, 도 29의 (c)에 도시된 바와 같이, 피치 주기(p)가 32이하인 경우에 사용되는 제 3 펄스위치 부호장이다. 이러한 부호장인 경우, 최대 32샘플의 구동음원을 4개의 펄스로 구성하여, 피치 주기화 처리를 3회 실시하는 것으로 80샘플의 음원을 생성한다. 이러한 부호장인 경우, 80샘플의 구동음원을 피치 주기가 20인 경우에는 16개의 펄스로 구성할 수 있다. 각 펄스위치에 주는 정보량은 위에서부터 순차적으로, 3bit, 3bit, 3bit, 3bit로 합계가 12bit이다. 피치 주기를 별도로 부호화할 필요가 있으면, 5비트로 부호화하면 합계가 17bit가 된다.
도 7에서는, 피치 주기를 별도 부호화하는 것을 상정하여, 펄스수를 설정했지만, 적응음원의 반복 주기를 피치 주기로서 사용하는 경우에는, 도 7의 (b)와 도 7의 (c)의 펄스수를 더욱 늘리는 것이 가능하다. 이 경우, 프레임 길이와 합계 bit수에도 의하지만, 종래 형식인 도 7의 (a)와 비교하면, 표현하는 펄스범위가 피치 주기 길이 정도로 제한할 수 있는 부분만, 1펄스당에 필요한 비트수가 삭감되어, 합계 bit수를 일정하게 하면, 펄스수를 늘리는 것이 가능하게 된다. 피치 주기를 별도로 부호화하는 구성은 도 17에서 설명한 제 2 음원 부호화 모드와 같이, 대수적 음원만으로 음원을 부호화하는 경우에 유효하다.
이상과 같이, 본 실시 형태 3의 음성 부호화 복호장치는, 부호화부에서 피치 주기가 소정치 이하인 경우에는, 음원위치 후보를 피치 주기 범위내로 제한하는 것으로 음원 펄스수를 증가하도록 하였기 때문에, 음원의 표현성 향상에 의한 부호화 품질 개선이 얻어지는 효과가 있다. 또한, 펄스수를 너무 감소하지 않고서 피치 주기를 별도로 부호화하는 것도 가능하고, 적응음원을 사용한 부호화 특성이 나쁜 부분에서는 피치 주기화한 대수적 음원에 의한 부호화를 할 수 있어, 부호화 품질이 개선되는 효과가 있다.
(실시 형태 4)
도 8은 본 발명에 의한 음성 부호화 복호장치의 실시 형태 4에서 사용하는 펄스위치 부호장이다. 음성 부호화 복호장치의 전체구성은 도 13과 같으며, 구동음원 부호화부(11)의 구성은 도 5와 같고, 구동음원 복호부(16)의 구성은 도 6과 같다. 또한, 초기 펄스위치 부호장은 도 7과 같다.
피치 주기(p)가 32이하인 경우에는, 구동음원 부호화부(11) 및 구동음원 복호부(16)내에서는, 도 7의 (c)에 도시하는 제 3 펄스위치 부호장이 선택되는 것으로 하고 있다. 이 실시 형태에서는 피치 주기가 32인 경우에는, 도 8의 (a)에 도시한 대로 제 3 펄스위치 부호장을 그대로 사용한다.
그러나, 피치 주기가 32보다 작은 경우에는, 피치 주기 길이 이상의 펄스위치는 선택되는 경우가 없게 이루어지기 때문에, 이 선택될 수 없는 펄스위치의 부분을 피치 주기 길이 미만인 펄스위치에 재설정하여 사용한다.
도 8의 (b)에는 피치 주기(p)가 20인 경우의 선택될 수 없는 펄스음원 위치(00)를 피치 주기 길이미만의 펄스음원 위치(310)에 재설정한 펄스위치 부호장을 나타낸다.
도 7의 (c)의 제 3 펄스위치 부호장의 20이상의 펄스음원위치(300)가 모두 20미만인 값의 펄스음원 위치(31O)로 재설정되어 있다. 재설정 벙법으로서는, 동일 펄스 번호내에서는 같은 펄스위치가 나오지 않도록 하면, 여러가지 방법이 가능하다. 여기서는, 화살표로 나타내는 바와 같이, 다음 펄스번호에 할당되어 있는 펄스음원 위치(311)로 대치하는 방법을 사용하고 있다.
이상과 같이, 본 실시 형태 4의 음성 부호화 복호장치는 피치 주기를 초과하는 펄스음원 위치를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스음원 위치를 나타내도록 재설정을 하도록 하였기 때문에, 완전히 사용되지 않은 펄스위치를 가리키는 부호가 배제되어, 부호화 정보에 낭비가 없어져, 부호화 품질이 개선되는 효과가 있다.
(실시 형태 5)
도 13과의 대응부분에 동일부호를 붙인 도 9는 본 발명에 의한 음성 부호화 복호장치의 실시 형태 5의 전체구성을 도시한다.
도면에 있어서, 57은 펄스음원 부호화부, 58은 펄스 게인 부호화부, 59는 선택부, 60은 펄스음원 복호부, 61는 펄스 게인복호부, 330은 제어부이다. 도 13과 비교하여 새로운 구성의 동작은 다음과 같다. 즉, 펄스음원 부호화부(57)는 우선, 각 펄스음원 부호에 대응한 의사의 펄스음원을 생성하여, 이 의사의 펄스음원에 적절한 게인을 곱하여, 선형예측 계수부호화부(9)가 출력한 선형예측 계수를 사용한 합성 필터에 통과시키는 것으로 의사의 합성음을 얻는다. 이 의사의 합성음과 입력음성(5)과의 거리를 조사하여, 이 거리를 최소로 하는 펄스음원 부호를 선택함과 동시에, 거리가 가까운 순차로 펄스음원 부호후보를 구함과 동시에, 각 펄스음원 부호후보에 대응하는 의사의 펄스음원을 출력한다.
펄스 게인 부호화부(58)는 우선, 각 게인 부호에 대응하는 의사의 펄스 게인 벡터를 생성한다. 그리고, 각 펄스 게인 벡터의 각 요소를 의사의 펄스음원의 각 펄스에 곱하여, 선형예측 계수부호화부(9)가 출력한 선형예측 계수를 사용한 합성 필터에 통과시키는 것으로, 의사의 합성음을 얻는다. 이러한 의사의 합성음과 입력음성(5)과의 거리를 조사하여, 이 거리를 최소로 하는 의사의 펄스 음원과 게인 부호를 선택하여, 이 게인부호와 의사의 펄스음원에 대응하는 펄스음원 부호를 출력한다.
선택부(59)는 게인 부호화부(12)내에서 얻어진 최소의 거리와, 펄스 게인 부호화부(58)내에서 얻어진 최소의 거리를 비교하여, 작은 거리를 준 쪽을 선택하는 것으로, 적응음원 부호화부(10)와 구동음원 부호화부(11)와 게인 부호화부(12)로 구성되는 제 1 음원 부호화 모드와, 펄스음원 부호화부(57)와 펄스 게인 부호화부(58)로 구성되는 제 2 음원 부호화 모드의 어느 쪽을 사용하는지를 전환한다.
다중화부(3)는, 선형예측 계수의 부호, 선택정보, 제 1 음원 부호화 모드의 경우에는, 적응음원 부호와 구동음원 부호와 게인 부호, 제 2 음원 부호화 모드의 경우에는, 펄스음원 부호와 펄스 게인 부호를 다중화하여 얻어진 부호(6)를 출력한다. 분리부(4)는 부호(6)를 선형예측 계수의 부호, 선택정보, 선택정보가 제 1 음원 부호화 모드의 경우에는, 적응음원 부호와 구동음원 부호와 게인 부호, 선택정보가 제 2 음원 부호화 모드인 경우에는, 펄스음원 부호와 펄스 게인 부호로 분리한다.
선택정보가 제 1 음원 부호화 모드인 경우에는, 적응음원 복호부(15)가 적응음원 부호에 대응하여 과거의 음원을 주기적으로 반복한 시계열 벡터를 출력하며, 또한, 구동음원 복호부(16)가 구동음원 부호에 대응하여 시계열 벡터를 출력한다. 게인복호부(17)은 게인 부호에 대응한 게인 벡터를 출력한다. 복호부(2)는 2개의 시계열 벡터에 게인 벡터의 각 요소를 곱하여 가산하는 것으로 음원을 생성하여, 이 음원을 합성 필터(14)에 통과시키는 것으로 출력음성(7)을 생성한다.
선택정보가 제 2 음원 부호화 모드인 경우에는, 펄스음원 복호부(60)가 펄스음원 부호에 대응한 펄스음원을 출력하여, 펄스 게인복호부(61)가 게인 부호에 대응한 펄스 게인 벡터를 출력하여, 복호부(2)내에서 펄스음원의 각 펄스에 펄스 게인 벡터의 각 요소를 곱하여 음원을 생성하여, 이 음원을 합성 필터(14)에 통과시키는 것으로 출력음성(7)을 생성한다. 제어부(330)는 선택정보에 근거하여 제 1 음원 부호화 모드로부터의 출력과 제 2 음원 부호화 모드로부터의 출력을 전환한다.
이상과 같이, 본 실시 형태 5에 의하면, 종래의 도 17에 도시하는 경우는, 어느 것인가 한쪽만을 동작시키는 것과 비교하여, 본 실시 형태에서는 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 제 1 음원 부호화 모드와, 제 1 음원 부호화 모드와 다른 제 2 음원 부호화 모드의 양쪽에서의 음원 부호화를 하여, 작은 부호화 왜곡을 부여한 음원 부호화 모드를 선택하도록 하였기 때문에, 가장 좋은 부호화 특성을 주는 모드선택을 할 수 있어, 부호화 품질이 개선되는 효과가 있다. 또한, 본 실시 형태 5중 구동음원 부호화부(11), 펄스음원 부호화부(57)에 대해서는, 실시 형태 1 내지 실시 형태 4에 도시된 구성도 적용할 수 있다.
(실시 형태 6)
도 5와의 대응부분에 동일부호를 붙인 도 10은 본 발명에 의한 음성 부호화 복호장치의 실시 형태 6에 있어서의 음성 부호화 복호장치내의 구동음원 부호화부(11)를 도시한다. 음성 부호화 복호장치의 전체의 구성은 도 9 또는 도 13과 같다.
도면에 있어서, 62는 구동음원 탐색부, 63는 제 1 구동음원 부호장, 64는 제 2 구동음원 부호장이다.
우선, 제 1 구동음원 부호장(63)과 제 2 구동음원 부호장(64)은 입력된 피치 주기(49)에 근거하여 각 부호어를 갱신한다. 다음에, 구동음원 탐색부(62)에서는 우선, 각 구동음원 부호에 대응하여, 제 1 구동음원 부호장(63)중 1개의 시계열 벡터와, 제 2 구동음원 부호장(64)중 1개의 시계열 벡터를 판독하여, 이 2개의 시계열 벡터를 가산하는 것으로, 의사의 구동음원을 생성한다. 이 의사의 구동음원과 적응음원 부호화부(10)가 출력한 적응음원에 적절한 게인을 곱하여 가산하여, 부호화된 선형예측 계수를 사용한 합성 필터에 통과시키는 것으로, 의사의 합성음을 얻는다. 이 의사의 합성음과 입력음성(5)과의 거리를 조사하여, 이 거리를 최소로 하는 구동음원 부호를 선택함과 동시에, 선택된 구동음원 부호에 대응하는 의사의 구동음원을 구동음원으로서 출력한다.
도 11에 제 1 구동음원 부호장(63)과 제 2 구동음원 부호장(64)의 구성을 도시하며, 도면에 있어서, L은 음원 부호화의 프레임 길이, p는 피치 주기(49), N은 각 구동음원 부호장 사이즈이다. 0 내지 (L/2-1)번까지의 부호어(340)는 피치 주기(p)에서 반복하는 펄스열을 나타내고 있다. (L/2)번에서 N번까지의 부호어(350)는 음원파형을 나타내고 있다. 도 11의 (a)에 도시된 제 1 구동음원 부호장(63)의 펄스열과, 도 11의 (b)에 도시된 제 2 구동음원 부호장(64)의 펄스열은 선두 펄스위치가 교대로 어긋나 있어, 결코 중복되지 않는다. 도 11에서는 (L/2)번이후의 부호어에는 학습된 잡음신호가 격납되어 있지만 이 부분에 대해서는, 무학습의 잡음이나, 피치 주기로 반복하는 펄스이외의 신호등, 여러가지 것을 사용할 수 있다. 또, 복호부(2)내의 구동음원 복호부(16)에서는 제 1 구동음원 부호장(63)과 제 2 구동음원 부호장(64)과 같은 구성의 부호장을 구비하여, 구동음원 부호에 대응하는 각 부호어를 판독하여, 가산하여 구동음원으로서 출력한다.
이상과 같이, 본 실시 형태 6의 음성 부호화 복호장치는 음원위치 정보를 나타내는 복수의 부호어와 음원파형을 나타내는 복수의 부호어로 이루어지며, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장을 구비하여, 이 복수의 음원 부호장을 사용하여 음원을 부호화 또는 복호하 도록 구성했기 때문에, 피치 주기 펄스열, 피치 주기의 반부분의 주기 펄스열 이외의 주기성 음원도 표현할 수 있고, 비교적 입력 음성에 의하지 않고서 부호화 특성이 개선되는 효과가 있다. 또한, 각 음원 부호장의 음원위치 정보에 대해서의 부호장 사이에서의 중복을 생략한 것으로, 음원위치 정보를 나타내는 부호어의 수를 삭감할 수 있으며, 부호장 사이즈(N)가 프레임 길이와 비교하여 작고, 음원파형을 나타내는 부호어가 지나치게 적은 경우에는, 부호화 특성이 개선되는 효과가 있다. 바꾸어 말하면, 보다 작은 사이즈의 부호장이라도, 일부를 음원위치 정보를 나타내는 부호어로 할 수 있어 부호화 특성이 개선되는 효과가 있다.
또, 본 실시 형태 6에서는 2개이 시계열 벡터를 가산하여 의사의 구동음원으로 생성하고 있지만, 2개의 시계열 벡터를 각각 독립의 구동음원 신호로서, 각각으로(결국 2개의) 게인을 곱하는 구성도 가능하다. 이러한 경우, 게인 부호화 정보량이 증가하지만, 게인을 일괄하여 벡터 양자화하는 것으로, 큰 정보량 증가없이 부호화 특성을 개선할 수 있는 효과가 있다.
(실시 형태 7)
도 12는 본 발명에 의한 음성 부호화 복호장치의 실시 형태 7의 구동음원 부호화부(11)에서 사용하는 제 1 구동음원 부호장(63)과 제 2 구동음원 부호장(64)이다. 음성 부호화 복호장치 전체의 구성은, 도 9 또는 도 13과 같고, 구동음원 부호화부(11)의 구성은 도 10과 같다.
0 내지 (p/2-1)번까지의 부호어는 피치 주기(p)에서 반복하는 펄스열을 나타내고 있다. 도 11과 다른 것은, 펄스열의 선두위치가 피치 주기 길이 범위내에 제한되어 있는 부분, 펄스열에 의해서 구성되는 부호어수가 적은 것이다. 단지, 피치 주기(p)가 프레임 길이(L)보다 긴 경우에는, 도 11과 같은 구성으로 된다. 도 12의 (a)에 도시된 제 1 구동음원 부호장(63)의 펄스열과, 도 12의 (b)에 도시된 제 2 구동음원 부호장(64)의 펄스열은 선두 펄스위치가 교대로 되어 있어, 결코 중복되지 않는다. 도 12에서는, (p/2)번 이후의 부호어에는 학습된 잡음신호가 격납되어 있지만, 이 부분에 대해서는 무학습의 잡음이나 피치 주기로 반복하는 펄스이외의 신호등 여러가지의 것을 사용할 수 있다.
이상과 같이, 본 실시 형태 7의 음성 부호화 복호장치는 음원위치 정보를 나타내는 복수의 부호어와 음원파형을 나타내는 복수의 부호어로 이루어지며, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장을 구비하여, 이 음원 부호장내의 음원위치 정보를 나타내는 부호어의 수를 피치 주기에 따라서 제어하면서, 이 음원 부호장을 사용하여 음원을 부호화하도록 구성하였기 때문에, 실시 형태 6이 갖는 효과에 첨가하여, 한층 더 음원위치 정보를 나타내는 부호어의 수를 삭감할 수 있으며, 부호장 사이즈(N)가 프레임 길이와 비교하여 작고, 음원파형을 나타내는 부호어가 지나치게 적은 경우에는, 부호화 특성이 개선되는 효과가 있다. 바꾸어 말하면, 보다 작은 사이즈의 부호장이라도 일부를 음원위치 정보를 나타내는 부호어로 할 수 있어, 부호화 특성이 개선되는 효과가 있다.
또한, 문헌(4)에 개시되어 있는 음성 부호화 복호장치와 같이, 적응음원의 1피치파형의 피크위치 정보에 근거하여, 대수적 음원의 시간방향의 어긋남(위상)을 적응화하는 방법을 도입하여 피치 주기길이의 음원 부호화를 실시하는 경우에는, 부호장내의 피크위치에 맞추는 특징점을 중심으로, 피치 주기길이 또는 피치 주기에 1이하의 정수를 곱한 길이의 범위에 펄스를 발생시키는 부호어를 일부에 갖는 구동음원 부호장을 준비하면 좋다.
이상과 같이, 본 발명에 의하면, 음원위치 후보마다 부여하는 의사게인을 산출하여, 이 의사게인을 사용하여 복수의 음원위치를 결정하는 것에 의해, 최종적으로 펄스마다 독립의 게인을 부여하는 경우에는, 음원위치 탐색시에서의 최종적인 게인에 대한 근사 정밀도가 상승하여, 알맞은 음원위치를 찾기 쉽게 되어, 부호화 특성을 개선할 수 있는 음성 부호화 장치, 음성 부호화 복호장치를 실현할 수 있다.
또한, 본 발명에 의하면, 음원위상 특성을 부여한 임펄스 응답을 사용하여, 음원을 복수의 펄스음원 위치와 음원게인에 부호화하는 것에 의해, 음원위치의 조합수가 증가해도, 실현 가능한 연산량의 범위에서, 위상특성을 부여한 음원 부호화 복호가 가능하게 되어, 음원의 표현성 향상에 의한 부호화 품질개선이 얻어지는 음성 부호화 장치, 음성 부호화 복호장치가 실현된다.
또한, 본 발명에 의하면, 피치 주기가 소정치 이하인 경우에는, 음원위치 후보를 피치 주기 범위내에 제한하여, 음원 펄스수를 늘리도록 한 것에 의해, 음원의 표현성 향상에 의한 부호화 품질개선이 얻어지는 음성 부호화 장치, 음성 복호장치, 음성 부호화 복호장치가 실현된다.
또한, 본 발명에 의하면, 피치 주기를 초과하는 펄스음원 위치를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스음원 위치를 나타내도록 재설정을 실행하도록 한 것으로서, 완전히 사용되지 않은 펄스위치를 가리키는 부호가 배제되어, 부호화 정보에 낭비가 없어지며, 부호화 품질을 개선할 수 있는 음성 부호화 장치, 음성 복호장치, 음성 부호화 복호장치가 실현된다.
또한, 본 발명에 의하면, 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 제 1 음원 부호화부와, 제 1 음원 부호화부와 다른 제 2 음원 부호화부의 양쪽에서의 음원 부호화를 실시하여, 작은 부호화 왜곡을 준 제 1 또는 제 2 음원 부호화부를 선택하도록 한 것으로서, 가장 좋은 부호화 특성을 주는 모드 선택을 할 수 있으며, 부호화 품질을 개선할 수 있는 음성 부호화 장치, 음성 부호화 복호장치를 실현할 수 있다.
또한, 본 발명에 의하면, 음원위치 정보를 나타내는 복수의 부호어와 음원파형을 나타내는 복수의 부호어로 이루어져, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장을 구비하여, 이 복수의 음원 부호장을 이용하여, 음원을 부호화 또는 복호하도록 한 것으로, 피치 주기 펄스열, 피치 주기의 반부분의 주기 펄스열이외의 주기성 음원도 표현할 수 있고, 비교적 입력 음성에 의하지 않고서 부호화 특성을 개선할 수 있는 음성 부호화 장치, 음성 복호장치, 음성 부호화 복호장치를 실현할 수 있다.
또한, 각 음원 부호장의 음원 위치 정보에 대해서의 부호장 사이에서의 중복을 생략한 것으로, 음원위치 정보를 나타내는 부호어의 수를 삭감할 수 있으며, 부호장 사이즈(N)가 프레임 길이와 비교하여 작고, 음원파형을 나타내는 부호어가 지나치게 적은 경우에는, 부호화 특성을 개선할 수 있는 음성 부호화 장치, 음성 복호장치, 음성 부호화 복호장치를 실현할 수 있다. 바꾸어 말하면, 보다 작은 사이즈의 부호장이라도, 일부를 음원 위치 정보를 나타내는 부호어로 할 수 있으며, 부호화 특성이 개선할 수 있는 음성 부호화 장치, 음성 복호장치, 음성 부호화 복호장치를 실현할 수 있다.
또한, 본 발명에 의하면, 음원 부호장내의 음원 위치 정보를 나타내는 부호어의 수를 피치 주기에 따라서 제어하면서, 이 음원 부호장을 사용하여 음원을 부호화하도록 한 것으로서, 상술에 첨가하여, 한층더 음원 위치 정보를 나타내는 부호어의 수를 삭감할 수 있다.
또한, 이것들의 발명은 음성의 부호화 복호 방법으로서도 이용할 수 있다.

Claims (24)

  1. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서,
    상기 음원을 복수의 음원위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 가지며, 상기 음원 부호화부내에, 음원위치 후보마다 부여하는 의사게인을 산출하는 의사게인 산출부(40)와,
    상기 의사게인을 사용하여 복수의 음원위치를 결정하는 음원위치 탐색부(41)와,
    상기 결정된 음원위치를 사용하여 상기 음원게인을 부호화하는 게인 부호화부(12)를 구비하는 것을 특징으로 하는 음성 부호화 장치.
  2. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서,
    부호화부(1)에 상기 음원을 복수의 음원위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 가지며, 상기 음원 부호화부내에, 음원위치 후보마다 부여하는 의사게인을 산출하는 의사게인 산출부(40)와,
    상기 의사게인을 사용하여 복수의 음원위치를 결정하는 음원위치 탐색부(41)와,
    상기 결정된 음원위치를 사용하여 상기 음원게인을 부호화하는 게인 부호화부(12)를 구비하여,
    복호부(2)에 상기 복수의 음원위치와 상기 음원게인을 복호하여 음원을 생성하는 음원 복호부(16와 17)를 구비하는 것을 특징으로 하는 음성 부호화 복호장치.
  3. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서,
    스펙트럼 포락정보에 근거하는 합성 필터의 임펄스 응답을 구하는 임펄스 응답산출부(21)와,
    상기 임펄스 응답에 소정의 음원위상특성을 부여하는 위상부여 필터(42)와,
    상기 음원위상 특성이 부여된 상기 임펄스 응답을 사용하여, 상기 음원을 복수의 펄스음원 위치와 음원게인에 부호화하는 음원 부호화부(22와 12)를 구비하는 것을 특징으로 하는 음성 부호화 장치.
  4. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서,
    부호화부(1)에 스펙트럼 포락 정보에 근거하는 합성 필터의 임펄스 응답을 구하는 임펄스 응답산출부(21)와,
    상기 임펄스 응답에 소정의 음원위상 특성을 부여하는 위상부여 필터(42)와,
    상기 음원위상 특성이 부여된 상기 임펄스 응답을 사용하여, 상기 음원을 복수의 펄스음원 위치와 음원게인에 부호화하는 음원 부호화부(22와 12)를 구비하여,
    복호부(2)에 상기 복수의 펄스음원 위치와 상기 음원게인을 복호하여 음원을 생성하는 음원 복호부(16와 17)를 구비하는 것을 특징으로 하는 음성 부호화 복호장치.
  5. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서,
    음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 구비하며,
    상기 음원 부호화부는 복수의 음원위치 후보 테이블(51, 52)을 구비하여, 피치 주기가 소정치 이하인 경우에는, 상기 음원 부호화부내의 음원위치 후보 테이블(51, 52)을 바꾸어 사용하는 것을 특징으로 하는 음성 부호화 장치.
  6. 프레임 단위로 부호화된 음원을 복호하여 출력음성을 생성하는 음성 복호장치에 있어서,
    복수의 펄스음원 위치와 음원게인을 복호하여 음원을 생성하는 음원 복호부(16와 17)를 구비하여,
    상기 음원 복호부는 복수의 음원위치 후보 테이블(55, 56)을 구비하여, 피치 주기가 소정치 이하인 경우에는, 상기 음원 복호부내의 음원위치 후보 테이블(55, 56)을 전환하여 사용하는 것을 특징으로 하는 음성 복호장치.
  7. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성부호화 복호장치에 있어서,
    부호화부(1)에 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 구비하며,
    상기 음원 부호화부는 복수의 음원위치 후보 테이블(51, 52)을 구비하여, 피치 주기가 소정치 이하인 경우에는, 상기 음원 부호화부내의 음원위치 후보 테이블(51, 52)를 전환하여 사용하며, 복호부(2)에 복수의 펄스음원 위치와 음원게인을 복호하여 음원을 생성하는 음원 복호부(16와 17)를 구비하고, 상기 음원 복호부는 복수의 음원위치 후보 테이블(55, 56)를 구비하여, 피치 주기가 소정치 이하인 경우에는, 상기 음원 복호부내의 음원위치 후보 테이블(55, 56)을 전환하여 사용하는 것을 특징으로 하는 음성 부호화 복호장치.
  8. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서,
    피치 주기 길이의 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 구비하며,
    상기 음원 부호화부내에서, 피치 주기를 초과하는 펄스음원 위치(30O)를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스음원 위치(310)를 나타내도록 재설정하는 것을 특징으로 하는 음성 부호화 장치.
  9. 프레임 단위로 부호화된 음원을 복호하여 출력음성을 생성하는 음성 복호장치에 있어서,
    복수의 펄스음원 위치와 음원게인을 복호하여 피치 주기 길이의 음원을 생성하는 음원 복호부(16와 17)를 구비하여,
    상기 음원 복호부내에서 피치 주기를 초과하는 펄스음원 위치(300)를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스음원 위치(310)를 나타내도록 재설정하는 것을 특징으로 하는 음성 복호장치.
  10. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서,
    부호화부(1)에 피치 주기 길이의 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 음원 부호화부(11와 12)를 구비하며,
    상기 음원 부호화부내에서 피치 주기를 초과하는 펄스음원 위치(300)를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스음원 위치(310)를 나타내도록 재설정하여, 복호부(2)에 복수의 펄스음원 위치와 음원게인을 복호하여 피치 주기 길이의 음원을 생성하는 음원 복호부(16와 17)를 구비하고, 상기 음원 복호부내에서 피치 주기를 초과하는 펄스음원 위치(300)를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스음원 위치(310)를 나타내도록 재설정하는 것을 특징으로 하는 음성 부호화 복호장치.
  11. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서,
    음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 제 1 음원 부호화부(10, 11과 12)와,
    상기 제 1 음원 부호화부와 다른 제 2 음원 부호화부(57와 58)와,
    상기 제 1 음원 부호화부가 출력한 부호화 왜곡과 상기 제 2 음원 부호화부가 출력한 부호화 왜곡을 비교하여, 작은 부호화 왜곡을 주는 상기 제 1 또는 제 2 음원 부호화부를 선택하는 선택부(59)를 구비하는 것을 특징으로 하는 음성 부호화 장치.
  12. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서,
    부호화부(1)에 음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 제 1 음원 부호화부(10, 11과 12)와,
    상기 제 1 음원 부호화부와 다른 제 2 음원 부호화부(57와 58)와,
    상기 제 1 음원 부호화부가 출력한 부호화 왜곡과 상기 제 2 음원 부호화부가 출력한 부호화 왜곡을 비교하여, 부호화 왜곡을 주는 상기 제 1 또는 제 2 음원 부호화부를 선택하는 선택부(59)를 구비하여,
    복호부(2)에 상기 제 1 음원 부호화부에 대응하는 제 1 음원 복호부(15, 16과 17)와,
    상기 제 2 음원 부호화부에 대응하는 제 2 음원 복호부(60와 61)와,
    상기 선택부의 선택결과에 근거하여 상기 제 1 음원 복호부 또는 제 2 음원 복호부의 한쪽을 사용하는 제어부(330)를 구비하는 것을 특징으로 하는 음성부호화 복호부.
  13. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 장치에 있어서,
    음원위치 정보를 나타내는 복수의 부호어(340)와 음원파형을 나타내는 복수의 부호어(350)로 이루어지며, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장(63, 64)과,
    상기 복수의 음원 부호장을 사용하여 음원을 부호화하는 음원 부호화부(11)를 구비하는 것을 특징으로 하는 음성 부호화 장치.
  14. 제 13 항에 있어서,
    상기 음원 부호장(63, 64)내의 음원 위치 정보를 나타내는 부호어(340)의 수를 피치 주기에 따라서 제어하는 것을 특징으로 하는 음성 부호화 장치.
  15. 프레임 단위로 부호화된 음원을 복호하여 출력음성을 생성하는 음성 복호장치에 있어서,
    음원위치 정보를 나타내는 복수의 부호어(340)와 음원파형을 나타내는 복수의 부호어(350)로 이루어지며, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장(63, 64)과,
    상기 복수의 음원 부호장을 사용하여 음원을 복호하는 음원 복호부(16)를 구비하는 것을 특징으로 하는 음성 복호장치.
  16. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 부호화부(1)와, 상기 부호화된 음원을 복호하여 출력음성을 생성하는 복호부(2)를 구비한 음성 부호화 복호장치에 있어서,
    부호화부(1)에 음원위치 정보를 나타내는 복수의 부호어(340)와 음원파형을 나타내는 복수의 부호어(350)로 이루어지며, 서로의 음원원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원원 부호장(63, 64)과,
    상기 복수의 음원 부호장을 사용하여 음원을 부호화하는 음원 부호화부(11)를 구비하며,
    복호부(2)에 부호화부와 같은 복수의 음원 부호장(63, 64)과,
    상기 복수의 음원 부호장을 사용하여 음원을 복호하는 음원 복호부(16)를 구비하는 것을 특징으로 하는 음성 부호화 복호장치.
  17. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서,
    상기 음원을 복수의 음원위치와 음원게인으로 부호화하는 음원 부호화 공정을 가지며, 상기 음원 부호화 공정내에, 음원위치후보마다 주는 의사게인을 산출하는 의사게인 산출공정과,
    상기 의사게인을 사용하여 복수의 음원위치를 결정하는 음원위치 탐색공정과, 상기 결정된 음원위치를 사용하여 상기 음원게인을 부호화하는 게인 부호화 공정을 구비하는 것을 특징으로 하는 음성 부호화 방법.
  18. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서,
    스펙트럼 포락정보에 근거하는 합성 필터의 임펄스 응답을 구하는 임펄스 응답산출 공정과,
    상기 임펄스 응답에 소정의 음원위상 특성을 부여하는 위상부여 필터공정과,
    상기 음원위상 특성이 부여된 상기 임펄스 응답을 사용하여, 상기 음원을 복수의 펄스음원 위치와 음원게인에 부호화하는 음원 부호화 공정을 구비하는 것을 특징으로 하는 음성 부호화 방법.
  19. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서,
    음원원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 음원 부호화 공정을 구비하여,
    피치 주기가 소정치 이하인 경우에는 상기 음원 부호화 공정내의 음원위치 후보 테이블을 전환하여 사용하는 공정을 구비한 것을 특징으로 하는 음성 부호화 방법.
  20. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서,
    피치 주기 길이의 음원을 복수의 펄스음원위치와 음원게인으로 부호화하는 음원 부호화 공정을 구비하여,
    상기 음원 부호화 공정내에서 피치 주기를 초과하는 펄스음원 위치를 나타내는 부호에 대하여, 피치 주기 범위내의 펄스음원 위치를 나타내도록 재설정하는 공정을 구비한 것을 특징으로 하는 음성 부호화 방법.
  21. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서,
    음원을 복수의 펄스음원 위치와 음원게인으로 부호화하는 제 1 음원 부호화 공정과,
    상기 제 1 음원 부호화 공정과 다른 제 2 음원 부호화 공정과,
    상기 제 1 음원 부호화 공정이 출력한 부호화 왜곡과 상기 제 2 음원 부호화 공정이 출력한 부호화 왜곡을 비교하여, 작은 부호화 왜곡을 주는 상기 제 1 또는 제 2 음원 부호화 공정을 선택하는 선택 공정을 구비하는 것을 특징으로 하는 음성 부호화 방법.
  22. 입력음성을 스펙트럼 포락정보와 음원으로 나누어, 프레임 단위로 음원을 부호화하는 음성 부호화 방법에 있어서,
    음원위치 정보를 나타내는 복수의 부호어와 음원파형을 나타내는 복수의 부호어로 이루어지며, 서로의 음원 부호장내의 부호어가 나타내는 음원위치 정보가 모두 다른 복수의 음원 부호장과, 상기 복수의 음원 부호장을 사용하여 음원을 부호화하는 음원 부호화 공정을 구비하는 것을 특징으로 하는 음성 부호화 방법.
  23. 제 1 항에 있어서,
    상기 의사게인 산출부(40)는 프레임내에서 음원위치 후보에 단일의 펄스를 발생시키는 것으로, 각 음원위치 후보마다 게인을 구하는 것을 특징으로 하는 음성 부호화 장치.
  24. 제 23 항에 있어서,
    상기 게인 부호화부(12)는 상기 음원위치 탐색부(41)에서 구한 복수의 음원위치의 각 음원위치에 대하여, 상기 의사게인과는 다른 음원게인을 구하여, 이 구한 음원게인을 부호화하는 것을 특징으로 하는 음성 부호화 장치.
KR1019997008244A 1997-03-12 1997-09-24 음성 부호화 장치, 음성 복호 장치 및 음성 부호화 복호 장치 및 음성 부호화 방법, 음성 복호 방법 및 음성 부호화 복호 방법 KR100350340B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP97-57214 1997-03-12
JP5721497 1997-03-12

Publications (2)

Publication Number Publication Date
KR20000076153A true KR20000076153A (ko) 2000-12-26
KR100350340B1 KR100350340B1 (ko) 2002-08-28

Family

ID=13049285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997008244A KR100350340B1 (ko) 1997-03-12 1997-09-24 음성 부호화 장치, 음성 복호 장치 및 음성 부호화 복호 장치 및 음성 부호화 방법, 음성 복호 방법 및 음성 부호화 복호 방법

Country Status (10)

Country Link
US (1) US6408268B1 (ko)
EP (1) EP1008982B1 (ko)
JP (1) JP3523649B2 (ko)
KR (1) KR100350340B1 (ko)
CN (1) CN1252679C (ko)
AU (1) AU733052B2 (ko)
CA (1) CA2283187A1 (ko)
DE (1) DE69734837T2 (ko)
NO (1) NO994405L (ko)
WO (1) WO1998040877A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100589446B1 (ko) * 2004-06-29 2006-06-14 학교법인연세대학교 음원의 위치정보를 포함하는 오디오 부호화/복호화 방법및 장치

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3824810B2 (ja) * 1998-09-01 2006-09-20 富士通株式会社 音声符号化方法、音声符号化装置、及び音声復号装置
JP3594854B2 (ja) 1999-11-08 2004-12-02 三菱電機株式会社 音声符号化装置及び音声復号化装置
USRE43209E1 (en) 1999-11-08 2012-02-21 Mitsubishi Denki Kabushiki Kaisha Speech coding apparatus and speech decoding apparatus
JP3404024B2 (ja) 2001-02-27 2003-05-06 三菱電機株式会社 音声符号化方法および音声符号化装置
JP3582589B2 (ja) 2001-03-07 2004-10-27 日本電気株式会社 音声符号化装置及び音声復号化装置
FI119955B (fi) * 2001-06-21 2009-05-15 Nokia Corp Menetelmä, kooderi ja laite puheenkoodaukseen synteesi-analyysi puhekoodereissa
JP4304360B2 (ja) * 2002-05-22 2009-07-29 日本電気株式会社 音声符号化復号方式間の符号変換方法および装置とその記憶媒体
KR100651712B1 (ko) * 2003-07-10 2006-11-30 학교법인연세대학교 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기및 그 방법
WO2005020210A2 (en) * 2003-08-26 2005-03-03 Sarnoff Corporation Method and apparatus for adaptive variable bit rate audio encoding
WO2008072732A1 (ja) * 2006-12-14 2008-06-19 Panasonic Corporation 音声符号化装置および音声符号化方法
EP2118888A4 (en) * 2007-01-05 2010-04-21 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
JP4660496B2 (ja) * 2007-02-23 2011-03-30 三菱電機株式会社 音声符号化装置及び音声符号化方法
EP2128858B1 (en) * 2007-03-02 2013-04-10 Panasonic Corporation Encoding device and encoding method
GB2466670B (en) * 2009-01-06 2012-11-14 Skype Speech encoding
GB2466671B (en) * 2009-01-06 2013-03-27 Skype Speech encoding
GB2466672B (en) * 2009-01-06 2013-03-13 Skype Speech coding
GB2466675B (en) 2009-01-06 2013-03-06 Skype Speech coding
GB2466674B (en) * 2009-01-06 2013-11-13 Skype Speech coding
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
GB2466669B (en) * 2009-01-06 2013-03-06 Skype Speech coding
JP4907677B2 (ja) * 2009-01-29 2012-04-04 三菱電機株式会社 音声符号化装置及び音声符号化方法
US8452606B2 (en) * 2009-09-29 2013-05-28 Skype Speech encoding using multiple bit rates
CN111123272B (zh) * 2018-10-31 2022-02-22 无锡祥生医疗科技股份有限公司 单极系统的戈莱码编码激励方法和解码方法
US11777763B2 (en) * 2020-03-20 2023-10-03 Nantworks, LLC Selecting a signal phase in a communication system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61134000A (ja) * 1984-12-05 1986-06-21 株式会社日立製作所 音声分析合成方式
JPH0782360B2 (ja) * 1989-10-02 1995-09-06 日本電信電話株式会社 音声分析合成方法
US5754976A (en) * 1990-02-23 1998-05-19 Universite De Sherbrooke Algebraic codebook with signal-selected pulse amplitude/position combinations for fast coding of speech
JP3074703B2 (ja) * 1990-06-27 2000-08-07 ソニー株式会社 マルチパルス符号化装置
JPH05273999A (ja) * 1992-03-30 1993-10-22 Hitachi Ltd 音声符号化方法
US5457783A (en) * 1992-08-07 1995-10-10 Pacific Communication Sciences, Inc. Adaptive speech coder having code excited linear prediction
JPH08123494A (ja) * 1994-10-28 1996-05-17 Mitsubishi Electric Corp 音声符号化装置、音声復号化装置、音声符号化復号化方法およびこれらに使用可能な位相振幅特性導出装置
JPH08179796A (ja) * 1994-12-21 1996-07-12 Sony Corp 音声符号化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100589446B1 (ko) * 2004-06-29 2006-06-14 학교법인연세대학교 음원의 위치정보를 포함하는 오디오 부호화/복호화 방법및 장치

Also Published As

Publication number Publication date
AU733052B2 (en) 2001-05-03
EP1008982A4 (en) 2003-01-08
DE69734837T2 (de) 2006-08-24
DE69734837D1 (de) 2006-01-12
CA2283187A1 (en) 1998-09-17
KR100350340B1 (ko) 2002-08-28
CN1252679C (zh) 2006-04-19
NO994405L (no) 1999-09-13
NO994405D0 (no) 1999-09-10
JP3523649B2 (ja) 2004-04-26
US6408268B1 (en) 2002-06-18
WO1998040877A1 (fr) 1998-09-17
AU4319697A (en) 1998-09-29
CN1249035A (zh) 2000-03-29
EP1008982B1 (en) 2005-12-07
EP1008982A1 (en) 2000-06-14

Similar Documents

Publication Publication Date Title
KR100350340B1 (ko) 음성 부호화 장치, 음성 복호 장치 및 음성 부호화 복호 장치 및 음성 부호화 방법, 음성 복호 방법 및 음성 부호화 복호 방법
KR100925084B1 (ko) 음성 부호화기 및 음성 부호화 방법
JP3346765B2 (ja) 音声復号化方法及び音声復号化装置
CA2271410C (en) Speech coding apparatus and speech decoding apparatus
WO1998006091A1 (fr) Codec vocal, support sur lequel est enregistre un programme codec vocal, et appareil mobile de telecommunications
JP3746067B2 (ja) 音声復号化方法及び音声復号化装置
KR20030076725A (ko) 음성 부호화 장치와 방법, 및 음성 복호화 장치와 방법
JP2001075600A (ja) 音声符号化装置および音声復号化装置
US6856955B1 (en) Voice encoding/decoding device
WO2004044893A1 (ja) 確率的符号帳の音源の符号化方法
JPH11259098A (ja) 音声符号化／復号化方法
JP3954716B2 (ja) 音源信号符号化装置、音源信号復号化装置及びそれらの方法、並びに記録媒体
JP2008090311A (ja) 音声符号化方法
JP3166697B2 (ja) 音声符号化・復号装置及びシステム
JP3954050B2 (ja) 音声符号化装置及び音声符号化方法
KR100955126B1 (ko) 벡터 양자화 장치
JP3907906B2 (ja) 音声符号化装置及び音声復号化装置
JP3563400B2 (ja) 音声復号化装置及び音声復号化方法
JP4170288B2 (ja) 音声符号化方法及び音声符号化装置
JP2009134302A (ja) 音声符号化装置及び音声符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20080808

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee