KR100433608B1 - 음성처리시스템및그의이용방법 - Google Patents

음성처리시스템및그의이용방법 Download PDF

Info

Publication number
KR100433608B1
KR100433608B1 KR1019960020164A KR19960020164A KR100433608B1 KR 100433608 B1 KR100433608 B1 KR 100433608B1 KR 1019960020164 A KR1019960020164 A KR 1019960020164A KR 19960020164 A KR19960020164 A KR 19960020164A KR 100433608 B1 KR100433608 B1 KR 100433608B1
Authority
KR
South Korea
Prior art keywords
gain
adaptive codebook
filter
signal
pitch
Prior art date
Application number
KR1019960020164A
Other languages
English (en)
Other versions
KR970004369A (ko
Inventor
크룬 피터
Original Assignee
루센트 테크놀러지스 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=23917151&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100433608(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 루센트 테크놀러지스 인크 filed Critical 루센트 테크놀러지스 인크
Publication of KR970004369A publication Critical patent/KR970004369A/ko
Application granted granted Critical
Publication of KR100433608B1 publication Critical patent/KR100433608B1/ko

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor

Abstract

본 발명에 따르면, 주기성의 적응 코드북 모델을 채용하는 음성 코딩 시스템이 피치 예측 필터(PPF)를 이용하여 증강된다. 이 PPF는 피치-주기의 정수 부분과 동일한 지연값과, 음성 신호의 주기성 측정치에 기초하여 적응화된 이득을 갖는다. 본 발명의 일실시예에 따른 음성 처리 시스템은, 적응 코드북 및 대응하는 적응 코드북 증폭기를 구비한 제 1 부분과, 피치 필터에 결합된 고정 코드북을 구비한 제 2 부분을 포함하여, 적응 코드북 이득을 지연시키고, 이 지연된 적응 코드북 이득에 기초하여 피치 필터 이득을 결정하며, 상기 결정된 피치 필터 이득에 기초하여 피치 필터내의 신호 샘플을 증폭시킨다. 적응 코드북 이득은 한 서브프레임동안 지연된다. 피치 필터 이득은, 적응 코드북 이득이 0.2 미만이거나 0.8을 초과할 때, 각각 0.2 또는 0.8로 설정되는 경우를 제외하고는, 지연된 적응 코드북 이득과 동일하게 설정된다.

Description

음성 처리 시스템 및 그의 이용 방법{IMPROVED ADAPTIVE CODEBOOK-BASED SPEECH COMPRESSION SYSTEM}
본 발명은 전반적으로 적응 코드북-기반 음성 압축 시스템에 관한 것으로, 보다 상세하게는, 적응 코드북 벡터 (서브프레임) 길이와 같거나 작은 피치-주기를 갖는 음성을 압축하도록 동작하는 시스템에 관한 것이다.
다수의 음성 압축 시스템은 음성 신호의 주기성을 모델링하기 위해 서브시스템을 채용한다. 음성 압축(또는 코딩) 시스템에서 광범위하게 사용되고 있는 두 개의 이러한 주기성 모델은 피치 예측 필터(pitch prediction filter;PPF) 및 적응 코드북(adaptive codebook;ACB)이다.
ACB는 근본적으로, 과거의 음성 신호, 또는 음성 잔차(residual)나 여기 신호와 같은 그의 파생신호(이후 음성 신호라 함)의 샘플들을 저장하는 메모리이다. 현재 음성 신호가 무엇을 나타내는지를 "예측(predict)"하기 위해 (메모리에 저장된) 과거의 음성 신호에서 현재의 음성 신호로 샘플을 복사함으로써 주기성이 도입(또는 모델링)된다.
PPF는 전형적으로 다음과 같은 형태의 간단한 IIR 필터이며,
y(n) = x(n) + gpy(n-M) (1)
여기서 n은 샘플 인덱스이고, y는 출력, x는 입력, M은 필터의 지연값, gp는 크기조정 인자(또는 이득)이다. PPF의 현재 출력은 과거의 출력에 의존하기 때문에, PPF에 의해 주기성이 도입된다.
음성 코딩시에 ACB나 PPF 중 어느 것도 사용될 수 있지만, 이들 주기성 모델은 모든 상황하에서 동일하게 동작하지 않는다. 예를 들면, PPF 및 ACB는 음성의 피치-주기가 서브프레임(또는 코드벡터) 사이즈보다 크거나 같을 때 동일한 결과를 생성하며, 이것은 피치-주기가 서브프레임 사이즈보다 작을 때는 그렇지 않다. 이러한 차이가 제 1 도 및 제 2 도에 도시되며, 여기서 피치-주기(또는 지연)는 2.5㎳이지만 서브프레임 사이즈는 5㎳인 것으로 가정한다.
제 1 도는 전형적인 CELP 음성 압축 시스템에서 사용된 고정 코드북(FCB)과 적응 코드북(ACB)의 종래의 조합(이 조합은 CELP 시스템의 인코더 및 디코더 모두에서 사용됨)을 나타낸다. 도면에 도시된 바와 같이, FCB(1)는, FCB로 하여금 소정 기간의 음성 신호(여기) 벡터를 출력하도록 하는 인덱스 값 I를 수신한다. 이 기간은 서브프레임(여기서, 5㎳)이라 한다. 예시적으로, 이러한 음성 여기 신호는 서브프레임내에 위치된 하나 이상의 주 펄스로 구성된다. 설명을 명확히 하기 위해, 출력 벡터는 단위 크기로 이루어진 단일의 대형 펄스를 갖는 것으로 가정된다. 이 출력 벡터는 증폭기(5)에 의해 인가되는 이득 gc에 의해 크기조정된다.
FCB(1) 및 증폭기(5)의 동작과 병행하여, ACB(10)는 이전의 합성된 음성을기초로 하여 음성 신호를 발생한다. 종래 기술에서, ACB(10)는 코딩되고 있는 최초의 음성과 가장 밀접하게 일치하는 음성 샘플을 과거의 음성 메모리에서 탐색한다. 이러한 샘플은, 합성을 시도하고 있는 '현재 샘플(present sample)'로부터 과거에 한 피치-주기(M)의 근방에 존재한다. 이러한 과거 음성 샘플은, 피치가 분수인 경우 존재하지 않을 수도 있으며, 통상적으로, 이 경우 ACB에 의해 주위의 음성 샘플 값으로부터 선형 보간에 의해 합성되어야 할 수도 있다. ACB는 이런 식으로 식별된(또는 합성된) 과거 샘플을 현재의 샘플로서 사용한다. 설명을 명확히 하기 위하여, 본 명세서에서는 피치-주기가 샘플 기간의 정수배이며, 과거 샘플은 현재 서브프레임내로 복사하기 위한 M으로 식별된다고 가정하게 된다. ACB는 이와 같은 식으로 전체 서브프레임(5㎳)동안 개개의 샘플을 출력한다. ACB에 의해 생성되는 모든 샘플은 증폭기(15)에 의해 인가되는 이득 gp에 의해 크기조정된다.
서브프레임의 두번째 ½내의 현재 샘플에 대해, "현재(present)" 샘플로서 사용된 "과거(past)" 샘플이 서브프레임의 첫번째 ½동안에는 현재 샘플이다. 이것은, 서브프레임의 지속기간은 5㎳이지만, 피치-주기 M(현재 샘플로서 사용하기 위해 과거 샘플을 식별하는데 사용된 시간)은 2.5㎳이기 때문이다. 그러므로, 합성되어야 할 현재 샘플이 서브프레임내의 4㎳ 시점에 존재한다면, 음성의 과거 샘플은 동일한 서브프레임내의 4㎳-2.5㎳ 즉 1.5㎳ 시점에 존재한다.
FCB 및 ACB 증폭기(5,15)의 출력 신호는 가산 회로(20)에서 가산되어, 종래의 선형 예측(LPC) 합성 필터(도시안됨)에 맞는 여기 신호를 생성한다. 회로(20)에 의해 생성된 이러한 여기 신호의 한 서브프레임에 대한 표현이 제 1 도에 또한 도시되어 있다. 크기조정하기 전에는 단위 크기의 펄스를 가정하면, 코드북 시스템은 5㎳ 서브프레임 내에서 몇 개의 펄스를 생성한다. 높이 gp의 제 1 펄스, 높이 gc의 제 2 펄스 및 높이 gp의 제 3 펄스. 제 3 펄스는 ACB에 의해 생성된 제 1 펄스의 복제일 뿐이다. ACB 메모리는 제 2 펄스를 포함하지 않으므로(고정 코드북은 서브프레임 당 단지 하나의 펄스만을 가지므로) 서브프레임의 두번째 ½동안 제 2 펄스의 복제는 존재하지 않음에 주목하자.
제 2 도는 PPF(50)와 직렬로 FCB(25)를 포함하는 주기성 모델을 도시한다. PPF(50)는 가산 회로(45), 지연 메모리(35) 및 증폭기(40)로 이루어진다. 앞서 언급된 시스템에서처럼, FCB(25)에 인가된 인덱스 I는 FCB로 하여금 이 인덱스에 대응하는 여기 벡터를 출력하도록 한다. 이 벡터는 하나의 주 펄스를 갖는다. 이 벡터는 이득 gc를 인가하는 증폭기(30)에 의해 크기조정된다. 그리고 나서 이 크기조정된 벡터는 PPF(50)에 인가된다. PPF(50)는 앞서 기재된 식(1)에 따라 동작한다. PPF(50) 출력 신호의 한 서브프레임에 대한 표현이 또한 제 2 도에 나타내진다. PPF 출력 서브프레임의 제 1 펄스는 이전 서브프레임(도시안됨)으로부터의 (단위 크기를 갖는 것으로 가정된) 주 펄스에 인가되는 지연값 M의 결과이다. 서브프레임 내의 그 다음 펄스는 증폭기(30)에 의해 크기조정된 FCB 출력 벡터 내에 포함된 펄스이다. 이 때, 2.5㎳의 지연(35)으로 인해, 이들 두 펄스는 2.5㎳ 뒤에 반복되어, 증폭기(40)에 의해 각각 크기조정된다.
주기성 모델의 ACB와 PPF 실행의 출력 신호간에는 큰 차이가 있다. 이들은 제 1 및 제 2 도에 도시된 합성된 서브프레임의 후반에 명백히 나타난다. 첫째, 제 3 펄스의 크기가 gp와 gp 2로 다르다. 둘째, ACB 모델의 출력에서는 제 4 펄스가 존재하지 않는다. 이러한 누락 펄스에 관하여, 피치-주기가 프레임 사이즈 미만인 경우, ACB와 FCB의 조합은 서브프레임 내에 제 2 고정 코드북 기여를 도입하지 않게 된다. 이것이 고정 코드북과 직렬인 피치 예측 필터의 동작과 다르다.
주기성의 ACB을 채용하는 이들 음성 코딩 시스템의 경우, FCB의 출력단에 PPF가 사용되어야 하는 것으로 제안되었다. 이 PPF는 피치-주기의 정수 성분과 동일한 지연값과 0.8의 고정된 이득을 갖는다. PPF는 서브프레임 내에 누락 FCB 펄스를 삽입하지만, 이득 값은 불확실하다. 이 이득이 불확실한 이유는 ACB와 FCB 이득의 결합 양자화는 ACB 및 FCB 벡터 둘다가 결정될 때까지 현재 서브프레임에 대한 ACB 이득의 결정을 방해하기 때문이다.
본 발명의 발명자는 ACB 기반 합성기에 부가된 피치 루프의 고정-이득 측면이 때때로 지나치게 주기적인 합성된 음성을 초래하여, 합성된 음성의 부자연스런 "윙윙거림(buzzyness)"을 초래한다는 것을 알았다.
본 발명은 ACB를 채용하는 시스템의 FCB 출력단에서의 제안된 PPF 사용시의 단점을 해결한다. 본 발명은 PPF에 대해 고정되지 않고 음성 신호의 주기성의 측정에 기초하여 적응화된 이득을 제공한다. 이 적응 PPF 이득은, 음성 신호가 그다지 주기적이지 않을 때 이득이 작고, 음성 신호가 아주 주기적인 때 이득이 크다는점에서 PPF의 성능을 향상시킨다. 이러한 적응성은 "윙윙거림"의 문제를 회피한다.
본 발명의 일실시예에 의하면, 적응 코드북과 대응하는 적응 코드북 증폭기를 구비하는 제 1 부분과, 피치 필터에 결합된 고정 코드북을 구비하는 제 2 부분을 포함하는 음성 처리 시스템은, 적응 코드북 이득을 지연시키도록 적응되며, 이 지연된 적응 코드북 이득에 기초하여 피치 필터 이득을 결정하고, 상기 결정된 피치 필터 이득에 기초하여 피치 필터내의 신호 샘플을 증폭한다. 이 적응 코드북 이득은 하나의 서브프레임동안 지연된다. 고정 코드북 이득이 결정될 때까지 적응 코드북에 대한 양자화된 이득은 이용 불가능하므로, 지연된 이득이 사용된다. 피치 필터 이득은, 적응 코드북 이득이 0.2보다 작거나 또는 0.8보다 큰 경우 피치 필터 이득이 각각 0.2 또는 0.8로 설정되는 것을 제외하면, 지연된 적응 코드북 이득과 동일하다. 이 한계값은, 여기 신호가 실제로 얼마나 주기적인가를 평가할 때 에러로 인한 인식할 수 있을 정도의 바람직하지 못한 효과를 제한하기 위한 것이다.
이하 본 발명을 보다 상세히 설명한다.
Ⅰ. 예시적인 실시예의 서론
설명을 명확히 하기 위하여, 본 발명의 예시적 실시예가 개개의 기능 블록도("프로세서"로서 명명된 기능 블록을 포함)를 포함하는 것으로서 도시된다. 이들 블록이 나타내는 기능은, 제한적이지는 않지만 소프트웨어를 실행할 수 있는 공유 하드웨어 또는 전용 하드웨어를 사용하여 제공될 수도 있다. 예를 들면, 제3 도 및 제 4 도에 도시된 프로세서의 기능은 단일의 공유 프로세서에 의해 제공될 수도 있다. ("프로세서"라는 용어는 소프트웨어를 실행할 수 있는 하드웨어를 의미하는 것으로 배타적으로 해석되어서는 안 된다.)
예시적인 실시예는 AT&T사의 DSP16 또는 DSP32C와 같은 디지털 신호 프로세서(DSP) 하드웨어, 이후에 설명되는 동작을 수행하는 소프트웨어를 저장하는 판독-전용 메모리(ROM) 및 DSP 결과를 저장하기 위한 랜덤 액세스 메모리(RAM)를 포함한다. 범용 DSP 회로와 조합된 주문형 대규모 집적(very large scale integration; VLSI) 회로는 물론, VLSI 하드웨어 실시예가 또한 제공될 수 있다.
이후 설명되는 실시예는, 예를 들면, 본 명세서에 첨부되어 있는 ITU 표준화 단체에 제출된 권장 초안 G.729(G.729 초안)에 개시된 바와 같은 다수의 음성 압축 시스템에서 이용하기에 적합하다. 이러한 음성 압축 시스템은 8kbit/s로 동작하며 코드-여기 선형-예측(Code-Excited Linear-Predictive; CELP) 코딩에 기초한다. G.729 초안 제2절 참조. 이 권장 초안은 본 명세서에서의 본 발명의 사용은 물론, 음성 코딩 시스템에 대한 완전한 설명을 포함한다. 예를 들면, 전반적으로 도면2 및 G.729 초안의 제2.1절의 설명을 참조. 본 발명의 일실시예와 관련하여서는, G.729 초안의 제3.8절 및 제4.1.2절의 설명 참조.
Ⅱ. 예시적인 실시예
제 3 도 및 제 4 도는 G.729 초안의 인코더 및 디코더에서 사용된 본 발명의 실시예를 나타낸다. 제 3 도는 예시적인 인코더 실시예를 도시하기 위하여 확대된G.729 초안으로부터의 도면2의 수정된 버전이다. 제 4 도는 예시적인 디코더 실시예의 세부사항을 나타내기 위해 확대된 G.729 초안의 도면3과 유사하다. 후속하는 설명에서는 적절한 G.729 초안의 절을 참조한다. G.729 초안의 인코더의 전반적인 설명은 제2.1절에, 디코더의 전반적인 설명은 초안의 제2.2절에 기재되어 있다.
A. 인코더
본 실시예에 따르면, 입력 음성 신호(8㎑ 샘플링 속도의 16비트 PCM)가 전처리기(100)에 제공된다. 전처리기(100)는 음성 신호를 고역-통과 필터링하여 원하지 않는 저주파 성분을 제거하고 오버플로우 처리를 회피하기 위해 음성 신호를 크기조정한다. G.729 초안 제3.1절 참조. 전처리된 음성 신호 s(n)는 선형 예측 분석기(105)에 제공된다. G.729 초안 제3.2절 참조. 선형 예측(linear prediction; LP) 계수 ai는 인코더의 FCB 및 ACB의 결합된 출력으로 형성된 여기 신호 u(n)를 수신하는 LP 합성 필터(155)에 제공된다. 이 여기 신호는, 최초의 음성과 합성된 음성간의 에러가 지각 가중 필터(165)에 의한 지각 가중된 왜곡 측정치에 따라 최소화되는 합성에-의한-분석 탐색 절차를 이용함으로써 선택된다. G.729 초안 제3.3절 참조.
본 실시예의 ACB 부분(112)과 관련하여, 지각 가중 왜곡(에러)을 나타내는 신호가 피치 주기 프로세서(170)에 의해 사용되어 적응 코드북 시스템(110)에 의해 사용되는 개방-루프 피치-주기(지연)가 결정된다. 인코더는 이 결정된 개방-루프피치-주기를 폐쇄-루프 피치 탐색의 기초로서 사용한다. ACB(110)는 과거의 여기 신호를 선택된 분수의 피치에 보간함으로써 적응 코드북 벡터 v(n)를 계산한다. G.729 초안 제3.4-3.7절 참조. 적응 코드북 이득 증폭기(115)는 ACB 시스템(110)의 출력단에 크기조정 인수를 인가한다. G.729 초안 제3.9.2절 참조.
본 실시예의 FCB 부분(118)과 관련하여, 평균 제곱 오차(MSE) 탐색 프로세서(175)에 의해 발생된 인덱스가 FCB 시스템(120)에 의해 수신되며 코드북 벡터 c(n)이 응답하여 발생된다. G.729 초안 제3.8절 참조. 이 코드북 벡터는 본 발명에 따라 동작하는 PPF 시스템(128)에 제공된다(이후의 설명 참조). PPF 시스템(128)의 출력은 크기조정 인수를 인가하는 FCB 증폭기(145)에 의해 크기조정된다. 크기조정 인수는 G.729 초안 제3.9절에 따라 결정된다.
인코더의 ACB 및 FCB 부분(112,118)으로부터의 벡터 출력은 가산기(150)에서 가산되어 이후 설명되는 바와 같이 LP 합성 필터에 제공된다.
B. PPF 시스템
앞서 언급된 바와 같이, 본 PPF 시스템은, 합성될 음성의 피치-주기가 서브프레임의 사이즈보다 작은 경우 및 고정된 PPF 이득이 그다지 주기적이지 않은 음성에 대해 너무 큰 경우 나타나는 ACB 시스템의 단점을 해결한다.
PPF 시스템(128)은 PPF(128)가 여기 신호에 기여하는지를 제어하는 스위치(126)를 포함한다. 지연값 M이 서브프레임의 사이즈 L보다 작은 경우, 스위치(126)는 폐쇄되어 PPF(128)가 여기 신호에 기여하게 된다. M≥L인 경우, 스위치(126)는 개방되어 PPF(128)는 여기 신호에 기여하지 않는다. 스위치 제어 신호 K는 M<L일 때 세트된다. 스위치(126)의 이용은 단지 예시적인 것임에 주목하자. 예를 들면, M≥L일 때 PPF(128)를 완전히 우회하는데 사용되는 스위치를 포함하여, 다수의 다른 설계가 가능하다.
PPF 시스템에 의해 사용된 지연값은 피치-주기 프로세서(170)에 의해 계산된 피치-주기 M의 정수부이다. 지연 프로세서(135)의 메모리는 각 서브프레임에 대한 PPF(128)의 동작에 앞서 클리어된다. PPF 시스템에 의해 인가되는 이득은 지연 프로세서(125)에 의해 제공된다. 프로세서(125)는 ACB 이득을 수신하여 그것을 한 서브프레임동안 저장(한 서브프레임 지연)한다. 그리고 나서, 저장된 이득 값은 상한치 및 하한치(0.8, 0.2)와 각각 비교된다. 저장된 이득 값이 상한치보다 크거나 하한치보다 작은 경우 이득은 각각 한계치로 설정된다. 즉, PPF 이득은 0.2 및 0.8의 범위에 제한된다. 이 범위 내에서, 이득은 지연된 적응 코드북 이득 값을 가정할 수 있다.
이 상한치 및 하한치는, 합성된 신호가 과도하게 주기적(overperiodic)이지도 비주기적(aperiodic)이지도 않도록 적응 PPF 이득 값이 된다. 합성된 신호가 과도하게 주기적인 것과 비주기적인 것 둘다는 지각적으로 바람직하지 않다. 이와 같이 하여, 지나치게 작거나 큰 ACB 이득 값이 회피되어야 한다.
당분야에 통상의 지식을 가진 자라면, ACB 이득이 하나의 서브프레임동안 저장되기에 앞서 특정 범위로 제한될 수 있음을 알 것이다. 이와 같이 하여, 프로세서는, 지정된 범위로 전에 제한되든 후에 제한되든지간에, ACB 이득을 반영하는 신호를 저장한다. 또한 상한 및 하한치의 정확한 값은 본 발명의 임의의 특정 실현시에 바람직한 결과를 성취하기 위해 변화될 수도 있는 선택의 문제이다.
C. 디코더
상기(및 G.729 초안의 참조된 절에서) 인코더는 매 10㎳마다 압축 음성을 표시하는 데이터 프레임을 제공한다. 이 프레임은 80비트로 이루어지며, G.729 초안의 표 1 및 9에 상세히 도시된다. 압축 음성의 각 80비트 프레임은 통신 채널을 통해, 인코더에 의해 생성된 프레임에 기초하여 음성(두 개의 서브프레임을 표시함) 신호를 합성하는 디코더로 보내진다. 프레임이 전송되는 채널(도시안됨)은 (예를 들면, 전화 네트워크, 셀룰러 또는 무선 네트워크, ATM 네트워크 등과 같은) 어떤 형태일 수도 있고, (예를 들면, 자기 저장매체, 반도체 RAM 또는 ROM, CD-ROM과 같은 광 저장매체 등) 저장 매체를 포함할 수도 있다.
본 발명에 따른 예시적인 실시예가 제 4 도에 도시된다. 이 디코더는 적응 코드북 부분(240)과 고정 코드북 부분(200)을 모두 포함한다는 점에서 제 3 도의 인코더와 매우 유사하다. 이 디코더는 전송된 파라미터를 디코드(G.729 초안 제4.1절 참조)하고, 재구성된 음성을 획득하기 위한 합성을 수행한다.
FCB 부분은, 인코더로부터 디코더로 전송된 FCB 인덱스 I에 응답하는 FCB(205)를 포함한다. FCB(205)는 서브프레임과 동일한 길이의 벡터 c(n)를 발생한다. G.729 초안 제4.1.3절 참조. 이 벡터는 디코더의 PPF(210)에 인가된다.PPF(210)는 (지연 프로세서(225)에 의해 지연된 ACB 이득과 ACB 피치-주기 M(둘 다 채널을 통해 인코더로부터 수신)을 기초로 하여) 앞서 설명된 바와 같이 동작하여, FCB 이득 증폭기(235)에 인가하기 위한 벡터를 생성한다. 채널로부터의 이득를 인가하는 증폭기는 PPF(210)에 의해 생성된 벡터의 크기조정된 버전을 발생한다. G.729 초안 제4.1.4절 참조.
이 증폭기(235)의 출력 신호는 여기 신호 u(n)를 발생하는 가산기(255)에 공급된다. 이 가산기(255)에는 또한 디코더의 ACB 부분(240)에 의해 발생된 출력 신호가 제공된다. 이 ACB 부분(240)은, 과거의 여기 신호에 기초하여 서브프레임과 동일한 길이의 적응 코드북 제공값 v(n)과 채널을 통해 인코더로부터 수신된 ACB 피치-주기 M을 발생하는 ACB(245)를 포함한다. G.729 초안 제4.1.2절 참조. 이 벡터는 채널을 통해 수신된 이득 인수에 기초하여 증폭기(250)에 의해 크기조정된다. 이 크기조정된 벡터가 ACB 부분(240)의 출력이 된다.
가산기(255)에 의해 생성된 여기 신호 u(n)는, 채널을 통해 수신된 LP 계수에 기초하여 음성 신호를 합성하는 LP 합성 필터(260)에 인가된다. G.729 초안 제4.1.6절 참조.
마지막으로, LP 합성 필터(260)의 출력은, 적응 후치 필터링(G.729 초안 제 4.2.1-4.2.4절 참조), 고역-통과 필터링(G.729 초안 제4.2.5절 참조) 및 크기 상향 조정(G.729 초안 제4.2.5절 참조)을 수행하는 후처리기(265)에 공급된다.
Ⅱ. 고찰
이상 본 발명의 다수의 특정 실시예가 도시되고 설명되었으나, 이들 실시예는 단지 다수의 가능한 특정 장치에 대한 예시일 뿐 본 발명의 원리의 응용에 따라 안출될 수 있는 것으로 이해되어야 한다. 당 분야에 통상의 지식을 가진 자라면, 본 발명의 정신 및 범주로부터 벗어나지 않고 이들 원리에 따라 다수의 다양한 다른 장치가 안출될 수 있음을 알 것이다.
예를 들면, 스칼라 이득 양자화법이 채용되어야 하는 경우, PPF의 이득은 이전의 ACB 이득이 아니라 현재의 ACB 이득에 기초하여 적응될 수 있다. 또한 PPF 이득에 대한 한계치(0.2, 0.8)는 단지 예시일 뿐, 0.1 및 0.7과 같은 다른 한계치가 충분할 수 있다.
또한, 본 발명의 에시적인 실시예는 코드북 "증폭기"를 기준으로 하였지만, 당분야에 숙련된 통상의 지식을 가진 자라면, 이 용어가 디지털 신호의 크기조정을 포함함을 이해할 것이다. 더욱이, 이러한 크기조정은 1보다 큼은 물론, (음수 값을 포함하는) 1 이하인 크기조정 인자(또는 이득)로 달성될 수도 있다.
Kroon 4
국제 전기 통신 연합
전기 통신 표준화 부문
날짜 : 1995. 6.
원서 : E
연구 그룹 15 기고 - Q. 12/15
권장 초안 G.729
공액-구조-대수적-코드-여기 선형-예측(CS-ACELP) 코딩을 이용한 8kbit/s 음성 코딩
1995. 6. 7.
버젼 4.0
주: 이 권장안이 ITU에 의해 승인될 때까지, C코드는 물론 테스트 벡터도 ITU로부터 이용되지 않을 것이다. 이 C 소스 코드를 획득하기 위한 연락처: Mr. Gerhard Schroeder, Rapporteur SG15/Q.12
Deutsche Telekom AG, Postfach 100003, 64276 Darmstadt, Germany
전화:+49 6151 83 3973, 팩스:+49 6151 837828,
전자우편: gerbard.schroeder@fz13.fz.dbp.de
목차
1. 서론 20
2. 코더의 일반적인 설명 21
2.1 인코더 …………………………………………………………… 22
2.2 디코더 …………………………………………………………… 24
2.3 지연 …………………………………………………………… 25
2.4 음성 코더 설명 ………………………………………………… 25
2.5 표시 규정 ……………………………………………………… 27
3. 인코더의 기능 설명 32
3.1 전-처리…………………………………………………………… 32
3.2 선형 예측 분석 및 양자화 …………………………………… 33
3.2.1 윈도윙 및 자기상관 계산 ………………………………34
3.2.2 레빈슨-더빈 알고리즘 …………………………………35
3.2.3 LP의 LSP로의 변환 ………………………………………36
3.2.4 LSP 계수의 양자화 …………………………………… 39
3.2.5 LSP 계수의 보간 …………………………………………42
3.2.6 LSP의 LP로의 변환 ………………………………………43
3.3 지각 가중 …………………………………………………………44
3.4 개방-루프 피치 분석………………………………………………47
3.5 임펄스 응답의 계산 ………………………………………………48
3.6 타겟 신호의 계산 …………………………………………………48
3.7 적응-코드북 탐색 …………………………………………………49
3.7.1 적응 코드북 벡터의 발생…………………………………52
3.7.2 적응 코드북 지연값용 코드워드의 계산 ………………53
3.7.3 적응 코드북 이득의 계산 ………………………………54
3.8 고정 코드북: 구조 및 탐색 …………………………………… 55
3.8.1 고정-코드북 탐색 절차…………………………………… 56
3.8.2 고정 코드북의 코드워드 계산 ………………………… 59
3.9 이득의 양자화 ………………………………………………………60
3.9.1 이득 예측 ………………………………………………… 60
3.9.2 이득 양자화를 위한 코드북 탐색 ………………………62
3.9.3 이득 양자화기에 대한 코드워드 계산 …………………63
3.10 메모리 갱신 …………………………………………………… 63
3.11 인코더 및 디코더 초기화 …………………………………… 64
4. 디코더의 기능 설명 65
4.1 파라미터 디코딩 절차 65
4.1.1 LP 필터 파라미터의 디코딩 ………………………………66
4.1.2 적응 코드북 벡터의 디코딩 …………………………… 67
4.1.3 고정 코드북 벡터의 디코딩……………………………… 68
4.1.4 적응 및 고정 코드북 이득의 디코딩 ………………… 69
4.1.5 패리티 비트의 계산 ……………………………………… 69
4.1.6 재구성된 음성의 계산 …………………………………… 70
4.2 후-처리 ………………………………………………………………70
4.2.1 피치 후필터 ……………………………………………… 70
4.2.2 단기 후필터 …………………………………………… 73
4.2.3 틸트 보상 ………………………………………………… 73
4.2.4 적응 이득 제어 …………………………………………… 74
4.2.5 고역-통과 필터링 및 상승-크기조정…………………… 75
4.3 프레임 소거 및 패리티 에러의 은폐………………………75 4.3.1 LP 필터 파라미터의 반복 ……………………………… 77
4.3.2 적응 및 고정 코드북 이득의 감쇠 ……………………77
4.3.3 이득 계측기의 메모리의 감쇠 …………………………77
4.3.4 대체 여기 신호의 발생 …………………………………78
5. CS-ACELP 코더의 비트-정확도 설명 79
5.1 시뮬레이션 소프트웨어의 사용………………………………… 79
5.2 시뮬레이션 소프트웨어의 구성 ……………………………… 79
1. 서론
이 권장안은 공액-구조-대수적-코드-여기 선형-예측(CS-ACELP) 코딩을 이용한 8kbit/s 음성 신호의 코딩을 위한 알고리즘에 대한 설명을 포함한다.
이 코더는, 우선 아날로그 입력 신호의 전화 대역폭 필터링(ITU 권장안 G.710)을 수행한 후, 8000㎐에서 신호를 샘플링하고, 그 후 다시 인코더로의 입력을 위한 16비트 선형 PCM으로 변환함으로써 획득된 디지털 신호로 동작하도록 설계된다. 디코더의 출력은 마찬가지의 방법으로 다시 아날로그 신호로 변환되어야 한다. 64 kbit/s PCM 데이터용 ITU 권장안 G.711에 의해 지정된 것과 같은, 다른 입/출력 특성은 인코딩하기 전에 16비트 선형 PCM으로 변환되거나, 또는 디코딩 후에 16비트 선형 PCM으로부터 적절한 포맷으로 변환되어야 한다. 인코더로부터 디코더로의 비트 스트림은 본 표준 내에 정의된다.
이 권장안은 다음과 같이 구성된다. 제2절은 CS-ACELP 알고리즘에 대한 일반적인 개요를 제공한다. 제3절 및 제4절에서는, 이 CS-ACELP 인코더 및 디코더 원리가 각각 설명된다. 제5절은 16비트 고정 소수점 연산에서 이 코더를 정의하는 소프트웨어를 설명한다.
2. 코더의 일반적인 설명
CS-ACELP 코더는 코드-여기 선형-예측(CELP) 코딩 모델에 기초한다. 이 코더는 8000 샘플/s의 샘플링 속도에서 80개의 샘플에 대응하는 10㎳의 음성 프레임에 대해 동작한다. 매 10㎳ 프레임동안, 음성 신호는 CELP 모델의 파라미터(LP 필터 계수, 적응 및 고정 코드북 인덱스 및 이득)를 추출하기 위해 분석된다. 이들 파라미터는 인코드되어 전송된다. 코더 파라미터의 비트 할당은 표 1에 도시된다. 디코더에서 이들 파라미터는 여기 및 합성 필터 파라미터를 복구하는데 사용된다. 음성은 LP 합성 필터를 통한 이 여기 신호를 필터링함으로써 재구성되며, 이것이 제 1 도에 도시된다. 단기 합성 필터는 10차 선형 예측(LP) 필터에 기초한다. 장기, 즉 피치 합성 필터는 서브프레임보다 짧은 지연동안 소위 적응 코드북 법을 이용하여 구현된다. 재구성된 음성을 산출한 후, 이 재구성된 음성은 후필터에 의해 더욱 증강된다.
제 1 도 : 지각 CELP 합성 모델의 블록도
2.1 인코더
인코더에서의 신호 흐름이 제 2 도에 도시된다. 입력 신호는 고역-통과 필터링된 후, 전-처리 블록에서 크기조정된다. 전-처리된 신호는 모든 계속되는 분석에 대한 입력 신호로서 사용된다. LP 분석은 10㎳ 프레임당 한번 수행되어 LP 필터 계수를 산출한다. 이들 계수는 선 스펙트럼 쌍(line spectrum pairs; LSP)으로 변환되어 예측 2단계 벡터 양자화(vector quantization; VQ)를 이용하여 18비트로 양자화된다. 여기 시퀀스는, 지각 가중 왜곡 측정에 따라 최초 음성과 합성된 음성간의 에러가 최소화되는, 합성에-의한-분석 탐색 절차를 이용하여 선택된다. 이것은 지각 가중 필터로 에러 신호를 필터링함으로써 수행되며, 지각 가중 필터의 계수는 양자화 전의 LP 필터로부터 도출된다. 지각 가중량은 평탄한 주파수-응답을 갖는 입력 신호에 대한 성능을 개선하기에 적응하도록 이루어진다.
여기 파라미터(고정 및 적응 코드북 파라미터)는 5㎳의 서브프레임(40개 샘플)마다 각각 결정된다. 양자화 및 비양자화 LP 필터 계수는 제 2 서브프레임에 대해 이용되며, 제 1 서브프레임에서는 보간된 LP 필터 계수(양자화 및 양자화전의경우 모두)가 이용된다. 개방-루프 피치 지연은 지각 가중 음성 신호에 근거하여 10㎳ 프레임당 한번씩 평가된다. 그리고 나서 다음 동작이 각각의 서브프레임에 대해 반복된다. 즉, 타겟 신호 z(n)가 가중 합성 필터 W(n)/(n)를 통해 LP 잔차를 필터링함으로써 산출된다. 이들 필터의 초기 상태는 LP 잔차 및 여기 사이의 에러를 필터링함으로써 갱신된다. 이것은 가중 음성 신호로부터 가중 합성 필터의 제로-입력 응답을 감산하는 일반적인 접근법과 동등하다. 가중 합성 필터의 임펄스 응답 h(n)이 산출된다.
제 2 도 : CS-ACELP 인코더에서 신호의 흐름
그리고 나서 폐쇄-루프 피치 분석이, 대략 개방-루프 피치 지연 값을 탐색함으로써 타겟 z(n)과 임펄스 응답 h(n)을 이용하여 수행(적응 코드북 지연 및 이득을 발견)된다. 1/3 분해능을 갖는 분수의 피치 지연이 사용된다. 이 피치 지연값은 제 1 서브프레임에서 8비트로 인코드되며, 제 2 서브프레임에서는 5비트로 차분 인코드된다. 타겟 신호 x(n)는 적응 코드북 제공값(필터링된 적응 코드 벡터)을 제거함으로써 갱신되며, 이 새로운 타겟 신호 x2(n)는 (최적의 여기를 구하기 위해) 고정 대수적 코드북 탐색시에 이용된다. 17비트의 대수적 코드북은 고정 코드북 여기 신호에 대해 이용된다. 적응 및 고정 코드북 이득은 7비트로 양자화된 벡터(MA 예측이 고정 코드북 이득에 인가됨)이다. 마지막으로, 필터 메모리는 산출된 여기 신호를 사용하여 갱신된다.
2.2 디코더
디코더에서의 신호 흐름이 제 3 도에 도시된다. 먼저, 파라미터 인덱스가 수신된 비트스트림으로부터 추출된다. 이들 인덱스는 10㎳ 음성 프레임에 대응하는 코더 파라미터를 획득하기 위해 디코드된다. 이들 파라미터는 LSP 계수, 2개의 분수 피치 지연, 2개의 고정 코드북 벡터 및 2세트의 적응 및 고정 코드북 이득을 포함한다. LSP 계수는 각각의 서브프레임동안 LP 필터 계수로 보간 및 변환된다. 그리고 나서, 각각의 40-샘플 서브프레임동안 다음 단계가 수행된다.
· 각각의 이득으로 크기조정된 적응 및 고정 코드북 벡터를 가산함으로써 여기 신호가 구성된다.
· LP 합성 필터를 통해 여기 신호를 필터링함으로써 음성이 재구성된다.
· 재구성된 음성 신호는, 장기 및 단기 합성 필터에 기초한 적응 후필터로 이루어지는 후-처리 스테이지를 통과한 후, 고역-통과 필터링 및 크기조정 동작이 수행된다.
제 3 도 : CS-ACELP 디코더에서의 신호 흐름
2.3 지연
이 코더는 음성 및 다른 오디오 신호를 10㎳ 프레임으로 인코드한다. 또한, 5㎳의 룩-어헤드(look-ahead)가 존재하므로, 총 15㎳의 알고리즘 지연이 얻어진다. 이 코더의 실제 구현시에 모든 부가적 지연은 다음에 기인한다.
· 인코딩 및 디코딩 동작에 요구되는 처리 시간
· 통신 링크상의 전송 시간
· 오디오 데이터를 다른 데이터와 결합할 때 발생하는 다중화 지연
2.4 음성 코더 설명
본 권장안의 음성 코딩 알고리즘에 대한 설명은 비트-정확, 고정-소수점 수학적 연산에 의해 이루어진다. 본 권장안의 주요부를 구성하는 제5에 표시된 ANSI C 코드는 이러한 비트-정확, 고정-소수점 기술법을 반영한다. 인코더(제3절) 및 디코더(제4절)의 수학적 설명은, 본 권장안에 따르지 않는 코덱 구현(codec implementation)일 수도 있는 몇가지 다른 형태로 수행될 수 있다. 그러므로 제5절의 C 코드 알고리즘 설명은, 모순이 발견될 때마다 제3절 및 제4절의 수학적 설명에 우선한다. C 코드와 함께 사용될 수 있는 테스트 시퀀스의 비-소모성 세트가 ITU로부터 이용가능하다.
2.5 표시 규정
본 문헌에서는 다음과 같은 표시 규정이 유지된다.
· 코드북은 컬리그래픽(caligraphic) 문자로 표시된다(예를 들면, C)
· 타임 신호는 심볼과 괄호안의 샘플 시간 인덱스로 표시된다(예를 들면, s(n)). 심볼 n은 샘플 순간 인덱스로서 사용된다.
· 윗첨자 타임 인덱스(예를 들면, g(m))는 서브프레임 m에 대응하는 변수를 말한다.
· 윗첨자는 계수 어레이내 특정의 구성요소를 말한다.
·는 파라미터의 양자화 버전을 말한다.
· 범위 표시는 직사각 괄호 안에 범위를 기재하여 행해진다(예를 들면, [0.6,0.9]).
· 로그(log)는 10을 밑으로 하는 대수를 표시한다.
표 2는 본 문헌에서 사용된 가장 관련된 심볼을 열거한다. 대부분의 관련된 신호의 용어 해설은 표 3에 주어진다. 표 4는 관련된 변수 및 그들의 사이즈를 나타낸다. 표 5는 상수 파라미터를 수록한다. 본 권장안에서 사용되는 약어는 표 6에 수록된다.
3. 인코더의 기능 설명
본 절에서는, 제 1 도에서 블록으로 표시된 인코더의 여러 가지 기능이 설명된다.
3.1 전-처리(Pre-processing)
제2절에 설명된 바와 같이, 음성 인코더로의 입력은 16비트 PCM 신호인 것으로 가정한다. 두개의 전-처리 기능, 즉, 1) 신호 크기조정, 2) 고역-통과 필터링이 인코딩 처리 전에 적용된다.
크기조정은 입력 신호를 인자 2로 나누어 고정-소수점 수행시의 오버플로우 발생 가능성을 감소시킨다. 고역-통과 필터는 바람직하지 않은 저주파 성분에 대한 예방조치로서의 역할을 한다. 140㎐의 차단 주파수를 갖는 2차 폴/제로 필터(second order pole/zero filter)가 사용된다. 크기조정 및 고역-통과 필터링양자는 이 필터의 분자 계수를 2로 나눔으로써 결합된다. 그 결과 필터는
로 주어진다. Hh1(z)를 통해 필터링된 입력 신호는 s(n)으로서 언급되며, 모든 연속되는 코더 동작시에 사용된다.
3.2 선형 예측 분석 및 양자화
장기 분석 및 합성 필터는 10차 선형 예측(LP) 필터에 기초한다. 이 LP 합성 필터는
로서 정의되며, 여기서, i=1,....,10, 는 (양자화된) 선형 예측(LP) 계수이다. 단기 예측 또는 선형 예측 분석은 30㎳ 비대칭 윈도우로 자기상관법을 이용하여 음성 프레임당 한번 수행된다. 80 샘플(10㎳)마다, 윈도우된 음성의 자기상관 계수가 계산되어, 레빈슨 알고리즘을 이용하여 LP계수로 변환된다. 그리고 나서, LP 계수는 양자화 및 보간을 목적으로 LSP 영역으로 변환된다. 보간된 양자화 및 비양자화 필터는 다시 LP 필터 계수로 변환(되어 각 서브프레임에서 합성 및 가중 필터를 구성하게)된다.
3.2.1 윈도윙 및 자기상관 계산
LP 분석 윈도우는 두 부분으로 구성된다. 제 1 부분은 해밍 윈도우(a Hamming window)의 반이고 제 2 부분은 코사인 함수 사이클의 ¼이다. 윈도우는
로 주어진다. LP 분석시의 룩어헤드(lookahead)는 5㎳이며, 이것은 미래의 음성 프레임으로부터 40개의 샘플이 필요함을 의미한다. 이것은 인코더 스테이지에서 5㎳의 추가 지연(extra delay)으로 변환된다. LP 분석 윈도우는 과거 음성 프레임으로부터 120 샘플, 현재 음성 프레임으로부터 80 샘플 및 미래 음성 프레임으로부터 40 샘플에 인가된다. LP 분석시의 윈도윙이 제 4 도에 도시된다.
제 4 도 : LP 분석시의 윈도윙. 상이한 섀도윙 패턴은 대응하는 여기 및 LP 분석 프레임을 식별한다.
윈도우된 음성의 자기상관 계수,
는,
에 의해 계산된다. 하위-레벨 입력 신호에 대한 산술 문제를 회피하기 위하여, r(0)의 값은 r(0)=1.0의 하한치(lower boundary)를 갖는다. 60㎐ 대역폭 확대는, 자기상관 계수를 다음
과 곱함으로써 적용되며, 여기서 f0=60㎐는 대역폭 확대이고, fs=8000㎐는 샘플링 주파수이다. 또한, r(0)는 백색 잡음 보정 인자(white noise correction factor) 1.0001로 곱해지며, 이것은 -40dB에서 잡음 하한(noise floor)을 더한 것과 동일하다.
3.2.2 레빈슨-더빈 알고리즘(Levinson-Durbin algorithm)
수정된 자기상관 계수,
는 다음 식,
의 해를 구함으로써 LP 필터 계수 αi,i=1,......,10,을 획득하는데 사용된다. 식(8)은 레빈슨-더빈 알고리즘을 이용함으로써 해가 얻어진다. 이 알고리즘은 다음과 같다.
최종 해(solution)는 αjj (10),j=1,.....,10,으로서 주어진다.
3.2.3 LP의 LSP로의 변환
LP 필터 계수 αi,i=1,......,10,는 양자화 및 보간을 목적으로 선 스펙트럼 쌍(LSP) 표시로 변환된다. 10차 LP 필터의 경우, LSP 계수는 합과 차 다항식
의 근(root)으로서 각각 정의된다. 다항식 F1'(z)은 대칭이고, 다항식 F2' (z)는 비대칭이다. 이들 다항식의 모든 근은 단위 원상에 놓이고, 이들은 서로 교호한다는 것이 증명될 수 있다. F1'(z)은 z=-1(ω=π)의 근을 가지며, F2'(z)는 z=1(ω=0)의 근을 갖는다. 이들 근을 제거하기 위하여, 새로운 다항식
를 정의한다. 각 다항식은 단위 원(e±jωi)상에 5 개의 공액 근을 가지므로, 이 다항식은
로 기재될 수 있고, 여기서 qi=cos(ωi)이고, ωi는 선 스펙트럼 주파수(LSF)이고, 이들은 0<ω1<ω2<....<ω10<π의 순서성을 만족한다. 여기서 qi는 코사인 영역에서 LSP 계수로서 언급된다.
다항식 F1(z) 및 F2(z)은 대칭이므로, 각 다항식의 단지 처음 5개의 계수만이 계산하는데 필요하다. 이들 다항식의 계수는 다음의 순환 관계(recursive relations)에 의해 구해지며,
여기서 f1(0)=f2(0)=1.0이다. LSP 계수는 0과 π사이에 동일한 간격으로 이격된 60개의 지점에서 다항식 F1(z) 및 F2(z)의 값을 구하여 부호(sign)의 변화를 체크함으로써 얻어진다. 부호 변화는 근의 존재를 의미하며, 이 때 부호 변화 간격은 그 근을 보다 더 잘 추적하기 위해 4로 나뉘어진다. 체비쉐프 다항식(Chebyshev polynomials)은 F1(z) 및 F2(z)의 값을 구하는데 사용된다. 이 방법에서는, 근이 코사인 영역 {qi}에서 직접 구해진다. z=e에서 산출된 다항식 F1(z) 또는 F2(z)은 다음과 같이 기재될 수 있으며,
여기서 Tm(z)=cos(mω)는 m차 체비쉐프 다항식이고, f(i), i=1,......,5,는식(15)에서 계산된 F1(z) 또는 F2(z) 중 어느 하나의 계수이다. 다항식 C(x)는 다음의 순환 관계를 이용하여 x=cos(ω)의 특정 값에서 구해지며,
초기 값 b5=1, b6=0이다.
3.2.4 LSP 계수의 양자화
LP 필터 계수는 주파수 영역에서 LSP 표시를 이용하여 양자화된다. 즉,
이며, 여기서 ωi는 정규화된 주파수 영역 [0,π]에서의 선 스펙트럼 주파수(LSF)이다. 스위치된 4차 MA 예측이 현재의 LSF 계수 세트를 예측하는데 사용된다. 계산된 계수 세트와 예측된 계수 세트 사이의 차는 2-단 벡터 양자화기를 사용하여 양자화된다. 제 1 단은 128개의 엔트리(7비트)를 갖는 코드북 L1을 이용하는 10차원 VQ이다. 제 2 단은, 각각 32개의 엔트리(5비트)를 갖는 두 개의 5차원 코드북, L2 및 L3를 이용하는 분리 VQ로서 구현된 10비트 VQ이다.
양자화 처리를 설명하기 위해서, 먼저 디코딩 처리를 설명하는 것이 편리하다. 각 계수는 두 코드북의 합, 즉,
으로부터 얻어지며, L1, L2 및 L3는 코드북 인덱스이다. 양자화된 LP 합성 필터 내에서의 심한 공명을 회피하기 위하여, 계수 li는 인접한 계수가 J의 최소 거리를 갖도록 배열된다. 재배열 루틴(routine)은 다음과 같다.
이 재배열 처리는 두 번 실행된다. J=0.0001의 값으로 한번, 그리고 나서, J=0.000095의 값으로 한번 실행된다.
이러한 재배열 처리 후, 현재 프레임 n에 대한 양자화된 LSF 계수는 이전 양자화기 출력 l(m-k)과 현재 양자화기 출력 l(m)의 가중 합,
으로부터 얻어지며, mi k는 스위치된 MA 예측기의 계수이다. 어느 MA 예측기가 이용될 것인지는 분리된 비트 L0에 의해 정의된다. 개시시에, li (k)의 초기치는 모든 k<0에 대하여 li=iπ/11로 주어진다.
를 계산한 후, 대응하는 필터의 안정성이 체크된다. 이것은 다음과 같이 행해진다.
1. 계수를 증가하는 값 순으로 정렬,
2. 만약<0.005면=0.005,
3.<0.0001이면,+0.0001,i=1,......,9,
4. 만약>3.135이면,=3.135.
LSF 파라미터를 인코딩하기 위한 절차는 다음과 같이 요약될 수 있다. 두 MA 예측기의 각각에 대해, 현재 LSF 벡터에 대한 최고의 근사치가 구해져야 한다. 최고의 근사치는 가중 평균-제곱 오차를 최소화하는 값으로서 정의된다.
가중치 ωi는 비양자화된 LSF 계수의 함수로서 다음과 같이 적응된다.
또한, 가중치 ω5및 ω6에는 각각 1.2가 곱해진다.
현재 프레임에 대해 양자화되어야 할 벡터는
로부터 얻어진다.
제 1 코드북 L1이 검색되어, (비가중) 평균-제곱 오차를 최소화하는 엔트리 L1이 선택된다. 그리고 나서 제 2 코드북 L2가 검색되며, 이것은 제 2 단의 하부(lower part)를 정의한다. 각각의 가능한 후보값들에 대해, 부분 벡터, i=1,......,5,가 식(20)을 사용하여 재구성되며, 0.0001의 최소 거리를 보장하도록 재배열된다. 제 1 단 후보값들에 더하여져 재배열된 후 가중 MSE 의미에서 최상인 대응하는 타겟의 하부에 근사하는 인덱스 L2를 갖는 벡터가 선택된다. 선택된 제 1 단 벡터 L1 및 제 2 단의 하부(L2)를 이용하여, 제 2 단의 상부(higher part)가코드북 L3로부터 검색된다. 다시 한번 재배열 절차가 0.0001의 최소 거리를 보장하도록 행해진다. 전체 가중 MSE를 최소화하는 벡터 L3이 선택된다.
이러한 처리는 코드북 L0에 의해 정의된 두개의 MA 예측기 각각에 대하여 수행되며, 최저 가중 MSE를 생성하는 MA 예측기 L0가 선택된다.
3.2.5 LSP 계수의 보간
양자화된(또는 비양자화된) LP 계수는 제 2 서브프레임에 대해 이용된다. 제 1 서브프레임동안, 양자화된(또는 비양자화된) LP 계수는 인접하는 서브프레임의 대응하는 파라미터의 선형 보간으로부터 획득된다. 보간은 q 영역에서 LSP 계수에 대해 수행된다. 프레임 m의 제 2 서브프레임에서의 LSP 계수가 qi (m)이고, 과거 프레임 (m-1)의 제 2 서브프레임에서의 LSP 계수가 qi (m-1)이라 하자. 각각의 제 2 서브프레임에서 (비양자화된) 보간 LSP 계수는
로 주어진다. 동일한 보간 절차가 양자화된 LSP 계수의 보간에 대하여도 식(24)에서 qi로 대체함으로써 이용된다.
3.2.6 LSP의 LP로의 변환
일단 LSP 계수가 양자화되어 보간되면, 이들은 다시 LP 계수 {ai}로 변환된다. LP 영역으로의 변환은 다음과 같이 수행된다. F1(z) 및 F2(z)의 계수는 양자화 및 보간된 LSP 계수를 알고 식(13) 및 (14)를 확장함으로써 구해진다. qi로부터 f1(i), i+1,...,5를 계산하기 위해 다음의 순환 관계가 사용된다.
여기서 초기치 f1(0)=1, f1(-1)=0이다. 계수 f2(i)는 q2i-1을 q2i로 대체함으로써 마찬가지로 계산된다.
일단 f1(i)와 f2(i)가 구해지면, F1(z) 및 F2(z) 에 1+z-1및 1-z-1이 각각 곱해져서 다음과 같이 F1'(z) 및 F2'(z)가 얻어진다.
마지막으로, LP 계수는 다음과 같이 얻어진다.
이것은 관계식 A(z)=(F1'(z)+F2'(z))/2로부터 직접 구해지며, 이것은 F1'(z) 및 F2'(z)가 각각 대칭 및 비대칭 다항식이기 때문이다.
3.3 지각 가중
지각 가중 필터는 비양자화된 LP 필터 계수에 기초하며,
γ1및 γ2의 값은 필터 W(z)의 주파수 응답을 결정한다. 이들 변수를 적절히 조정함으로써 가중을 더욱 효과적으로 할 수 있다. 이것은 γ1및 γ2를 입력 신호의 스펙트럼 형상의 함수로 함으로써 달성된다. 이러한 적응은 10㎳ 프레임에 한 번 수행되지만, 각각의 제 1 서브프레임에 대한 보간 절차는 이러한 적응 처리를 원활히 하는데 사용된다. 이 스펙트럼 형상은, 레빈슨-더빈 순환 알고리즘으로부터의 생성물(제3.2.2절)처럼 2차 선형 예측 필터로부터 얻어진다. 반사 계수 ki는,
에 의해 로그 영역 비율(Log Area Ratio; LAR) 계수 oi로 변환된다. 제 1 서브프레임에 대한 LAR 계수 이전 프레임으로부터의 LAR 파라미터를 이용하여 선형 보간을 통해 얻어지며,
로 주어진다. 스펙트럼 엔벨로프(spectral envelope)는 평탄하거나(플랫(flat)=1) 경사진(플랫=0) 것이 특징이다. 각각의 서브프레임에 대해, 이러한 특성은 LAR 계수에 임계 함수를 적용함으로써 얻어진다. 급격한 변화를 회피하기 위해, 이전 서브프레임 (m-1)에서의 플랫의 값을 감안함으로써 히스테리시스(hysteresis)가 이용된다. 즉,
이다. 서브프레임동안 보간된 스펙트럼이 평탄한(flat(m)=1) 것으로서 분류된 경우, 가중 인자는 γ1= 0.94 및 γ2= 0.6으로 설정된다. 스펙트럼이 경사진(flat(m)=0) 것으로서 분류된 경우, γ1= 0.98로 설정되고, γ2는 LP 합성 필터내의 공명 강도에 적응되지만, 0.4와 0.7 사이로 제한된다. 강한 공명이 존재하는 경우, γ2의 값은 상한치에 가깝게 설정된다. 이러한 적응은 현재 서브프레임에 대한 두 개의 연속적인 LSP 계수 사이의 최소 거리에 기초한 기준에 의해 달성된다. 이 최소 거리는,
dmin=min[ωi+1i] i=1,....,9 (31)
로 주어진다. γ2를 계산하기 위해 다음의 선형 관계식이 사용된다.
γ2= -6.0*dmin+1.0, 0.4 ≤γ2≤0.7 (32)
서브프레임의 가중 음성 신호는,
로 주어지며, 가중 음성 신호는 음성 프레임의 피치 지연 값을 구하는데 사용된다.
3.4 개방-루프 피치 분석
최선의 적응 코드북 지연값에 대한 탐색의 복잡성을 감소시키기 위하여, 탐색 범위가 개방-루프 피치 분석으로부터 획득된 후보 지연값 Top주위로 제한된다. 이 개방-루프 피치 분석은 프레임(10㎳)당 한 번 수행된다. 개방-루프 피치 산출은 식(33)의 가중 음성 신호 sω(n) 을 이용한다. 제 1 단계에서, 3개의 상관 최대치,
가 다음의 세 범위 내에서 얻어진다. 즉,
i = 1 : 80,....,143,
i = 2 : 40,....,79,
i = 3 : 20,.....,39
보유된 최대치 R(ti), i=1,...,3은 다음 식을 통해 정규화된다.
세 개의 정규화된 상관값 중 하나가 하한 범위내의 값을 만족하는 지연값으로 선택된다. 이것은 더 긴 지연값에 대응하는 정규화된 상관치를 가중시킴으로써 수행된다. 최선의 개방-루프 지연 Top는 다음과 같이 결정된다.
Top= t1
R'(Top) = R'(t1)
if R'(t2) ≥ 0.85R'(Top)
R'(Top) = R'(t2)
Top= t2
end
if R'(t3)≥0.85R'(Top)
R'(Top) = R'(t3)
Top= t3
end
지연 범위를 3개의 부분으로 나누어 보다 낮은 부분을 선택하는 이러한 절차는 피치의 배수들이 선택되는 것을 회피하기 위해 이용된다.
3.5 임펄스 응답의 계산
가중 합성 필터 W(z)/(z)의 임펄스 응답, h(n)가 각각의 서브프레임에 대해 계산된다. 이 임펄스 응답은 적응 및 고정 코드북의 탐색을 위해 요구된다. 임펄스 응답 h(n)은 두개의 필터 1/(z) 및 1/A(z/r2)를 통해 제로로 연장된 필터 A(z/γ2)의 계수의 벡터를 필터링함으로써 계산된다.
3.6 타겟 신호의 계산
적응 코드북 탐색을 위한 타겟 신호 z(n)는 대개 식(33)의 가중 음성 신호 sω(n)로부터 가중 합성 필터W(z)/(z)=A(z/ r1)/[(z)A(z/ r2]의 제로-입력 응답을 감산함으로써 계산된다. 이것은 서브프레임 단위로 수행된다.
본 권장안에서 사용되는, 타겟 신호를 계산하기 위한 동일한 절차는 합성 필터 1/(z)와 가중 필터 A(z/ r1)/A(z/ r2})의 결합을 통해 LP 잔차 신호 r(n) 신호를 필터링하는 것이다. 서브프레임에 대한 여기 신호를 결정한 후, 이들 필터의초기치는 LP 잔차 신호 및 여기 신호간의 차를 필터링함으로써 갱신된다. 이들 필터의 메모리 갱신에 대하여는 제3.10절에서 설명된다.
타겟 벡터를 구하는데 필요한 잔차 신호 r(n)은 또한 적응 코드북 탐색시에 과거 여기 버퍼를 확장하는데 사용된다. 이것은 다음 절에서 설명되는 바와 같이 40의 서브프레임 사이즈보다 작은 지연에 대한 적응 코드북 탐색 절차를 간략화시킨다. LP 잔차 신호는,
으로 주어진다.
3.7 적응-코드북 탐색
적응 코드북 파라미터(또는 피치 파라미터)는 지연값 및 이득이다. 피치 필터를 실행시키기 위한 적응 코드북 접근시에 여기 신호가 서브프레임 길이동안 반복된다. 탐색단에서, 여기 신호는 LP 잔차 신호에 의해 확장되어 폐쇄-루프 탐색을 간략화시킨다. 적응 코드북 탐색은 (5㎳) 서브프레임마다 수행된다. 제 1 서브프레임에서, 분수 피치 지연 T1은 범위 [19⅓,84⅔]에서 ⅓값과 범위 [85,143]에서 정수만의 분해능으로 이용된다. 제 2 서브프레임에 대해서는, ⅓의 분해능을 갖는 지연 T2가 항상 범위 [(int)T1-5⅔, (int)T1+4⅔]에서 사용되며, 여기서 (int)T1은 제 1 서브프레임의 분수 피치 지연 T1에 가장 가까운 정수이다. 이러한 범위는 T1이 지연 범위의 경계를 넘는 경우에 적합하다.
각 서브프레임에 대한 최적의 지연값은 가중 평균-제곱 오차를 최소화하는 폐쇄-루프 분석을 이용하여 결정된다. 제 1 서브프레임에서 지연값은 개방-루프 지연 Top(제3.4절 참조) 부근의 지연값의 작은 범위(6개 샘플)를 검색하여 구해진다. 이 검색 경계 tmin및 tmax는 다음과 같이 정의된다.
tmin= Top- 3
if tmin<20 then tmin=20
tmax=tmin+ 6
if tmax>143 then
tmax=143
tmin=tmax-6
end
제 2 서브프레임에 대해, 폐쇄-루프 피치 분석이 제 1 서브프레임에서 선택된 피치 근방에서 수행되어 최적의 지연값 T1이 구해진다. 탐색 경계는 tmin-⅔와 tmax+⅔사이이고, 여기서 tmin과 tmax는 T1으로부터 다음과 같이 도출된다.
tmin= (int)T1-5
if tmin<20 then tmin=20
tmax=tmin+ 9
if tmax>143 then
tmax=143
tmin=tmax-9
end
폐쇄-루프 피치 검색은 최초의 음성과 합성된 음성간의 평균-제곱 가중 오차를 최소화한다. 이것은,
를 최대화함으로써 달성되며, 여기서 z(n)은 타겟 신호이고 yk(n)은 지연값 k의 과거의 필터링된 여기 신호(h(n)과 컨벌브(convolve)된 과거의 여기 신호)이다. 탐색 범위는 대략 사전선택된 값으로 제한되며, 이것은 제 1 서브프레임에 대한 개방-루프 피치 Top와 제 2 서브프레임에 대한 T1이다.
컨볼루션(convolution) yk(n)은 지연값 tmin에 대하여 계산되며, 탐색 범위내의 다른 정수 지연값은 k=tmin+1,...,tmax에 대하여는 다음의 순환 관계식을 이용하여 갱신된다.
yk(n) = yk-1(n-1) + u(-k)h(n), n=39,....,0 (38)
여기서, u(n), n=-143,...,39,은 여기 버퍼(excitation buffer)이고, yk-1(-1)=0이다. 탐색단에서, 샘플 u(n), n=0,...,39는 미지이며, 이들은 40보다 작은 피치 지연값에 대해 요구된다. 탐색을 간략화하기 위해, LP 잔차 신호가 u(n)에 복사되어 모든 지연값에 대해 유효한 식(38)의 관계식을 형성한다.
T2와, 최적의 정수 폐쇄-루프 지연값이 84보다 작은 경우 T1을 결정하기 위해, 최적의 정수 지연값 근방의 분수가 테스트되어야 한다. 분수의 피치 검색은 식(37)의 정규화된 상관을 보간하여 그 최대값을 탐색함으로써 수행된다. 보간은 ±11에서 절단되고 ±12에서 제로로 패딩된(padded)(b12(12)=0) 싱크(sinc)를 갖는 해밍 윈도우된 싱크 함수에 기초한 FIR 필터 b12를 이용하여 수행된다. 이 필터는 오버샘플(oversample)된 영역의 3600㎐에서 (-3dB)의 차단 주파수(cut-off frequency)를 갖는다. 분수 -⅔,-⅓,0,⅓,⅔에 대한 R(k)의 보간된 값은 다음의 보간 식
을 이용하여 얻어지며, 여기서 t=0,1,2는 분수 0, ⅓ 및 ⅔에 각각 대응한다. 적절한 보간을 얻기 위하여는 범위 tmin-4, tmax+4를 이용하여 식(37)의 상관 항을 계산할 필요가 있음에 주목하자.
3.7.1 적응 코드북 벡터의 발생
비정수 피치 지연값이 산출되었다면, 적응 코드북 벡터 v(n)는 주어진 정수 지연값 k와 분수 t에서 과거의 여기 신호 u(n)을 보간함으로써 다음과 같이 계산된다.
이 보간 필터 b30은 ±29에서 절단되고 ±30에서 제로로 패딩된(b30(30)=0) 싱크를 갖는 해밍 윈도우된 싱크 함수에 기초한다. 이 필터는 오버샘플된 영역의 3600㎐에서 (-3dB)의 차단 주파수를 갖는다.
3.7.2 적응 코드북 지연값에 대한 코드워드 계산
피치 지연값 T1은 제 1 서브프레임에서 8비트로 인코드되며, 제 2 서브프레임에서의 상대 지연값은 5비트로 인코드된다. 분수 지연값 T은 그의 정수 부분 (int)T과 분수 부분 frac/3, frac=-1,0,1로 표시된다. 이제 피치 인덱스 P1은 다음과 같이 인코드된다.
((int)T1-19)*3 + frac - 1, T1=[19,...,85], frac=[-1,0,1]인 경우
P1= (41)
((int)T1-85)+197, T1=[86,...,143],frac=0인 경우
피치 지연 T2값은 T1값에 관하여 인코드된다. 전과 동일한 보간을 이용하여, 정수 부분 (int)T2와, 분수 부분 frac/3, frac=-1,0,1,로 표시된 분수 지연 T2는 다음 식,
P2 = ((int)T2- tmin)*3 + frac + 2 (42)
으로서 인코드되며, 여기서 tmin은 전과 같이 T1로부터 도출된다.
임의의 비트 에러에 대해 코더를 더욱 강력하게 하기 위해, 패리티 비트 P0이 제 1 서브프레임의 지연 인덱스에 대해 계산된다. 패리티 비트는 P1의 6개의 최대 유효 비트에 대해 XOR 연산을 수행함으로써 발생된다. 디코더에서 이 패리티 비트는 다시 계산되며, 재계산된 값이 전송된 값과 동일하지 않을 경우, 에러 은폐 절차가 적용된다.
3.7.3 적응 코드북 이득의 계산
일단 적응 코드북 지연값이 결정되면, 적응 코드북 이득 gp이 다음과 같이 계산된다.
여기서, y(n)은 필터링된 적응 코드북 벡터(v(n)에 대한 W(z)/(z)의 제로-상태 응답)이다. 이 벡터는 v(n)을 h(n)과 다음과 같이 컨볼브함으로써 획득된다.
대부분의 경우에 식(37)내의 항을 최대화함으로써 gp>0에 주목하자. 신호가 음의 상관만을 포함하는 경우에, gp의 값이 0으로 설정된다.
3.8 고정 코드북 : 구조 및 탐색
고정 코드북은 인터리브된 단일-펄스 치환(interleaved single-pulse permutation; ISPP) 설계를 이용하는 대수 코드북 구조에 기초한다. 이 코드북에서는, 각각의 코드북 벡터가 4개의 제로 아닌 펄스를 포함한다. 각각의 펄스는 +1 또는 -1의 진폭을 가질 수 있으며, 표 7에서 주어진 위치를 가정할 수 있다.
코드북 벡터 c(n)은 제로 벡터를 가지고, 발견된 위치에 4개의 단위 펄스를위치시킨 후, 그들의 대응하는 부호로 곱해짐으로써 구성될 수 있다.
여기서 δ(0)는 단위 펄스이다. 이 코드북에서 구현된 독특한 특징은 선택된 코드북 벡터가, 합성된 음성의 질을 향상시키기 위해 고조파 성분을 증강시키는 적응 후-필터 P(z)를 통해 필터링된다는 것이다. 여기서 필터,
P(z) = 1/(1-βz-T) (46)
가 이용되며, T는 현재 서브프레임의 피치 지연값의 정수 성분이고, β는 피치 이득이다. β의 값은 0.2 및 0.8에 의해 제한되는 이전의 서브프레임으로부터의 양자화된 적응 코드북 이득을 이용함으로써 적응된다.
이 필터는 40의 서브프레임 사이즈 미만의 지연값에 대해 고조파 구조를 증가시킨다. 이러한 수정은 다음 식에 따라 임펄스 응답 h(n)을 수정함으로써 고정 코드북 탐색시에 이루어진다.
3.8.1 고정 코드북 탐색 절차
고정 코드북은 식(33)의 가중 입력 음성 sω(n)과, 가중 재구성된 음성 간의 평균-제곱 오차를 최소화함으로써 탐색된다. 폐쇄-루프 피치 검색시에 사용된 타겟 신호가 적응 코드북 제공값을 감산함으로써 갱신된다. 즉,
x2(n) = x(n) - gpy(n), n = 0,...,39 (49)
이며, 여기서 y(n)은 식(44)의 필터링된 적응 코드북 벡터이다.
행렬 H가 대각선의 h(0) 및 하부 대각선의 h(1),...,h(39)를 갖는 하부 삼각 토에플리즈 컨벌루션 행렬(lower triangular Toepliz convolution matrix)로서 정의된다. ck가 인덱스 k에서 대수적 코드벡터이면, 이 때 코드북은 다음 항을 최대화함으로써 탐색된다.
여기서 d(n)은 타겟 신호 x2(n)과 임펄스 응답 h(n)간의 상관이고, Φ=HtH는 h(n)의 상관의 행렬이다. 신호 d(n) 및 행렬 Φ는 코드북 탐색 전에 계산된다. d(n)의 구성요소는 다음으로부터 계산되고,
대칭 행렬 Φ의 구성요소는 다음에 의해 계산된다.
실제로 필요한 구성요소만이 계산되며, 탐색 절차의 속도를 증가시키기 위해 효율적인 저장 절차가 설계되었음에 주목하자.
코드북 C의 대수 구조는, 코드북 벡터 Ck가 단지 네 개의 제로 아닌 펄스만을 포함하기 때문에 신속한 탐색 절차를 가능하게 한다. 주어진 벡터 ck에 대한 식(50)에서의 분자의 상관은 다음과 같이 주어지며,
여기서 mi는 i번째 펄스의 위치이고, ai는 그 진폭이다. 식(50)의 분모의 에너지는,
로 주어진다.
탐색 절차를 간략화하기 위하여, 펄스의 크기는 신호 d(n)을 양자화함으로써 사전결정된다. 이것은 특정 위치에서 펄스의 진폭을 그 위치에서의 d(n)의 부호에 동일하게 설정함으로써 수행된다. 코드북 탐색 전에, 다음 단계가 수행된다. 첫째, 신호 d(n)이 두 개의 신호, 절대값 신호 d'(n)=|d(n)|과 부호 신호 sign[d(n)]으로 분해된다. 둘째, 행렬 Φ가 부호 정보를 포함함으로써 수정된다. 즉,
Φ'(i,j)=sign[d(i)]sign[d(j)]Φ(i,j), i=0,...,39, j=i,....39 (55)
식(54)에서 인자 2를 제거하려면,
Φ'(i,j)=0.5Φ(i,j), i=0,...,39 (56)
이다. 식(53)의 상관은 이제,
C=d'(m0)+d'(m1)+d'(m2)+d'(m3), (57)
로 주어지며, 식(54)의 에너지는,
E = Φ'(m0,m0)
+Φ'(m1,m1)+Φ'(m0,m1)
+Φ'(m2,m2)+Φ'(m0,m2)+Φ'(m1,m2)
+Φ'(m3,m3)+Φ'(m0,m3)+Φ'(m1,m3)+Φ'(m2,m3) (58)
로 주어진다.
탐색 절차를 더욱 간략화하기 위하여 집중형 탐색 절차가 이용된다. 이 접근법에서는, 사전계산된 임계치가 마지막 루프로 들어가기 전에 테스트되며, 루프는 이 임계치가 초과되었을 때만 시작된다. 루프가 시작될 수 있는 최대 횟수는 코드북이 낮은 비율로 탐색되도록 고정된다. 임계치는 상관 C에 기초하여 계산된다. 처음 세 펄스의 기여에 기인한, 최대의 절대 상관 및 평균 상관, max3및 av3은 코드북 탐색 전에 발견된다. 임계치는 다음으로 주어진다.
thr3= av3+ K3(max3- av3) (59)
제 4 루프는 절대 상관(세개의 펄스에 기인한)이 thr3(0≤K3≤1)을 초과한 경우만 들어간다. K3의 값은 코드북 탐색율을 제어하며, 여기서는 0.4로 세트된다. 이 결과, 탐색 시간은 가변으로 되고, 탐색을 더욱 잘 제어하기 위해 (2개의 서브프레임 동안) 마지막 루프로 들어가는 횟수는 특정의 최대치, 여기서는 180(서브프레임당 평균 최악의 경우는 90 회이다)으로 설정된 값을 초과할 수 없다.
3.8.2 고정 코드북의 코드워드 계산
펄스 i0, i1 및 i2의 펄스 위치는 각각 3비트로 인코드되며, i3의 위치는 4비트로 인코드된다. 각 펄스의 크기는 1비트로 인코드된다. 이렇게 하여 4개 펄스에 대해 총 17비트가 된다. 부호가 양인 경우 s=1, 부호가 음인 경우 s=0으로 정의함으로써, 부호에 대한 코드워드가 다음으로부터 얻어진다.
S = s0 + 2*s1 + 4*s2 + 8*s3 (60)
고정 코드북 코드워드는,
C = (i0/5) + 8*(i1/5) + 64*(i2/5) + 512*(2*(i3/5)+jx) (61)
로부터 얻어지며, 여기서 i3=3,8,...,인 경우 jx=0, i3=4,9,...,인 경우 jx=1이다.
3.9 이득의 양자화
적응 코드북 이득(피치 이득) 및 고정(대수) 코드북 이득은 7비트를 이용하여 양자화된 벡터이다. 이 이득 코드북 탐색은,
E = xtx + gp 2yty + gc 2ztz - 2gpxty - 2gcxtz + 2gpgcytz, (62)
으로 주어지는, 최초의 음성과 재구성된 음성간의 평균-제곱 가중 오차를 최소화함으로써 수행되며, 여기서 x는 타겟 벡터(제3.6절 참조)이고, y는 식(44)의필터링된 적응 코드북 벡터이고, z는 h(n)으로 컨벌브된 고정 코드북 벡터이다.
3.9.1 이득 예측
고정 코드북 이득 gc
gc= γgc', (64)
으로서 표현될 수 있으며, 여기서 gc'는 이전의 고정 코드북 에너지에 기초한 예측된 이득이고, γ는 보정 인자(correction factor)이다.
고정 코드북 기여의 평균 에너지는
로 주어진다. 벡터 ci를 고정 코드북 이득 gc으로 크기조정한 후, 크기조정된 고정 코드북의 에너지는 20loggc+E로 주어진다. E(m)가 서브프레임 m에서 (크기조정된) 고정 코드북 기여의 평균-제거 에너지(dB)로서,
로 주어진다고 하자. 여기서=30dB은 고정 코드북 여기 신호의 평균 에너지이다. 이득 gc는 E(m), E 및의 함수로서,
로 나타내어질 수 있다.
예측 이득 gc'은 이전의 고정 코드북 기여의 로그-에너지(log-energy)로부터 현재의 고정 코드북 기여의 로그-에너지를 예측함으로써 구해진다. 4차 MA 예측은 다음과 같이 수행된다. 예측 에너지가,
로 주어지며, 여기서 [b1b2b3b4]=[0.68 0.58 0.34 0.19]는 MA 예측 계수이고,은 서브프레임 m에서 예측 에러 R(m)의 양자화된 버전으로서,
으로 정의된다.
예측 이득 gc'은 식(67)에서 예측된 값으로 E(m)을 대체함으로써 구해진다.
수정 인자 γ는 다음 식에 의해 이득-예측 에러에 관련된다.
3.9.2 이득 양자화에 대한 코드북 탐색
적응 코드북 이득 gp및 인자 γ는 2-단 공액 구조의 코드북을 이용하여 양자화된 벡터이다. 제 1 단은 3비트 2차원 코드북 GA로 구성되며, 제 2 단은 4비트 2차원 코드북 GB으로 구성된다. 각 코드북의 제 1 구성요소는 양자화된 적응 코드북 이득을 나타내며, 제 2 구성요소는 양자화된 고정 코드북 이득 보정 인자를 나타낸다. GA 및 GB에 대한 코드북 인덱스가 m 및 n으로 각각 주어진 경우, 양자화된 적응-코드북 이득은,
으로 주어지며, 양자화된 고정-코드북 이득은
로 주어진다.
이러한 공액 구조는, 사전-선택 처리를 적용함으로써 코드북 탐색을 간략화한다. 최적의 피치 이득 gp및 고정-코드북 이득 gc은 식(62)으로부터 도출되며, 사전-선택을 위해 이용된다. 코드북 GA은 8개의 엔트리를 포함하며, 그중 제 2 구성요소(gc에 대응함)는 전반적으로 제 1 구성요소(gp에 대응함)보다 더 큰 값을 갖는다. 이러한 사전-선택 처리시에 4개 벡터 클러스터(cluster)의 제 2 구성요소는 gxc에 근접하며, gxc는 gc및 gp로부터 도출된다. 마찬가지로, 코드북 GB는 제 1 구성요소(gp에 대응함)를 향하는 바이어스(bias)를 갖는 16개의 엔트리를 포함한다. 8개 벡터 클러스터의 제 1 구성요소는 gp에 근접하게 선택된다. 그러므로, 각 코드북에 대해 최상 50%의 후보 벡터가 선택된다. 이후, 두 인덱스의 결합이 식(62)의 가중 평균-제곱 오차를 최소화하도록 나머지 4*8=32의 가능성에 대한 철저한 탐색이 행해진다.
3.9.3 이득 양자화기에 대한 코드워드 계산
이득 양자화기에 대한 코드워드 GA 및 GB는 최선의 선택에 대응하는 인덱스로부터 얻어진다. 단일 비트 에러의 충격을 감소시키도록 코드워드 인덱스가 매핑된다.
3.10 메모리 갱신
합성 및 가중 필터의 상태 갱신은 다음 서브프레임에서 타겟 신호를 계산하는데 필요하다. 두 이득이 양자화된 후, 현재 서브프레임의 여기 신호 u(n)는,
에 의해 구해지며, 여기서는 각각 양자화된 적응 및 고정 코드북 이득이고, v(n)은 적응 코드북 벡터(보간된 과거의 여기)이고, c(n) 은 고정 코드북 벡터(피치 샤프닝(sharpening)을 포함하는 대수 코드벡터)이다. 필터의 상태는 40 샘플 서브프레임 동안 필터 1/및 A(z/γ1)/A(z/γ2)를 통해 신호 r(n)-u(n)(잔차 신호와 여기 신호의 차)를 필터링하여 이들 필터의 상태를 보존함으로써 갱신될 수 있다. 단 한 번의 필터링만을 요구하는 더욱 간단한 접근법은 다음과같다. 국부 합성 음성(n)이 1/(z)를 통해 여기 신호를 필터링함으로써 계산된다. 입력 신호 r(n)-u(n)에 기인한 필터의 출력은 e(n)=s(n) -(n)과 같다. 따라서 합성 필터1/(z)의 상태는 e(n), n=30,...,39로 주어진다. 필터 A(z/γ1)/A(z/γ2)의 상태 갱신은 이 필터를 통해 에러 신호 e(n)를 필터링하여 지각 가중 에러 eω(n)을 구함으로써 수행될 수 있다. 그러나, 신호 eω(n)는
에 의해서도 등가적으로 구해질 수 있다. 신호 x(n), y(n) 및 z(n)이 이용가능하므로, 가중 필터의 상태가 n=30,...,39에 대해 식(75)의 eω(n)을 계산함으로써 갱신될 수 있다. 이것은 두 필터 동작을 보존한다.
3.11 인코더 및 디코더 초기화
표 8에 수록된 변수를 제외한, 모든 정적인 인코더 변수는 0으로 초기화되어야 한다. 이들 변수는 또한 디코더를 초기화하는데 필요하다.
4. 디코더의 기능 설명
디코더에서의 신호 흐름은 제2절(제 3 도)에 나타내었다. 먼저 파라미터(LP 계수, 적응 코드북 벡터, 고정 코드북 벡터 및 이득)가 디코드된다. 이들 디코드된 파라미터는 재구성된 음성 신호를 계산하는데 사용된다. 이 처리는 제 4.1절에서 설명된다. 이 재구성된 신호는 후필터 및 고역-통과 필터로 구성되는 후-처리 동작(제4.2절)에 의해 증강된다. 제4.3절은, 패리티 에러가 발생되거나, 또는 프레임 소거 플래그가 세트된 때에 사용되는 에러 은폐 절차를 설명한다.
4.1 파라미터 디코딩 절차
전송된 파라미터가 표 9에 수록되어 있다.
표 9 : 전송된 파라미터 인덱스의 설명. 비트스트림 순서는 표의 순서에 의해 반영된다. 각 파라미터에 대해 최대 유효 비트가 먼저 전송된다.
동작 개시시에, 모든 정적인 인코더 변수는 0으로 초기화되어야 한다. 디코딩 처리는 다음과 같은 순서로 행해진다.
4.1.1 LP 필터 파라미터의 디코딩
수신된 LP 양자화기의 인덱스 L0, L1, L2 및 L3이 제3.2.4절에서 설명된 절차를 이용하여 양자화된 LSP 계수를 재구성하는데 사용된다. 제3.2.5절에서 설명된 보간 절차가 2개의 보간 LSP 벡터(2개의 서브프레임에 대응하는)를 획득하는데 이용된다. 각각의 서브프레임에 대해, 피보간 LSP 벡터는, 서브프레임내의 재구성된 음성을 합성하기 위해 사용되는 LP 필터 계수 ai로 변환된다.
각 서브프레임에 대해 다음 단계가 반복된다.
1. 적응 코드북 벡터의 디코딩,
2. 고정 코드북 벡터의 디코딩,
3. 적응 및 고정 코드북 이득의 디코딩,
4. 재구성된 음성의 계산.
4.1.2 적응 코드북 벡터의 디코딩
수신된 적응 코드북 인덱스가 피치 지연값의 정수 및 분수 부분을 구하는데 사용된다. 정수 부분 (int)T1 및 분수 부분 frac T1이 다음과 같이 P1로부터 얻어진다.
if P1<197
(int)T1= (P1+2)/3 + 19
frac = P1 - (int)T1*3 + 58
else
(int)T1= P1 - 112
frac = 0
end
T2의 정수 및 분수 부분은 P2 및 tmin으로부터 얻어지며, tmin은 다음과 같이 P1로부터 도출된다.
tmin= (int)T1- 5
if tmin<20 then tmin= 20
tmax= tmin+ 9
if tmax> 143 then
tmax= 143
tmin= tmax- 9
end
이제 다음으로부터 T2가 얻어진다.
(int)T2= (P2+2)/3 - 1 + tmin
frac = P2 - 2 - ((P2+2)/3-1)*3
적응 코드북 벡터 v(n)는 식(40)을 이용하여 (피치 지연값에서) 과거의 여기 신호 u(n)를 보간함으로써 구해진다.
4.1.3 고정 코드북 벡터의 디코딩
수신된 고정 코드북 인덱스 C가 여기 펄스의 위치를 추출하는데 사용된다. 펄스 부호는 S로부터 획득된다. 일단 펄스 위치 및 부호가 디코드되면, 고정 코드북 벡터 c(n)가 구성될 수 있다. 피치 지연값 T의 정수부가 서브프레임 사이즈 40 미만이면, 식(48)에 따라 c(n)을 수정하는 피치 증강 절차가 적용된다.
4.1.4 적응 및 고정 코드북 이득의 디코딩
수신된 이득 코드북 인덱스가 적응 코드북 이득및 고정 코드북 이득 보정 인자를 제공한다. 이 절차는 제3.9절에 상세히 설명되어 있다. 계산된 고정 코드북 이득 g'c은 식(70)을 이용하여 발견된다. 고정 코드북 벡터는 양자화된 이득 보정 인자와 이 예측된 이득의 적(product)으로부터 얻어진다(식(64)). 적응 코드북 이득은 식(72)을 이용하여 재구성된다.
4.1.5 패리티 비트의 계산
음성이 재구성되기 전에, 패리티 비트가 적응 코드북 지연값으로부터 재계산된다(제3.7.2절). 이 비트가 전송된 패리티 비트 P0과 동일하지 않으면, 전송 중에 비트 에러가 발생된 것이므로 제4.3절의 에러 은폐 절차가 이용된다.
4.1.6 재구성된 음성의 계산
합성 필터 입력단의 여기 신호 u(n)(식(74) 참조)가 LP 합성 필터에 입력된다. 서브프레임에 대한 재구성된 음성은 다음과 같으며,
여기서는 보간된 LP 필터 계수이다.
그리고 나서 재구성된 음성(n)은 다음 절에서 설명되는 후처리기에 의해 처리된다.
4.2 후-처리(post-processing)
후-처리는, 적응 후필터링, 고역-통과 필터링 및 신호 상승-크기조정의 세 기능으로 구성된다. 적응 후필터는, 세 필터들, 즉 피치 후필터 Hp(z), 단기 후필터 Hf(z) 및 틸트 보상 필터 Ht(z)의 캐스캐이드이며, 적응 이득 제어 절차에 의해 후속된다. 후필터는 5㎳의 서브프레임마다 갱신된다. 후필터링 처리는 다음과 같이 구성된다. 첫째, 합성 음성(n)이(z/ rn)을 통해 역필터링 되어 잔차 신호(n)을 생성한다. 이 신호(n)는 피치 지연값 T과 이득 gpit을 계산하는데 사용된다. 신호(n)는 피치 후필터 Hp(z)를 통해 필터링되어 신호 r'(n)을 생성하며, 계속해서 합성 필터 1/[gf (z/ rd)]에 의해 필터링된다. 마지막으로, 합성 필터 1/[gf (z/ rd)]의 출력 신호는 틸트 보상 필터 Ht(z)로 보내어져 후필터링된 합성 음성 신호 sf(n)을 얻는다. 그리고 나서, 적응 이득 제어가 sf(n)과(n) 사이에 인가되어 신호 sf'(n)을 얻는다. 고역-통과 필터링 및 크기조정 동작은 이 후필터링된 신호 sf'(n)에 대해 동작한다.
4.2.1 피치 후필터
피치 또는 고조파 후필터는
로 주어지며, 여기서 T는 피치 지연값이고 g0는 이득 인자로서 다음과 같다.
g0= γpgpit, (78)
여기서 gpit는 피치 이득이다. 피치 지연값 및 이득은 모두 디코더 출력 신호로부터 결정된다. gpit는 1로 제한되며, 피치 예측 이득이 3dB 미만인 경우 제로로 설정된다. 인자 γp는 고조파 후필터링의 양을 제어하며, γp=0.5의 값을 갖는다. 피치 지연값 및 이득은, 단주기 후필터의 분자(제4.2.2 참조)인(z/ rn)을 통해 음성(n)을 필터링함으로써 획득된 잔차 신호(n)으로부터 계산된다.
피치 지연값은 두 개의 패스(pass) 절차를 이용하여 계산된다. 제 1 패스는 범위 [T1-1, T1+1]내에서 최선의 정수 T0을 선택하며, 여기서 T1은 제 1 서브프레임의 (전송된) 피치 지연값의 정수부이다. 최선의 정수 지연값은 다음 상관을 최대화하는 것이다.
제 2 패스는 T0근방에 1/8 분해능(resolution)을 갖는 최선의 분수 지연값T을 선정한다. 이것은 최고의 정규화된 상관을 갖는 지연값을 구함으로써 행해진다.
여기서(n)은 지연값 k의 잔차 신호이다. 일단 최적의 지연값 T가 구해지면, 대응하는 상관값이 임계치에 대하여 비교된다. 만약 R'(T)<0.5이면 이때 고조파 후필터는 gpit=0로 세트함으로써 디스에이블(disabled)된다. 그렇지 않으면, gpit의 값은
로부터 계산된다. 정수아닌 지연 신호(n)이 먼저 길이 33의 보간 필터를 이용하여 계산된다. T가 선택된 후,(n)는 길이 129의 보다 긴 보간 필터로 재계산된다. 이 새로운 신호는, 보다 더 긴 필터가 R'(T)의 값을 증가시킨 경우만 이전의 값을 대체한다.
4.2.2 단기 후필터(short-term postfilter)
단기 후필터는,
로 주어지며, 여기서(z)은 수신된 양자화된 LP 역 필터(LP 분석은 디코더에서 수행되지 않음)이고, 인자 γn및 γd는 단기 후필터링의 양을 제어하며, γn=0.55, 및 γd=0.7로 설정된다. 이득 gf은 필터(z/ rn)/(z/ rd)의 잘려진 임펄스 응답 hf(n)에 대해 계산되며,
로 주어진다.
4.2.3 틸트 보상
마지막으로, 필터 Ht(z)는 단기 후필터 Hf(z)에서의 틸트를 보상하며,
로 주어지며, 여기서 γtk1은 틸트 인자로서, k1은 hf(n)에 대해 계산된 제 1 반사 계수이고 다음과 같다.
이득 gt=1-|γtk1|는 Hf(z)에서 gf의 감소 효과를 보상한다. 또한 적 필터(product filter) Hf(z)Ht(z)는 전반적으로 이득을 갖지 않는 것으로 나타내졌다.
k1의 부호에 따라 γt에 대해 두 값이 사용된다. k1이 음이면, γt=0.9이고, k1이 양이면, γt=0.2이다.
4.2.4 적응 이득 제어
적응 이득 제어가 재구성된 음성 신호(n)과 후필터링된 신호 sf(n)간의 이득 차를 보상하기 위해 이용된다. 현재의 서브프레임에 대한 이득 크기조정 인자 G는
로 계산된다. 이득-크기조정되고 후필터링된 신호 sf'(n)은
sf'(n) = g(n)sf(n), n=0,...,39 (88)
로 주어지며, 여기서 g(n)은 샘플 단위로 갱신되고,
g(n) = 0.85g(n-1) + 0.15G, n=0,...,39 (89)
로 주어진다. g(-1)의 초기값은 1.0이다.
4.2.5 고역-통과 필터링 및 상승-크기조정
100㎐의 차단 주파수를 갖는 고역-통과 필터가 재구성 및 후필터링된 음성 sf'(n)에 적용된다. 이 필터는 다음과 같다.
상승-크기조정은 입력 신호 레벨을 복구하기 위해 고역-통과 필터링된 출력에 인자 2를 곱하는 것으로 이루어진다.
4.3 프레임 소거 및 패리티 에러의 은폐
비트스트림의 프레임 소거 또는 임의의 에러로 인한 재구성된 음성의 저하를 감소시키기 위해 에러 은폐 절차가 디코더에 구비된다. 이 에러 은폐 절차는, i)(10㎳ 프레임에 대응하는) 코더 파라미터의 프레임이 소거된 것으로서 식별된 경우, 또는 ii)피치 지연 인덱스 P1에 대한 패리티 비트 상에 체크섬 에러(checksum error)가 발생한 경우에 동작한다. 후자의 경우는 비트스트림이 임의 비트 에러에 의해 손상된 경우에 발생할 수 있다.
P1에 패리티 에러가 발생하면, 지연 값 T1이 이전 프레임의 지연값으로 세트된다. T2의 값이 이 새로운 값 T1을 사용하여 제 4.1.2에 요약된 절차에 의해 도출된다. 연속적인 패리티 에러가 발생한 경우, 1 증가된 T1의 이전 값이 사용된다.
프레임 소거를 검출하기 위한 메카니즘은 본 권장안에는 정의되어 있지 않으며, 응용에 의존할 것이다. 은폐 전략은 이전에 수신된 정보에 기초하여 현재 프레임을 재구성해야 한다. 사용된 방법은, 점차적으로 그의 에너지를 감소시키면서 손실된 여기 신호를 유사한 특성의 신호로 대체하는 것이다. 이것은 장기 후필터 분석(long-term postfilter analysis)의 일부로서 계산된 장기 예측 이득(long-term prediction gain)에 기초한 음성 분류기(voicing classifier)를 사용함으로써 행해진다. 피치 후필터(제4.2.1 참조)는 예측 이득이 3dB을 초과하는 동안 장기 예측기를 발견한다. 이것은 정규화된 상관 R'(k)(식(81)에 대해 0.5의 임계치를 설정함으로써 행해진다. 에러 은폐 처리동안 이들 프레임은 주기적인 것으로서 분류될 것이다. 그것 이외의 경우, 프레임은 비주기적이라고 선언된다. 소거된 프레임은 선행하는 (재구성된) 음성 프레임으로부터 그의 분류를 계승한다. 음성 분류는 이러한 재구성된 음성 신호에 기초하여 연속적으로 갱신됨에 주목하자. 그러므로, 다수의 연속적인 소거 프레임 동안 이러한 분류는 변화할 수 있다. 전형적으로, 이것은 최초의 분류가 주기적이었던 때만 발생한다.
소거 프레임에 대해 다음과 같은 특정의 단계가 행해진다. 즉,
1. LP 필터 파라미터의 반복,
2. 적응 및 고정 코드북 이득의 감쇠,
3. 이득 예측기의 메모리의 감쇠,
4. 대체 여기 신호의 발생.
4.3.1 LP 필터 파라미터의 반복
마지막 양호 프레임의 LP 파라미터가 사용된다. LSF 예측기의 상태는 수신된 코드워드 li의 값을 포함한다. 현재의 코드워드는 이용불가능하므로, 반복된 LSF 파라미터및 예측기 메모리로부터 다음과 같이 현재의 코드워드가 계산된다.
4.3.2 적응 및 고정 코드북 이득의 감쇠
이전의 고정 코드북 이득의 감쇠된 버전이 사용된다.
적응 코드북 이득에 대하여도 마찬가지로 수행된다. 또한 클리핑 동작(clipping operation)이 그 값을 0.9 미만으로 유지하기 위해 사용된다.
4.3.3 이득 예측기의 메모리의 감쇠
이득 예측기는 이전의 선택된 코드북 에너지를 이용한다. 코더의 유연한 연속을 허용하도록 일단 양호한 프레임이 수신되면, 이득 예측기의 메모리가 코드북 에너지의 감쇠된 버전으로 갱신된다. 현재의 서브프레임에 대한의 값은4dB로 감쇠된 평균 및 양자화된 이득 예측 에러로 설정된다.
4.3.4 대체 여기 신호의 발생
사용된 여기 신호는 주기성 분류에 의존한다. 마지막으로 올바르게 수신된 프레임이 주기적인 것으로서 분류되었다면, 현재 프레임도 또한 주기적인 것으로 간주된다. 이 경우에 오직 적응 코드북만이 사용되며, 고정 코드북 제공값은 제로로 세트된다. 피치 지연은 마지막으로 올바르게 수신된 피치 지연값에 기초하며, 각각의 연속적인 프레임에 대해 반복된다. 과잉 주기성을 회피하기 위하여, 지연값이 각각의 다음 서브프레임에 대해 1씩 증가되지만, 143에 의해 제한된다. 적응 코드북 이득은 식(93)에 따라 감쇠된 값에 기초한다.
마지막으로 올바르게 수신된 프레임이 비주기적인 것으로서 분류되었다면, 현재의 프레임도 또한 비주기적인 것으로 간주되며, 적응 코드북 제공값이 제로로 세트된다. 고정 코드북 제공값은 코드북 이득 및 부호 인덱스를 임의로 선택함으로써 발생된다. 임의 발생기는 다음 함수에 기초하며, 초기값은 21845이다.
초기값 = 초기값 * 31821 + 13849 (95)
임의 코드북 인덱스는 그 다음 임의 수의 13개의 최소 유효 비트로부터 도출된다. 임의 부호는 그 다음 임의 수의 4개의 최소 유효 비트로부터 도출된다. 고정 코드북 이득은 식(92)에 따라 감쇠된다.
5. CS-ACELP 코더의 비트-정확도 설명
16비트 고정-소수점으로 CS-ACELP 코더를 시뮬레이팅하는 ANSI 코드가 ITU-T로부터 이용가능하다. 다음 절은 이러한 시뮬레이션 코드의 이용 및 소프트웨어가 어떻게 구성되는지를 요약한다.
5.1 시뮬레이션 소프트웨어의 사용
C 코드는 두개의 주 프로그램, 인코더를 시뮬레이트하는 코더.씨(coder.c)와 디코더를 시뮬레이트하는 디코더.씨(decoder.c)로 구성된다. 인코더는 다음과 같은 명령어에 의해 동작한다.
coder inputfile bstreamfile
입력화일(inputfile) 및 출력화일(outputfile)은 16비트 PCM 신호를 포함하는 샘플된 데이터 화일이다. 비트스트림화일은 81 개의 16비트 워드를 포함하며, 제 1 워드는 프레임 소거를 표시하는데 사용될 수 있고, 나머지 80 워드는 각각 1비트를 포함한다. 디코더는 이 비트스트림화일을 취하여 16비트 PCM 신호를 포함하는 출력화일을 생성한다.
decoder bstreamfile outputfile
5.2 시뮬레이션 소프트웨어의 구성
고정-소수점 ANSI C 시뮬레이션에서, 단지 두 형태의 고정-소수점 데이터가 표 10에 도시된 바와 같이 사용된다. 시뮬레이션 코드 실행을 용이하게 하기 위하여, 루프 인덱스, 부울값(Boolean values) 및 플래그(flags)는 타입 Flag를 이용하며, 이것은 타겟 플랫포옴에 따라 16 비트 또는 32비트가 된다.
모든 계산은 사전정의된 기본 연산자 세트(predefined set of basic operators)를 이용하여 수행된다. 이들 연산자의 설명은 표 11에 제공된다. 시뮬레이션 코더에 의해 사용된 표는 표12에 요약된다. 이들 주 프로그램은 표 13, 14 및 15에 요약된 루틴 라이브러리(library of routines)를 이용한다.
제 1 도는 전형적인 CELP 음성 압축 시스템에서 사용되는 FCB와 ACB 시스템의 종래의 조합과 이 조합에 의해 발생된 여기 신호의 하나의 서브프레임의 형식화된 표시를 도시한 도면.
제 2 도는 FCB와 PPF를 포함하는 주기성 모델과, PPF 출력 신호의 한 서브프레임의 형식화된 표시를 도시한 도면.
제 3 도는 본 발명에 따른 음성 인코더의 예시적인 실시예를 도시한 도면.
제 4 도는 본 발명에 따른 디코더의 예시적인 실시예를 도시한 도면.
도면의 주요 부분에 대한 부호의 설명
118 : 고정 코드북 부분 128 : 피치 예측 필터 시스템
112 : 적응 코드북 부분 125,135 : 지연 프로세서
126 : 스위치 100 : 전처리기
105 : 선형 예측 분석기 155 : 선형 예측 합성 필터
110 : 적응 코드북 시스템 115,145 : 증폭기
165 : 지각 가중 필터 170 : 피치 주기 프로세서
160 : 합산기

Claims (18)

  1. 적응 코드북(110, 245) 및적응 코드북 이득을 인가하기 위한 수단(115, 250)을 구비하는 제 1 부분(112, 240)과, 피치 증폭기(220)에 결합된 지연 메모리(135, 215)를 포함하는 피치 필터(128, 210)에 결합된 고정 코드북(120, 205)을 구비하는 제 2 부분(118, 200)을 포함하는 음성 처리 시스템에서 이용하기 위한 방법에 있어서,
    음성 신호의 주기성 측정치에 기초하여 상기 피치 필터의 이득을 결정하는 단계와;
    상기 결정된 피치 필터 이득에 기초하여, 상기 피치 필터에서 신호의 샘플들을 증폭하는 단계를 포함하는, 음성 처리 시스템에서 이용하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 적응 코드북 이득은 한 서브프레임동안 지연되는, 음성 처리 시스템에서 이용하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 적응 코드북 이득을 반영하는 신호는시간적으로지연되는, 음성 처리시스템에서 이용하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 적응 코드북 이득을 반영하는 신호는 하한치 이상 및 상한치 이하의 값을 포함하는, 음성 처리 시스템에서 이용하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 음성 신호는 인코드된 음성 신호로 이루어지는, 음성 처리 시스템에서 이용하기 위한 방법.
  6. 제 1 항에 있어서,
    상기 음성 신호는 합성된 음성 신호로 이루어지는, 음성 처리 시스템에서 이용하기 위한 방법.
  7. 적응 코드북(110, 245)과 적응 코드북 이득을 인가하기 위한 수단을 구비하는 제 1 부분(112, 240)과;
    고정 코드북(120, 205) 및 피치 필터(128, 210)를 구비하되, 상기 피치 필터는 피치 필터 이득을 인가하기 위한 수단(125, 225)을 구비한, 제 2 부분(118, 200)과;
    음성 신호의 주기성 측정치에 기초하여, 상기 피치 필터 이득을 결정하기 위한 수단을 포함하는, 음성 처리 시스템.
  8. 제 7 항에 있어서,
    상기 적응 코드북 이득을 반영하는 신호는 한 서브프레임동안 지연되는, 음성 처리 시스템.
  9. 제 7 항에 있어서,
    상기 피치 필터 이득은 지연된 적응 코드북 이득과 동일한, 음성 처리 시스템.
  10. 제 7 항에 있어서,
    상기 피치 필터 이득은 0.2 이상, 0.8 이하인 값의 범위로 제한되며, 상기 범위 내에서, 지연된 적응 코드북 이득을 포함하는, 음성 처리 시스템.
  11. 제 7 항에 있어서,
    상기 적응 코드북 이득을 반영하는 신호는 0.2 이상, 0.8 이하인 값의 범위로 제한되며, 상기 범위 내에서, 지연된 적응 코드북 이득을 포함하는, 음성 처리 시스템.
  12. 제 7 항에 있어서,
    상기 제 1 부분(112, 240) 및 제 2 부분(118, 200)은 제 1 및 제 2 출력 신호를 발생하며,
    상기 시스템은,
    상기 제 1 및 제 2 출력 신호를 가산하는 수단(150, 255)과;
    상기 가산 수단에 결합되며, 상기 가산된 제 1 및 제 2 신호에 응답하여 음성 신호를 발생하기 위한 선형 예측 필터(155, 260)를 더 포함하는, 음성 처리 시스템.
  13. 제 12 항에 있어서,
    상기 선형 예측 필터에 의해 발생된 상기 음성 신호를 필터링하기 위한 후치필터(post filter)(265)를 더 포함하는, 음성 처리 시스템.
  14. 제 7 항에 있어서,
    상기 음성 처리 시스템은 음성 인코더에서 이용되는, 음성 처리 시스템.
  15. 제 7 항에 있어서,
    상기 음성 처리 시스템은 음성 디코더에서 이용되는, 음성 처리 시스템.
  16. 제 7 항에 있어서,
    상기 결정 수단은 상기 제 1 부분에서 사용되는 상기 적응 코드북 이득을 반영하는 신호를 지연시키기 위한 메모리(135, 215)를 포함하는, 음성 처리 시스템.
  17. 제 1 항에 있어서,
    상기 피치 필터 이득의 결정 단계는, 상기 적응 코드북 이득이 0.2 미만 또는 0.8 초과인 경우를 제외하고, 지연된 적응 코드북 이득과 동일한 피치 필터 이득을 결정하는 단계를 포함하며, 여기서, 상기 피치 필터 이득은 0.2 또는 0.8과동일하게 각각 설정되는, 음성 처리 시스템에서 이용하기 위한 방법.
  18. 제 7 항에 있어서,
    상기 피치 필터 이득을 결정하는 수단을 더 포함하며, 상기 결정 수단은, 상기 피치 필터 이득을 적응 코드북 이득과 동일하게 설정하거나, 상기 적응 코드북 이득이 각각 0.2 미만 또는 0.8 초과인 경우에, 상기 신호 이득을 0.2 또는 0.8과 동일하게 설정하는 수단을 포함하는, 음성 처리 시스템.
KR1019960020164A 1995-06-07 1996-06-05 음성처리시스템및그의이용방법 KR100433608B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/482,715 US5664055A (en) 1995-06-07 1995-06-07 CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity
US08/482,715 1995-06-07

Publications (2)

Publication Number Publication Date
KR970004369A KR970004369A (ko) 1997-01-29
KR100433608B1 true KR100433608B1 (ko) 2004-08-30

Family

ID=23917151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960020164A KR100433608B1 (ko) 1995-06-07 1996-06-05 음성처리시스템및그의이용방법

Country Status (8)

Country Link
US (1) US5664055A (ko)
EP (1) EP0749110B1 (ko)
JP (1) JP3272953B2 (ko)
KR (1) KR100433608B1 (ko)
AU (1) AU700205B2 (ko)
CA (1) CA2177414C (ko)
DE (1) DE69613910T2 (ko)
ES (1) ES2163590T3 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2726158C2 (ru) * 2012-03-29 2020-07-09 Телефонактиеболагет Лм Эрикссон (Пабл) Векторный квантователь

Families Citing this family (255)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2729246A1 (fr) * 1995-01-06 1996-07-12 Matra Communication Procede de codage de parole a analyse par synthese
GB9512284D0 (en) * 1995-06-16 1995-08-16 Nokia Mobile Phones Ltd Speech Synthesiser
JP3653826B2 (ja) * 1995-10-26 2005-06-02 ソニー株式会社 音声復号化方法及び装置
EP0773533B1 (en) * 1995-11-09 2000-04-26 Nokia Mobile Phones Ltd. Method of synthesizing a block of a speech signal in a CELP-type coder
US5819213A (en) * 1996-01-31 1998-10-06 Kabushiki Kaisha Toshiba Speech encoding and decoding with pitch filter range unrestricted by codebook range and preselecting, then increasing, search candidates from linear overlap codebooks
US6765904B1 (en) 1999-08-10 2004-07-20 Texas Instruments Incorporated Packet networks
CN1163870C (zh) * 1996-08-02 2004-08-25 松下电器产业株式会社 声音编码装置和方法,声音译码装置,以及声音译码方法
US6192336B1 (en) 1996-09-30 2001-02-20 Apple Computer, Inc. Method and system for searching for an optimal codevector
US5794182A (en) * 1996-09-30 1998-08-11 Apple Computer, Inc. Linear predictive speech encoding systems with efficient combination pitch coefficients computation
TW326070B (en) * 1996-12-19 1998-02-01 Holtek Microelectronics Inc The estimation method of the impulse gain for coding vocoder
US6009395A (en) * 1997-01-02 1999-12-28 Texas Instruments Incorporated Synthesizer and method using scaled excitation signal
WO1998035341A2 (en) * 1997-02-10 1998-08-13 Koninklijke Philips Electronics N.V. Transmission system for transmitting speech signals
JP2000512036A (ja) * 1997-02-10 2000-09-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声信号を伝送する通信回路網
JP3067676B2 (ja) * 1997-02-13 2000-07-17 日本電気株式会社 Lspの予測符号化装置及び方法
US5970444A (en) * 1997-03-13 1999-10-19 Nippon Telegraph And Telephone Corporation Speech coding method
KR100198476B1 (ko) * 1997-04-23 1999-06-15 윤종용 노이즈에 견고한 스펙트럼 포락선 양자화기 및 양자화 방법
US6073092A (en) * 1997-06-26 2000-06-06 Telogy Networks, Inc. Method for speech coding based on a code excited linear prediction (CELP) model
US6266419B1 (en) * 1997-07-03 2001-07-24 At&T Corp. Custom character-coding compression for encoding and watermarking media content
US6240383B1 (en) * 1997-07-25 2001-05-29 Nec Corporation Celp speech coding and decoding system for creating comfort noise dependent on the spectral envelope of the speech signal
FI113571B (fi) * 1998-03-09 2004-05-14 Nokia Corp Puheenkoodaus
JP3554566B2 (ja) * 1998-05-27 2004-08-18 株式会社エヌ・ティ・ティ・ドコモ 音声復号器および音声復号方法
US6104992A (en) * 1998-08-24 2000-08-15 Conexant Systems, Inc. Adaptive gain reduction to produce fixed codebook target signal
US6385573B1 (en) * 1998-08-24 2002-05-07 Conexant Systems, Inc. Adaptive tilt compensation for synthesized speech residual
US7072832B1 (en) * 1998-08-24 2006-07-04 Mindspeed Technologies, Inc. System for speech encoding having an adaptive encoding arrangement
US6188981B1 (en) * 1998-09-18 2001-02-13 Conexant Systems, Inc. Method and apparatus for detecting voice activity in a speech signal
JP4550176B2 (ja) * 1998-10-08 2010-09-22 株式会社東芝 音声符号化方法
JP3343082B2 (ja) * 1998-10-27 2002-11-11 松下電器産業株式会社 Celp型音声符号化装置
CA2252170A1 (en) * 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
JP3180786B2 (ja) 1998-11-27 2001-06-25 日本電気株式会社 音声符号化方法及び音声符号化装置
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6246978B1 (en) * 1999-05-18 2001-06-12 Mci Worldcom, Inc. Method and system for measurement of speech distortion from samples of telephonic voice signals
US6393394B1 (en) * 1999-07-19 2002-05-21 Qualcomm Incorporated Method and apparatus for interleaving line spectral information quantization methods in a speech coder
US6744757B1 (en) 1999-08-10 2004-06-01 Texas Instruments Incorporated Private branch exchange systems for packet communications
US6801532B1 (en) * 1999-08-10 2004-10-05 Texas Instruments Incorporated Packet reconstruction processes for packet communications
US6678267B1 (en) 1999-08-10 2004-01-13 Texas Instruments Incorporated Wireless telephone with excitation reconstruction of lost packet
US6801499B1 (en) * 1999-08-10 2004-10-05 Texas Instruments Incorporated Diversity schemes for packet communications
US6757256B1 (en) 1999-08-10 2004-06-29 Texas Instruments Incorporated Process of sending packets of real-time information
US6804244B1 (en) 1999-08-10 2004-10-12 Texas Instruments Incorporated Integrated circuits for packet communications
KR100391527B1 (ko) * 1999-08-23 2003-07-12 마츠시타 덴끼 산교 가부시키가이샤 음성 부호화 장치, 기록 매체, 음성 복호화 장치, 신호 처리용 프로세서, 음성 부호화 복호화 시스템, 통신용 기지국, 통신용 단말 및 무선 통신 시스템
US6604070B1 (en) * 1999-09-22 2003-08-05 Conexant Systems, Inc. System of encoding and decoding speech signals
US6959274B1 (en) 1999-09-22 2005-10-25 Mindspeed Technologies, Inc. Fixed rate speech compression system and method
US6782360B1 (en) * 1999-09-22 2004-08-24 Mindspeed Technologies, Inc. Gain quantization for a CELP speech coder
US6574593B1 (en) * 1999-09-22 2003-06-03 Conexant Systems, Inc. Codebook tables for encoding and decoding
US6738733B1 (en) * 1999-09-30 2004-05-18 Stmicroelectronics Asia Pacific Pte Ltd. G.723.1 audio encoder
JP3478209B2 (ja) * 1999-11-01 2003-12-15 日本電気株式会社 音声信号復号方法及び装置と音声信号符号化復号方法及び装置と記録媒体
CA2290037A1 (en) * 1999-11-18 2001-05-18 Voiceage Corporation Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals
US7574351B2 (en) * 1999-12-14 2009-08-11 Texas Instruments Incorporated Arranging CELP information of one frame in a second packet
US20020016161A1 (en) * 2000-02-10 2002-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for compression of speech encoded parameters
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7010482B2 (en) * 2000-03-17 2006-03-07 The Regents Of The University Of California REW parametric vector quantization and dual-predictive SEW vector quantization for waveform interpolative coding
EP1303854A1 (en) * 2000-07-05 2003-04-23 Koninklijke Philips Electronics N.V. Method of calculating line spectral frequencies
HUP0003009A2 (en) * 2000-07-31 2002-08-28 Herterkom Gmbh Method for the compression of speech without any deterioration of quality
US6678651B2 (en) * 2000-09-15 2004-01-13 Mindspeed Technologies, Inc. Short-term enhancement in CELP speech coding
US6850884B2 (en) 2000-09-15 2005-02-01 Mindspeed Technologies, Inc. Selection of coding parameters based on spectral content of a speech signal
US7010480B2 (en) * 2000-09-15 2006-03-07 Mindspeed Technologies, Inc. Controlling a weighting filter based on the spectral content of a speech signal
US6842733B1 (en) 2000-09-15 2005-01-11 Mindspeed Technologies, Inc. Signal processing system for filtering spectral content of a signal for speech coding
US6937979B2 (en) * 2000-09-15 2005-08-30 Mindspeed Technologies, Inc. Coding based on spectral content of a speech signal
US7363219B2 (en) * 2000-09-22 2008-04-22 Texas Instruments Incorporated Hybrid speech coding and system
KR100566163B1 (ko) * 2000-11-30 2006-03-29 마츠시타 덴끼 산교 가부시키가이샤 음성 복호화 장치, 음성 복호화 방법 및 프로그램을기록한 기록 매체
AU2002218501A1 (en) * 2000-11-30 2002-06-11 Matsushita Electric Industrial Co., Ltd. Vector quantizing device for lpc parameters
WO2002049218A1 (en) * 2000-12-14 2002-06-20 Sony Corporation Encoder and decoder
US6996523B1 (en) 2001-02-13 2006-02-07 Hughes Electronics Corporation Prototype waveform magnitude quantization for a frequency domain interpolative speech codec system
US7013269B1 (en) 2001-02-13 2006-03-14 Hughes Electronics Corporation Voicing measure for a speech CODEC system
US6931373B1 (en) 2001-02-13 2005-08-16 Hughes Electronics Corporation Prototype waveform phase modeling for a frequency domain interpolative speech codec system
US6766289B2 (en) * 2001-06-04 2004-07-20 Qualcomm Incorporated Fast code-vector searching
US7512535B2 (en) * 2001-10-03 2009-03-31 Broadcom Corporation Adaptive postfiltering methods and systems for decoding speech
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
JP4108317B2 (ja) * 2001-11-13 2008-06-25 日本電気株式会社 符号変換方法及び装置とプログラム並びに記憶媒体
US7236928B2 (en) * 2001-12-19 2007-06-26 Ntt Docomo, Inc. Joint optimization of speech excitation and filter parameters
US20040002856A1 (en) * 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
US20030216921A1 (en) * 2002-05-16 2003-11-20 Jianghua Bao Method and system for limited domain text to speech (TTS) processing
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
EP1383109A1 (fr) * 2002-07-17 2004-01-21 STMicroelectronics N.V. Procédé et dispositif d'encodage de la parole à bande élargie
EP1383110A1 (fr) * 2002-07-17 2004-01-21 STMicroelectronics N.V. Procédé et dispositif d'encodage de la parole à bande élargie, permettant en particulier une amélioration de la qualité des trames de parole voisée
US20040176950A1 (en) * 2003-03-04 2004-09-09 Docomo Communications Laboratories Usa, Inc. Methods and apparatuses for variable dimension vector quantization
KR100487719B1 (ko) * 2003-03-05 2005-05-04 한국전자통신연구원 광대역 음성 부호화를 위한 엘에스에프 계수 벡터 양자화기
KR100480341B1 (ko) * 2003-03-13 2005-03-31 한국전자통신연구원 광대역 저전송률 음성 신호의 부호화기
US7024358B2 (en) * 2003-03-15 2006-04-04 Mindspeed Technologies, Inc. Recovering an erased voice frame with time warping
EP1618557B1 (en) 2003-05-01 2007-07-25 Nokia Corporation Method and device for gain quantization in variable bit rate wideband speech coding
EP1496500B1 (en) * 2003-07-09 2007-02-28 Samsung Electronics Co., Ltd. Bitrate scalable speech coding and decoding apparatus and method
KR100668300B1 (ko) * 2003-07-09 2007-01-12 삼성전자주식회사 비트율 확장 음성 부호화 및 복호화 장치와 그 방법
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
US7117147B2 (en) * 2004-07-28 2006-10-03 Motorola, Inc. Method and system for improving voice quality of a vocoder
US8265929B2 (en) * 2004-12-08 2012-09-11 Electronics And Telecommunications Research Institute Embedded code-excited linear prediction speech coding and decoding apparatus and method
DE102005000828A1 (de) 2005-01-05 2006-07-13 Siemens Ag Verfahren zum Codieren eines analogen Signals
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US7707034B2 (en) * 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
US7831421B2 (en) * 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder
US7177804B2 (en) * 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
EP2051244A4 (en) * 2006-08-08 2010-04-14 Panasonic Corp AUDIOCODING DEVICE AND AUDIOCODING METHOD
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
SG166095A1 (en) * 2006-11-10 2010-11-29 Panasonic Corp Parameter decoding device, parameter encoding device, and parameter decoding method
EP2153439B1 (en) * 2007-02-21 2018-01-17 Telefonaktiebolaget LM Ericsson (publ) Double talk detector
JP5097219B2 (ja) * 2007-03-02 2012-12-12 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 非因果性ポストフィルタ
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
CN101604525B (zh) * 2008-12-31 2011-04-06 华为技术有限公司 基音增益获取方法、装置及编码器、解码器
US8504378B2 (en) * 2009-01-22 2013-08-06 Panasonic Corporation Stereo acoustic signal encoding apparatus, stereo acoustic signal decoding apparatus, and methods for the same
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8542766B2 (en) * 2010-05-04 2013-09-24 Samsung Electronics Co., Ltd. Time alignment algorithm for transmitters with EER/ET amplifiers and others
IL311020A (en) 2010-07-02 2024-04-01 Dolby Int Ab After–selective bass filter
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US8738385B2 (en) * 2010-10-20 2014-05-27 Broadcom Corporation Pitch-based pre-filtering and post-filtering for compression of audio signals
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
EP2830062B1 (en) 2012-03-21 2019-11-20 Samsung Electronics Co., Ltd. Method and apparatus for high-frequency encoding/decoding for bandwidth extension
US9070356B2 (en) * 2012-04-04 2015-06-30 Google Technology Holdings LLC Method and apparatus for generating a candidate code-vector to code an informational signal
US9263053B2 (en) * 2012-04-04 2016-02-16 Google Technology Holdings LLC Method and apparatus for generating a candidate code-vector to code an informational signal
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
ES2626977T3 (es) * 2013-01-29 2017-07-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato, procedimiento y medio informático para sintetizar una señal de audio
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
KR102057795B1 (ko) 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
CN105027197B (zh) 2013-03-15 2018-12-14 苹果公司 训练至少部分语音命令系统
CN110096712B (zh) 2013-03-15 2023-06-20 苹果公司 通过智能数字助理的用户培训
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
RU2764260C2 (ru) * 2013-12-27 2022-01-14 Сони Корпорейшн Устройство и способ декодирования
CN105023577B (zh) * 2014-04-17 2019-07-05 腾讯科技(深圳)有限公司 混音处理方法、装置和系统
CN107452391B (zh) 2014-04-29 2020-08-25 华为技术有限公司 音频编码方法及相关装置
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10251002B2 (en) * 2016-03-21 2019-04-02 Starkey Laboratories, Inc. Noise characterization and attenuation using linear predictive coding
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
AU2020205729A1 (en) 2019-01-13 2021-08-05 Huawei Technologies Co., Ltd. High resolution audio coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05289700A (ja) * 1992-04-09 1993-11-05 Olympus Optical Co Ltd 音声符号化装置
DE69328450T2 (de) * 1992-06-29 2001-01-18 Nippon Telegraph & Telephone Verfahren und Vorrichtung zur Sprachkodierung

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2726158C2 (ru) * 2012-03-29 2020-07-09 Телефонактиеболагет Лм Эрикссон (Пабл) Векторный квантователь

Also Published As

Publication number Publication date
DE69613910D1 (de) 2001-08-23
AU5462196A (en) 1996-12-19
EP0749110A2 (en) 1996-12-18
AU700205B2 (en) 1998-12-24
EP0749110A3 (en) 1997-10-29
DE69613910T2 (de) 2002-04-04
MX9602143A (es) 1997-09-30
EP0749110B1 (en) 2001-07-18
JPH09120299A (ja) 1997-05-06
US5664055A (en) 1997-09-02
CA2177414C (en) 2000-09-19
JP3272953B2 (ja) 2002-04-08
ES2163590T3 (es) 2002-02-01
CA2177414A1 (en) 1996-12-08
KR970004369A (ko) 1997-01-29

Similar Documents

Publication Publication Date Title
KR100433608B1 (ko) 음성처리시스템및그의이용방법
KR100389178B1 (ko) 음성디코더및그의이용을위한방법
KR100389179B1 (ko) 압축음성정보의제1및제2연속적인각프레임의적어도일부를신뢰성있게수신하지못한경우,상기벡터신호를디코드된음성신호를발생하는데사용하는,음성디코더내에서이용하기위한방법
US5307441A (en) Wear-toll quality 4.8 kbps speech codec
Salami et al. Design and description of CS-ACELP: A toll quality 8 kb/s speech coder
RU2233010C2 (ru) Способы и устройства для кодирования и декодирования речевых сигналов
US6813602B2 (en) Methods and systems for searching a low complexity random codebook structure
US5845244A (en) Adapting noise masking level in analysis-by-synthesis employing perceptual weighting
US5732188A (en) Method for the modification of LPC coefficients of acoustic signals
Lefebvre et al. High quality coding of wideband audio signals using transform coded excitation (TCX)
EP0878790A1 (en) Voice coding system and method
US6532443B1 (en) Reduced length infinite impulse response weighting
EP0747884B1 (en) Codebook gain attenuation during frame erasures
Kroon et al. Quantization procedures for the excitation in CELP coders
JP3192051B2 (ja) 音声符号化装置
Brown Solid-State Liquid Chemical Sensor Testing Issues
Hernandez-Gomez et al. Short-time synthesis procedures in vector adaptive transform coding of speech
Ekudden et al. ITU-T G. 729 extension at 6.4 kbps
CODER ITU-Tg. 723.1
Kuznetsov Implementation of Federal Standard 1016 Code-Excited Linear Predictive Coder
Stegmann et al. CELP coding based on signal classification using the dyadic wavelet transform
MXPA96002143A (en) System for speech compression based on adaptable codigocifrado, better

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130419

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140512

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150508

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160510

Year of fee payment: 13

EXPY Expiration of term