KR20040037265A - 음성부호화 - Google Patents

음성부호화 Download PDF

Info

Publication number
KR20040037265A
KR20040037265A KR10-2004-7005340A KR20047005340A KR20040037265A KR 20040037265 A KR20040037265 A KR 20040037265A KR 20047005340 A KR20047005340 A KR 20047005340A KR 20040037265 A KR20040037265 A KR 20040037265A
Authority
KR
South Korea
Prior art keywords
frame
pitch
frames
weighting
function
Prior art date
Application number
KR10-2004-7005340A
Other languages
English (en)
Other versions
KR100653926B1 (ko
Inventor
라카니에미아리
바이니오야네
오잘라파시
하아비스토페트리
Original Assignee
노키아 모빌 폰즈 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FI971976A external-priority patent/FI971976A/fi
Application filed by 노키아 모빌 폰즈 리미티드 filed Critical 노키아 모빌 폰즈 리미티드
Publication of KR20040037265A publication Critical patent/KR20040037265A/ko
Application granted granted Critical
Publication of KR100653926B1 publication Critical patent/KR100653926B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0011—Long term prediction filters, i.e. pitch estimation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients

Abstract

샘플된 음성신호를 장기예측(LTP)을 사용하여 음성부호화하는 방법이다. LTP 피치-래그매개변수는 음성신호 내의 프레임을 위한 자기상관함수를 미리 정의된 최대지연 및 최소지연 사이에서 먼저 결정함으로써 이 음성신호의 각 프레임을 위해 결정된다. 다음에 자기상관함수는 가장 최근에 말로 표명된 프레임을 위해 결정된 피치-래그매개변수 근처의 지연들을 위해 함수를 강조하도록 가중된다. 그후에, 가중된 자기상관함수의 최대값이 발견되고 그 프레임을 위한 피치-래그매개변수로서 확인된다.

Description

음성부호화{Speech coding}
본 발명은 음성부호화에 관한 것으로 특히 장기예측(long term prediction, LTP)매개변수를 사용하는 음성부호화를 위한 방법들 및 장치에 적용할 수 있다.
음성부호화는 전송하거나, 처리하거나, 또는 저장하려는 데이터의 양을 줄이도록 오디오 음성신호를 압축하는 것이 바람직한 많은 통신응용들에서 사용된다. 특히, 음성부호화는, 음성신호들에 대한 부호화 및 복호화를 수행하는 이른바 "오디오 코덱들(codecs)"이 이동전화들 및 통신 기지제어국들에 마련된 셀방식(cellular) 전화네트워크들에서 폭넓게 적용된다. 셀 방식 전화네트워크들에서 음성부호화에 의한 데이터압축은 네트워크 통화용량(call capacity)을 극대화하기 위한 요구에 의해 필요한 것이 되었다.
전형적으로 현대식 음성코덱들은 음성신호들을 프레임들이라고 불리는 짧은 세그먼트들로 처리함으로써 동작한다. GSM(유럽 원격통신 표준협회 - ETSI - 명세 06.60에 정의됨)으로 알려진 유럽형 디지털 셀 방식 전화시스템의 경우에 있어서, 각각의 그러한 프레임의 길이는 20ms로, 8kHz 샘플링주파수에서의 160개 음성샘플들에 해당한다. 송신국에서, 각각의 음성프레임은 음성부호기에 의해 분석되어, 수신국으로의 전송을 위한 한 세트의 부호화매개변수들이 추출된다. 수신국에서, 복호기는 합성된 음성프레임들을 수신된 매개변수들에 근거하여 생성한다. 추출된 부호화매개변수들의 전형적인 세트는 신호의 단기예측에 사용된 (LPC매개변수라 알려진) 스펙트럼식 매개변수들, 신호의 장기예측을 위해 사용된 매개변수들(LTP매개변수들이라 알려짐), 다양한 이득매개변수들, 여기(excitation)매개변수들, 및 코드북(codebook)벡터들을 구비한다.
도 1은 이른바 CELP코덱(실질적으로 동일한 CELP코덱들이 양쪽의 이동국들 및 기지제어국들 모두에 제공된다)의 부호기를 개략적으로 보여준다. n이 샘플번호 를 나타내는, 수신되는 샘플된 음성신호 s(n)의 각 프레임은, 먼저 단기예측부(1)에 의해 분석되어 그 프레임을 위한 LPC매개변수들이 결정된다. 이러한 매개변수들은 부호화매개변수들을 공중인터페이스(air-interface)를 통한 전송을 위해 조합하는 멀티플렉서(2)로 공급된다. 그후에 단기예측부(1)로부터의 잔여신호 r(n), 즉단기용장분(short term redundancy)의 제거 후의 음성프레임은 장기예측부(3)로 공급되며 장기예측부는 LTP매개변수들을 결정한다. 이러한 매개변수들은 차례로 멀티플렉서(2)로 제공된다.
부호기는 각각 LTP매개변수 및 LPC매개변수를 수신하는 LTP합성필터(4) 및 LPC합성필터(5)를 포함한다. 이러한 필터들은 단기 및 장기 용장분들을 코드북(6)을 사용하여 생성된 신호 c(n)에 도입하여, 합성된 음성신호 ss(n)를 발생한다. 합성된 음성신호는 비교기(7)에서 실제 음성신호 s(n)와 한 프레임씩 비교되어, 에러신호 e(n)가 생성된다. 이 에러신호를 가중필터(8)로 가중(이는 알려진 방식으로 신호의 '포르만트들(formants)'을 강조한다)한 후, 그 신호는 코드북 검색부(9)로 인가된다. 검색부(9)는 실제 음성프레임에 (LTP 및 LPC 필터링과 곱셈기(10)에서의 이득(g)에 의한 곱셈 이후에) 가장 밀접하게 부합하는 코드북에서의 엔트리(entry)를 확인하기 위하여, 즉 에러신호 e(n)를 최소화하는 신호 c(n)를 결정하기 위하여 각 프레임에 대한 코드북(6)의 검색을 수행한다. 최고로 부합하는 엔트리를 확인하는 벡터는 공중인터페이스를 통한 전송을 위한 멀티플렉서(2)에 부호화된 음성신호 t(n)의 일부로서 제공된다.
도 2는 CELP코덱의 복호기를 개략적으로 보여준다. 수신되는 부호화된 음성신호 t(n)는 디멀티플렉서(11)에 의해 개별적인 부호화매개변수들로 역다중화된다. 코드북 벡터들은 부호기의 코드북(6)과 동일한 코드북(12)에 인가되어, 코드북 엔트리들의 스트림 c(n)가 추출된다. 그후에 신호 c(n)는, 이 신호가 직렬로 배치된 LTP합성필터(14) 및 LPC합성필터(15)에 인가되기 이전에, 곱셈기(13)에서 수신된이득(g)과 곱해진다. LTP 및 LPC 합성필터들은 관련된 매개변수들을 전송채널로부터 수신하고 단기 및 장기 용장분들을 신호에 다시 도입하여, 출력단에, 합성된 음성신호 ss(n)를 생성한다.
LTP매개변수들은 음성신호의 기본주파수를 기술하는 이른바 피치-래그 (pitch-lag)매개변수를 포함한다. 잔여신호의 현재 프레임을 위한 피치-래그의 결정은 두 단계로 수행된다. 먼저, 잔여신호의 비교적 거친 검색을 수반하는 개루프(open-loop)검색이, 미리 정의된 최대 및 최소 지연을 조건으로 하여, 현재 프레임에 가장 잘 부합하는 신호의 일부에 대해 수행된다. 다음으로 폐루프검색이 이미 합성된 신호에 대해 수행된다. 이 폐루프검색은 피치-래그의 개루프 추정 근처의 작은 범위의 지연시간들 하에서 수행된다. 개루프검색에서 실수가 발생한다면, 이 실수는 폐루프검색에서 정정되어질 수 없다는 점에 유념하는 것이 중요하다.
일찍이 알려진 코덱들에서, 개루프 LTP분석은 잔여음성신호내의 프레임의 자기상관함수, 즉 다음 수학식 1의 자기상관함수를 결정함으로써 잔여신호의 주어진 프레임을 위한 피치-래그를 결정한다.
여기서 d는 지연시간, r(n)은 잔여신호, 그리고 dL및 dH는 지연검색한계들이다. N은 프레임의 길이이다. 그러면 피치-래그 dpl은 자기상관함수의 최대에 해당하는 지연시간 dmax로서 확인될 수 있다. 이는 도 3에 도시된다.
그러한 코덱들에서는 그러나, 자기상관함수의 최대가 피치-래그의 배수 또는 약수에 해당하고 그러므로 추정된 피치-래그는 정확하지 않을 가능성이 있다. EP 0 628 947은 가중함수 w(d)를 자기상관함수에 적용함으로써, 즉 다음의 수학식 2를 사용함으로써 이 문제를 처리한다.
여기서 가중함수는 다음 수학식 3의 형태를 가진다.
K는 파장조정(tuning)매개변수로, 피치-래그의 배수에서의 최대를 얻을 확률을 줄이기에 충분히 작은 동시에 피치-래그의 약수들을 배제하기에 충분히 큰 값으로 설정된다.
EP 0 628 947은 또한 현재 프레임을 위한 피치래그를 결정함에 있어 이전 프레임들을 위해 결정된 피치래그들을 고려할 것을 제안한다. 보다 자세하게는, 프레임들은 '말로 표명된(voiced)' 또는 '말하지 않은(unvoiced)' 것들 중의 어느 하나로 분류되고, 현재 프레임을 위해, 검색은 가장 최근의 말로 표명된 프레임을 위해 결정된 피치래그 근처에서의 최대를 위해 수행된다.의 전체에 걸친 최대가 이러한 근처의 바깥쪽에 위치하고 근처의 최대를 기설정된 인자(3/2)만큼 초과하지않는다면, 근처의 최대는 피치래그에 해당하는 것으로 확인된다. 이런 식으로, 피치래그 추정에서의 연속성은 유지되어, 피치-래그에서 가짜 변경들의 가능성을 감소시킨다.
EP 0 745 971은 입력 회화의 피치래그값을 추정하는 방법을 개시한다. 이 방법에 있어서, 입력 회화의 LPC잔여는 제1퓨리에변환에 의해 처리되어 주파수영역신호가 생성되고, 이것은 제곱되며 제2퓨리에변환에 의해 다른 영역(domain)으로 변환된다. 그러면 피치래그의 초기 추정치가 얻어질 수 있다. 그후에 시간영역 검색이 초기 추정치의 근처에서 수행되어 피치래그의 정확한 추정치가 산출된다.
US 5 327 520은 부호 여기된(excited) 선형 예측부호기를 개시한다. 이 부호기는 LPC잔여신호에 대한 피치래그 검색을 수행한다. 그 신호는 저역통과필터링된 다음 인자 4만큼 다운 샘플링되어, 추림된 LPC잔여샘플들이 생성된다. 추림된 LPC잔여샘플들은 피치래그의 초기 추정치를 얻도록 상호상관된다. 다음에, 추가의 상호상관(cross-correlation)이 초기 추정치의 근처에서의 추림되지 않은 LPC잔여에 대하여 수행되어 피치래그의 더 정확한 추정치가 얻어진다.
본 발명의 제1양태에 의하면 샘플된 신호를 이 신호의 일련의 프레임들의 각각을 위한 피치-래그매개변수를 사용하여 음성부호화하는 방법이 제공되며, 이 방법은, 각각의 프레임을 위해,
신호내의 그 프레임을 위한 자기상관함수를 미리 정의된 최대 및 최소 지연들 사이에서 결정하는 단계;
자기상관함수를 가중시켜 이전 프레임을 위해 결정된 피치-래그매개변수의 근처에서의 지연들을 위해 그 함수를 강조하는 단계; 및
가중된 자기상관함수의 최대에 대응하는 지연을 그 프레임을 위한 피치-래그매개변수로서 확인하는 단계를 포함한다.
바람직하게는, 상기 샘플된 신호는 오디오신호로부터 단기용장분을 실질적으로 제거함으로써 그 오디오신호로부터 얻어진 잔여신호이다. 다르게는, 샘플된 신호는 오디오신호일 것이다.
바람직하게는, 상기 가중은 자기상관함수를 다음 수학식 4의 형태를 갖는 가중함수와 조합함으로써 달성되며,
여기서 Tprev는 하나 이상의 이전 프레임들에 기초하여 결정되는 피치-래그매개변수이며, dL은 상기 최소지연시간이고, Knw는 근처의 가중을 정의하는 파장조정매개변수이다. 게다가, 가중함수는 더 긴 지연시간들에 대하여 더 짧은 지연시간들을 위한 자기상관함수를 강조한다. 이 경우, 다음 수학식 5의 변형된 가중함수가 사용되며
여기서 Kw는 추가 파장조정매개변수이다.
발명의 어떤 실시예들에 있어서, Tprev는 하나의 이전 프레임(Told)의 피치래그이다. 다른 실시예들에서는 그러나, Tprev는 다수의 이전 프레임들의 피치래그들로부터 유도된다. 특히, Tprev는 기설정된 수의 이전 프레임들의 피치래그들의 중간(median)값에 해당할 것이다. 추가 가중은 상기 중간값을 결정하는데 사용된 n개 피치래그들의 표준편차에 역비례하게 적용될 것이다. 이러한 후자의 접근법을 사용하면, 자기상관함수의 가중치에 대한 에러있는 피치래그값들의 충격을 완화시키는 것이 가능하다.
바람직하게는, 본 방법은 상기 프레임들을 말로 표명된 및 말로 표명되지 않은(non-voiced) 프레임들로 분류하는 단계를 포함하며, 거기서 상기 이전 프레임(들)은 가장 최근의 말로 표명된 프레임(들)이다. 말로 표명되지 않은 프레임들은 말하지 않은 프레임들과, 침묵 또는 배경노이즈를 담고있는 프레임들을 포함할 것이다. 더 바람직하게는, 상기 이전 프레임(들)이 가장 최근의 프레임(들)이 아니면, 가중은 감소된다. 하나의 실시예에서, 연속하는 말로 표명되지 않은 프레임들의 순서(sequence)가 수신되는 경우, 가중은 이 순서에서의 프레임들의 수에 실질적으로 비례하게 감소된다. 앞서의 단락에서 주어진 가중함수 wn(d)에 대해, 파장조정매개변수 Knw는 다음의 수학식 6이 얻어지도록 변형될 것이며
여기서 A는 연속하는 말로 표명되지 않은 프레임들의 순서내의 각 프레임의 수신 이후에 증가되는 추가 파장조정인자이다. 가중치는 A를 그것의 최소값으로 되돌림으로써 다음의 말로 표명된 프레임을 위한 자신의 최대값으로 복원된다. A의 값은 미리 정의된 문턱이득보다 작은 개루프이득을 발생시키는 말로 표명된 프레임의 수신 이후에 비슷하게 증가될 것이다.
본 발명의 제2양태에 의하면 샘플된 신호를 이 신호의 일련의 프레임들의 각각을 위한 피치-래그매개변수를 사용하여 음성부호화하는 장치가 제공되며, 이 장치는,
각 프레임을 위해, 신호 내 프레임의 자기상관함수를 기설정된 최대 및 최소 지연들 사이에서 결정하는 수단;
자기상관함수를 가중시켜 이전 프레임을 위해 결정된 피치-래그매개변수 근처의 지연들을 위해 그 함수를 강조하는 가중수단; 및
가중된 자기상관함수의 최대에 해당하는 지연을 그 프레임을 위한 피치-래그매개변수로서 확인하는 수단을 포함한다.
본 발명의 제3양태에 의하면 위의 본 발명의 제2양태의 장치를 포함하는 이동통신기기가 제공된다.
본 발명의 제4양태에 의하면 위의 본 발명의 제2양태에 따른 장치를 갖는 기지제어국을 포함하는 셀 방식 전화네트워크가 제공된다.
도 1은 CELP음성부호기를 개략적으로 보여주며;
도 2는 CELP음성복호기를 개략적으로 보여주며;
도 3은 부호화하려는 음성신호의 프레임 및 이 프레임을 위한 자기상관함수를 결정하는데 사용되는 최대 및 최소 지연시간들을 도시하며;
도 4는 본 발명의 실시예에 따른 음성부호화방법의 주요 단계들의 흐름도이며; 그리고
도 5는 도 4의 방법을 구현하기 위한 시스템을 개략적으로 보여준다.
본 발명의 보다 나은 이해를 위해 그리고 어떻게 본 발명이 어떻게 실시되는지를 보여주기 위하여, 참조가 예를 통하여 첨부 도면들에 대해 이루어질 것이며, 첨부 도면들에서,
도 1은 CELP음성부호기를 개략적으로 보여주며;
도 2는 CELP음성복호기를 개략적으로 보여주며;
도 3은 부호화하려는 음성신호의 프레임 및 이 프레임을 위한 자기상관함수를 결정하는데 사용되는 최대 및 최소 지연시간들을 도시하며;
도 4는 본 발명의 실시예에 따른 음성부호화방법의 주요 단계들의 흐름도이며; 그리고
도 5는 도 4의 방법을 구현하기 위한 시스템을 개략적으로 보여준다.
샘플된 음성신호의 프레임들을 위한 피치-래그매개변수들의 개루프예측에서의 사용을 위한 방법 및 장치를 지금부터 설명할 것이다. 본 방법의 주요 단계들은 도 4의 흐름도에 보여진다. 설명되는 방법 및 장치가 이미 도 1을 참조하여 위에서 설명된 CELP코덱과 같은 다른 기존의 음성코덱들에 통합될 수 있음이 인식되어야 할 것이다.
부호화하려는 샘플된 음성신호는 고정 길이의 프레임들로 분리된다. 위에서 설명된 것처럼, 수신되는 경우, 프레임은 먼저 LPC예측부(1)로 인가된다. 전형적으로, 개루프LTP예측은 LPC예측이 적용된 후에 남아있는 원래의 음성신호의 부분인 잔여신호에 적용되어 그 신호의 단기잔여분이 추출된다. 이 잔여신호는 n이 샘플번호를 나타내는 r(n)에 의해 표현될 수 있다. 자기상관함수는 다음 수학식 7에 의하여 프레임을 위해 결정되며
여기서 w(d)는 다음의 수학식 8로 주어진 가중함수이며
Told는, 가장 최근에 수신되며 처리된, 말로 표명된 프레임을 위해 결정된 피치래그이고, n, N, dL, dH는 위에서 밝혀졌다. Knw및 K는 전형적으로 0.85의 값을 갖는 파장조정매개변수들이다. 부가적인 파장조정매개변수 A는 아래에서 논의된다.
개루프LTP매개변수들이 프레임을 위해 결정된 후에, 이 프레임은 (수학식 8에서의 사용을 위한 매개변수 Told의 되먹임(feedback)을 가능하게 하도록) 말로 표명된 것 또는 말하지 않은 것으로 분류된다. 이러한 분류는 다수의 다른 방식들로 행해질 수 있다. 하나의 적절한 방법은 개루프LTP이득 b를 결정하고 이것을 어떤 미리 정의된 문턱이득, 또는 더 바람직하게는 다음의 수학식 9에 의해 주어진 적응적인 문턱이득 bthr과 비교하는 것이며,
여기서 α는 붕괴(decay)상수(0.995)이고 Kb는 스케일인자(0.15)이다. bthr-1항은 바로 앞선 프레임을 위해 결정된 문턱이득이다. 프레임을 말로 표명된 또는말하지 않은 것들 중의 어느 하나로 분류하기 위한 대안적(alternative) 또는 부가적 판단기준(criteria)은 그 프레임내의 잔여신호의 '영 교차(zero crossing)'율을 결정하는 것이다. 상대적으로 높은 교차율은 프레임이 말하지 않은 것임은 나타내는 반면 낮은 교차율은 프레임이 말로 표명된 것임을 나타낸다. 적절한 문턱은 프레임길이 N의 3/4이다.
프레임을 말로 표명된 것으로 또는 말하지 않은 것으로 분류하기 위한 추가의 대안적 또는 부가적 판단기준은 피치래그가 가변하는 비율을 고려하는 것이다. 프레임을 위해 결정된 피치래그가 최근의 프레임들의 세트를 위해 결정된 '평균'피치래그로부터 상당히 벗어난다면, 그 프레임은 말하지 않은 것으로 분류될 것이다. 상대적으로 작은 편차만이 존재한다면, 그 프레임은 말로 표명된 것으로 분류된다.
수학식 8에 의해 주어진 가중함수 wn(d)은 첫 번째 항를 포함하며 이 항은 가중된 자기상관함수가 예전의(old) 피치-래그 Told의 근처에서 강조되어지게 한다. 수학식 8의 좌변의 두 번째 항는 작은 피치-래그들이 강조되어지게 한다. 이러한 두 항들의 조합은 올바른 피치-래그의 배수들 또는 약수들이 가중된 자기상관함수의 최대를 발생시키는 가능성을 상당히 줄이는 것을 돕는다.
현재 프레임(i)을 위한 피치-래그를 결정한 후에 그 프레임이 말로 표명된 것으로 분류되고 그 프레임을 위한 개루프이득이 어떤 문턱값(예, 0.4)보다 더 큰 것으로 결정된다면, 수학식 8의 파장조정인자(A)는 다음 프레임(i+1)을 위해 1로설정된다. 그러나 현재 프레임이 말하지 않은 것으로 분류되거나 또는 개루프이득이 문턱값보다 작은 것으로 결정된다면, 파장조정인자는 다음의 수학식 10과 같이 변경된다.
파장조정인자(A)는 일련의 연속하는 말하지 않은 프레임들(또는 개루프이득이 문턱보다 작은 경우의 말로 표명된 프레임들)의 각각을 위해 수학식 10에 따라 변경된다. 그러나, 수학식 10은 미리 정해진 수의 연속하는 말하지 않은 프레임들이 수신된 후에만, 예를 들면 세 개의 연속하는 말하지 않은 프레임들의 매 세트의 이후에, 사용되는 것이 바람직하다. 근처의 가중인자(Knw)는 전형적으로, 조합된 가중 KnwA를 위한 상한이, 이 상한에서 가중치가 dL내지 dH의 모든 지연시간들(d)에 걸쳐서 균일하도록 하기 위하여, 1.0인 경우에, 0.85로 설정된다.
다르게는, 미리 정해진 수의 가중함수들 w(d)만이 사용될 것이며, 예를 들면 3개의 가중함수들만이 사용될 것이다. 각각의 함수는 거기에 할당된 문턱값을 가지며, 이 함수들 중의 특정한 하나는 수학식 10에서 정의된 것과 같은 적응적인 항이 그 문턱값을 초과하는 때에 선택된다. 한정된 수의 가중함수들을 정의함으로 인한 이점은 정의된 가중함수들이 메모리에 저장될 수 있다는 것이다. 그러므로 각각의 새로운 프레임을 위한 가중함수를 다시 계산할 필요가 없다.
위에서 설명된 방법을 구현하기 위한 단순화된 시스템은 도 5에 개략적으로도시되며, 그 도면에서 시스템에 대한 입력(16)은 LPC예측부(1)에 의해 제공된 잔여신호이다. 이 잔여신호(16)는 프레임상관기(17)에 제공되고 이 상관기는 잔여신호의 각 프레임을 위한 상관함수를 발생한다. 각 프레임을 위한 상관함수는 제1가중부(18)에 인가되고 제1가중부는 이 상관함수를 수학식 8의 두 번째 항, 즉에 따라 가중시킨다. 가중된 함수는 그후에 제2가중부(19)에 인가되고 제2가중부는 이 상관함수를 수학식 8의 첫 번째 항, 즉에 따라 추가로 가중시킨다. 매개변수 Told는 버퍼(20)에 유지되며 버퍼는 분류부(21)가 현재 프레임을 말로 표명된 것으로 분류하는 경우에만 시스템 출력을 사용하여 갱신된다. 가중된 상관함수는 검색부(22)에 인가되고 검색부는 가중된 함수의 최대를 확인하고 그로부터 현재 프레임의 피치래그를 결정한다.
다양한 변형들이 본 발명의 범위로부터 벗어남 없이 위에서 설명된 실시예들에 대해 만들어짐이 숙련된 사람에 의해 인식되어야 할 것이다. 특히, 가장 최근의 말로 표명된 프레임들을 위해 얻어져, 너무 넓은 범위까지 현재의 추정을 뒤집는, 에러있는 피치래그추정을 방지하기 위하여, 도 5의 버퍼(20)는, n이 예를 들어 4인, 가장 최근의 n개의 말로 표명된 프레임들을 위해 추정된 피치래그들을 저장하도록 마련될 것이다. 가중부(19)에 의해 적용된 가중함수는 매개변수 Told를 n개의 완충된 피치래그들의 중간값인 매개변수 Tmed로 대체함으로써 변경된다.
추가 변형에 있어서, 제2가중부(19)에서 인가된 가중치는 버퍼(20)에 저장된 n개 피치래그값들의 표준편차에 역비례한다. 이는, n개의 완충된 피치래그들이 약간 변하는 때의 중간피치래그의 근처에서 가중치를 강조하고, 반대로 n개의 피치래그들이 비교적 큰 범위까지 변하는 때의 가중치를 덜 강조하는 효과를 갖는다. 예를 들면, 세 개의 가중함수들은 다음의 수학식 11 처럼 사용될 것이다.
여기서 Km1, Km2, Th1및 Th2는 파장조정매개변수들로, 예를 들면 각각 0.75, 0.95, 2 및 6이다. 더 큰 피치래그들로 인해 일어나는 표준편차에서의 더 큰 변화들을 수용하도록 하기 위하여, 수학식 11에서의 문턱들 Th1및 Th2는 중간피치래그 Tmed에 비례할 것이다.
샘플된 신호를 이 신호의 일련의 프레임들의 각각을 위한 피치-래그매개변수를 사용하여 음성부호화하는 방법과 장치 및 그를 포함하는 이동통신기기 및 셀 방식 전화네트워크가 제공된다.

Claims (14)

  1. 샘플된 신호를 이 신호의 일련의 프레임들의 각각을 위한 피치-래그매개변수를 사용하여 음성부호화하는 방법에 있어서, 각 프레임을 위해,
    신호내의 프레임을 위한 자기상관함수를 미리 정의된 최대 및 최소 지연들 사이에서 결정하는 단계;
    자기상관함수를 가중시켜 이전 프레임을 위해 결정된 피치-래그매개변수 근처의 지연들을 위해 그 함수를 강조하는 단계; 및
    가중된 자기상관함수의 최대에 대응하는 지연을 그 프레임을 위한 피치-래그매개변수로서 확인하는 단계를 포함하는 음성부호화 방법.
  2. 제 1항에 있어서, 가중함수는 다음의 형태를 가지며,
    여기서 Told는 상기 이전 프레임의 피치래그이며, dL은 상기 최소지연시간이고, Knw는 근처의 가중을 정의하는 파장조정(tuning)매개변수인 음성부호화 방법.
  3. 제 1항에 있어서, 자기상관함수는 개개의 이전 프레임들을 위해 결정된 복수개 피치래그들의 중간값 근처의 지연들을 위해 그 함수를 강조하도록 가중되는 음성부호화 방법.
  4. 제 3항에 있어서, 가중함수는 다음의 형태를 가지며,
    여기서 Tmed는 개개의 이전 프레임들을 위해 결정된 복수개 피치래그들의 중간값이며, dL은 상기 최소지연시간이고, Knw는 근처의 가중을 정의하는 파장조정매개변수인 음성부호화 방법.
  5. 제 4항에 있어서, 가중함수는 상기 복수개 피치래그들의 표준편차에 역비례하는 인자의 산입에 의해 변경되는 음성부호화 방법.
  6. 제 1항 내지 제 5항 중 어느 한 항에 있어서, 상기 가중은 더 긴 지연시간들에 대하여 더 짧은 지연시간들을 추가로 강조하는 음성부호화 방법.
  7. 제 4항에 있어서, 상기 강조는 다음의 인자에 의해 제공되며,
    여기서 Kw는 추가 가중매개변수인 음성부호화 방법.
  8. 제 1항, 제2항, 제3항, 제4항, 제 5항, 및 제 7항 중 어느 한 항에 있어서,
    상기 프레임들을 말로 표명된 및 말로 표명되지 않은 프레임들로 분류하는단계를 포함하며, 여기서 상기 이전 프레임(들)은 가장 최근의 말로 표명된 프레임(들)인 음성부호화 방법.
  9. 제 8항에 있어서, 상기 이전 프레임, 또는 가장 최근의 이전 프레임이 가장 최근의 프레임이 아니라면, 가중치는 감소되는 음성부호화 방법.
  10. 제 8항에 있어서, 연속하는 말로 표명되지 않은 프레임들의 연속하는 순서(sequence)가 수신된 후에, 가중치는 순서에서의 프레임들의 수에 실질적으로 비례하여 감소되는 음성부호화 방법.
  11. 제 2항에 있어서, 상기 프레임들을 말로 표명된 및 말로 표명되지 않은 프레임들로 분류하는 단계를 포함하며, 여기서 상기 이전 프레임(들)은 가장 최근의 말로 표명된 프레임(들)이며, 또한 파장조정매개변수는 다음과 같이 변경되며,
    여기서 A는 연속하는 말로 표명되지 않은 프레임들에서의, 각 프레임의, 또는 미리 정의된 복수개 프레임들의 수신 이후에 증가되고, 다음의 말로 표명된 프레임을 위해 그것의 최소값으로 복원되는 추가 파장조정인자인 음성부호화 방법.
  12. 샘플된 신호를 이 신호의 일련의 프레임들의 각각을 위한 피치-래그매개변수를 사용하여 음성부호화하는 장치에 있어서,
    각 프레임을 위해, 신호 내 프레임의 자기상관함수를 기설정된 최대 및 최소 지연들 사이에서 결정하는 수단(17);
    자기상관함수를 가중시켜 이전 프레임을 위해 결정된 피치-래그매개변수 근처의 지연들을 위해 그 함수를 강조하는 가중수단(19); 및
    가중된 자기상관함수의 최대에 해당하는 지연을 그 프레임을 위한 피치-래그매개변수로서 확인하는 수단(22)을 포함하는 음성부호화 장치.
  13. 제 12항의 장치를 포함하는 이동통신기기.
  14. 제 12항에 따른 장치를 갖는 기지제어국을 포함하는 셀 방식 전화네트워크.
KR1020047005340A 1997-05-07 1998-03-13 음성부호화 방법, 음성부호화 장치와 그를 포함하는 이동통신기기 및 그를 포함하는 셀 방식 전화네트워크 KR100653926B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
FI971976 1997-05-07
FI971976A FI971976A (fi) 1997-05-07 1997-05-07 Puhekoodaus
FI980502 1998-03-05
FI980502A FI113903B (fi) 1997-05-07 1998-03-05 Puheen koodaus
PCT/FI1998/000229 WO1998050910A1 (en) 1997-05-07 1998-03-13 Speech coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1019997009481A Division KR100653932B1 (ko) 1997-05-07 1998-03-13 음성부호화 방법, 음성부호화 장치와 그를 포함하는 이동통신기기 및 그를 포함하는 셀 방식 전화네트워크

Publications (2)

Publication Number Publication Date
KR20040037265A true KR20040037265A (ko) 2004-05-04
KR100653926B1 KR100653926B1 (ko) 2006-12-05

Family

ID=26160386

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020047005340A KR100653926B1 (ko) 1997-05-07 1998-03-13 음성부호화 방법, 음성부호화 장치와 그를 포함하는 이동통신기기 및 그를 포함하는 셀 방식 전화네트워크
KR1019997009481A KR100653932B1 (ko) 1997-05-07 1998-03-13 음성부호화 방법, 음성부호화 장치와 그를 포함하는 이동통신기기 및 그를 포함하는 셀 방식 전화네트워크

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1019997009481A KR100653932B1 (ko) 1997-05-07 1998-03-13 음성부호화 방법, 음성부호화 장치와 그를 포함하는 이동통신기기 및 그를 포함하는 셀 방식 전화네트워크

Country Status (10)

Country Link
US (1) US6199035B1 (ko)
EP (1) EP0877355B1 (ko)
JP (3) JPH1124699A (ko)
KR (2) KR100653926B1 (ko)
CN (1) CN1120471C (ko)
AU (1) AU739238B2 (ko)
DE (1) DE69814517T2 (ko)
ES (1) ES2198615T3 (ko)
FI (1) FI113903B (ko)
WO (1) WO1998050910A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415252B1 (en) * 1998-05-28 2002-07-02 Motorola, Inc. Method and apparatus for coding and decoding speech
US6507814B1 (en) * 1998-08-24 2003-01-14 Conexant Systems, Inc. Pitch determination using speech classification and prior pitch estimation
US7072832B1 (en) * 1998-08-24 2006-07-04 Mindspeed Technologies, Inc. System for speech encoding having an adaptive encoding arrangement
JP3180786B2 (ja) * 1998-11-27 2001-06-25 日本電気株式会社 音声符号化方法及び音声符号化装置
US7117149B1 (en) * 1999-08-30 2006-10-03 Harman Becker Automotive Systems-Wavemakers, Inc. Sound source classification
US6959274B1 (en) 1999-09-22 2005-10-25 Mindspeed Technologies, Inc. Fixed rate speech compression system and method
US6782360B1 (en) * 1999-09-22 2004-08-24 Mindspeed Technologies, Inc. Gain quantization for a CELP speech coder
US7124075B2 (en) * 2001-10-26 2006-10-17 Dmitry Edward Terez Methods and apparatus for pitch determination
KR100463417B1 (ko) * 2002-10-10 2004-12-23 한국전자통신연구원 상관함수의 최대값과 그의 후보값의 비를 이용한 피치검출 방법 및 그 장치
US8271279B2 (en) 2003-02-21 2012-09-18 Qnx Software Systems Limited Signature noise removal
US7895036B2 (en) * 2003-02-21 2011-02-22 Qnx Software Systems Co. System for suppressing wind noise
US8326621B2 (en) 2003-02-21 2012-12-04 Qnx Software Systems Limited Repetitive transient noise removal
US7725315B2 (en) * 2003-02-21 2010-05-25 Qnx Software Systems (Wavemakers), Inc. Minimization of transient noises in a voice signal
US8073689B2 (en) 2003-02-21 2011-12-06 Qnx Software Systems Co. Repetitive transient noise removal
US7885420B2 (en) * 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
US7949522B2 (en) 2003-02-21 2011-05-24 Qnx Software Systems Co. System for suppressing rain noise
TWI241557B (en) * 2003-07-21 2005-10-11 Ali Corp Method for estimating a pitch estimation of the speech signals
JP4490090B2 (ja) 2003-12-25 2010-06-23 株式会社エヌ・ティ・ティ・ドコモ 有音無音判定装置および有音無音判定方法
US8543390B2 (en) * 2004-10-26 2013-09-24 Qnx Software Systems Limited Multi-channel periodic signal enhancement system
US8170879B2 (en) * 2004-10-26 2012-05-01 Qnx Software Systems Limited Periodic signal enhancement system
US7716046B2 (en) * 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
US7610196B2 (en) * 2004-10-26 2009-10-27 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7680652B2 (en) 2004-10-26 2010-03-16 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7949520B2 (en) * 2004-10-26 2011-05-24 QNX Software Sytems Co. Adaptive filter pitch extraction
US8306821B2 (en) * 2004-10-26 2012-11-06 Qnx Software Systems Limited Sub-band periodic signal enhancement system
US8284947B2 (en) * 2004-12-01 2012-10-09 Qnx Software Systems Limited Reverberation estimation and suppression system
US7933767B2 (en) * 2004-12-27 2011-04-26 Nokia Corporation Systems and methods for determining pitch lag for a current frame of information
US7386445B2 (en) * 2005-01-18 2008-06-10 Nokia Corporation Compensation of transient effects in transform coding
US8027833B2 (en) * 2005-05-09 2011-09-27 Qnx Software Systems Co. System for suppressing passing tire hiss
US8311819B2 (en) * 2005-06-15 2012-11-13 Qnx Software Systems Limited System for detecting speech with background voice estimates and noise estimates
US8170875B2 (en) 2005-06-15 2012-05-01 Qnx Software Systems Limited Speech end-pointer
US9058812B2 (en) * 2005-07-27 2015-06-16 Google Technology Holdings LLC Method and system for coding an information signal using pitch delay contour adjustment
EP2228789B1 (en) * 2006-03-20 2012-07-25 Mindspeed Technologies, Inc. Open-loop pitch track smoothing
US7844453B2 (en) 2006-05-12 2010-11-30 Qnx Software Systems Co. Robust noise estimation
US8010350B2 (en) * 2006-08-03 2011-08-30 Broadcom Corporation Decimated bisectional pitch refinement
US7752038B2 (en) * 2006-10-13 2010-07-06 Nokia Corporation Pitch lag estimation
US8335685B2 (en) 2006-12-22 2012-12-18 Qnx Software Systems Limited Ambient noise compensation system robust to high excitation noise
US8326620B2 (en) 2008-04-30 2012-12-04 Qnx Software Systems Limited Robust downlink speech and noise detector
US8386246B2 (en) * 2007-06-27 2013-02-26 Broadcom Corporation Low-complexity frame erasure concealment
US8850154B2 (en) 2007-09-11 2014-09-30 2236008 Ontario Inc. Processing system having memory partitioning
US8904400B2 (en) * 2007-09-11 2014-12-02 2236008 Ontario Inc. Processing system having a partitioning component for resource partitioning
US8694310B2 (en) 2007-09-17 2014-04-08 Qnx Software Systems Limited Remote control server protocol system
US8209514B2 (en) * 2008-02-04 2012-06-26 Qnx Software Systems Limited Media processing system having resource partitioning
GB2466675B (en) 2009-01-06 2013-03-06 Skype Speech coding
GB2466672B (en) 2009-01-06 2013-03-13 Skype Speech coding
GB2466674B (en) 2009-01-06 2013-11-13 Skype Speech coding
GB2466671B (en) 2009-01-06 2013-03-27 Skype Speech encoding
GB2466669B (en) * 2009-01-06 2013-03-06 Skype Speech coding
GB2466670B (en) 2009-01-06 2012-11-14 Skype Speech encoding
GB2466673B (en) 2009-01-06 2012-11-07 Skype Quantization
CN102016530B (zh) * 2009-02-13 2012-11-14 华为技术有限公司 一种基音周期检测方法和装置
US8452606B2 (en) 2009-09-29 2013-05-28 Skype Speech encoding using multiple bit rates
US9384759B2 (en) 2012-03-05 2016-07-05 Malaspina Labs (Barbados) Inc. Voice activity detection and pitch estimation
US9020818B2 (en) 2012-03-05 2015-04-28 Malaspina Labs (Barbados) Inc. Format based speech reconstruction from noisy signals
US9437213B2 (en) 2012-03-05 2016-09-06 Malaspina Labs (Barbados) Inc. Voice signal enhancement
US9123328B2 (en) * 2012-09-26 2015-09-01 Google Technology Holdings LLC Apparatus and method for audio frame loss recovery
EP3399522B1 (en) * 2013-07-18 2019-09-11 Nippon Telegraph and Telephone Corporation Linear prediction analysis device, method, program, and storage medium
ES2819032T3 (es) 2013-12-19 2021-04-14 Ericsson Telefon Ab L M Estimación de ruido de fondo en señales de audio

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4486900A (en) 1982-03-30 1984-12-04 At&T Bell Laboratories Real time pitch detection by stream processing
JP2585214B2 (ja) * 1986-02-21 1997-02-26 株式会社日立製作所 ピッチ抽出方法
US4969192A (en) 1987-04-06 1990-11-06 Voicecraft, Inc. Vector adaptive predictive coder for speech and audio
CA2010830C (en) 1990-02-23 1996-06-25 Jean-Pierre Adoul Dynamic codebook for efficient speech coding based on algebraic codes
JPH04264600A (ja) * 1991-02-20 1992-09-21 Fujitsu Ltd 音声符号化装置および音声復号装置
US5179594A (en) * 1991-06-12 1993-01-12 Motorola, Inc. Efficient calculation of autocorrelation coefficients for CELP vocoder adaptive codebook
US5339384A (en) * 1992-02-18 1994-08-16 At&T Bell Laboratories Code-excited linear predictive coding with low delay for speech or audio signals
FI95085C (fi) 1992-05-11 1995-12-11 Nokia Mobile Phones Ltd Menetelmä puhesignaalin digitaaliseksi koodaamiseksi sekä puhekooderi menetelmän suorittamiseksi
US5327520A (en) * 1992-06-04 1994-07-05 At&T Bell Laboratories Method of use of voice message coder/decoder
FI91345C (fi) 1992-06-24 1994-06-10 Nokia Mobile Phones Ltd Menetelmä kanavanvaihdon tehostamiseksi
CA2102080C (en) * 1992-12-14 1998-07-28 Willem Bastiaan Kleijn Time shifting for generalized analysis-by-synthesis coding
IT1270438B (it) * 1993-06-10 1997-05-05 Sip Procedimento e dispositivo per la determinazione del periodo del tono fondamentale e la classificazione del segnale vocale in codificatori numerici della voce
JP3321933B2 (ja) * 1993-10-19 2002-09-09 ソニー株式会社 ピッチ検出方法
FI98163C (fi) 1994-02-08 1997-04-25 Nokia Mobile Phones Ltd Koodausjärjestelmä parametriseen puheenkoodaukseen
US5517595A (en) * 1994-02-08 1996-05-14 At&T Corp. Decomposition in noise and periodic signal waveforms in waveform interpolation
JP3418005B2 (ja) * 1994-08-04 2003-06-16 富士通株式会社 音声ピッチ検出装置
US5781880A (en) * 1994-11-21 1998-07-14 Rockwell International Corporation Pitch lag estimation using frequency-domain lowpass filtering of the linear predictive coding (LPC) residual
US5664053A (en) 1995-04-03 1997-09-02 Universite De Sherbrooke Predictive split-matrix quantization of spectral parameters for efficient coding of speech
US5699485A (en) * 1995-06-07 1997-12-16 Lucent Technologies Inc. Pitch delay modification during frame erasures

Also Published As

Publication number Publication date
AU739238B2 (en) 2001-10-04
WO1998050910A1 (en) 1998-11-12
EP0877355A3 (en) 1999-06-16
KR100653926B1 (ko) 2006-12-05
JP2009223326A (ja) 2009-10-01
CN1255226A (zh) 2000-05-31
EP0877355B1 (en) 2003-05-14
KR100653932B1 (ko) 2006-12-04
US6199035B1 (en) 2001-03-06
CN1120471C (zh) 2003-09-03
DE69814517T2 (de) 2004-04-08
AU6403298A (en) 1998-11-27
FI113903B (fi) 2004-06-30
EP0877355A2 (en) 1998-11-11
DE69814517D1 (de) 2003-06-18
ES2198615T3 (es) 2004-02-01
KR20010006394A (ko) 2001-01-26
FI980502A (fi) 1998-11-08
JPH1124699A (ja) 1999-01-29
JP4866438B2 (ja) 2012-02-01
JP2004038211A (ja) 2004-02-05
FI980502A0 (fi) 1998-03-05

Similar Documents

Publication Publication Date Title
KR100653926B1 (ko) 음성부호화 방법, 음성부호화 장치와 그를 포함하는 이동통신기기 및 그를 포함하는 셀 방식 전화네트워크
JP3197155B2 (ja) ディジタル音声コーダにおける音声信号ピッチ周期の推定および分類のための方法および装置
US6202046B1 (en) Background noise/speech classification method
EP1338003B1 (en) Gains quantization for a celp speech coder
KR100487943B1 (ko) 음성 코딩
US7852792B2 (en) Packet based echo cancellation and suppression
US20090292542A1 (en) Signal processing method, processing appartus and voice decoder
KR20010090803A (ko) 과다-샘플된 합성 광대역 신호를 위한 고주파 내용 복구방법 및 디바이스
EP0501421B1 (en) Speech coding system
US6052659A (en) Nonlinear filter for noise suppression in linear prediction speech processing devices
EP1096476A2 (en) Speech decoding gain control for noisy signals
US6104994A (en) Method for speech coding under background noise conditions
EP1301018A1 (en) Apparatus and method for modifying a digital signal in the coded domain
KR100756570B1 (ko) 음성 코더의 프레임 프로토타입들 사이의 선형 위상시프트들을 계산하기 위해 주파수 대역들을 식별하는 방법및 장치
US5313554A (en) Backward gain adaptation method in code excited linear prediction coders
JPH0830299A (ja) 音声符号化装置
JP3250398B2 (ja) 線形予測係数分析装置
Soheili et al. Techniques for improving the quality of LD-CELP coders at 8 kb/s

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20050530

Effective date: 20060929

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141107

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151030

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 12

EXPY Expiration of term