KR19990036044A - 선 스펙트럼 제곱근 발생 및 인코딩 방법 및 장치 - Google Patents
선 스펙트럼 제곱근 발생 및 인코딩 방법 및 장치 Download PDFInfo
- Publication number
- KR19990036044A KR19990036044A KR1019980700709A KR19980700709A KR19990036044A KR 19990036044 A KR19990036044 A KR 19990036044A KR 1019980700709 A KR1019980700709 A KR 1019980700709A KR 19980700709 A KR19980700709 A KR 19980700709A KR 19990036044 A KR19990036044 A KR 19990036044A
- Authority
- KR
- South Korea
- Prior art keywords
- line spectrum
- square root
- coefficients
- generating
- values
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003595 spectral effect Effects 0.000 title claims description 13
- 238000001228 spectrum Methods 0.000 claims abstract description 85
- 230000035945 sensitivity Effects 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013139 quantization Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
- G10L19/07—Line spectrum pair [LSP] vocoders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Analogue/Digital Conversion (AREA)
Abstract
본 발명은 선형 예측 계수 데이터의 인코딩방법을 제공한다. 본 발명은 선형 예측 계수 데이터를 선스펙트럼 코사인 데이터(103)으로 변환한다. 선스펙트럼 코사인 데이터는 두 개의 귀납적으로 정의된 벡터(104)를 발생시키는데 사용된다. 상기 귀납적으로 정의된 벡터는 감도 자기상관 값(106a 내지 106N) 및 감도 상호상관(107a 내지 107N)을 계산하는데 사용된다. 선스펙트럼 코사인 값들은 선스펙트럼 제곱근 값들의 셋을 계산하는데 사용된다.
Description
디지털 기술에 의한 음성의 전송은 널리 알려져 왔고, 특히 장거리 및 디지털 무선 전화의 응용에 널리 이용되고 있다. 그럼으로써, 채널을 통하여 전송되는 정보의 양을, 그 정보로부터 재구성된 음성의 질을 유지하면서, 최소로 하는 방법에 대하여 관심을 불러 일으켰다. 연속적인 음성 신호를 단순히 샘플링하고 각각의 샘플을 양자화하여 음성이 전송된다면, 종래의 아날로그 전화의 재구성된 음성만큼의 질을 확보하기 위해서는 64 kbps 정도의 데이터율이 필요로 된다. 그러나, 수신기에서의 적당한 코딩, 전송, 및 재종합을 수반하는 음성분석의 방법을 이용함으로써, 데이터율의 현저한 감소를 가져올 수 있다.
인간의 음성 생성 모델의 파라매터를 축출함으로써 음성을 압축하는 장치를 보코더(vocoder)라고 부른다. 이러한 장치는 전송 채널을 통하여 인코더로부터 수신된 파라매터를 사용하여 음성을 재종합하는 디코더를 구비한다. 시간에 따라 변하는 음성 신호를 정확하게 표현하기 위하여, 상기의 모델 파라매터가 정기적으로 경신된다. 음성은 시간의 블록이나 분석 프래임으로 분할되어 수신기에서의 양자화된 파라매터로부터 재종합된다.
음성 압축의 알고리즘에서 코드 여기 선형 예측 코딩(CELP) 방법이 많이 사용된다. 예를 들어, CELP 코딩 알고리즘은 1988년의 토머서 이 트레매인(Thomas E. Tremain) 등의 논문 "이동 위성 회의의 프로세싱"에서 "4.8 kbps 코드 여기 선형 예측 코딩(CELP)"으로 공지된 것이다. 이러한 형태의 특별히 유용한 보코더의 예로는 미국 특허 등록공보 5414796 호에 "가변율 보코더(Variable Rate Vocoder)"로 공지된 바 있고, 본 발명의 양수인에 인수되었으며 여기에 참조로 기재한다.
많은 음성 압축 알고리즘에서는 음성 신호의 스펙트럼 크기를 모델링하기 위하여 필터를 사용한다. 필터의 계수가 선형 예측 기술을 이용하여 각 음성의 프래임당 계산되므로, 필터를 선형 예측 코딩 필터라고 부른다. 필터 계수가 결정되고나면 그 필터 계수는 양자화되어야 한다. LPC필터 계수를 양자화하는 유용한 방법을 이용함으로써 음성 신호를 인코딩하는데 소요되는 비트율을 감소시킬 수 있다.
LPC필터 계수의 양자화하는 한가지 방법으로는 필터 계수를 선 선펙트럼 쌍(LSP) 파라매터로 변환하는 단계와 LSP 파라매터를 양자화하는 단계를 포함한다. 그리고, 양자화된 LSP들은 디코더에서 음성 종합 모델로 상용되는 LPC필터 계수로 다시 변환된다. 양자화는 LSP 영역에서 이루어지는데, 이는 LSP 파라매터가 LPC 파라매터보다 더 우수한 양자화 특성을 갖기 때문이고, 양자화된 LSP 파라매터의 정열 특성이 우수해야만 결과적으로 양자화된 LPC필터가 안정될 수 있기 때문이다.
특정한 LSP 파라매터 셋으로서는, 하나의 파라매터에서의 양자화 오류는 다른 LSP 파라매터의 양자화 오류의 동일한 양에 의하여 생기는 변화보다 LPC필터의 응답에서 더 많은 변화를 가져올 수도 있으며, 그럼으로써 더 큰 인식에서의 저하를 가져온다. 양자화에서의 인식의 효과는 양자화 오류에 덜 민감한 LSP 파라매터 더 많은 양자화 오류를 허용함으로써 최소로 할 수 있다. 양자화 오류의 적절한 분산을 결정하기 위하여 LSP 파라매터의 각각의 감도가 결정되어야만 한다. 적정하게 LSP 파라매터를 인코딩하는 선호되는 방법 및 장치는 "선스펙트럼 쌍 주파수의 감도 가중 벡터 양자화(Sensitivity Weighted Vector Quantization of Line Spectral Pair Frequencies)"라는 제목으로 1994년 8월 4일 미국 특허 등록공보 08/286150 호에 공지된 것에 자세히 나타나 있으며, 이는 본 발명의 양수인에 양수되었고 여기에 참조로 기재되었다.
발명의 개요
본 발명은 신규하고 향상된 선스펙트럼 제곱근(LSS) 값을 이용한 LPC 파라매터의 양자화 방법 및 장치에 대한 것이다. 본 발명은 LPC필터 계수를 LPC 계수보다 더 쉽게 양자화되는 대체적인 데이터의 셋으로 변환되고, LSP주파수 인코딩의 주된 장점인 감소된 양자화 오류에 대한 감도를 가져온다. 또한, LPC 계수로부터 LSS 값으로 그리고, LSS 값을 다시 LPC 계수로 변환하는 것은 LPC 계수와 LSP 파라매터사이의 변환의 계산보다 계산에 있어서 강도가 덜하다.
본 발명은 음성 프로세싱에 관한 것이다. 더 자세히 말하자면, 본 발명은 음성 인코딩 시스템에서의 선형 예측의 LPC 계수의 인코딩방법과 장치에 있어서 신규하고 향상된 방법과 장치를 제공하는 데에 있다.
본 발명의 특징, 목적, 및 장점은 아래에서 설명될 자세한 설명에서 첨부된도면과 함께 설명함으로써 명백하게 될 것이다.
도 1 은 LPC 계수의 발생과 인코딩을 위한 선행기술의 장치를 보여주는 블록선도이다.
도 2 는 본 발명의 선스펙트럼 코사인 값을 재분산하는데 사용되는 정규화 함수의 구성을 보여준다.
도 3 은 본 발명의 선 스페트럼 제곱근을 인코딩하기위한 감도치를 발생시키기위한 장치를 보여주는 블록선도이다.
도 4 는 선스펙트럼 제곱근 값을 인코딩하기위한 전체적인 양자화 메커니즘을 보여주는 블록선도이다.
도 1은 LPC 계수(a(1),a(2),...,a(N))을 결정함으로써 이 LPC 계수들로부터 LSP주파수(ω(1),ω(2),...,ω(N))를 발생시키는 LPC필터 데이터를 발생 및 인코딩하는 장치를 보여준다. N 은 LPC필터의 필터 계수의 개수이다. 음성 자기상관(autocorrelation) 원소 1 은 아래의 방정식(1)에 의하여 음성 샘플들(s(n))의 프래임으로부터 자기상관 값들(R(0) 내지 R(N))을 계산한다.
여기서, L은 LPC 계수가 계산되고 있는 프래임의 음성 샘플의 개수이다. 실시예에서, 프래임의 샘플들의 개수는 160(L=160)이고, LPC필터 계수의 개수는 10(N=10)이다.
선형 예측 계수(LPC) 계산 원소 2 는 자기상관 값(R(0) 내지 R(N))의 셋으로부터 LPC 계수(a(1),a(2),...,a(N))를 결정한다. LPC 계수는 1978년 프렌티스-홀(Prentice-Hall) 사의 라비터 및 샤퍼(Rabiner & Schafer)에 의한 "디지털 음성신호 프로세싱(Digital Processing of Speech Signal)"에서 논의된 더어빈스 리커어션(Durbin's recursion)을 이용하여 자기상관에 의하여 구해질 수 있다. 그 알고리즘은 아래의 방정식(2) 내지(7)에서 설명하겠다.
N LPC 계수는 1≤j≤N 인 동안 αj (10)으로 표시한다. 원소 1 및 2 의 연산은 잘 알려져 있다. 실시예에서, 포멈트(forment) 필터는 10 번째의 필터이며, 11 자기상관 값들(R(0) 내지 R(10))은 자기상관 원소 1 에 의하여 계산되고, 10 LPC 계수들(a(0) 내지 s(10))은 LPC 계산 원소 2 에 의하여 계산된다.
LSP 연산 원소 3 은 LPC 계수들을 LSP주파수값들( ω1내지 ωN)의 셋으로 변환된다. LSP계산 원소 3 의 연산은 잘 알려져 있으며, 상기 언급한 바와 같이 미국특허 등록공보 5414796 호에 공지되어 있다. LSP주파수를 사용하게된 동기는 "ICASSP'84"에 실린 수웅 및 주앙(Soong and Juang)의 "선스펙트럼 쌍 및 음성 데이터 압축(Line Spectral Pair and Speech Data Compression)"이라는 논문에서 공지되었다.
LSP 파라매터의 계산은 아래의 수식(8) 및(9) 에 표 I 와 함께 나타나 있다. LSP주파수는 다음의 수식들의 0 과 π 의 사이에 N개의 근을 나타낸다.
여기서, n=1,2,... N/2 인 동안의 pn및 qn의 값들은 표 1에서 귀납적으로 정의된다.
표 I에서 a(1),… ,a(N) 의 값들은 LPC 분석의 결과로서 생긴 비례적 계수이다. LSP주파수의 특징은, LPC필터가 안정한 동안에는, 두 함수의 근은 켤레로서, 즉, 최소근(ω1)은 p(ω)의 최소근이고, 그 다음의 최소근(ω2)은 q(ω)의 최소근이다. N 개의 주파수들 가운데, 홀수 주파수는 p(ω)의 근이고, 짝수 주파수는 q(ω)의 근이다.
LSP주파수를 얻기위한 수식(8) 및(9)를 푸는 것은 계산상 상당히 심도 높은 연산이다. LPC 계수를 LSP주파수로 변환하여 다시 LSP주파수로부터 LPC 계수로의 변환으로 계산적으로 로우딩하는 주된 소오스중 하나는, 삼각함수의 광범위한 사용으로부터 발생한다.
계산상의 복잡함을 감소시키는 한 방법으로는 치환이 방법이 있다.
n>1 인 동안의 cos(nω) 의 값은 다음의 삼각함수 법칙의 귀납적 사용을 통하여 χ 의 곱셈의 조합으로 표현될수 있다.
이 법칙을 확장하여 사용함으로써 다음의 결과가 얻어진다.
이러한 치환과 χ의 공통곱과의 집합을 함으로써, 수식(8) 및(9)는 아래의 χ의 다항식으로 된다.
그럼으로써, 값(χ1…χN) 을 제공함으로써 LSP주파수(ω1…ωN) 에 의해 제공된 정보를 제공할수 있게되며, 이는 선스펙트럼 코사인(χ1…χN) 이라고 한다. N 개의 라인 스펙트럼 코사인 값들은 수식(14) 및(15)의 N 개의 근을 찾는 것과 연관된다. 이러한 절차는 아무런 삼각함수적인 계산을 필요로 하지 않고, 따라서 계산의 복잡성을 크게 감소시킨다. 선스펙트럼 코사인 값을 양자화하는 데에 있어서의 문제는, LSP주파수에 반하여, +1 과 -1 사이의 값을 가지는 선스펙트럼 코사인 값을 양자화하는 것은 상당히 민감한 양자화 노이즈를 가져온다는 것이다.
본 발명에서, 선스펙트럼 코사인 값은 그 값들을 여기서 언급된 선스펙트럼 제곱근(LSS) 값(y1…yN)으로 변환함으로써 양자화 노이즈에 더욱 둔감해진다. 선스펙트럼 코사인(χ1…χN) 값을 선스펙트럼 제곱근(y1…yN) 값으로 변환하는 데 사용된 계산이 아래의 수식(16)에 나타나 있다.
여기서 χi는 i번째 선스펙트럼 코사인 값을 나타내고, yi 는 i 번째에 해당하는 선스펙트럼 제곱근 값을 나타낸다. 선스펙트럼 코사인으로부터 선스펙트럼 제곱근으로의 변환은 비례적인 근사로서 선스펙트럼 코사인으로부터 LSP로 변환되어 보여질수 있다. 도 2는 수식(16)의 함수에 대한 값을 보여준다.
이러한 변환으로 인하여, 선 프펙트럼 제곱근 값들은 선스펙트럼 코사인 값보다 더욱 균일하게 양자화 노이즈에 민감하게되고, LSP주파수와 동일한 특성을 갖게 된다. 그러나, LPC 계수와 LSS 값 사이의 변환은 곱과 제곱근 계산을 필요로 하게되어, LPC 계수와 LSP주파수 사이의 변환에서 소요되는 삼각함수 계산보다도 계산적으로 덜 심도있게 된다.
본 발명의 향상된 실시예에서, 선스펙트럼 제곱근 값들은 계산된 감도 값과 코드북 선택 방법과 여기에 설명된 장치에 따라서 인코딩된다. 본 발명의 선스펙트럼 제곱근 값을 인코딩하는 방법 및 장치는 최소의 비트를 사용하여 인코딩된 음성의 인식의 질을 극대화 할수 있다.
도 3은 본 발명의 선스펙트럼 코사인 값(χ(1),χ(2),…,χ(N))과 선스펙트럼 제곱근 값(S1,S2,…,SN)의 양자화 감도의 생성을 위한 장치를 나타낸다. 상기에서 설명한 바와 같이, N 은 LPC필터의 필터 계수의 개수이다. 음성 자기 상관 원소 101 은 자기상관 값(R(0) 내지 R(N))들의 셋을 음성 샘플의 프래임으로부터 s(n)이 상기 수식(1)에 따라서 계산한다.
선형 예측 계수(LPC) 계산 원소 102 는 LPC 계수들(a(1) 내지 a(N))을 자기상관 값(R(0) 내지 R(N))들의 셋으로부터 상기 수식(2) 내지(7)의 설명에 따라서 계산한다. 선형 스펙트럼 코사인 계산 원소 103 는 상기의 수식(14) 내지(15) 에 설명한 바와 같이 LPC 계수들의 셋을 선형 스펙트럼 코사인 값 (χ1…χN) 으로 변환한다. 감도 게산 원소 108 는 아래에 설명한 바와 같이, 감도 값(S1내지 SN)을 생성한다.
P 및 Q 계산 원소 104는 두 개의 새로운 벡터값을 다음의 수식(17) 내지(22)을 사용하여 LPC 계수로부터 계산한다.
다항식의 나누기 원소 105a 내지 105N 는 다항식 나눗셈을 수행하여 Ji(1) 내지 Ji(N)으로 이루어진값이 셋을 제공하며, 여기서 i 는 감도 값이 계산되고 있는 선스펙트럼 코사인 값의 인덱스이다. 홀수값의 인덱스(χ1,χ3,χ5등)를 가지는 선스펙트럼 코사인 값으로는, 긴 나눗셈이 다음과 같이 수행된다.
그리고 짝수값의 인덱스(χ2,χ4,χ6등)을 가지는 선스펙트럼 코사인 값으로는 다음의 긴 나눗셈이 수행된다.
i 가 홀수일 때,
이러한 대칭성 때문에, N 개의 Ji값의 셋을 결정하는데 상기 나눗셈의 절반만이 필요적으로 수행된다. 마찬가지로, i 가 짝수일때에는,
이러한 반 대칭성 때문에, 상기 나눗셈의 절반만이 필요적으로 수행된다.
감도 자기 상관 원소 106a 내지 106N 는 다음의 수식을 사용하여 자기 상관 값의 셋을 계산한다.
감도 상호 상관 원소 107a 내지 107N 는 선스펙트럼 제곱근 값을값의 셋을 음성 으로부터의 자기 상관 값과 상호 상관시키고, 그 결과를로 가중시킴으로써 선스펙트럼 제곱근 값의 감도를 계산한다. 이러한 연산은 아래의 수식(28)에 따라서 행해진다.
도 4는 선스펙트럼 제곱근 값의 셋을 발생 및 양자화하는 본 발명의 장치를 보여준다. 본 발명은 디지털 신호 프로세서(DSP) 또는 여기에 설명된 함수를 수행하도록 프로그램된 응용 특수 집적회로(ASIC)에서 실행될 수 있다. 원소(111, 112, 및 113)는 도 3의 블록(101,102, 및 103)에서 연산한다. 선스펙트럼 코사인 계산 원소(113)는 선스펙트럼 코사인 값(χ1…χN) 에 선스펙트럼 제곱근 값(y(1),…,y(N)) 을 계산하는 선스펙트럼 제곱근 계산 원소(121)에 상기의 수식(16)에 따라 제공한다.
감도 계산 원소(114)는 선스펙트럼 코사인 값(χ1…χN) 을 선스펙트럼 코사인 계산 원소(113)으로부터 받고, LPC 값(a(1),…,a(N))을 LPC 계산 원소(112)으로부터 받고, 자기상관 값(R(0) 내지 R(N))을 음성 자기상관 원소(111)로부터 수신한다. 감도 계산 원소(114)는 감도 값(S1,…,SN)을 도 3의 감도 계산 원소(108)에 따라서 발생시킨다.
선스펙트럼 제곱근 값(y(1),…,y(N))의 셋과 감도 값(S1,…,SN)이 계산되면, 선스펙트럼 제곱근 값의 양자화가 시작된다. 선스펙트럼 제곱근 값의 차를 이루는 제 1 감산기는(△y1,△y2,…△yN(1)) 로 구성되며 감산기 원소(115a)에 의하여 계산된다.
N(1), N(2) 등의 값의 셋은 선스펙트럼 제곱근을 서브벡터로의 분할을 정의한다. N=10 인 경우의 실시예에서, 선스펙트럼 제곱근 벡터는 2개의 원소로된 5개의 서브벡터로 분할되어, N(1)=2, N(2)=4,N(3)=6, N(5)=10 이 되도록 한다. V 는 서브벡터의 개수이다. 실시예에서 V=5 이다.
다른 실시예에서, 선스펙트럼 제곱근 벡터는 다른 차원의 다른 개수의 서브벡터로 분할될 수도 있다. 예를 들어서, 제 1 서브벡터에서의 3 개의 원소, 제 2 서브벡터에서 3개의 원소, 및 제 3 서브벡터에서 4개의 원소로된 3개의 서브벡터를 분할하면 N(1)=3, N(2)=6, 및 N(3)=10 의 결과가 된다. 이 실시예에서는 V=3 이다.
선스펙트럼 제곱근 차를 이루는 제 1 서브벡터가 감산기(115a)에서 계산되고 나면, 원소(116a, 117a, 118a, 및 119a)들에 의하여 양자화된다. 원소(118a)는 선스펙트럼 제곱근 차 벡터의 코드북이다. 실시예에서, 그러한 벡터가 64개 있다. 선스펙트럼 제곱근 차 벡터의 코드북은 잘 알려진 벡터 트레이닝 알고리즘을 사용하여 결정될 수있다. 원소(117a)인 인덱스 발생기(1)는 코드북 인덱스(m)를 코드북 원소(118a)에 제공한다. 코드북 원소(118a)는 인덱스(m)에 응답으로 원소 (△y1(m),…△yN(1)(m)) 으로 이루어진 m 번째 코드벡터를 제공한다.
오류 계산 및 극소화 원소(116a)는 선 스팩트럼 제곱근 차를 이루는 본래의 서브벡터를 선스펙트럼 제곱근 차의 m 번째 코드벡터로 양자화함으로써 생기는 근사 스펙트럼 왜곡을 나타내는 감도 가중 오류 E(m) 를 계산한다. 실시예에서, E(m) 은 다음의 수식으로 계산된다.
E(m) 은 LSS 값의 감도 가중 제곱 오류이다. 수식(31) 내지(36)에 나타난 감도 가중 제곱 오류를 결정하는 절차는 각 선 스팩트럼 제곱근 값의 양자화 오류를 축적하고, LSS 값의 감도에 의하여 상기 오류를 가중한다.
E(m) 이 코드북의 모든 코드벡터에 대하여 계산되고 나면, 오류 계산 및 극소화(ERROR COMP.AND MINI.) 원소(116a)가 E(m) 을 극소화시키는 인데스 m을 선택한다. 이 값(m) 은 코드북(1)의 인덱스이며, I1로 표현된다. (△y1,…△yN(1)) 의 양자화된 값은으로 표기되며,(△y1(I1),…△yN(1)(I1)) 과 같은 셋이다.
가산기 원소(119a)에서 제 1 서브벡터의 양자화된 선스펙트럼 제곱근 값이 다음과 같이 계산된다.
양자화된 선스펙트럼 제곱근 값은 블록(119a)에서 계산되고, i가 N(1)+1 에서 N(2) 인 동안의 yi는 선스펙트럼 제곱근 차를 이루는 제 2 서브벡터를 계산하는데 사용되며 이들은 다음과 같이(△yN(1)+1, △yN(1)+2,…△yN(2)) 로 이루어진다.
선택 인덱스 값(I2) 의 선택을 위한 연산은 상기의(I1) 을 선택하는 것과 동일한 방법으로 수행된다.
나머지 서브벡터는 동일한 방식으로 연속하여 양자화된다. 모든 서브벡터의 연산은 본질적으로 동일하며, 예를 들어, 마지막 서브벡터(V 번째 서브벡터)는 1부터 V-1번째 서브벡터가 모두 양자화되고 나서 양자화된다. 선스펙트럼 제곱근의 차를 이루는 V번째 서브벡터는 원소(115V)에 의하여 다음과 같이 계산된다.
V 번째 서브벡터는 E(m) 을 극소화하는 V 번째 코드북에서 코드벡터를 찾음으로써 다음과 같은 루프에 의하여 계산된다.
V 번째 서브벡터의 최적의 코드벡터가 결정되면, 양자화된 선스펙트럼 제곱근 차 및 그 서브벡터의 양자화된 선스펙트럼 제곱근 값은 상술한 바와 같이 계산된다. 이 절차는 모든 서브벡터가 양자화될 때까지 연속하여 반복된다.
도 3 및 4에서 블록들은 지정된 함수를 수행하는 구조 블록으로서 구비되거나 블록들이 디지털 신호 프로세서(DSP)나 응용 특수 집적회로(ASIC)의 프로그램에서 수행되는 함수를 나타낼수도 있다. 본 발명의 함수적인 설명은 과도한 실험을 하지 않고도 DSP 또는 ASIC에서 본 발명을 구비시킴으로써 정상적인 기능을 수행하게 한다.
선호되는 실시예에 대한 상술한 설명은 본 기술분야에 통상의 지식을 가진 사람이라면 누구나가 본 발명을 개발하거나 이용할 수 있도록 하기위한 것이다. 본 발명에 여러 가지 수정은 본 발명에 대한 통상의 지식을 가진 사람이라면 쉽게 가능할 것이며, 여기서 정의된 본질적인 원리은 창의적인 능력을 필요치 않고서도 다른 실시예에서도 적용될 수 있을 것이다. 그러므로, 본 발명은 여기에 보여진 실시예에 국한되는 것이 아니라, 여기에 공개된 원리와 신규한 특징에 부합되는 광법위한 영역에 걸쳐서 적용된다.
Claims (20)
- 선형 예측 코더에서, 선형 예측 코딩(LPC) 계수들을 발생 및 인코딩하는 서브시스템에 있어서,디지털 음성 샘플을 수신하고 상기 디지털 음성 샘플의 한 셋트의 LPC 계수 선형 예측 코딩 포맷에 따라서 발생시키는 LPC 발생 수단;상기 한 셋트의 LPC 계수를 수신하고 한 셋트의 선스펙트럼 코사인 값을 선스펙트럼 코사인 변환 포맷에 따라서 발생시키는 선스펙트럼 코사인 발생 수단; 및상기 한 셋트의 선스펙트럼 코사인 값을 수신하고 한 셋트의 선스펙트럼 제곱근 값을 제곱근 변환 포맷에 따라서 발생시키는 선스펙트럼 제곱근 수단을 구비하는 것을 특징으로 하는 서브시스템.
- 제 1 항에 있어서, 상기 제곱근 변환 포맷은,이며, 여기서 χi는 i번째 선스펙트럼 코사인 값이고, yi는 대응하는 i 번째 선스펙트럼 제곱근 값인 서브시스템.
- 제 1 항에 있어서,상기 한 셋트의 선형 스펙트럼 코사인 값 및 한 셋트의 선형 예측 코딩(LPC) 계수들을 수신하고 한 셋트의 몫 계수를 소정의 다항식 나눗셈 포맷에 따라서 발생시키는 다항식 나눗셈 수단; 및상기 한 셋트의 몫 계수, 상기 한 셋트의 선스펙트럼 코사인 값, 및 한 셋트의 음성 자기상관 계수들을 수신하고 한 셋트의 선스펙트럼 제곱근 감도 계수를 가중 상호상관 계산 포맷에 따라서 계산하는 감도 상호상관 장치를 또한 구비하는 것을 특징으로 하는 서브시스템.
- 제 3 항에 있어서, 상기 다항식 나눗셈 수단과 상기 한 셋트의 몫 계수를 수신하고 상기 한 셋트의 몫 계수를 위한 한 셋트의 감도 자기상관 값을 소정의 자기상관 계산 포맷에 따라서 발생시키기 위하여 상기 다항식 나눗셈 수단과 상기 감도 상호상관 수단의 사이에 배치된 감도 자기상관 수단을 또한 구비하는 것을 특징으로 하는 서브시스템.
- 제 3 항에 있어서, 상기 한 셋트의 LPC 계수를 수신하고 한 셋트의 벡터를 소정의 벡터 발생 포맷에 따라서 발생시키기 위하여 상기 다항식 나눗셈 수단의 전단에 위치한 벡터 계산 수단을 또한 구비하는 것을 특징으로 하는 서브시스템.
- 제 5 항에 있어서, 상기 벡터 계산 수단은 상기 한 셋트의 벡터중의 2개의 벡터(P & Q)를에 따라 계산하는 것을 특징으로 하는 서브시스템.
- 제 6 항에 있어서, 상기 다항식 나눗셈 수단은 홀수의 선스펙트럼 제곱근 값을 위한 상기 한 셋트의 상기 몫 계수(Ji)를에 따라 제공하며, 여기서 Z 는 다항식의 변수, χi는 i 번째 선스펙트럼 코사인 값, N 은 필터 텝들의 개수인 것을 특징으로 하는 선형 예측 코딩(LPC) 계수들을 발생 및 인코딩하는 장치.
- 제 6 항에 있어서, 상기 다항식 나눗셈 수단은 짝수의 선스펙트럼 제곱근 값을 위한 한 셋트의 상기 몫 계수(Ji) 를에 따라서 제공하며, 여기서 Z 는 다항식의 변수, χi는 i번째 선스펙트럼 코사인 값, N은 필터 텝들의 개수인 것을 특징으로 하는 서브시스템.
- 제 3 항에 있어서,상기 감도 상호상관 수단은 선스펙트럼 제곱근 감도 값을에 따라 제공하며, 여기서 χi는 i 번째 선스펙트럼 코사인 값, R(k) 는 한 셋트의 음성 샘플의 k 번째 음성 자기상관 계수, RJi(k) 는 상기 한 셋트의 몫 계수의 k 번째 자기상관 계수인 것을 특징으로 하는 서브시스템.
- 선형 예측 코더에서, 선형 예측 코딩(LPC) 계수들을 발생 및 인코딩하는 서브시스템에 있어서,한 셋트의 LPC 계수를 제공하기 위하여 디지털 음성 샘플을 수신하는 입력부와 출력부를 가지는 LPC 발생 장치;상기 LPC 발생기의 출력부와 결합된 입력부를 가지는 선스펙트럼 코사인 발생기; 및상기 선스펙트럼 코사인 발생기의 출력부에 결합된 입력부와 출력부를 가지는 선스펙트럼 코사인 발생기를 구비하는 것을 특징으로 하는 서브시스템.
- 제 10 항에 있어서, 상기 선스펙트럼 제곱근 발생기 출력부에 결합된 입력부와 출력부를 가지는 다항식 나눗셈 계산기; 및상기 다항식 나눗셈 계산기 출력부에 결합된 입력부와 출력부를 가지는 감도 상호상관 계산기를 또한 구비하는 것을 특징으로 하는 서브시스템.
- 제 11 항에 있어서, 상기 선스펙트럼 제곱근 발생기 출력부에 결합된 입력부와 상기 감도 상호상관 계산기 입력부에 결합된 출력부를 가지며, 상기 다항식 나눗셈 계산기와 상기 감도 상호상관 계산기의 사이에 배치된 감도 자기상관 계산기를 또한 구비하는 것을 특징으로 하는 서브시스템.
- 선형 예측 코더에서, 선형 예측 코딩(LPC)계수의 발생 및 인코딩방법에 있어서,선형 예측 코딩 포맷에 따라서 디지털 음성 샘플을 위한 한 셋트의 LPC 계수를 발생시키는 단계;선스펙트럼 코사인 변환 포맷에 따라서 선스펙트럼 코사인 값에 따라 한 셋트의 선스펙트럼 코사인 값을 발생시키는 단계; 및제곱근 변환 포맷에 따라서 한 셋트의 선스펙트럼 제곱근 값을 발생시키는 단계를 구비하는 것을 특징으로 하는 방법.
- 제 13 항에 있어서, 상기 한 셋트의 선스펙트럼 제곱근 값을 발생시키는 단계는를 구비하며, 여기서 χi는 i번째 선스펙트럼 코사인 값이고, yi는 해당하는 i번째선스펙트럼 제곱근 값인 것을 특징으로 방법.
- 제 13 항에 있어서,소정의 다항식 나눗셈 포맷에 따라서 한 셋트의 몫 계수를 발생시키는 단계; 및가중 상호상관 계산 포맷에 따라서 한 셋트의 선스펙트럼 제곱근 감도 계수를 계산하는 단계를 또한 구비하는 것을 특징으로 하는 방법.
- 제 15 항에 있어서, 소정의 자기상관 계산 포맷에 따라서 상기 한 셋트의 몫 계수를 위한 상기 한 셋트의 감도 자기상관 값을 발생시키는 단계를 또한 구비하는 방법.
- 제 15 항에 있어서, 소정의 벡터 발생 포맷에 따라서 한 셋트의 벡터를 발생시키는 단계를 또한 구비하는 것을 특징으로 하는 방법.
- 제 17 항에 있어서,상기 한 셋트의 벡터를 발생시키는 단계는 다음의 단계는의 단계를 구비하는 것을 특징으로 하는 방법.
- 제 18 항에 있어서, 홀수의 선스펙트럼 제곱근 값을 위한 상기 한 셋트의 몫 계수(Ji)를 발생시키는 단계는,아의 다항식 나눗셈을 수행하는 단계를 구비하고, 여기서 Z 는 다항식의 변수, χi는 i번째 선스펙트럼 코사인 값, N은 필터 텝들의 개수인 것을 특징으로 하는 방법
- 제 17 항에 있어서, 짝수의 선스펙트럼 제곱근 값을 위한 상기 한 셋트의 몫 계수(Ji)를 발생시키는 단계는,의 다항식 나눗셈을 수행하는 단계를 구비하고, 여기서 Z 는 다항식의 변수, χi는 i번째 선스펙트럼 코사인 값, N은 필터 텝들의 개수인 것을 특징으로 하는 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/509,848 US5754733A (en) | 1995-08-01 | 1995-08-01 | Method and apparatus for generating and encoding line spectral square roots |
US08/509,848 | 1995-08-01 | ||
US8/509,848 | 1995-08-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR19990036044A true KR19990036044A (ko) | 1999-05-25 |
KR100408911B1 KR100408911B1 (ko) | 2004-04-03 |
Family
ID=24028330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR10-1998-0700709A KR100408911B1 (ko) | 1995-08-01 | 1996-08-01 | 선스펙트럼제곱근을발생및인코딩하는방법및장치 |
Country Status (21)
Country | Link |
---|---|
US (1) | US5754733A (ko) |
EP (1) | EP0842509B1 (ko) |
JP (2) | JP3343125B2 (ko) |
KR (1) | KR100408911B1 (ko) |
CN (1) | CN1147833C (ko) |
AR (1) | AR000436A1 (ko) |
AT (1) | ATE218740T1 (ko) |
BR (1) | BR9609841B1 (ko) |
CA (1) | CA2228172A1 (ko) |
DE (1) | DE69621620T2 (ko) |
DK (1) | DK0842509T3 (ko) |
ES (1) | ES2176478T3 (ko) |
FI (1) | FI980207A (ko) |
IL (2) | IL118977A (ko) |
MX (1) | MX9800851A (ko) |
MY (1) | MY112330A (ko) |
PT (1) | PT842509E (ko) |
RU (1) | RU98103512A (ko) |
TW (1) | TW410273B (ko) |
WO (1) | WO1997005602A1 (ko) |
ZA (1) | ZA966401B (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012053798A2 (en) * | 2010-10-18 | 2012-04-26 | Samsung Electronics Co., Ltd. | Apparatus and method for determining weighting function having low complexity for linear predictive coding (lpc) coefficients quantization |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0821505A1 (en) * | 1996-07-25 | 1998-01-28 | Hewlett-Packard Company | Apparatus providing connectivity between devices attached to different interfaces of the apparatus |
FI973873A (fi) * | 1997-10-02 | 1999-04-03 | Nokia Mobile Phones Ltd | Puhekoodaus |
JPH11296904A (ja) | 1998-04-03 | 1999-10-29 | Toshiba Corp | 情報記録媒体およびこれに用いられる樹脂基板の製造方法 |
US7003454B2 (en) * | 2001-05-16 | 2006-02-21 | Nokia Corporation | Method and system for line spectral frequency vector quantization in speech codec |
US8352248B2 (en) * | 2003-01-03 | 2013-01-08 | Marvell International Ltd. | Speech compression method and apparatus |
US7272557B2 (en) * | 2003-05-01 | 2007-09-18 | Microsoft Corporation | Method and apparatus for quantizing model parameters |
US8920343B2 (en) | 2006-03-23 | 2014-12-30 | Michael Edward Sabatino | Apparatus for acquiring and processing of physiological auditory signals |
EP2077550B8 (en) * | 2008-01-04 | 2012-03-14 | Dolby International AB | Audio encoder and decoder |
EP3779975B1 (en) | 2010-04-13 | 2023-07-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder and related methods for processing multi-channel audio signals using a variable prediction direction |
CN103477387B (zh) * | 2011-02-14 | 2015-11-25 | 弗兰霍菲尔运输应用研究公司 | 使用频谱域噪声整形的基于线性预测的编码方案 |
TWI488176B (zh) | 2011-02-14 | 2015-06-11 | Fraunhofer Ges Forschung | 音訊信號音軌脈衝位置之編碼與解碼技術 |
PL2676264T3 (pl) | 2011-02-14 | 2015-06-30 | Fraunhofer Ges Forschung | Koder audio estymujący szum tła podczas faz aktywnych |
US9609370B2 (en) | 2011-05-31 | 2017-03-28 | Alcatel Lucent | Video delivery modification based on network availability |
US9071954B2 (en) | 2011-05-31 | 2015-06-30 | Alcatel Lucent | Wireless optimized content delivery network |
US20140358529A1 (en) * | 2013-05-29 | 2014-12-04 | Tencent Technology (Shenzhen) Company Limited | Systems, Devices and Methods for Processing Speech Signals |
EP2824661A1 (en) | 2013-07-11 | 2015-01-14 | Thomson Licensing | Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals |
JP6422813B2 (ja) * | 2015-04-13 | 2018-11-14 | 日本電信電話株式会社 | 符号化装置、復号装置、これらの方法及びプログラム |
WO2017095055A1 (ko) * | 2015-12-01 | 2017-06-08 | 김배용 | 생리활성물질 복합체, 이의 제조방법 및 이를 포함한 화장료 조성물 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5012518A (en) * | 1989-07-26 | 1991-04-30 | Itt Corporation | Low-bit-rate speech coder using LPC data reduction processing |
US4975956A (en) * | 1989-07-26 | 1990-12-04 | Itt Corporation | Low-bit-rate speech coder using LPC data reduction processing |
DE69232202T2 (de) * | 1991-06-11 | 2002-07-25 | Qualcomm, Inc. | Vocoder mit veraendlicher bitrate |
-
1995
- 1995-08-01 US US08/509,848 patent/US5754733A/en not_active Expired - Lifetime
-
1996
- 1996-07-26 ZA ZA9606401A patent/ZA966401B/xx unknown
- 1996-07-30 IL IL11897796A patent/IL118977A/xx not_active IP Right Cessation
- 1996-07-31 AR AR33770196A patent/AR000436A1/es unknown
- 1996-07-31 MY MYPI96003124A patent/MY112330A/en unknown
- 1996-08-01 CA CA002228172A patent/CA2228172A1/en not_active Abandoned
- 1996-08-01 JP JP50790597A patent/JP3343125B2/ja not_active Expired - Fee Related
- 1996-08-01 ES ES96926869T patent/ES2176478T3/es not_active Expired - Lifetime
- 1996-08-01 MX MX9800851A patent/MX9800851A/es active IP Right Grant
- 1996-08-01 KR KR10-1998-0700709A patent/KR100408911B1/ko not_active IP Right Cessation
- 1996-08-01 IL IL12311996A patent/IL123119A0/xx unknown
- 1996-08-01 DE DE69621620T patent/DE69621620T2/de not_active Expired - Lifetime
- 1996-08-01 DK DK96926869T patent/DK0842509T3/da active
- 1996-08-01 AT AT96926869T patent/ATE218740T1/de active
- 1996-08-01 RU RU98103512/09A patent/RU98103512A/ru not_active Application Discontinuation
- 1996-08-01 BR BRPI9609841-4A patent/BR9609841B1/pt not_active IP Right Cessation
- 1996-08-01 EP EP96926869A patent/EP0842509B1/en not_active Expired - Lifetime
- 1996-08-01 WO PCT/US1996/012658 patent/WO1997005602A1/en active IP Right Grant
- 1996-08-01 CN CNB961967749A patent/CN1147833C/zh not_active Expired - Lifetime
- 1996-08-01 PT PT96926869T patent/PT842509E/pt unknown
- 1996-08-14 TW TW085109891A patent/TW410273B/zh not_active IP Right Cessation
-
1998
- 1998-01-29 FI FI980207A patent/FI980207A/fi not_active IP Right Cessation
-
2002
- 2002-05-15 JP JP2002140337A patent/JP2003050600A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012053798A2 (en) * | 2010-10-18 | 2012-04-26 | Samsung Electronics Co., Ltd. | Apparatus and method for determining weighting function having low complexity for linear predictive coding (lpc) coefficients quantization |
WO2012053798A3 (en) * | 2010-10-18 | 2012-06-14 | Samsung Electronics Co., Ltd. | Apparatus and method for determining weighting function having low complexity for linear predictive coding (lpc) coefficients quantization |
CN103262161A (zh) * | 2010-10-18 | 2013-08-21 | 三星电子株式会社 | 确定用于线性预测编码(lpc)系数量化的具有低复杂度的加权函数的设备和方法 |
US9311926B2 (en) | 2010-10-18 | 2016-04-12 | Samsung Electronics Co., Ltd. | Apparatus and method for determining weighting function having for associating linear predictive coding (LPC) coefficients with line spectral frequency coefficients and immittance spectral frequency coefficients |
US9773507B2 (en) | 2010-10-18 | 2017-09-26 | Samsung Electronics Co., Ltd. | Apparatus and method for determining weighting function having for associating linear predictive coding (LPC) coefficients with line spectral frequency coefficients and immittance spectral frequency coefficients |
US10580425B2 (en) | 2010-10-18 | 2020-03-03 | Samsung Electronics Co., Ltd. | Determining weighting functions for line spectral frequency coefficients |
Also Published As
Publication number | Publication date |
---|---|
FI980207A (fi) | 1998-03-31 |
FI980207A0 (fi) | 1998-01-29 |
DE69621620D1 (de) | 2002-07-11 |
IL118977A0 (en) | 1996-10-31 |
RU98103512A (ru) | 2000-01-27 |
BR9609841B1 (pt) | 2009-01-13 |
DE69621620T2 (de) | 2003-02-06 |
EP0842509A1 (en) | 1998-05-20 |
IL118977A (en) | 2000-01-31 |
AU702506B2 (en) | 1999-02-25 |
DK0842509T3 (da) | 2002-10-07 |
CN1195414A (zh) | 1998-10-07 |
MY112330A (en) | 2001-05-31 |
JP3343125B2 (ja) | 2002-11-11 |
AR000436A1 (es) | 1997-06-18 |
JP2003050600A (ja) | 2003-02-21 |
EP0842509B1 (en) | 2002-06-05 |
JPH11510274A (ja) | 1999-09-07 |
CN1147833C (zh) | 2004-04-28 |
IL123119A0 (en) | 1998-09-24 |
KR100408911B1 (ko) | 2004-04-03 |
TW410273B (en) | 2000-11-01 |
ZA966401B (en) | 1998-03-09 |
ES2176478T3 (es) | 2002-12-01 |
WO1997005602A1 (en) | 1997-02-13 |
ATE218740T1 (de) | 2002-06-15 |
US5754733A (en) | 1998-05-19 |
CA2228172A1 (en) | 1997-02-13 |
AU6688596A (en) | 1997-02-26 |
MX9800851A (es) | 1998-04-30 |
BR9609841A (pt) | 1999-03-09 |
PT842509E (pt) | 2002-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0443548B1 (en) | Speech coder | |
EP0336658B1 (en) | Vector quantization in a harmonic speech coding arrangement | |
EP0337636B1 (en) | Harmonic speech coding arrangement | |
KR100408911B1 (ko) | 선스펙트럼제곱근을발생및인코딩하는방법및장치 | |
EP0898267B1 (en) | Speech coding system | |
US5339384A (en) | Code-excited linear predictive coding with low delay for speech or audio signals | |
US6122608A (en) | Method for switched-predictive quantization | |
EP0501421B1 (en) | Speech coding system | |
US6345255B1 (en) | Apparatus and method for coding speech signals by making use of an adaptive codebook | |
US8386267B2 (en) | Stereo signal encoding device, stereo signal decoding device and methods for them | |
EP0477960A2 (en) | Linear prediction speech coding with high-frequency preemphasis | |
US6889185B1 (en) | Quantization of linear prediction coefficients using perceptual weighting | |
US5526464A (en) | Reducing search complexity for code-excited linear prediction (CELP) coding | |
EP0810584A2 (en) | Signal coder | |
EP0724252B1 (en) | A CELP-type speech encoder having an improved long-term predictor | |
US5704001A (en) | Sensitivity weighted vector quantization of line spectral pair frequencies | |
EP0774750B1 (en) | Determination of line spectrum frequencies for use in a radiotelephone | |
JP3194930B2 (ja) | 音声符号化装置 | |
AU702506C (en) | Method and apparatus for generating and encoding line spectral square roots | |
JP3252285B2 (ja) | 音声帯域信号符号化方法 | |
JP3256215B2 (ja) | 音声符号化装置 | |
JPH04301900A (ja) | 音声符号化装置 | |
JPH1055198A (ja) | 音声符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121030 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20131030 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20141030 Year of fee payment: 12 |
|
LAPS | Lapse due to unpaid annual fee |