KR20050006883A - 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기및 그 방법 - Google Patents

광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기및 그 방법 Download PDF

Info

Publication number
KR20050006883A
KR20050006883A KR1020030046861A KR20030046861A KR20050006883A KR 20050006883 A KR20050006883 A KR 20050006883A KR 1020030046861 A KR1020030046861 A KR 1020030046861A KR 20030046861 A KR20030046861 A KR 20030046861A KR 20050006883 A KR20050006883 A KR 20050006883A
Authority
KR
South Korea
Prior art keywords
fixed codebook
codebook
primary
signal
pitch
Prior art date
Application number
KR1020030046861A
Other languages
English (en)
Other versions
KR100651712B1 (ko
Inventor
성호상
황대환
김경태
정성교
강홍구
윤대희
Original Assignee
학교법인연세대학교
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인연세대학교, 한국전자통신연구원 filed Critical 학교법인연세대학교
Priority to KR1020030046861A priority Critical patent/KR100651712B1/ko
Priority to US10/749,569 priority patent/US20050010402A1/en
Publication of KR20050006883A publication Critical patent/KR20050006883A/ko
Application granted granted Critical
Publication of KR100651712B1 publication Critical patent/KR100651712B1/ko

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G10L19/125Pitch excitation, e.g. pitch synchronous innovation CELP [PSI-CELP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기 및 그 방법이 개시된다. 본 발명에 따른 광대역 음성 부호화기는 부호화할 광대역 음성신호의 개회로 피치값과 선형예측계수를 이용하여 현재 프레임에 해당하는 음성의 특성을 규정하는 음성 특성 분류부, 적응 코드북을 검색하여 적응 코드북 피치 지연값 및 적응 코드북 피치 이득값을 얻고, 1차 고정 코드북 목적신호를 생성하는 적응 코드북 검색부, 1차 고정 코드북을 검색하여 1차 고정 코드북 인덱스와 1차 고정 코드북 이득값을 얻고, 2차 고정 코드북 목적신호를 생성하는 1차 고정 코드북 검색부, 음성 특성에 따라 적어도 둘 이상의 2차 고정 코드북들을 구비하며, 음성 특성 정보에 따라 하나의 2차 고정 코드북을 선택 및 검색하여 2차 고정 코드북 인덱스들과 2차 고정 코드북 이득값들 검색하는 2차 고정코드북 검색부 및 각 부에서 얻어지는 파라미터들을 양자화 및 다중화하여 비트열로 만들어 외부의 음성 복호화단으로 전송하는 파라미터 다중화부를 포함하는 것을 특징으로 하며, 음성 특성에 따라 2개 이상으로 구성된 2차 고정 코드북들로부터 음성 특성에 적합한 2차 고정 코드북을 선택함으로써 광대역 음성신호에 대해 보다 우수한 음질을 제공할 수 있다.

Description

광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기 및 그 방법{Wideband speech coder and method thereof, and Wideband speech decoder and method thereof}
본 발명은 광대역 음성 부호화기에 적합한 고정 코드북 검색에 관한 것으로, 특히, 보다 적은 계산량으로 보다 우수한 음질을 제공할 수 있는 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기 및 그 방법에 관한 것이다.
종래에 광대역 음성 신호를 부호화하는 다양한 방식이 제안되었다. 먼저 광대역 음성 부호화기의 표준안은 ITU-T와 ETSI(European TelecommunicationsStandardization Institute)를 중심으로 이루어지고 있다. 광대역 음성부호화기의 활용성을 가장 먼저 예견한 표준안은 ISO-MPEG 4(International Organization for Standardization MPEG 4)의 CELP/RPE(Code Excited Linear Prediction/Regular Pulse Excitation)이다. 이 알고리듬은 비교적 낮은 전송률인 24 kbit/s에서 작동하지만 음질면에서 다른 부호화기에 비해 성능이 우수하지 못하므로 현재 많이 사용되고 있지 않다. ITU-T는 가장 먼저 광대역 음성 부호화기의 표준안으로 G.722, 64, 56, 48 kbit/s 음성/오디오 부호화기을 제안했고, 그 이후로 24, 32 kbit/s의 전송률에서, ATC(Adaptive Transform Coding) 알고리듬을 사용하는 G.722.1을 새로운 광대역 부호화기의 표준안으로 채택하였다. ITU-T G.722은 기본적인 ADPCM(Adaptive Difference Pulse Coded Modulation) 방식을 사용함으로서 많은 부호화기의 음질 기준이 되고 있다. G.722.1에 이어 2000년부터 현재까지 12-24 kbit/s의 변화 전송률을 지원하고 보다 높은 음질 기준을 만족하는 새로운 부호화기에 대한 표준화 작업이 진행되어 최근에는 ACELP를 근간으로 하는 G.722.2가 완성되었다.
광대역 음성 부호화의 연구는 GSM(Global System for Mobile communication)에서 표준화된 AMR(Adaptive Multi-Rate) 음성 부호화기 계열에서도 찾아 볼 수 있다. 현재 3세대(3G) 무선통신 시스템(UMTS/IMT-2000)에 적합한 음성 부호화기로 GSM 시스템 용량에 적합하고 향상된 음질을 제공하는 AMR이 채택되었다. 통화품질 면에서는 6.60 - 23.85 kbit/s 전송률로, 무선통신 환경 하의 48, 56 kbit/s ITU-T G.722와 동등한 음질을 제공하는 것으로 알려져 있다. 이는 점차 광대역 음성 부호화 알고리듬이 점차 ACELP 근간으로 굳어져가고 있음을 나타낸다.
하지만 ACELP 기반 광대역 음성 부호화기는 기본적으로 음성 발성 모델을 가정하므로 오디오 신호 부호화에는 적합하지 않은 특성이 있다. 또한 ACELP는 일정 구간에서 같은 이득값을 갖는 몇 개의 펄스로 고정 코드북을 모델링하기 때문에, 에너지 분포가 고르지 않는 온셋(onset) 구간이나 무/유성음 천이 구간에는 적합하지 않다. 그리고 과거의 전화대역 음성의 경우와 달리, 광대역 음성의 경우, 잡음신호 같은 마찰음이나 파찰음에서와 같이 주파수 특성인 3~7 kHz에 집중되어 있기 때문에 몇 개의 펄스로만 모델링하기에는 부족하다.
본 발명이 이루고자 하는 기술적 과제는 에너지 분포가 고르지 않은 광대역에서 보다 우수한 음질을 제공할 수 있는 광대역 음성 부호화기 및 그 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 에너지 분포가 고르지 않은 광대역에서 보다 적은 계산량으로 보다 우수한 음질을 제공할 수 있는 광대역 음성 복호호기 및 그 방법을 제공하는 데 있다.
도 1은 본 발명에 따른 광대역 음성 부호화기의 일실시예를 개략적으로 나타내는 블록도이다.
도 2는 본 발명에 따른 광대역 음성 복호화기의 일실시예를 개략적으로 나타내는 블록도이다.
도 3은 본 발명에 따른 1차 및 2차 고정 코드북 검색부의 일실시예를 나타내는 도면이다.
상기 과제를 이루기 위해, 본 발명에 따른 광대역 음성 부호화기는 부호화할 광대역 음성신호의 개회로 피치값과 선형예측계수를 이용하여 통계적인 방법으로 현재 프레임에 해당하는 음성의 특성을 규정하는 음성 특성 분류부, 개회로 피치값 주변의 피치 지연값 검색 및 피치 이득값 계산을 하며, 검색된 피치 지연값에 해당하는 적응 코드북 기여신호를 생성하고, 생성된 적응 코드북 기여신호와 인지가중필링된 신호의 차를 1차 고정 코드북 목적신호로서 출력하는 적응 코드북 검색부, 1차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 1차 고정 코드북 인덱스와 1차 고정 코드북 이득값을 얻고, 검색된 인덱스에 해당하는 1차 고정 코드북 기여신호를 생성하며, 생성된 1차 고정 코드북 기여신호와 1차 고정 코드북 목적신호의 차를 2차 고정 코드북 목적신호로서 출력하는 1차 고정 코드북 검색부, 음성 특성에 따라 적어도 둘 이상의 2차 고정 코드북들을 구비하며, 음성 특성 정보에 따라 하나의 2차 고정 코드북을 선택 및 검색하여 음성 특성에 따라 2차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 2차 고정 코드북 인덱스들과 2차 고정 코드북 이득값들 검색하는 2차 고정코드북 검색부 및 음성 특성 정보, 피치 지연값, 피치 이득값, 1차 고정 코드북 인덱스, 1차 고정코드북 이득값, 2차 고정코드북 인덱스들 및 2차 고정코드북 이득값들을 양자화 및 다중화하여 비트열로 만들어 외부의 음성 복호화단으로 전송하는 파라미터 다중화부를 포함하는 것이 바람직하다.
상기 과제를 이루기 위해, 본 발명에 따른 음성 부호화 방법은 부호화할 광대역 음성신호의 개회로 피치값과 선형예측계수를 이용하여 통계적인 방법으로 현재 프레임에 해당하는 음성의 특성을 규정하는 (a)단계, 개회로 피치값 주변의 피치 지연값 및 피치 이득값을 얻고, 얻어진 피치 지연값에 해당하는 적응 코드북 기여신호와 인지가중필링된 신호의 차를 1차 고정 코드북 목적신호로서 생성하는 (b)단계, 1차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 1차 고정 코드북 인덱스와 1차 고정 코드북 이득값을 얻고, 얻어진 1차 고정 코드북 인덱스와 1차 고정 코드북 이득값을 이용하여 생성되는 1차 고정 코드북 기여신호와 1차 고정 코드북 목적신호의 차를 2차 고정 코드북 목적신호로서 생성하는 (c)단계, 음성 특성에 따라 구분되는 다수의 2차 고정 코드북들 중, 음성 특성 정보에 따라 하나의 2차 고정 코드북을 선택 및 검색하여 음성 특성에 따라 2차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 2차 고정 코드북 인덱스들과 2차 고정 코드북 이득값들 검색하는 (d)단계 및 음성 특성 정보, 피치 지연값, 피치 이득값, 1차 고정 코드북 인덱스, 1차 고정코드북 이득값, 2차 고정코드북 인덱스들 및 2차 고정코드북 이득값들을 양자화 및 다중화하여 비트열로 만들어 외부의 음성 복호화단으로 전송하는 (e)단계를 포함하는 것이 바람직하다.
상기 다른 과제를 이루기 위해, 본 발명의 광대역 음성 복호화기는 외부의 광대역 음성 부호화기로부터 전송되며, 음성 특성 정보, 적응코드북 피치 지연값, 적응 코드북 피치 이득값, 1차 고정 코드북 인덱스, 1차 고정 코드북 이득값, 2차 고정 코드북 인덱스들 및 2차 고정 코드북 이득값들의 파라미터들을 포함하는 비트열을 역다중화하여 파라미터들을 복원하는 파라미터 역다중화부, 적응 코드북 피치 지연값 및 적응 코드북 피치 이득값에 해당하는 적응 코드 벡터를 얻는 적응 코드 벡터 생성부, 1차 고정 코드북 인덱스 및 1차 고정 코드북 이득값에 해당하는 1차 고정 코드 벡터를 얻는 1차 고정 코드 벡터 생성부, 음성 특성 정보를 이용하여 다수의 2차 고정 코드북들 중 하나의 2차 고정 코드북을 선택하여, 음성 특성 구간별로 2차 고정 코드북 인덱스 및 2차 고정 코드북 이득값에 해당하는 2차 고정 코드 벡터를 얻는 2차 고정 코드 벡터 생성부 및 적응 코드 벡터, 1차 및 2차 고정 코드벡터를 합하여 전체 여기신호를 생성하는 가산부를 포함하며, 여기신호를 선형예측합성필터 및 후처리 필터 처리하여 음성합성신호로서 생성하는 것이 바람직하다.
상기 다른 과제를 이루기 위해, 외부의 광대역 음성 부호화기로부터 전송되며, 음성 특성 정보, 적응코드북 피치 지연값, 적응 코드북 피치 이득값, 1차 고정 코드북 인덱스, 1차 고정 코드북 이득값, 2차 고정 코드북 인덱스들 및 2차 고정 코드북 이득값들의 파라미터들을 포함하는 비트열을 역다중화하여 파라미터들을 복원하는 (a)단계, 적응 코드북 피치 지연값 및 적응 코드북 피치 이득값에 해당하는 적응 코드 벡터를 얻는 (b)단계, 1차 고정 코드북 인덱스 및 1차 고정 코드북 이득값에 해당하는 1차 고정 코드 벡터를 얻는 (c)단계, 음성 특성 정보를 이용하여 다수의 2차 고정 코드북들 중 하나의 2차 고정 코드북을 선택하여, 음성 특성 구간별로 2차 고정 코드북 인덱스 및 2차 고정 코드북 이득값에 해당하는 2차 고정 코드 벡터를 얻는 (d)단계, 적응 코드 벡터, 1차 및 2차 고정 코드 벡터를 합하여 전체 여기신호를 생성하는 (e)단계 및 여기신호를 선형예측합성필터 처리 및 후처리 필터 처리하여 음성합성신호로서 생성하는 (f)단계를 포함하는 것이 바람직하다.
이하, 본 발명에 따른 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기 및 그 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명에 따른 광대역 음성 부호화기의 일실시예를 개략적으로 나타내는 블록도이다. 도 1을 참조하여, 본 발명에 따른 광대역 음성 부호화기는 전처리필터(101), 선형예측계수 분석부(102), 인지가중필터(103), 개회로피치검색부(104), 음성특성분류부(105), 적응코드북 검색부(106), 1차 고정코드북 검색부(107) 및 2차 고정코드북 검색부(108)를 포함하여 구성된다.
도 1을 참조하여, 전처리필터(101)는 입력되는 광대역 음성신호로부터 부호화에 필요한 신호만을 필터링한다.
선형예측계수 분석부(102)는 전처리필터(101)에서 전처리필터링된 신호의 선형예측계수를 분석하여 선형예측계수를 구하고, 이를 이용하여 코드북 검색과정에 사용되는 인지가중 필터(103)를 구현한다.
인지가중 필터(103)는, 청각적으로 민감한 주파수대역의 양자화 잡음을 가중시켜 효율적인 부호화가 가능하도록, 전처리필터링된 신호를 인지가중필터링한다.
개회로 피치 검색부(104)는 인지가중 필터(103)에서 인지가중 필터링된 신호를 이용하여 개회로 피치 검색을 한다.
음성 특성 분류부(105)는 선형예측계수 분석부(102)에서 얻어지는 선형예측계수와, 개회로 피치 검색부(104)에서 얻어지는 개회로 피치값을 이용하여 통계적인 방법으로 현재 프레임에 해당하는 음성의 특성을 규정한다. 이 때, 얻어진 음성 특성은 다양한 방식 예컨대, 유성음과 무성음 등으로 분류될 수 있다.
적응 코드북 검색부(106)는 개회로 피치 검색부(104)에서 개회로 피치 검색을 통해 얻어진 개회로 피치값을 이용하여 적응 코드북(106a)을 검색한다. 적응코드북(106a)은 피치 지연값과 피치 이득값으로 이루어지며, 적응 코드북 검색부(106)는 개회로 피치 검색부(104)에서 얻어진 개회로 피치값 주변의 피치 지연값을 검색하며 동시에 피치 이득값을 계산하며, 피치 이득값과 피치 지연값을 파라미터 다중화부(110)로 출력한다. 또한, 적응 코드북 검색부(106)는 검색된 피치지연값에 해당하는 적응 코드북 기여신호를 생성하며, 생성된 적응 코드북 기여신호와 인지가중필터(103)에서 출력되는 음성신호의 차는 1차 고정 코드북 목적신호로서 1차 고정 코드북 검색부(106)로 출력한다.
1차 고정코드북 검색부(107)는 1차 고정 코드북(107a)을 검색하여 1차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 1차 고정 코드북 인덱스와 1차 고정코드북 이득값을 얻는다. 이 때, 1차 고정 코드북 이득값은 1차 고정 코드북 인덱스와 1차 고정 코드북 목적신호를 이용하여 계산된다. 또한, 1차 고정 코드북 검색부(107)는 검색된 인덱스에 해당하는 1차 고정 코드북 기여신호를 생성하며, 생성된 1차 고정 코드북 기여신호와 1차 고정 코드북 목적신호의 차를 2차 고정 코드북 목적신호로서 2차 고정 코드북 검색부(108)로 출력한다.
2차 고정코드북 검색부(107)는 음성 특성 분류부(105)에서 얻어진 음성 특성 정보에 따라 다수의 2차 고정 코드북들(107a~107b) 중 하나의 2차 고정 코드북을 선택하고, 선택된 2차 고정 코드북을 검색하여 2차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 2차 고정 코드북 인덱스와 2차 고정 코드북 이득값을 얻는다. 마찬가지로, 2차 고정 코드북 이득값은 2차 고정 코드북 인덱스와 2차 고정 코드북 목적신호를 이용하여 계산된다. 2차 고정 코드북은 음성 특성에 따라 세분화하여 구성할 수 있으며, 각 2차 고정 코드북은 해당 음성특성을 잘 반영하도록 설계되어야 한다. 예컨대, 2차 고정 코드북은 마찰음과 파찰음 여부에 따라, 또는 유성음인가의 여부에 따라 대수 코드북 및 난수 코드북으로 구성될 수 있다. 이 경우, 마찰음/파찰음과 같이 잡음성격이 강한 구간 또는 무성음 구간에서는 난수 코드북을 검색하고, 그렇지 않은 구간에서는 대수 코드북을 검색한다. 이처럼, 두 개 또는 그 이상의 2차 고정 코드북들을 이용할 경우, 2차 고정 코드북 검색부(108)는 2차 고정 코드북들 각각의 인덱스 및 이득값을 파라미터 다중화부(110)로 전송한다. 이 때, 2차 고정 코드북 검색부(108)는 2차 고정 코드북들의 이득값을 모두 전송하거나 또는, 기준으로 하는 1차 고정 코드북 이득값과 2차 고정 코드북들의 이득값 비율을 전송할 수 있다. 예컨대, 대수 코드북의 이득값이 a이고 난수 코드북의 이득값이 b라 할 때, 전자의 경우 2차 고정 코드북 검색부(108)는 이득값 a 및 b를 파라미터 다중화부로 전송한다. 반면, 후자의 경우 2차 고정 코드북 검색부(108)는, 대수 코드북 이득값을 기준으로 한다면, 이득값 a와 이득값 비율 b/a를 전송한다. 이득값 비율은 이득값보다 데이터의 동적 범위가 작으며, 따라서, 이득값대신 이득값 비율을 전송하면 전송 데이터량을 줄일 수 있다.
파라미터 다중화부(110)는 선형예측계수 분석부(102), 개회로 피치 검색부(104), 음성특성 분류부(105), 1차 고정코드북 검색부(107) 및 2차 고정코드북 검색부(108)로부터 각각 얻어지는 선형예측계수, 음성 특성 정보, 적응 코드북 피치 지연값, 적응 코드북 피치 이득값, 1차 고정 코드북 인덱스, 1차 고정코드북 이득값, 2차 고정코드북 인덱스 및 2차 고정코드북 이득값을 양자화 및 다중화하여 비트열로 만든 후 복호화단으로 전송한다.
도 2는 본 발명에 따른 광대역 음성 복호화기의 일실시예를 개략적으로 나타내는 블록도이다. 도 2를 참조하여 본 발명에 따른 음성 복호화기는 파라미터 역 다중화부(201), 적응 코드 벡터 생성부(203), 1차 고정 코드 벡터 생성부(204), 2차 고정 코드 벡터 생성부(205), 가산부(206), 선형예측합성필터(207) 및 후처리 필터부(208)를 포함하여 구성된다.
파라미터 역다중화부(201)는 본 발명에 따른 음성 부호화기로부터 전송되는 비트열을 역다중화하여 여러 파라미터들 즉, 선형예측계수, 음성 특성 정보, 적응코드북 피치 지연값, 적응 코드북 피치 이득값, 1차 고정 코드북 인덱스, 1차 고정 코드북 이득값, 2차 고정 코드북 인덱스 및 2차 고정 코드북 이득값을 복원한다.
적응 코드 벡터 생성부(203)는 적응 코드북(203a)을 통해, 파라미터 역다중화부(201)에서 얻어진 적응 코드북 피치 지연값 및 적응 코드북 피치 이득값에 해당하는 적응 코드 벡터를 얻는다.
1차 고정 코드 벡터 생성부(204)는 1차 고정 코드북(204a)을 통해, 파라미터 역다중화부(201)에서 얻어진 1차 고정 코드북 인덱스 및 1차 고정 코드북 이득값에 해당하는 1차 고정 코드 벡터를 얻는다.
2차 고정 코드 벡터 생성부(205)는 파라미터 역다중화부(201)에서 얻어진 음성 특성 정보를 이용하여 2차 고정 코드북들(205a~205b) 중 하나의 2차 고정 코드북을 선택한다. 그런 다음, 2차 고정 코드 벡터 생성부(205)는 선택된 2차 고정 코드북을 검색하여, 파라미터 역다중화부(201)에서 얻어진 2차 고정 코드북 인덱스 및 2차 고정 코드북 이득값에 해당하는 2차 고정 코드 벡터를 생성한다.
가산부(206)는 적응 코드 벡터 생성부(203), 1차 고정 코드 벡터 생성부(204) 및 2차 고정 코드 벡터 생성부(205)에서 각각 생성된 적응 코드 벡터, 1차 및 2차 고정 코드 벡터를 합하여 전체 여기신호를 생성한다. 가산부(206)에서생성된 여기신호는 선형예측합성필터(207) 및 후처리 필터(208)에서 필터 처리된 후 합성신호로서 출력된다.
이상에서와 같이, 본 발명에 따른 광대여 음성 부호화기 및 복호화기는 음성 특성에 따라 2개 이상의 2차 고정 코드북을 구성하고, 음성 특성에 적합한 2차 고정 코드북을 선택 에너지 분포가 고르지 않은 광대역에서 보다 우수한 음질을 제공할 수 있다.
도 3은 본 발명에 따른 1차 및 2차 고정 코드북 검색부의 일실시예를 나타내는 도면이다.
도 3을 참조하여, 1차 고정 코드북으로 대수 코드북(301)을 사용한다. 먼저, 멀티플라이어(311)는 대수 코드북(301)에서 검색된 대수 코드 벡터에 1차 고정 코드북 이득값을 곱한다. 여기서, 1차 고정 코드북 이득값은 전술된 바와 같이 검색된 대수 코드 벡터의 인덱스와 고정 코드북 목적 신호를 이용하여 계산되는 값이다. 멀티플라이어의 출력신호는 음성의 주기적 특성을 고려한 적응 전처리필터(302)와 인지가중 합성필터(303)에 통과시킴으로써, 고정 코드북 기여신호(contribution)가 생성된다. 그리고, 감산기(309)는 고정 코드북 목적 신호에서 고정 코드북 기여신호를 감산하며, 감산 결과 즉, 고정 코드북 목적 신호와 고정 코드북 기여신호 간의 오차가 가장 적은 값을 갖는 코드에 대한 인덱스 및 이득값을 1차 고정 코드북 인덱스 및 1차 고정 코드북 이득값으로서 얻는다. 이 때, 오차 측정을 위해 MSE(Mean Square Error)을 사용할 수 있다. 최적 고정 코드북 검색은 다음과 같은 수학식 1로 표현될 수 있다.
이 때, d1(n)은 1차 고정 코드북의 목적신호를, G_c_1 는 1차 고정 코드북 이득값을, h_w (n) 는 인지가중 필터의 충격응답신호를, c_1 (n) 는 1차 고정 코드북 펄스 신호를 각각 나타낸다.
2차 고정 코드북으로는 도시된 바와 같이, 음성 특성에 따라 대수 코드북(304)과 난수 코드북(stochastic codebook) 중 하나를 선택하여 사용할 수 있다. 전술된 바와 같이, 마찰음, 파찰음과 같이 잡음성격이 강한 음성 구간 또는 무성음 구간에 대해서는 2차 고정 코드북으로 난수 코드북을 사용하며, 그렇지 않은 구간에 대해서는 2차 고정 코드북으로 대수 코드북을 사용할 수 있다. 멀티플라이어(306)는 대수 코드북(304) 또는 난수 코드북(305)에서 검색된 코드 벡터에 2차 고정 코드북 이득값을 곱한다. 여기서, 2차 고정 코드북 이득값은 전술된 바와 같이 검색된 코드 벡터의 인덱스와 2차 고정 코드북 목적 신호를 이용하여 계산되는 값이다. 멀티플라이어(306)에서 출력되는 신호는 1차 고정 코드북 검색과 마찬가지로 적응 전처리 필터(307)와 인지가중 합성필터(308)에 통과시켜 2차 고정 코드북 기여신호를 얻는다. 그리고, 감산기(310)는 2차 고정 코드북 목적 신호에서 2차 고정 코드북 기여신호를 감산하며, 감산 결과 즉, 2차 고정 코드북 목적 신호와 2차 고정 코드북 기여신호 간의 오차가 가장 적은 값을 갖는 코드에 대한 인덱스 및 이득값을 2차 고정 코드북 인덱스 및 2차 고정 코드북 이득값으로서 얻는다. 이 때,오차 측정을 위해 MSE(Mean Square Error)을 사용할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이, 본 발명의 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기 및 그 방법에 따르면 CELP 기반의 광대역 음성 부호화기 및 복호화기에 다단계 고정 코드북 검색을 도입함으로서 대수 코드북이 처리하지 못하는 음성구간에서도 뛰어난 음질을 제공할 수 있다.

Claims (12)

  1. 부호화할 광대역 음성신호가 인지가중 필터링된 신호의 개회로 피치값과 선형예측계수를 이용하여 통계적인 방법으로 현재 프레임에 해당하는 음성의 특성을 규정하는 음성 특성 분류부;
    상기 개회로 피치값 주변의 피치 지연값 검색 및 피치 이득값 계산을 하며, 검색된 피치 지연값에 해당하는 적응 코드북 기여신호를 생성하고, 생성된 적응 코드북 기여신호와 상기 인지가중필링된 신호의 차를 1차 고정 코드북 목적신호로서 출력하는 적응 코드북 검색부;
    상기 1차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 1차 고정 코드북 인덱스와 1차 고정 코드북 이득값을 얻고, 검색된 인덱스에 해당하는 1차 고정 코드북 기여신호를 생성하며, 생성된 1차 고정 코드북 기여신호와 1차 고정 코드북 목적신호의 차를 2차 고정 코드북 목적신호로서 출력하는 1차 고정 코드북 검색부;
    음성 특성에 따라 적어도 둘 이상의 2차 고정 코드북들을 구비하며, 상기 음성 특성 정보에 따라 하나의 2차 고정 코드북을 선택하여 음성 특성에 따라 상기 2차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 2차 고정 코드북 인덱스들과 2차 고정 코드북 이득값들 검색하는 2차 고정코드북 검색부; 및
    상기 음성 특성 정보, 상기 피치 지연값, 상기 피치 이득값, 상기 1차 고정 코드북 인덱스, 상기 1차 고정코드북 이득값, 상기 2차 고정코드북 인덱스들 및 상기 2차 고정코드북 이득값들을 양자화 및 다중화하여 비트열로 만들어 외부의 음성 복호화단으로 전송하는 파라미터 다중화부를 포함하는 것을 특징으로 하는 광대역 음성 부호화기.
  2. 제1항에 있어서,
    상기 2차 고정 코드북은 대수 코드북 및 난수 코드북으로 구성되며,
    상기 2차 고정 코드북 검색부는 마찰음 또는 파찰음 구간에서는 상기 난수 코드북을 검색하고, 그렇지 않은 구간에서는 상기 대수 코드북을 검색하는 것을 특징으로 하는 광대역 음성 부호화기.
  3. 제1항에 있어서,
    상기 2차 고정 코드북은 대수 코드북 및 난수 코드북으로 구성되며,
    상기 2차 고정 코드북 검색부는 무성음 구간에서는 상기 난수 코드북을 검색하고, 유성음 구간에서는 상기 대수 코드북을 검색하는 것을 특징으로 하는 광대역 음성 부호화기.
  4. 제1항에 있어서,
    상기 2차 고정 코드북 이득값들은 상기 2차 고정 코드북들 각각의 이득값을 모두 포함하는 것을 특징으로 하는 광대역 음성 부호화기.
  5. 제1항에 있어서,
    상기 2차 고정 코드북 이득값들은 기준으로 하는 2차 고정 코드북 이득값과 상기 기준 2차 고정 코드북 이득값과 다른 2차 고정 코드북들간의 이득값 비율을 포함하는 것을 특징으로 하는 광대역 음성신호 부호화기.
  6. (a)부호화할 광대역 음성신호의 개회로 피치값과 선형예측계수를 이용하여 통계적인 방법으로 현재 프레임에 해당하는 음성의 특성을 규정하는 단계;
    (b)상기 개회로 피치값 주변의 피치 지연값 및 피치 이득값을 얻고, 얻어진 피치 지연값에 해당하는 적응 코드북 기여신호와 상기 인지가중필링된 신호의 차를 1차 고정 코드북 목적신호로서 생성하는 단계;
    (c)상기 1차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 1차 고정 코드북 인덱스와 1차 고정 코드북 이득값을 얻고, 얻어진 1차 고정 코드북 인덱스와 상기 1차 고정 코드북 이득값을 이용하여 생성되는 1차 고정 코드북 기여신호와 상기 1차 고정 코드북 목적신호의 차를 2차 고정 코드북 목적신호로서 생성하는 단계;
    (d)음성 특성에 따라 구분되는 다수의 2차 고정 코드북들 중, 상기 음성 특성 정보에 따라 하나의 2차 고정 코드북을 선택 및 검색하여 음성 특성에 따라 상기 2차 고정 코드북의 목적신호를 가장 잘 표현할 수 있는 2차 고정 코드북 인덱스들과 2차 고정 코드북 이득값들 검색하는 단계; 및
    (e)상기 음성 특성 정보, 상기 피치 지연값, 상기 피치 이득값, 상기 1차 고정 코드북 인덱스, 상기 1차 고정코드북 이득값, 상기 2차 고정코드북 인덱스들 및 상기 2차 고정코드북 이득값들을 양자화 및 다중화하여 비트열로 만들어 외부의 음성 복호화단으로 전송하는 단계를 포함하는 것을 특징으로 하는 광대역 음성 부호화 방법.
  7. 제6항에 있어서, 상기 (d)단계의 상기 2차 고정 코드북은 대수 코드북 및 난수 코드북으로 구성되며,
    마찰음 또는 파찰음 구간에서는 상기 난수 코드북을 검색하고, 그렇지 않은 구간에서는 상기 대수 코드북을 각각 검색하여 상기 2차 고정 코드북 인덱스들과 2차 고정 코드북 이득값들을 얻는 것을 특징으로 하는 광대역 음성 부호화 방법.
  8. 제6항에 있어서, 상기 (d)단계의 상기 2차 고정 코드북은 대수 코드북 및 난수 코드북으로 구성되며,
    무성음 구간에서는 상기 난수 코드북을 검색하고, 유성음 구간에서는 상기 대수 코드북을 검색하여 상기 2차 고정 코드북 인덱스들과 2차 고정 코드북 이득값들을 얻는 것을 특징으로 하는 광대역 음성 부호화 방법.
  9. 제6항에 있어서,
    상기 2차 고정 코드북 이득값들은 상기 2차 고정 코드북들 각각의 이득값을 모두 포함하는 것을 특징으로 하는 광대역 음성 부호화 방법.
  10. 제6항에 있어서,
    상기 2차 고정 코드북 이득값들은 기준으로 하는 2차 고정 코드북 이득값과 상기 기준 2차 고정 코드북 이득값과 다른 2차 고정 코드북들간의 이득값 비율을 포함하는 것을 특징으로 하는 광대역 음성신호 부호화 방법.
  11. 외부의 광대역 음성 부호화기로부터 전송되며, 음성 특성 정보, 적응코드북 피치 지연값, 적응 코드북 피치 이득값, 1차 고정 코드북 인덱스, 1차 고정 코드북 이득값, 2차 고정 코드북 인덱스들 및 2차 고정 코드북 이득값들의 파라미터들을 포함하는 비트열을 역다중화하여 상기 파라미터들을 복원하는 파라미터 역다중화부;
    상기 적응 코드북 피치 지연값 및 상기 적응 코드북 피치 이득값에 해당하는 적응 코드 벡터를 얻는 적응 코드 벡터 생성부;
    상기 1차 고정 코드북 인덱스 및 1차 고정 코드북 이득값에 해당하는 1차 고정 코드 벡터를 얻는 1차 고정 코드 벡터 생성부;
    상기 음성 특성 정보를 이용하여 다수의 2차 고정 코드북들 중 하나의 2차 고정 코드북을 선택하여, 음성 특성 구간별로 상기 2차 고정 코드북 인덱스 및 2차 고정 코드북 이득값에 해당하는 2차 고정 코드 벡터를 얻는 2차 고정 코드 벡터 생성부; 및
    상기 적응 코드 벡터, 상기 1차 및 2차 고정 코드 벡터를 합하여 전체 여기신호를 생성하는 가산부를 포함하며,
    상기 여기신호를 선형예측합성필터 및 후처리 필터 처리하여 음성합성신호로서 생성하는 것을 특징으로 하는 광대역 음성 복호화기.
  12. (a)외부의 광대역 음성 부호화기로부터 전송되며, 음성 특성 정보, 적응코드북 피치 지연값, 적응 코드북 피치 이득값, 1차 고정 코드북 인덱스, 1차 고정 코드북 이득값, 2차 고정 코드북 인덱스들 및 2차 고정 코드북 이득값들의 파라미터들을 포함하는 비트열을 역다중화하여 상기 파라미터들을 복원하는 단계;
    (b)적응 코드북을 검색하여, 상기 적응 코드북 피치 지연값 및 상기 적응 코드북 피치 이득값에 해당하는 적응 코드 벡터를 얻는 단계;
    (c)1차 고정 코드북을 검색하여, 상기 1차 고정 코드북 인덱스 및 1차 고정 코드북 이득값에 해당하는 1차 고정 코드 벡터를 얻는 단계;
    (d)상기 음성 특성 정보를 이용하여 다수의 2차 고정 코드북들 중 하나의 2차 고정 코드북을 선택 및 검색하여, 음성 특성 구간별로 상기 2차 고정 코드북 인덱스 및 2차 고정 코드북 이득값에 해당하는 2차 고정 코드 벡터를 얻는 단계;
    (e)상기 적응 코드 벡터, 상기 1차 및 2차 고정 코드 벡터를 합하여 전체 여기신호를 생성하는 단계; 및
    (f)상기 여기신호를 선형예측합성필터 처리 및 후처리 필터 처리하여 음성합성신호로서 생성하는 단계를 포함하는 것을 특징으로 하는 광대역 음성 복호화 방법.
KR1020030046861A 2003-07-10 2003-07-10 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기및 그 방법 KR100651712B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020030046861A KR100651712B1 (ko) 2003-07-10 2003-07-10 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기및 그 방법
US10/749,569 US20050010402A1 (en) 2003-07-10 2003-12-30 Wide-band speech coder/decoder and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030046861A KR100651712B1 (ko) 2003-07-10 2003-07-10 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기및 그 방법

Publications (2)

Publication Number Publication Date
KR20050006883A true KR20050006883A (ko) 2005-01-17
KR100651712B1 KR100651712B1 (ko) 2006-11-30

Family

ID=33562975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030046861A KR100651712B1 (ko) 2003-07-10 2003-07-10 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기및 그 방법

Country Status (2)

Country Link
US (1) US20050010402A1 (ko)
KR (1) KR100651712B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827458B1 (ko) * 2006-07-21 2008-05-06 엘지전자 주식회사 오디오 부호화 방법
US7599833B2 (en) 2005-05-30 2009-10-06 Electronics And Telecommunications Research Institute Apparatus and method for coding residual signals of audio signals into a frequency domain and apparatus and method for decoding the same
US9704501B2 (en) 2011-10-28 2017-07-11 Electronics And Telecommunications Research Institute Signal codec device and method in communication system

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1814106B1 (en) * 2005-01-14 2009-09-16 Panasonic Corporation Audio switching device and audio switching method
CN100550712C (zh) 2007-11-05 2009-10-14 华为技术有限公司 一种信号处理方法和处理装置
JP6073215B2 (ja) * 2010-04-14 2017-02-01 ヴォイスエイジ・コーポレーション Celp符号器および復号器で使用するための柔軟で拡張性のある複合革新コードブック
WO2013062370A1 (ko) * 2011-10-28 2013-05-02 한국전자통신연구원 통신 시스템에서 신호 코덱 장치 및 방법
MX355091B (es) * 2013-10-18 2018-04-04 Fraunhofer Ges Forschung Concepto para codificar una señal de audio y decodificar una señal de audio usando información de conformación espectral relacionada con la voz.
AU2014336357B2 (en) * 2013-10-18 2017-04-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for encoding an audio signal and decoding an audio signal using deterministic and noise like information
US10878831B2 (en) * 2017-01-12 2020-12-29 Qualcomm Incorporated Characteristic-based speech codebook selection
CN109887519B (zh) * 2019-03-14 2021-05-11 北京芯盾集团有限公司 提高语音信道数据传输准确性的方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0365822A (ja) * 1989-08-04 1991-03-20 Fujitsu Ltd ベクトル量子化符号器及びベクトル量子化復号器
JP3151874B2 (ja) * 1991-02-26 2001-04-03 日本電気株式会社 音声パラメータ符号化方式および装置
US5457783A (en) * 1992-08-07 1995-10-10 Pacific Communication Sciences, Inc. Adaptive speech coder having code excited linear prediction
JP3224955B2 (ja) * 1994-05-27 2001-11-05 株式会社東芝 ベクトル量子化装置およびベクトル量子化方法
JP3328080B2 (ja) * 1994-11-22 2002-09-24 沖電気工業株式会社 コード励振線形予測復号器
US5864797A (en) * 1995-05-30 1999-01-26 Sanyo Electric Co., Ltd. Pitch-synchronous speech coding by applying multiple analysis to select and align a plurality of types of code vectors
JP3523649B2 (ja) * 1997-03-12 2004-04-26 三菱電機株式会社 音声符号化装置、音声復号装置及び音声符号化復号装置、及び、音声符号化方法、音声復号方法及び音声符号化復号方法
US6249758B1 (en) * 1998-06-30 2001-06-19 Nortel Networks Limited Apparatus and method for coding speech signals by making use of voice/unvoiced characteristics of the speech signals
US6330531B1 (en) * 1998-08-24 2001-12-11 Conexant Systems, Inc. Comb codebook structure
US6449590B1 (en) * 1998-08-24 2002-09-10 Conexant Systems, Inc. Speech encoder using warping in long term preprocessing
US6493665B1 (en) * 1998-08-24 2002-12-10 Conexant Systems, Inc. Speech classification and parameter weighting used in codebook search
CA2252170A1 (en) * 1998-10-27 2000-04-27 Bruno Bessette A method and device for high quality coding of wideband speech and audio signals
US6757654B1 (en) * 2000-05-11 2004-06-29 Telefonaktiebolaget Lm Ericsson Forward error correction in speech coding
US7330814B2 (en) * 2000-05-22 2008-02-12 Texas Instruments Incorporated Wideband speech coding with modulated noise highband excitation system and method
US6980948B2 (en) * 2000-09-15 2005-12-27 Mindspeed Technologies, Inc. System of dynamic pulse position tracks for pulse-like excitation in speech coding
SE519976C2 (sv) * 2000-09-15 2003-05-06 Ericsson Telefon Ab L M Kodning och avkodning av signaler från flera kanaler
CA2327041A1 (en) * 2000-11-22 2002-05-22 Voiceage Corporation A method for indexing pulse positions and signs in algebraic codebooks for efficient coding of wideband signals

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599833B2 (en) 2005-05-30 2009-10-06 Electronics And Telecommunications Research Institute Apparatus and method for coding residual signals of audio signals into a frequency domain and apparatus and method for decoding the same
KR100827458B1 (ko) * 2006-07-21 2008-05-06 엘지전자 주식회사 오디오 부호화 방법
US9704501B2 (en) 2011-10-28 2017-07-11 Electronics And Telecommunications Research Institute Signal codec device and method in communication system
US10199050B2 (en) 2011-10-28 2019-02-05 Electronics And Telecommunications Research Institute Signal codec device and method in communication system
US10607624B2 (en) 2011-10-28 2020-03-31 Electronics And Telecommunications Research Institute Signal codec device and method in communication system

Also Published As

Publication number Publication date
US20050010402A1 (en) 2005-01-13
KR100651712B1 (ko) 2006-11-30

Similar Documents

Publication Publication Date Title
JP5343098B2 (ja) スーパーフレーム構造のlpcハーモニックボコーダ
US7171355B1 (en) Method and apparatus for one-stage and two-stage noise feedback coding of speech and audio signals
KR101592968B1 (ko) 수퍼-프레임의 lpc 필터들을 양자화 및 역 양자화하기 위한 장치 및 방법
JP4005359B2 (ja) 音声符号化及び音声復号化装置
JP5894070B2 (ja) オーディオ信号符号化器、オーディオ信号復号化器及びオーディオ信号符号化方法
WO2000038177A1 (en) Periodic speech coding
EP1353323A1 (en) Method, device and program for coding and decoding acoustic parameter, and method, device and program for coding and decoding sound
JPH08263099A (ja) 符号化装置
US20040111257A1 (en) Transcoding apparatus and method between CELP-based codecs using bandwidth extension
CN104517612B (zh) 基于amr-nb语音信号的可变码率编码器和解码器及其编码和解码方法
KR100651712B1 (ko) 광대역 음성 부호화기 및 그 방법과 광대역 음성 복호화기및 그 방법
JPH08272395A (ja) 音声符号化装置
KR101610765B1 (ko) 음성 신호의 부호화/복호화 방법 및 장치
KR100480341B1 (ko) 광대역 저전송률 음성 신호의 부호화기
JPH05265496A (ja) 複数のコードブックを有する音声符号化方法
US20030055633A1 (en) Method and device for coding speech in analysis-by-synthesis speech coders
JPH07225599A (ja) 音声の符号化方法
JP3916934B2 (ja) 音響パラメータ符号化、復号化方法、装置及びプログラム、音響信号符号化、復号化方法、装置及びプログラム、音響信号送信装置、音響信号受信装置
EP1154407A2 (en) Position information encoding in a multipulse speech coder
KR100718487B1 (ko) 디지털 음성 코더들에서의 고조파 잡음 가중
JP3153075B2 (ja) 音声符号化装置
JP2004348120A (ja) 音声符号化装置、音声復号化装置及びこれらの方法
JP3490325B2 (ja) 音声信号符号化方法、復号方法およびその符号化器、復号器
EP1035538B1 (en) Multimode quantizing of the prediction residual in a speech coder
Drygajilo Speech Coding Techniques and Standards

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee