KR970073170A - 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem) - Google Patents

비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem) Download PDF

Info

Publication number
KR970073170A
KR970073170A KR1019960013773A KR19960013773A KR970073170A KR 970073170 A KR970073170 A KR 970073170A KR 1019960013773 A KR1019960013773 A KR 1019960013773A KR 19960013773 A KR19960013773 A KR 19960013773A KR 970073170 A KR970073170 A KR 970073170A
Authority
KR
South Korea
Prior art keywords
weight
frame
bit
encoding
transform coefficient
Prior art date
Application number
KR1019960013773A
Other languages
English (en)
Other versions
KR100203710B1 (ko
Inventor
김종일
Original Assignee
배순훈
대우전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자 주식회사 filed Critical 배순훈
Priority to KR1019960013773A priority Critical patent/KR100203710B1/ko
Priority to US08/777,125 priority patent/US5892548A/en
Priority to GB9700110A priority patent/GB2316564B/en
Priority to JP189997A priority patent/JPH09307904A/ja
Priority to CN97100256A priority patent/CN1110962C/zh
Publication of KR970073170A publication Critical patent/KR970073170A/ko
Application granted granted Critical
Publication of KR100203710B1 publication Critical patent/KR100203710B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은, 매 프레임마다 발생되는 부호화된 비트 발생량 정보에 근거하여 부호화하고자 하는 영상의 복잡도를 산출하고, 그 산출결과에 의거하여 양자화시의 고주파 성분에 대한 가중치를 조절함으로써, 부호화시의 출력비트 발생량을 적응적으로 조절할 수 있도록 한 비트 발행량 조절기능 을 갖는 영상 부호화 시스템에 관한 것으로, 이를 위하여 본 발명은, 양자화, DCT 및 엔트로피 부호화를 갖는 부호화 수단으로 부터 발생되는 부호화된 비트 스트림을 가산하여 매 프레임 단위로 각각의 비트 발생량을 산출하는 비트량 계산 수단; 및 산출된 각 프레임의 비트 발생량에 대한 액티비티값을 산출하고, 이 산출된 액티비티값을 부호화 수단을 통해 현재 부호화 하고자 하는 프레임의 복잡도로서 참조하며, 이산코사인 변환을 통해 발생된 각 DCT 변환계수 블록들의 저역 통과 필터링시 그 대역폭을 적응적으로 제한하는 기설정된 복수의 가중치들중 산출된 액티비티값에 대응하는 가중치를 결정하여 부호화 수단에 제공하는 가중치 발생 수단을 더 포함하며, 부호화 수단이, 각 DCT 변환계수 블록들에 대한 양자화전에 결정된 가중치에 의거해 각 DCT 변환계수 블록들의 통과 주파수 대역을 제한하여, 각 DCT 변환계수 블록들의 고주파 성분을 선택적으로 필터링하도록 함으로써, 양자화 단계에서의 과도한 스텝 사이즈의 증가 없이 부호화후 발생되는 비트량을 효과적으로 조절할수 있는 것이다.

Description

비트 발생량 조절기능을 갖는 영상 부호화 시스템(IMPROVED IMAGE CODING SYSTEM HAVING FUNCTIONS FOR CONTROLLING GENERATED AMOUNT OF CODED BIT STREEM)
본 내용은 요부공개 건이므로 전문내용을 수록하지 않았음
제1도는 본 발명의 바람직한 실시예에 따른 비트 발생량 조절기능을 갖는 영상 부호화 시스템의 블록구성도, 제2도는 본 발명에 따라 일예로서 8·8 픽셀 블록에 대하여 그 복잡도에 의거하여 결정되는 가중치 결정 영역을 도시하는 도면.

Claims (5)

  1. 입력되는 현재 프레임과, 이 현재 프레임 및 재구성된 이전 프레임을 이용하는 움직임 추정, 보상을 통해 얻어지는 예측 프레임간의 차분신호에 대해 이산 코사인 변환, 양자화 및 엔트로피 부호화를 포함하는 부호화 수단을 통해 압축 부호화하여 부호화된 비트 스트림을 발생하며, 상기 양자화는 출력측 버퍼에 저장되는 상기비트 스트림의 충만상태 정보에 의거하여 그 스텝 사이즈가 조절되는 비트 발생량 조절기늘을 갖는 영상 부호화 시스템에 있어서, 상기 부호화 수단으로 부터 발생되는 상기 부호화 된 비트 스트림을 가산하여 매 프레임 단위로 각각의 비트 발생량을 산출하는 비트량 계산 수단; 및 상기 산출된 각 프레임의 비트 발생량에 대한 액티비티값을 산출하고, 이 산출된 액티비티값을 상기 부호화 수단을 통해 현재 부호화하고자 하는 프레임의 복잡도로서 참조하며, 상기 이산 코사인 변환을 통해 발생된 각 DCT 변환계수 블록들의 저역 통과 필터링시 그 대역폭을 적응적으로 제한하는 기설정된 복수의 가중치들중 상기 선출된 액티비티값에 대응하는 가중치를 결정하여 상기 부호화 수단에 제공하는 가중치 발생 수단을 더 포함하고, 상기 부호화 수단은, 상기 각 DCT 변환계수 불록들에 대한 양자화전에 상기 결정된 가중치에 의거하여 상기 각 DCT 변환계수 블록들의 통과 주파수 대역을 제한함으로써, 상기 각 DCT 변환계수 블록들의 고주파 성분을 선택적으로 필터링하는 것을 특징을 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
  2. 제1항 있어서, 상기 각 해당 프레임의 복잡도는, 전송율과 프레임율을 이용하여 산출되는 평균 비트량과 상기 해당 프레임의 발생 비트량에 의거하여 산출되는 것을 특지응로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
  3. 제1항 또는 제2항에 있어서, 상기 기설정된 복수의 가중치는, 상기 각 DCT 변환계수 블록들의 각각 다른 필터계수 설정을 위한 정수값의 4개의 가중치를 포함하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
  4. 제3항에 있어서, 상기 부호화 수단은, 2차원 저역 통과 필터링을 통해 상기 결정된 가중치에 상응하여 상기 각 DCT 변환계수 블록들의 고주파 성분을 선택적으로 필터링하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
  5. 제4항 있어서, 상기 부호화 수단은, 상기 각 DCT 변환계수 블록들의 고주파 성분에 대한 선택적인 필터링 을 위해, 상기 결정된 가중치 이하의 고주파 성분을 2 로 나누어 상기 양자화를 수행하는 것을 특징으로 하는 비트 발생량 조절기능을 갖는 영상 부호화 시스템.
    ※ 참고사항 : 최초출원 내용에 의하여 공개되는 것임.
KR1019960013773A 1996-04-30 1996-04-30 비트 발생량 조절기능을 갖는 영상 부호화 시스템 KR100203710B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1019960013773A KR100203710B1 (ko) 1996-04-30 1996-04-30 비트 발생량 조절기능을 갖는 영상 부호화 시스템
US08/777,125 US5892548A (en) 1996-04-30 1996-12-30 Adaptive quantizer with modification of high frequency coefficients
GB9700110A GB2316564B (en) 1996-04-30 1997-01-06 Adaptive quantizer for use in a video signal encoding system
JP189997A JPH09307904A (ja) 1996-04-30 1997-01-09 映像信号符号化システム用量子化器
CN97100256A CN1110962C (zh) 1996-04-30 1997-01-10 用于视频信号编码系统的自适应量化器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960013773A KR100203710B1 (ko) 1996-04-30 1996-04-30 비트 발생량 조절기능을 갖는 영상 부호화 시스템

Publications (2)

Publication Number Publication Date
KR970073170A true KR970073170A (ko) 1997-11-07
KR100203710B1 KR100203710B1 (ko) 1999-06-15

Family

ID=19457275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960013773A KR100203710B1 (ko) 1996-04-30 1996-04-30 비트 발생량 조절기능을 갖는 영상 부호화 시스템

Country Status (5)

Country Link
US (1) US5892548A (ko)
JP (1) JPH09307904A (ko)
KR (1) KR100203710B1 (ko)
CN (1) CN1110962C (ko)
GB (1) GB2316564B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100522121B1 (ko) * 1997-12-17 2006-01-12 삼성전자주식회사 버퍼상태에 따른 dct계수를 제한하는 mpeg인코더
KR100585635B1 (ko) * 1997-12-30 2006-08-21 엘지전자 주식회사 비트 할당 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023415A (ja) * 1996-07-05 1998-01-23 Matsushita Electric Ind Co Ltd 画像符号化復号方法および装置
JP4231565B2 (ja) * 1997-12-19 2009-03-04 テキサス インスツルメンツ インコーポレイテツド 画像情報エンコーディングシステム
EP1074148B1 (en) * 1998-03-20 2003-05-28 STMicroelectronics Asia Pacific Pte Ltd. Moving pictures encoding with constant overall bit rate
US6212232B1 (en) 1998-06-18 2001-04-03 Compaq Computer Corporation Rate control and bit allocation for low bit rate video communication applications
US6263021B1 (en) * 1998-09-18 2001-07-17 Sarnoff Corporation Treating non-zero quantized transform coefficients as zeros during video compression processing
JP4069524B2 (ja) * 1998-11-10 2008-04-02 ソニー株式会社 伝送方法及び装置
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
US7096481B1 (en) 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio
JP3496613B2 (ja) * 2000-02-10 2004-02-16 日本電気株式会社 デジタルコンテンツのコピー制御方法及び装置
KR20020026198A (ko) * 2000-04-27 2002-04-06 요트.게.아. 롤페즈 비디오 압축
US6847684B1 (en) * 2000-06-01 2005-01-25 Hewlett-Packard Development Company, L.P. Zero-block encoding
US6724817B1 (en) * 2000-06-05 2004-04-20 Amphion Semiconductor Limited Adaptive image data compression
US6871006B1 (en) 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US7616690B2 (en) 2000-10-31 2009-11-10 Imec Method and apparatus for adaptive encoding framed data sequences
US6937770B1 (en) 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US7023924B1 (en) 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
CA2345878A1 (en) * 2001-05-01 2002-11-01 Destiny Software Productions Inc. Multi media distribution method and system
US7123655B2 (en) * 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
US6980594B2 (en) 2001-09-11 2005-12-27 Emc Corporation Generation of MPEG slow motion playout
US6959116B2 (en) * 2001-09-18 2005-10-25 Emc Corporation Largest magnitude indices selection for (run, level) encoding of a block coded picture
US6968091B2 (en) * 2001-09-18 2005-11-22 Emc Corporation Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs
AU2003285850A1 (en) * 2002-04-23 2004-04-30 Nokia Corporation Method and device for indicating quantizer parameters in a video coding system
WO2006118288A1 (ja) * 2005-05-03 2006-11-09 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法、動画像復号化方法およびその装置
US7822117B1 (en) * 2005-09-30 2010-10-26 Ambarella, Inc. Video encoder rate control using bit usage measuring and allocating by macroblock classes
EP1995967A4 (en) * 2006-03-16 2009-11-11 Huawei Tech Co Ltd METHOD AND APPARATUS FOR ADAPTIVE QUANTIFICATION IN AN ENCODING PROCEDURE
JP5482178B2 (ja) * 2009-12-16 2014-04-23 ソニー株式会社 送信装置および方法、並びに、受信装置および方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5046121A (en) * 1989-01-31 1991-09-03 Konica Corporation Image data compression apparatus
EP0514663A3 (en) * 1991-05-24 1993-07-14 International Business Machines Corporation An apparatus and method for motion video encoding employing an adaptive quantizer
JPH05167998A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 画像の符号化制御処理方法
US5440344A (en) * 1992-04-28 1995-08-08 Mitsubishi Denki Kabushiki Kaisha Video encoder using adjacent pixel difference for quantizer control
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US5515388A (en) * 1993-03-19 1996-05-07 Sony Corporation Apparatus and method for preventing repetitive random errors in transform coefficients representing a motion picture signal
KR960010196B1 (ko) * 1993-06-04 1996-07-26 배순훈 인간의 시각특성을 이용한 디씨(dc) 변환계수 양자화기
US5426512A (en) * 1994-01-25 1995-06-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100522121B1 (ko) * 1997-12-17 2006-01-12 삼성전자주식회사 버퍼상태에 따른 dct계수를 제한하는 mpeg인코더
KR100585635B1 (ko) * 1997-12-30 2006-08-21 엘지전자 주식회사 비트 할당 방법

Also Published As

Publication number Publication date
GB2316564A8 (en) 1998-03-18
KR100203710B1 (ko) 1999-06-15
CN1164167A (zh) 1997-11-05
US5892548A (en) 1999-04-06
JPH09307904A (ja) 1997-11-28
GB2316564A (en) 1998-02-25
GB2316564B (en) 2000-03-08
CN1110962C (zh) 2003-06-04
GB9700110D0 (en) 1997-02-26

Similar Documents

Publication Publication Date Title
KR970073170A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
JP3441132B2 (ja) 動画像圧縮装置およびその方法
KR100213018B1 (ko) 동화상 부호화장치
JPH07162863A (ja) 適応量子化パラメータ制御装置
WO1991014340A1 (en) Digital image processing including block edges filtering
US5742346A (en) Spatially adaptive blur filter
KR970073172A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073134A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073129A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073136A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073145A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073140A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073157A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073127A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073141A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073131A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073130A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073159A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073139A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073137A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073171A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073132A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
KR970073173A (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템(improved image coding system having functions for controlling generated amount of coded bit streem)
JPH10336656A (ja) 画像符号化装置および方法
KR950009678B1 (ko) 적응적 영상 부호화 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130305

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20140228

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 17