KR930011725A - 움직임보상예측방법 - Google Patents

움직임보상예측방법 Download PDF

Info

Publication number
KR930011725A
KR930011725A KR1019920020769A KR920020769A KR930011725A KR 930011725 A KR930011725 A KR 930011725A KR 1019920020769 A KR1019920020769 A KR 1019920020769A KR 920020769 A KR920020769 A KR 920020769A KR 930011725 A KR930011725 A KR 930011725A
Authority
KR
South Korea
Prior art keywords
motion vector
calculating
input image
motion compensation
image
Prior art date
Application number
KR1019920020769A
Other languages
English (en)
Other versions
KR950006774B1 (ko
Inventor
타케시 유키타케
슈지 이노우에
Original Assignee
다니이 아끼오
마쯔시다덴기산교 가부시기가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP29300491A external-priority patent/JP2929044B2/ja
Priority claimed from JP18198092A external-priority patent/JP2938677B2/ja
Application filed by 다니이 아끼오, 마쯔시다덴기산교 가부시기가이샤 filed Critical 다니이 아끼오
Publication of KR930011725A publication Critical patent/KR930011725A/ko
Application granted granted Critical
Publication of KR950006774B1 publication Critical patent/KR950006774B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

내용 없음

Description

움직임보상예측방법
본 내용은 요부공개 건이므로 전문내용을 수록하지 않았음
제1도는 본 발명의 제1실시예의 설명도.
제2도는 본 발명의 제2실시예의 설명도.
제3도는 프레임을 베이스로하는 움직임보상예측에 있어서의 블록의 설명도.
제4도는 본 발명의 제3실시예의 설명도.
제5도는 본 발명의 제4실시예의 설명도.
제6도는 종래의 움직임보상예측방법의 개념도.
제7도는 종래의 프레임간 움직임보상예측방법의 문제점의 설명도.
제8도는 종래 필드간 움직임 보상예측방법의 설명도.

Claims (8)

  1. 입력화상의 움직보상을 제1설정시간으로 샘플링한 참조화상과, 이 참조화상과의 사이의 움직임벡터로부터 예측하는 방법에 있어서, 상기 입력화상의 일부이며 복수의 화소로 이루어지는 블록단위가 제2설정시간에 이동한 입력화상움직임벡터를 산출하는 수단과, 상기 참조화상의 일부이며 복수화소로 이루어지는 블록단위가 제1설정시간에 이동한 참조화상움직임벡터를 산출하는 수단으로 이루어지고, 상기 입력화상움직임벡터와 상기 참조화상움직임벡터로부터 임의의 설정시간의 상기 입력화상의 움직임보상을 산출하는 것을 특징으로 하는 움직임보상예측방법.
  2. 제1항에 있어서, 상기 참조화상움직임벡터를 산출하는 수단이 참조화상의 샘플링시간을 적어도 2개이상으로 설정하고, 이들 샘플링시간에 의한 블록단위의 참조화상의 이동데이터에 의해 산출하는 것을 특징으로 하는 움직임보상예측방법.
  3. 입력화상의 움직임보상을 제1설정시간에 샘플링한 참조화상과, 이 참조화상과의 사이의 움직임벡터로부터 예측하는 방법에 있어서, 상기 입력화상의 일부이며 복수의 화소로 이루어지는 블록단위가 제2설정시간에 이동한 입력화상움직임벡터를 산출하는 수단과, 상기 입력화상움직임벡터를 사용하여 제1설정시간의 참조화상움직임벡터를 산출하는 수단으로 이루어지고, 상기 입력화상움직임벡터와 상기 참조화상움직임벡터로부터 임의의 설정시간의 상기 입력화상의 움직임보상을 산출하는 것을 특징으로 하는 움직임보상예측방법.
  4. 제3항에 있어서, 상기 참조화상움직임벡터를 산출하는 수단이 참조화상이 샘플링시간을 적어도 2개이상으로 설정하고, 이들 샘플링시간에 의한 블록단위의 참조화상의 이동데이터에 의해 산출하는 것을 특징으로 하는 움직임보상예측방법.
  5. 복수매의 입력화상의 움직임보상을 제1설정시간에 샘플링한 참조화상과, 이 참조화상과의 사이의 움직임벡터로부터 예측하는 방법에 있어서, 이들의 입력화상의 일부이며 복수의 화소로 이루어진 블록단위가 제2설정시간에 이동한 입력화상움직임벡터를 각각 산출하는 수단과, 상기 참조화상의 일부이고 복수의 화소로 이루어진 블록단위가 제1설정시간에 이동한 참조화상움직임벡터를 산출하는 수단으로 이루어지고, 이들의 입력화상움직임벡터를 동일한 것으로 하고, 상기 입력화상움직임벡터와 상기 참조화상움직임벡터로부터 임의의 설정시간의 상기 입력화상의 움직임보상을 산출하는 것을 특징으로 하는 움직임보상예측방법.
  6. 제5항에 있어서, 상기 참조화상움직임벡터를 산출하는 수단이 참조화상의 샘플링시간을 적어도 2개이상으로 설정하고, 이들 샘플링시간에 의한 블록단위의 참조화상의 이동데이터에 의해 산출하는 것을 특징으로 하는 움직임보상예측방법.
  7. 복수매의 입력화상의 움직임보상을 제1설정시간에 샘플링한 참조화상과, 이 참조화상과의 사이의 움직임벡터로부터 예측하는 방법에 있어서, 이들의 입력화상의 일부이며 복수의 화소로 이루어진 블록단위가 제2설정시간에 이동한 입력화상움직임벡터를 산출하는 수단과, 상기 입력화상움직임벡터를 사용하고 제1설정시간의 참조화상움직임벡터를 산출하는 수단으로 이루어지고, 이들의 입력화상움직임벡터를 동일한 것으로 하고, 상기 입력화상움직임벡터과 상기 참조화상움직임벡터로부터의 임의의 설정시간의 상기 입력화상의 움직임보상을 산출하는 것을 특징으로 하는 움직임보상예측방법.
  8. 제7항에 있어서, 상기 참조화상움직임벡터를 산출하는 수단이 참조화상의 샘플링시간을 적어도 2개이상으로 설정하고, 이들 샘플링시간에 의한 블록단위의 참조화상의 이동데이터에 의해 산출하는 것을 특징으로 하는 움직임보상예측방법.
    ※ 참고사항 : 최초출원 내용에 의하여 공개하는 것임.
KR1019920020769A 1991-11-08 1992-11-06 움직임보상예측방법 KR950006774B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP29300491A JP2929044B2 (ja) 1991-11-08 1991-11-08 動き補償予測方法
JP91-293004 1991-11-08
JP92-293004 1991-11-08
JP92-181980 1992-07-09
JP18198092A JP2938677B2 (ja) 1992-07-09 1992-07-09 動き補償予測方法

Publications (2)

Publication Number Publication Date
KR930011725A true KR930011725A (ko) 1993-06-24
KR950006774B1 KR950006774B1 (ko) 1995-06-22

Family

ID=26500950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019920020769A KR950006774B1 (ko) 1991-11-08 1992-11-06 움직임보상예측방법

Country Status (5)

Country Link
US (4) US5369449A (ko)
EP (1) EP0541389B1 (ko)
KR (1) KR950006774B1 (ko)
CA (1) CA2082280C (ko)
DE (1) DE69225863T2 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0828876B2 (ja) * 1993-02-25 1996-03-21 日本電気株式会社 動画像信号のリフレッシュ方法
JP2636674B2 (ja) * 1993-05-25 1997-07-30 日本電気株式会社 動画像の動きベクトル検出装置
JPH07135663A (ja) * 1993-09-17 1995-05-23 Oki Electric Ind Co Ltd 動きベクトル検出方法および動きベクトル検出装置
JP2590705B2 (ja) * 1993-09-28 1997-03-12 日本電気株式会社 動き補償予測装置
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
GB9401989D0 (en) * 1994-02-02 1994-03-30 British Broadcasting Corp Video motion estimation
US5768439A (en) * 1994-03-23 1998-06-16 Hitachi Software Engineering Co., Ltd. Image compounding method and device for connecting a plurality of adjacent images on a map without performing positional displacement at their connections boundaries
EP0675652B1 (fr) * 1994-03-30 2009-05-13 Nxp B.V. Procédé et circuit d'estimation de mouvement entre images à deux trames entrelacées, et dispositif de codage de signaux numériques comprenant un tel circuit
US6091460A (en) * 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
JP3468856B2 (ja) * 1994-07-28 2003-11-17 株式会社東芝 動きベクトル検出方法及び装置
JPH0865681A (ja) * 1994-08-25 1996-03-08 Sony Corp 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
US5687097A (en) * 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder
MY117289A (en) * 1996-01-17 2004-06-30 Sharp Kk Image data interpolating apparatus
IL119928A (en) * 1996-12-29 2001-01-11 Univ Ramot Model-based view extrapolation for interactive virtual reality systems
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
JP3721867B2 (ja) * 1999-07-07 2005-11-30 日本電気株式会社 映像表示装置及び表示方法
FR2809572B1 (fr) * 2000-05-29 2002-08-16 Cit Alcatel Codage video de source avec prediction du mouvement et filtrage des effets de blocs
AU2001285270A1 (en) * 2000-08-28 2002-03-13 Thomson Licensing S.A. Method and apparatus for motion compensated temporal interpolation of video sequences
JP3632591B2 (ja) * 2000-11-13 2005-03-23 日本電気株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体
US6873655B2 (en) 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
AU2003213360A1 (en) * 2002-03-14 2003-09-22 Matsushita Electric Industrial Co., Ltd. Motion vector detection method
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
EP2603001A1 (en) * 2002-10-01 2013-06-12 Thomson Licensing Implicit weighting of reference pictures in a video encoder
KR20040070490A (ko) * 2003-02-03 2004-08-11 삼성전자주식회사 비월 주사 방식의 동영상 부호화/복호화 방법 및 그 장치
JP4226395B2 (ja) * 2003-06-16 2009-02-18 アルパイン株式会社 音声補正装置
US7319795B2 (en) * 2003-09-23 2008-01-15 Broadcom Corporation Application based adaptive encoding
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7986731B2 (en) 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7869503B2 (en) * 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
CN101189880B (zh) * 2005-06-03 2010-06-16 Nxp股份有限公司 带有混合参考纹理的视频解码器
JP4235209B2 (ja) * 2006-02-10 2009-03-11 Nttエレクトロニクス株式会社 動きベクトル検出装置および動きベクトル検出方法
GB2435360B (en) * 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
US9424685B2 (en) 2012-07-31 2016-08-23 Imagination Technologies Limited Unified rasterization and ray tracing rendering environments

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61200789A (ja) * 1985-03-04 1986-09-05 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の物体の動きベクトル検出方式
JPH0765883B2 (ja) * 1986-06-05 1995-07-19 宣夫 福久 無線送受信器を有する位置検出装置
EP0294959B1 (en) * 1987-06-09 1994-10-05 Sony Corporation Television standards converters
DE3851786T2 (de) * 1987-06-09 1995-03-09 Sony Corp Auswahl eines Bewegungsvektors in Fernsehbildern.
US4989089A (en) * 1988-11-08 1991-01-29 U.S. Philips Corporation Television picture coding device and corresponding decoding device, a television picture transmission system incorporating such devices, and transmission and receiving stages of such a system
JP2521145B2 (ja) * 1989-02-20 1996-07-31 日本ビクター株式会社 動き補償予測符号化復号化方式
GB2231749B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231745B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
GB2231751B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
GB2231225B (en) * 1989-04-27 1993-10-20 Sony Corp Motion dependent video signal processing
JPH07109990B2 (ja) 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
GB2231748B (en) * 1989-04-27 1993-08-18 Sony Corp Motion dependent video signal processing
JP2576631B2 (ja) * 1989-06-20 1997-01-29 日本ビクター株式会社 高品位テレビジヨン受信機
US5072293A (en) * 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
FR2651405B1 (fr) * 1989-08-29 1992-05-22 Philips Electronique Lab Procede et dispositif de traitement d'images a estimation de mouvement amelioree.
JPH03117991A (ja) * 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
DE69031107T2 (de) * 1989-10-14 1997-11-13 Sony Corp Anordnung und Verfahren zum Übertragen eines Videosignals
JPH03252287A (ja) * 1990-02-28 1991-11-11 Victor Co Of Japan Ltd 動画像圧縮装置
JP2885322B2 (ja) * 1990-03-27 1999-04-19 日本ビクター株式会社 フィールド間予測符号化装置及び復号化装置
US5237405A (en) 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
JPH0453389A (ja) * 1990-06-21 1992-02-20 Graphics Commun Technol:Kk 動ベクトル検出装置
US5093720A (en) * 1990-08-20 1992-03-03 General Instrument Corporation Motion compensation for interlaced digital television signals
GB2248361B (en) * 1990-09-28 1994-06-01 Sony Broadcast & Communication Motion dependent video signal processing
EP0683615B1 (en) * 1990-10-31 1999-05-19 Victor Company Of Japan, Ltd. Compression method for interlace moving image signals
US5193004A (en) 1990-12-03 1993-03-09 The Trustees Of Columbia University In The City Of New York Systems and methods for coding even fields of interlaced video sequences
US5200820A (en) * 1991-04-26 1993-04-06 Bell Communications Research, Inc. Block-matching motion estimator for video coder
EP0540762B1 (en) * 1991-05-23 1999-08-04 Nippon Hoso Kyokai Method for detecting moving vector and apparatus therefor, and system for processing image signal using the apparatus
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5210605A (en) * 1991-06-11 1993-05-11 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences

Also Published As

Publication number Publication date
USRE39278E1 (en) 2006-09-12
CA2082280A1 (en) 1993-05-09
DE69225863T2 (de) 1998-10-22
US5978032A (en) 1999-11-02
CA2082280C (en) 1995-02-07
US5745182A (en) 1998-04-28
EP0541389A2 (en) 1993-05-12
AU637289B1 (en) 1993-05-20
DE69225863D1 (de) 1998-07-16
KR950006774B1 (ko) 1995-06-22
EP0541389A3 (ko) 1994-03-30
EP0541389B1 (en) 1998-06-10
US5369449A (en) 1994-11-29

Similar Documents

Publication Publication Date Title
KR930011725A (ko) 움직임보상예측방법
KR950005039A (ko) 동영상 부호화기의 움직임 추정방법 및 장치
FR2663178B1 (fr) Procede d&#39;estimation hierarchique du mouvement dans une sequence d&#39;images.
KR960016580A (ko) 영상 표현 신호 처리 시스템
KR960009757A (ko) 양방향 움직임 추정방법 및 장치
KR940008498A (ko) 화상부호화장치와 화상복호화장치
KR960036741A (ko) 디지탈 비디오 영상의 이산적 코사인 변환 방법
KR950010657A (ko) 영상 복호기에서의 하프 픽셀 움직임 보상 회로
KR970057887A (ko) 영상 에러 복구 장치
KR920017451A (ko) 비디오 신호 처리장치
BR9510541A (pt) Processo e aparelho para codificar um sinal de vídeo usando uma estimação de moviemento com base em um ponto de recurso
KR970078566A (ko) 디지털 이동 영상으로부터 발생된 디지털 정지 영상 파일로부터 회복되는 영상을 처리하고 디스플레이하는 방법 및 장치
KR960028555A (ko) 동화상 부호화 방법 및 동화상 복호화 방법
KR940006048A (ko) 화상 처리 방법 및 장치
KR970012224A (ko) 화상 데이터 인코딩 장치 및 방법
KR900702720A (ko) 고 해상도 텔레비젼 전송 및 수신 시스템
KR930019025A (ko) 비디오 신호의 전송방법
KR970014396A (ko) 영상 부호기에서의 움직임 추정 장치
KR940006409A (ko) 화상정보에 포함된 이동 벡터 검출방법
KR960033136A (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR940003201A (ko) 분할화상부호화방법 및 그 장치
KR970064262A (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
KR940001733A (ko) 화상데이타압축에서의 움직임추정방법 및 그 장치
KR970019648A (ko) 반화소 단위 움직임 추정방법
KR960028458A (ko) 동화상 비디오 부호화 장치

Legal Events

Date Code Title Description
A201 Request for examination
G160 Decision to publish patent application
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120611

Year of fee payment: 18

EXPY Expiration of term