JP4791295B2 - 罫線抽出プログラム、罫線抽出装置、罫線抽出方法 - Google Patents
罫線抽出プログラム、罫線抽出装置、罫線抽出方法 Download PDFInfo
- Publication number
- JP4791295B2 JP4791295B2 JP2006235660A JP2006235660A JP4791295B2 JP 4791295 B2 JP4791295 B2 JP 4791295B2 JP 2006235660 A JP2006235660 A JP 2006235660A JP 2006235660 A JP2006235660 A JP 2006235660A JP 4791295 B2 JP4791295 B2 JP 4791295B2
- Authority
- JP
- Japan
- Prior art keywords
- ruled line
- graphic
- ruled
- line
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/155—Removing patterns interfering with the pattern to be recognised, such as ruled lines or underlines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
Description
min(di,di+1)/max(di,di+1)≦th_a
EiとEi+1を含む外接矩形が、点線要素以外の連結成分の外接矩形のうち大きさがEiと著しく異なるものと重複する。つまり、点線要素以外の連結成分で、その外接矩形がEiとEi+1を含む外接矩形と重複し、かつその大きさをxとおいたとき、次式を満たすものが存在する。ここで例えば、th_b=0.5とする。
点線罫線候補の始点のy座標の差がs画素以内
条件D
点線罫線候補の終点のy座標の差がs画素以内
条件E
構成する点線要素の個数が同じ
前記罫線の要素の図形が満たすべき条件として予め設定された第1条件に基づいて、前記文書画像から前記罫線の候補である罫線候補を抽出する抽出ステップと、
前記抽出ステップにより抽出された罫線候補の構造安定性に基づいて、該罫線候補が安定であるか不安定であるかの判定を行う判定ステップと、
前記判定ステップにより安定と判定された罫線候補と前記第1条件に基づいて、前記罫線の要素の図形が満たすべき条件であって前記第1条件と異なる第2条件を決定する条件決定ステップと、
前記条件決定ステップにより決定された第2条件に基づいて罫線候補の再抽出を行う再抽出ステップと
をコンピュータに実行させる罫線抽出プログラム。
(付記2) 付記1に記載の罫線抽出プログラムにおいて、
前記第1条件は、前記罫線の要素である罫線要素となるべき図形の性質を示す要素パラメータと、前記罫線候補として統合すべき前記罫線要素の図形の性質を示す統合パラメータとのうち、少なくともいずれかのパラメータの範囲を示す前記パラメータ範囲を含むことを特徴とする罫線抽出プログラム。
(付記3) 付記2に記載の罫線抽出プログラムにおいて、
前記抽出ステップは、前記文書画像中から前記要素パラメータがパラメータ範囲内となる図形を罫線要素とし、前記統合パラメータがパラメータ範囲内となる複数の前記罫線要素を統合して前記罫線候補とすることを特徴とする罫線抽出プログラム。
(付記4) 付記3に記載の罫線抽出プログラムにおいて、
前記罫線は、点線罫線であり、
前記要素パラメータのパラメータ範囲は、黒画素連結成分の外接矩形のサイズのしきい値により定められ、
前記抽出ステップは、2値で表現された文書画像から黒画素連結成分を抽出し、前記要素パラメータが前記パラメータ範囲内となる黒画素連結成分を罫線要素とすることを特徴とする罫線抽出プログラム。
(付記5) 付記3または付記4に記載の罫線抽出プログラムにおいて、
前記罫線は、点線罫線であり、
前記統合パラメータのパラメータ範囲は、2つの罫線要素の間隔のしきい値、2つの罫線要素の統合する方向に垂直な方向へのずれのしきい値、統合された罫線要素の個数のしきい値の少なくともいずれかにより定められ、
前記抽出ステップは、前記統合パラメータが前記パラメータ範囲内となる複数の罫線要素を罫線候補とすることを特徴とする罫線抽出プログラム。
(付記6) 付記3乃至付記5のいずれかに記載の罫線抽出プログラムにおいて、
前記罫線は、実線罫線であり、
前記抽出ステップは、2値で表現された文書画像を複数の領域に分割し、前記領域のうち前記要素パラメータが前記パラメータ範囲内となる領域を罫線要素とし、該罫線要素を統合して罫線候補とすることを特徴とする罫線抽出プログラム。
(付記7) 付記2乃至付記6のいずれかに記載の罫線抽出プログラムにおいて、
前記判定ステップは、前記罫線候補を構成する罫線要素のパラメータに基づいて、前記第1条件のパラメータ範囲を変化させて第3条件とし、前記抽出ステップと同様にして、前記第3条件に基づいて前記文書画像から暫定の罫線候補である暫定罫線候補を抽出し、前記抽出ステップにより抽出された罫線候補のうち前記暫定罫線候補と異なるものを不安定と判定することを特徴とする罫線抽出プログラム。
(付記8) 付記2乃至付記7のいずれかに記載の罫線抽出プログラムにおいて、
前記判定ステップは、前記罫線候補を構成する罫線要素のパラメータに基づいて、前記第1条件のパラメータ範囲を変化させて第3条件とし、前記抽出ステップと同様にして、前記第3条件に基づいて前記文書画像から暫定の罫線候補である暫定罫線候補を抽出し、前記暫定罫線候補を構成する罫線要素が所定のしきい値以下であるものを不安定と判定することを特徴とする罫線抽出プログラム。
(付記9) 付記2乃至付記8のいずれかに記載の罫線抽出プログラムにおいて、
前記判定ステップは、前記罫線候補に含まれる罫線要素の配置が一様でない場合、該罫線候補を不安定と判断することを特徴とする罫線抽出プログラム。
(付記10) 付記2乃至付記9のいずれかに記載の罫線抽出プログラムにおいて、
前記判定ステップは、前記罫線候補を構成する罫線要素の外接矩形が、罫線要素以外で所定の形状を持つ黒画素連結成分の外接矩形と重複する場合、該罫線候補を不安定と判定することを特徴とする罫線抽出プログラム。
(付記11) 付記2乃至付記10のいずれかに記載の罫線抽出プログラムにおいて、
前記判定ステップは、縦方向に一様に並んだ複数の前記罫線候補と横方向に一様に並んだ複数の前記罫線候補とを抽出して規則的罫線候補群とし、該規則的罫線候補群以外の罫線候補を不安定と判定することを特徴とする罫線抽出プログラム。
(付記12) 付記11に記載の罫線抽出プログラムにおいて、
前記判定ステップは、第1のy座標から所定の範囲内に始点が存在し、かつ、第2のy座標から所定の範囲内に終点が存在し、かつ、罫線要素の数が同じである前記罫線候補と、第1のx座標から所定の範囲内に始点が存在し、かつ、第2のx座標から所定の範囲内に終点が存在し、かつ、罫線要素の数が同じである前記罫線候補とを、前記規則的罫線候補群とすることを特徴とする罫線抽出プログラム。
(付記13) 付記2乃至付記12のいずれかに記載の罫線抽出プログラムにおいて、
前記条件決定ステップは、前記判定ステップにより安定と判定された罫線候補のうち、前記判定ステップにより不安定と判定された罫線候補近傍の所定の領域に含まれる罫線候補を抽出し、該罫線候補の性質を示すパラメータと前記第1条件におけるしきい値との間の値を、前記第2条件におけるしきい値とすることを特徴とする罫線抽出プログラム。
(付記14) 文書画像中の罫線の抽出を行う罫線抽出装置であって、
前記罫線の要素の図形が満たすべき条件として予め設定された第1条件に基づいて、前記文書画像から前記罫線の候補である罫線候補を抽出する抽出部と、
前記抽出部により抽出された罫線候補の構造安定性に基づいて、該罫線候補が安定であるか不安定であるかの判定を行う判定部と、
前記判定部により安定と判定された罫線候補と前記第1条件に基づいて、前記罫線の要素の図形が満たすべき条件であって前記第1条件と異なる第2条件を決定する条件決定部と、
前記条件決定部により決定された第2条件に基づいて罫線候補の再抽出を行う再抽出部と
を備える罫線抽出装置。
(付記15) 付記14に記載の罫線抽出装置において、
前記第1条件は、前記罫線の要素である罫線要素となるべき図形の性質を示す要素パラメータと、前記罫線候補として統合すべき前記罫線要素の図形の性質を示す統合パラメータとのうち、少なくともいずれかのパラメータの範囲を示す前記パラメータ範囲を含むことを特徴とする罫線抽出装置。
(付記16) 付記15に記載の罫線抽出装置において、
前記抽出部は、前記文書画像中から前記要素パラメータがパラメータ範囲内となる図形を罫線要素とし、前記統合パラメータがパラメータ範囲内となる複数の前記罫線要素を統合して前記罫線候補とすることを特徴とする罫線抽出装置。
(付記17) 付記16に記載の罫線抽出装置において、
前記罫線は、点線罫線であり、
前記要素パラメータのパラメータ範囲は、黒画素連結成分の外接矩形のサイズのしきい値により定められ、
前記抽出部は、2値で表現された文書画像から黒画素連結成分を抽出し、前記要素パラメータが前記パラメータ範囲内となる黒画素連結成分を罫線要素とすることを特徴とする罫線抽出装置。
(付記18) 付記16または付記17に記載の罫線抽出装置において、
前記罫線は、点線罫線であり、
前記統合パラメータのパラメータ範囲は、2つの罫線要素の間隔のしきい値、2つの罫線要素の統合する方向に垂直な方向へのずれのしきい値、統合された罫線要素の個数のしきい値の少なくともいずれかにより定められ、
前記抽出部は、前記統合パラメータが前記パラメータ範囲内となる複数の罫線要素を罫線候補とすることを特徴とする罫線抽出装置。
(付記19) 付記16乃至付記18のいずれかに記載の罫線抽出装置において、
前記罫線は、実線罫線であり、
前記抽出部は、2値で表現された文書画像を複数の領域に分割し、前記領域のうち前記要素パラメータが前記パラメータ範囲内となる領域を罫線要素とし、該罫線要素を統合して罫線候補とすることを特徴とする罫線抽出装置。
(付記20) 文書画像中の罫線の抽出を行う罫線抽出方法であって、
前記罫線の要素の図形が満たすべき条件として予め設定された第1条件に基づいて、前記文書画像から前記罫線の候補である罫線候補を抽出する抽出ステップと、
前記抽出ステップにより抽出された罫線候補の構造安定性に基づいて、該罫線候補が安定であるか不安定であるかの判定を行う判定ステップと、
前記判定ステップにより安定と判定された罫線候補と前記第1条件に基づいて、前記罫線の要素の図形が満たすべき条件であって前記第1条件と異なる第2条件を決定する条件決定ステップと、
前記条件決定ステップにより決定された第2条件に基づいて罫線候補の再抽出を行う再抽出ステップと
を実行する罫線抽出方法。
Claims (6)
- 文書画像中の罫線の抽出をコンピュータに実行させる罫線抽出プログラムであって、
前記文書画像から複数の第1図形を抽出し、前記複数の第1図形の夫々の特徴を示すパラメータを算出し、前記複数の第1図形の中から、予め設定されたしきい値で定義される範囲内のパラメータに対応する複数の第2図形を抽出する抽出ステップと、
前記複数の第2図形の夫々の構造安定性に基づいて、前記複数の第2図形の夫々が安定であるか不安定であるかの判定を行う判定ステップと、
前記複数の第2図形の中で安定と判定された第3図形のパラメータに基づいて、前記しきい値を変更する条件決定ステップと、
前記複数の第2図形の中で不安定であると判定された複数の第4図形の中から、前記変更されたしきい値で定義される範囲内のパラメータに対応する第5図形を抽出する再抽出ステップと、
前記第3図形と前記第5図形を前記罫線として出力する出力ステップと
をコンピュータに実行させる罫線抽出プログラム。 - 請求項1に記載の罫線抽出プログラムにおいて、
前記パラメータは、前記罫線の要素である罫線要素となるべき図形の性質を示す要素パラメータと、前記罫線候補として統合すべき前記罫線要素の図形の性質を示す統合パラメータとのうち、少なくともいずれかであることを特徴とする罫線抽出プログラム。 - 請求項2に記載の罫線抽出プログラムにおいて、
前記抽出ステップは、前記複数の第1図形の中から、要素パラメータが予め設定された第1しきい値で定義される範囲内となる複数の図形を抽出して複数の罫線要素とし、前記複数の罫線要素のうち統合パラメータが予め設定された第2しきい値で定義される範囲内となる複数の罫線要素を統合して前記複数の第2図形の夫々とすることを特徴とする罫線抽出プログラム。 - 請求項1乃至請求項3のいずれか一項に記載の罫線抽出プログラムにおいて、
前記変更されたしきい値で定義される範囲は、前記予め設定されたしきい値で定義される範囲より狭いことを特徴とする罫線抽出プログラム。 - 文書画像中の罫線の抽出を行う罫線抽出装置であって、
前記文書画像から複数の第1図形を抽出し、前記複数の第1図形の夫々の特徴を示すパラメータを算出し、前記複数の第1図形の中から、予め設定されたしきい値で定義される範囲内のパラメータに対応する複数の第2図形を抽出する抽出部と、
前記複数の第2図形の夫々の構造安定性に基づいて、前記複数の第2図形の夫々が安定であるか不安定であるかの判定を行う判定部と、
前記複数の第2図形の中で安定と判定された第3図形のパラメータに基づいて、前記しきい値を変更する条件決定部と、
前記複数の第2図形の中で不安定であると判定された複数の第4図形の中から、前記変更されたしきい値で定義される範囲内のパラメータに対応する第5図形を抽出する再抽出部と、
前記第3図形と前記第5図形を前記罫線として出力する出力部と
を備える罫線抽出装置。 - 文書画像中の罫線の抽出を行う罫線抽出方法であって、
前記文書画像から複数の第1図形を抽出し、前記複数の第1図形の夫々の特徴を示すパラメータを算出し、前記複数の第1図形の中から、予め設定されたしきい値で定義される範囲内のパラメータに対応する複数の第2図形を抽出する抽出ステップと、
前記複数の第2図形の夫々の構造安定性に基づいて、前記複数の第2図形の夫々が安定であるか不安定であるかの判定を行う判定ステップと、
前記複数の第2図形の中で安定と判定された第3図形のパラメータに基づいて、前記しきい値を変更する条件決定ステップと、
前記複数の第2図形の中で不安定であると判定された複数の第4図形の中から、前記変更されたしきい値で定義される範囲内のパラメータに対応する第5図形を抽出する再抽出ステップと、
前記第3図形と前記第5図形を前記罫線として出力する出力ステップと
を実行する罫線抽出方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006235660A JP4791295B2 (ja) | 2006-08-31 | 2006-08-31 | 罫線抽出プログラム、罫線抽出装置、罫線抽出方法 |
US11/607,758 US7769234B2 (en) | 2006-08-31 | 2006-11-30 | Ruled line extracting program, ruled line extracting apparatus and ruled line extracting method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006235660A JP4791295B2 (ja) | 2006-08-31 | 2006-08-31 | 罫線抽出プログラム、罫線抽出装置、罫線抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008059298A JP2008059298A (ja) | 2008-03-13 |
JP4791295B2 true JP4791295B2 (ja) | 2011-10-12 |
Family
ID=39151603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006235660A Expired - Fee Related JP4791295B2 (ja) | 2006-08-31 | 2006-08-31 | 罫線抽出プログラム、罫線抽出装置、罫線抽出方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7769234B2 (ja) |
JP (1) | JP4791295B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101551859B (zh) * | 2008-03-31 | 2012-01-04 | 夏普株式会社 | 图像辨别装置及图像检索装置 |
EP2416282A4 (en) * | 2009-03-31 | 2016-09-28 | Fujitsu Frontech Ltd | DEVICE AND METHOD FOR RECOGNIZING CHARACTERS |
JP5556511B2 (ja) * | 2010-08-31 | 2014-07-23 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
JP5640645B2 (ja) * | 2010-10-26 | 2014-12-17 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP5682282B2 (ja) * | 2010-12-15 | 2015-03-11 | 富士通株式会社 | 弧検出装置、弧検出プログラム及び携帯端末装置 |
US9495343B2 (en) * | 2014-09-30 | 2016-11-15 | Konica Minolta Laboratory U.S.A., Inc. | Horizontal and vertical line detection and removal for document images |
US10068132B2 (en) * | 2016-05-25 | 2018-09-04 | Ebay Inc. | Document optical character recognition |
WO2020157937A1 (ja) * | 2019-01-31 | 2020-08-06 | 株式会社Pfu | 画像処理装置、制御方法及び制御プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06150056A (ja) * | 1992-11-09 | 1994-05-31 | Matsushita Electric Ind Co Ltd | 表認識装置 |
JPH07230525A (ja) * | 1993-12-22 | 1995-08-29 | Ricoh Co Ltd | 罫線認識方法及び表処理方法 |
JPH1049676A (ja) | 1996-08-06 | 1998-02-20 | Ricoh Co Ltd | 罫線認識方法 |
JP3753354B2 (ja) * | 1997-05-30 | 2006-03-08 | 株式会社リコー | 破線識別装置および記録媒体 |
JP3551004B2 (ja) * | 1998-02-12 | 2004-08-04 | 三菱電機株式会社 | 罫線抽出方法および装置 |
JPH11353478A (ja) * | 1998-06-03 | 1999-12-24 | Ricoh Co Ltd | 点線認識方法、表処理方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4412762B2 (ja) * | 1999-05-31 | 2010-02-10 | 富士通株式会社 | 点線抽出方法、その装置及びその記録媒体 |
JP3842006B2 (ja) * | 2000-03-30 | 2006-11-08 | グローリー工業株式会社 | 帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2002183660A (ja) * | 2000-12-14 | 2002-06-28 | Canon Inc | 文書読み取り装置および文書読み取り方法 |
JP2004013188A (ja) * | 2002-06-03 | 2004-01-15 | Nec Corp | 帳票読取り装置および帳票読取り方法ならびプログラム |
JP4396376B2 (ja) * | 2004-04-22 | 2010-01-13 | 日本電気株式会社 | 図形読み取り方法及びその装置並びに主要色抽出方法及びその装置 |
-
2006
- 2006-08-31 JP JP2006235660A patent/JP4791295B2/ja not_active Expired - Fee Related
- 2006-11-30 US US11/607,758 patent/US7769234B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20080056576A1 (en) | 2008-03-06 |
US7769234B2 (en) | 2010-08-03 |
JP2008059298A (ja) | 2008-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4791295B2 (ja) | 罫線抽出プログラム、罫線抽出装置、罫線抽出方法 | |
JP4806230B2 (ja) | 劣化辞書生成プログラム、方法および装置 | |
CN105184292B (zh) | 自然场景图像中手写体数学公式结构分析与识别方法 | |
JP4366318B2 (ja) | 画像処理装置及びその方法、プログラム | |
JP4968075B2 (ja) | パターン認識装置、パターン認識方法、およびパターン認識プログラム | |
US20120134591A1 (en) | Image processing apparatus, image processing method and computer-readable medium | |
JP2009043102A (ja) | 文字認識プログラム、文字認識装置および文字認識方法 | |
RU2581786C1 (ru) | Определение преобразований изображения для повышения качества оптического распознавания символов | |
JP5316021B2 (ja) | 清書支援プログラム及び清書支援方法 | |
KR20140102589A (ko) | 정보 처리 장치, 정보 처리 방법, 및 기억 매체 | |
JP2010205174A (ja) | 画像処理装置および画像形成装置 | |
JP4873554B2 (ja) | 画像配信装置および画像配信方法 | |
JP5761353B2 (ja) | 隆線方向抽出装置、隆線方向抽出方法、隆線方向抽出プログラム | |
JP2011210160A (ja) | 画像処理方法、画像処理装置、プログラム、及びプログラム記憶媒体 | |
JP2004038530A (ja) | 画像処理方法、同方法の実行に用いるプログラム及び画像処理装置 | |
JP4687558B2 (ja) | 画像照合装置、画像照合方法及びプログラム | |
JP2010224612A (ja) | 画像処理装置、画像読取装置、画像形成装置及びプログラム | |
JP4162195B2 (ja) | 画像処理装置、及び画像処理プログラム | |
JP5003837B2 (ja) | 画像処理装置及びプログラム | |
CN116468977B (zh) | 一种视觉检测模型的对抗鲁棒性评估方法及装置 | |
JP2023128088A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
US8432555B2 (en) | Image processing apparatus, image processing method, computer-readable medium and computer data signal | |
JP4390723B2 (ja) | 情報埋め込み装置、情報抽出装置、情報埋め込み方法、情報抽出方法、情報埋め込みプログラム、情報抽出プログラム及び記録媒体 | |
JP5505187B2 (ja) | 画像処理装置およびプログラム | |
US20130051688A1 (en) | Image processing apparatus, non-transitory computer readable medium storing image processing program, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110721 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |