JP4521466B2 - 帳票処理装置 - Google Patents
帳票処理装置 Download PDFInfo
- Publication number
- JP4521466B2 JP4521466B2 JP2009007161A JP2009007161A JP4521466B2 JP 4521466 B2 JP4521466 B2 JP 4521466B2 JP 2009007161 A JP2009007161 A JP 2009007161A JP 2009007161 A JP2009007161 A JP 2009007161A JP 4521466 B2 JP4521466 B2 JP 4521466B2
- Authority
- JP
- Japan
- Prior art keywords
- partial
- grid point
- format
- point information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
Description
第1の従来技術として,「フォーマットジェネレータ」がある(例えば、非特許文献1参照)。ここで利用されている書式情報は,帳票種ごとに文字枠やフィールド枠の位置を厳密に指定されている。既存のOCRには,フォーマットジェネレータと同様の書式情報を採用している機種が多い。
本発明では,準定型帳票を認識することを課題とする。準定型帳票の課題について,図3に示す「源泉徴収票」を例に説明する。源泉徴収票は,枠の配置がほぼ決まっているものの,帳票ごとに枠の位置が微妙に異なっている。これは,記載項目の配置の順序などのおおまかな書式は決まっているものの,枠の大きさなどの厳密な書式は発行元の企業(事業主)が独自に決めているためである。図18に書式の違いの具体例を示す。図18(a)は,同じ項目でも枠の大きさが異なる例である。図18(b)は,主に金額欄において桁線の有無や長さが異なる例である。図18(c)は枠の配置自体が異なる例である。このような書式の違いの他に,帳票認識共通の課題として,画質の問題がある。帳票の印字品質や状態は様々なので,画像入力時の画質は一定でなく,かすれやノイズが発生する場合がある。かすれやノイズが発生すると,帳票画像から罫線や枠の位置を判断する際に,誤った対応付けをする確率が高くなる。
第1の従来例では,枠や文字の位置が同じであることを前提としているため,準定型帳票の認識は困難である。認識対象となる帳票の書式情報を全て登録することにより,原理的には準定型帳票の認識は可能である。しかし,以下の3つの理由により現実的には認識が非常に困難である。第1の理由は,作成すべき帳票の書式情報の数が膨大となるため,書式情報作成のコストが多くなることである。第2の理由は,全ての帳票を事前に収集して書式情報を作成することが困難なことである。源泉徴収票の例では,国内の全ての事業者が発行する源泉徴収票を収集しなければならない。その上,同じ事業者でも年度ごとに書式を変える可能性もあるため,全てを収集することは不可能である。第3の理由は,仮に上記の2つの問題を解決できたとしても,微妙な書式の違いを判別して適切な書式情報を自動的に選択する技術を実現することは非常に困難であるためである。
第3の従来例では,文字枠やフィールド枠の位置の違いや大きさの違いには対応できるものの,帳票の一部の領域の枠の配置だけが異なる場合でも,帳票全面分の帳票書式情報を新たに作成しなければならない。このため,帳票ごとに微妙な枠の配置が異なる準定型帳票を認識するには帳票書式情報の数が膨大になるという問題がある。また,この方式で用いているモデルは矩形以外の枠を記述できないため,モデルとして記述できない帳票が多く存在するという問題がある。さらに,この方式は枠の配置情報に基づいた照合をしているため,かすれやノイズがあるために枠を正しく抽出できない帳票画像には不向きであるという問題がある。
又、帳票画像を表示し、該帳票画像に記載されるレイアウトを解析して格子点情報を抽出して記録手段に記録し,
入力手段を介して指定された帳票画像中の部分領域の格子点情報を上記記憶手段から読み出し、入力される属性情報と上記格子点情報とを対応づけて上記記憶手段に記録する処理を各領域について繰り返す帳票書式作成方法を実行するためのプログラム。
り本発明が限定されるものではない。
図1は,本発明の一実施例である帳票処理装置のハードウェア構成の一例である。図1において,10はコマンドやコードデータなどを入力するための入力装置,20は処理対象の帳票画像を入力するための画像入力装置,30は書式解析や書式照合などを行なう帳票認識装置,40は部分書式情報を格納するデータベース,50は認識結果を表示する表示装置である。なお,20の画像入力装置の代わりに60の画像データベースから帳票画像を入力してもよい。
帳票処理の際には,部分領域ごとに帳票画像と部分書式情報を照合して,最適な部分書式情報を動的に選択し,その結果を合成することにより帳票全面の書式情報を得ることができる。この部分書式情報を用いた帳票処理の詳細については図2を用いて後述する。この帳票処理により,以下に示すように準定型帳票の課題を解決することができる。
まず,照合において枠の位置や大きさの違いを吸収する方式を採用することにより,準定型帳票の課題の図18(a)を解決できる。次に,照合において不要な線分と枠の罫線を区別する方式を採用することにより,図18(b)の課題を解決できる。さらに,このような照合方式を採用して罫線のかすれやノイズ線分を本来の罫線と区別することにより,低品質画像に対しても高精度な処理が可能である。
部分領域ごとの書式情報が決定すれば,書式情報に記録された情報を利用して,帳票画像から文字枠やフィールド枠の位置を検出することができる。このように,部分書式情報を利用した書式照合を採用することにより,準定型帳票を認識する帳票処理装置を実現することができる。
部分書式情報を作成する手段は以下の通りである。まず,帳票画像を入力し,罫線抽出などの書式解析をすることにより,帳票書式を記述するための特徴量を生成する。次に,ユーザにより部分書式情報を生成したい部分領域が選択される。選択された部分領域内について,かすれやノイズに起因する特徴量の誤りがユーザにより修正される。最後に,部分領域内の特徴量に基づいて個々の枠領域を特定し,それぞれの枠領域の属性がユーザにより指定されることにより,部分書式情報が生成できる。この部分書式情報作成処理の詳細については図16を用いて後述する。
次に,図6を用いて,図2のステップ220の部分書式照合処理の詳細について説明する。ステップ600では,処理対象とする帳票種の数だけステップ610から650の処理を繰り返す。例えば,入力帳票が源泉徴収票と確定申告票の2種類であれば,2回繰り返す。ステップ610では,部分領域の数だけステップ620から640の処理を繰り返す。図4に示す源泉徴収票の例では5つの部分領域に分けられているので,5回繰り返す。ステップ620では,各部分領域内で定義された部分書式の数だけステップ630の処理を繰り返す。ステップ630では,入力画像と部分書式との照合を行ない,照合類似度を求める。照合処理の詳細については図11から16を用いて後述する。ステップ640では,各領域において最適な部分書式を選択する。選択方法の一例としては,ステップ630で求められた部分書式の中から,照合類似度が最も高い部分書式選択する方式が挙げられる。ステップ650では,帳票種ごとに帳票全面での最適な書式情報を決定する。この処理の一例としては,ステップ640で求められた最適な部分書式を合成する方式が挙げられる。ステップ660では,入力画像の帳票種を決定する。この処理の一例としては,ステップ650で求められた帳票全面の書式に対して,帳票種ごとに類似度を計算し,最もその類似度が高い帳票種を選択する方式が挙げられる。これらの一連の処理により,帳票種と書式情報を決定できる。
図7に示すように,帳票の枠構造は格子点情報を用いて記述することができる。直交する罫線の交点座標は,該当する格子点の座標値から獲得することができる。平行する2本の縦罫線間の距離は,罫線が存在する格子点の列間の距離から算出できる。帳票上の矩形枠は,枠の四隅に相当する格子点の組合せにより表現することができる。
なお,格子点情報を作成するための実線の抽出方式の例としては特開平11-232382号公報に,点線の抽出方式の例としては特開平09-319824号公報に開示されている。
図9は,部分書式情報に対応する帳票の部分領域の画像と,その格子点情報の例である。図10は,この格子点情報に基づいて生成された部分書式情報のデータの例である。
図10の部分書式情報のデータの例として,まず,帳票種番号が記憶されている。次に,部分領域番号が記憶されている。次に,水平垂直方向の格子点の数が記憶されている。図9の例では,格子点情報は4行3列に配置されているため,水平方向が3,垂直方向が4となる。次に,帳票上の任意の位置を原点とした水平垂直方向の格子点の座標値が記録されている。この値を利用することにより,平行な罫線間の距離,すなわち枠の幅や高さを求めることができる。次に,各格子点での交点符号が記憶されている。この交点符号は図8に示す通りである。例えば,図9の格子点情報において,0行2列の格子点の交点符号は8となる。次に,この部分領域内の枠数が記憶されている。図9の例では,4つの枠が存在しているため,4となる。最後に,各枠の四隅の格子点の位置と読取項目が記憶されている。i行j列の格子点を(i,j)と記載することにすると,図9の「フリガナ」欄の枠の四隅は,左上から反時計回りに(1,1),(1,2),(2,2),(2,1)となる。この他に,罫線や領域の色情報,格子点での罫線に対する実線と点線の区別などの情報を付加してもよい。
次に,部分書式照合処理のアルゴリズムについて説明する。
本実施例では,照合処理の一例として音声認識などに利用されている動的計画法(Dynamic Programing)を用いたDPマッチングによる照合方式を説明する。動的計画法の原理については,T.コルメン,C.ライザーソン,R.リベスト共著,、「アルゴリズムイントロダクション」第2巻,P5〜29、近代科学社1995年出版をはじめ,さまざまな文献において解説されている。
照合アルゴリズムにDPマッチングを採用する理由は次の2つである。第1は,照合対象の特徴量間の距離の大小に依存しない照合ができるため,図18(a)に示すような罫線間距離の大小,すなわち枠の大きさの違いに対応できるからである。第2は,特徴量の数の増減の影響を受けにくい照合ができるため,図18(b)や低品質画像に起因する罫線の本数の増減に対応できるからである。なお,通常DPマッチングは1次元のデータに対して適用される。部分書式情報は2次元の情報であるため,本実施例では横方向と縦方向に分けて処理を行なう。具体的には,格子点情報を横方向にDPマッチングを行い,ここで得られた結果を縦方向に検証するという方式をとる。なお,2次元のDPマッチングの手法も提案されているので,この方式を適用することも可能である。
を書式格子点情報と記す。
ステップ1110では,書式格子点情報の各行ごとにステップ1120から1140の処理を繰り返す。図9(b)の例では,0から3行目まで繰り返す。
ステップ1120では,部分領域格子点情報の各行ごとにステップ1130の処理を繰り返す。図12(b)の例では,0から6行目まで繰り返す。
ステップ1130では,書式格子点情報と部分領域格子点情報の行同士をDPマッチングし,格子点の列同士の対応関係とその際の照合スコアを求める。この処理において,照合類似度があらかじめ設定された基準以下であれば,照合失敗としてリジェクトにすることができる。このDPマッチングによる照合処理の詳細については,図13と図14を用いて後述する。
ステップ1140では,ステップ1130にて求められた照合結果の中から,照合スコアが最大となる部分領域格子点情報の行を選択する。図9と図12の例では,書式情報格子点の0行目に対して,部分領域格子点情報の0から6行目までの行を照合した結果,照合類似度が最大になる行として2行目が選択される。書式格子点情報の1行目以下についても同様である。
ステップ1150では,ステップ1140にて求められた最適な部分領域格子点
情報の行の照合結果に基づいて,列ごとに照合の正当性を検証する。この処理の
詳細については後述する。
なお,1140で照合類似度が基準を超える行がない場合や,1150で列方向の正当性が検証できない場合は,領域単位での照合失敗としてリジェクトにすることができる。
次に、照合スコアの計算方法から,DPネットワーク内での最適な照合経路の求め方を説明する。照合マトリクス内のノードのスコアは,左列から右列に向かって順々に計算していく。最初に照合マトリクスの最左列を0に初期化する。その他のノードのスコアは,左から,上から,左上からの3通りの遷移のうち、遷移元のスコアとその遷移のスコアとの和が最大になる遷移を選択し,そのスコアをノードのスコアとする。
ノードのスコア計算について,図14を用いて具体的に説明する。ノード1430のスコアを求めるには,ノード1400から,1410から,1420からの3通りの遷移のスコアを比較する。ここで,ノード内の値をノードのスコア,遷移の線上の値を遷移のスコアとすると,1400からの遷移のスコアが8で最大となる。この結果,1430への遷移は1400からとなり,1430のスコアは8に決定する。なお,遷移のスコア計算の詳細については後述する。
このようにして全てのノードのスコアを計算する。最右列のうち最もスコアの高いノード選択し,このノードを終端とする経路を最適な照合結果を示す経路とする。図13では,太線で示した経路が最適な経路である。この最適経路の終端ノードのスコアをDPマッチングの照合類似度とする。
最後に,欠損を意味する右方向の遷移について説明する。この遷移は照合対象の格子点が存在しないことを意味するので,照合スコアはペナルティとして(-γ)と定義する。ここでγは定数である。
次に,列方向の検証について図16の例を用いて説明する。図16は,ステップ1140で得られた書式情報格子点の各行における照合結果である。書式格子点情報の0行目は部分領域格子点情報の2行目に対応している。書式情報格子点の0,1,2列は,部分領域格子点情報の42,44,54列に対応している。ここで,書式格子点情報の0列目と2列目は,全ての行で同じ結果が出ているため,42,54列が対応していると判定する。しかし,1列目は,0,1,3行目での照合結果は44であるのに対し,2行目の照合結果49となっており矛盾が生じている。このような矛盾に対応する一例としては多数決が挙げられる。この場合には44が3つ,49が1つであるため44が選択される。その他の対応策としては,44の結果を出した行の照合スコアの和と,49の結果を出した照合スコアの和を比較するということも挙げられる。
なお,部分書式ごとの照合類似度は,各行で計算された照合スコアの和などで定義することができる。同じ部分領域内に部分書式が複数ある場合には,照合類似度が最大となる部分書式を選択する。帳票種ごとの照合類似度は,部分領域ごとに計算された部分書式の照合類似度の和などで定義することができる。処理対象の帳票の種類が複数である場合には,帳票種の照合類似度が最大となる帳票を選択する。
ることが可能である。また,帳票画像の品質が低いために1710にて得られた格子点情報に誤りが多ければ,帳票画像を替えて1700から再試行することも可能である。さらに,1710の書式解析を行なわずに,全ての情報を入力装置10により入力することも可能である。
まず,追加作成したい帳票画像を入力し,既存の部分書式情報を用いて認識をする。既存の部分書式情報で対応できる部分領域については,照合により特定できた部分領域を表示する。この表示方法の例としては,帳票画像上に照合できた部分領域を色分けして表示することが挙げられる。この表示の結果,色分けされていない領域が既存の部分書式情報で対応できなかった領域と判断できる。この領域を自動的に検出,もしくは入力装置10から指定することにより,追加する部分書式情報の領域を特定できる。以降は,図17のステップ1730以降の処理をすることにより,部分書式情報の追加をすることができる。
Claims (1)
- 帳票画像を取得する入力手段と、記録手段と、演算手段とを少なくとも有する帳票処理装置において、
上記記録手段には、部分書式情報を表す部分書式情報データベースが格納され、
該部分書式情報データベースは、罫線の交差形状を示すデータとして、罫線なし、上下左右の端点、縦横の罫線の一部、L字型交点、T字型交点、十字型交点の其々の交差形状を表わす交点符号を用い、
上記部分書式情報は、帳票種、部分領域、部分書式の3階層から構成される木構造であって、上記帳票種を示す帳票種番号、上記部分領域を示す部分領域番号、上記部分書式として水平および垂直方向の格子点の数と座標値、各格子点での交点符号を含む第1の格子点情報を含み、
上記演算手段は、上記入力手段から入力された帳票画像に対して、部分領域毎に部分書式照合を行い、上記木構造の下位の階層から上位の階層へ向かって順次、部分書式、部分領域、帳票種を確定することによって、上記入力された帳票画像の帳票種を決定するように構成され、
上記演算手段は、上記部分書式照合を、上記入力手段から入力された帳票画像に対してレイアウト解析を行って帳票全面の格子点情報を得、上記第1の格子点情報の座標値を用いて上記帳票全面の格子点情報から所定領域内の格子点情報である第2の格子点情報を抽出し、上記第1の格子点情報の各行ごとに、上記第2の格子点情報の各行との照合を1行ずつ行って、DPマッチングにより上記第1の格子点情報と上記第2の格子点情報の行同士の類似度を示す其々の照合スコアを求め、当該照合スコアに基づいて第2の格子点情報の行の照合結果となる第1の格子点情報の行を特定するように実行することにより、部分書式を確定し、
上記演算手段は、部分書式ごとの照合類似度を上記各行で計算された照合スコアの和に基づいて計算し、同じ部分領域内に部分書式が複数ある場合には照合類似度が最大となる部分書式を選択し、帳票種ごとの照合類似度を上記部分領域ごとに計算された上記部分書式の照合類似度の和に基づいて計算し、帳票種の照合類似度が最大となる帳票を上記入力された帳票画像の帳票の種類として選択することを特徴とする帳票処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009007161A JP4521466B2 (ja) | 2009-01-16 | 2009-01-16 | 帳票処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009007161A JP4521466B2 (ja) | 2009-01-16 | 2009-01-16 | 帳票処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002305283A Division JP2004139484A (ja) | 2002-10-21 | 2002-10-21 | 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009087378A JP2009087378A (ja) | 2009-04-23 |
JP4521466B2 true JP4521466B2 (ja) | 2010-08-11 |
Family
ID=40660643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009007161A Expired - Fee Related JP4521466B2 (ja) | 2009-01-16 | 2009-01-16 | 帳票処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4521466B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5712415B2 (ja) * | 2011-11-14 | 2015-05-07 | 日立オムロンターミナルソリューションズ株式会社 | 帳票処理システム及び帳票処理方法 |
JP6581288B2 (ja) | 2016-03-17 | 2019-09-25 | 株式会社Pfu | モバイル端末、画像処理方法、および、プログラム |
JP7026386B2 (ja) * | 2018-08-24 | 2022-02-28 | ネットスマイル株式会社 | 帳票画像処理システム、帳票画像処理方法、および帳票画像処理プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0528310A (ja) * | 1991-06-06 | 1993-02-05 | Fuji Xerox Co Ltd | フオーム型文書識別装置 |
JPH10240958A (ja) * | 1996-12-27 | 1998-09-11 | Fujitsu Ltd | 画像から管理情報を抽出する管理情報抽出装置および方法 |
JPH1153466A (ja) * | 1997-07-31 | 1999-02-26 | Hitachi Ltd | 表認識方法 |
-
2009
- 2009-01-16 JP JP2009007161A patent/JP4521466B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0528310A (ja) * | 1991-06-06 | 1993-02-05 | Fuji Xerox Co Ltd | フオーム型文書識別装置 |
JPH10240958A (ja) * | 1996-12-27 | 1998-09-11 | Fujitsu Ltd | 画像から管理情報を抽出する管理情報抽出装置および方法 |
JPH1153466A (ja) * | 1997-07-31 | 1999-02-26 | Hitachi Ltd | 表認識方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2009087378A (ja) | 2009-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004139484A (ja) | 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム | |
CN111325110B (zh) | 基于ocr的表格版式恢复方法、装置及存储介质 | |
US11182604B1 (en) | Computerized recognition and extraction of tables in digitized documents | |
JP4996940B2 (ja) | 帳票認識装置およびそのプログラム | |
CN102194123B (zh) | 表格模板定义方法和装置 | |
JP4183527B2 (ja) | 帳票定義データ作成方法および帳票処理装置 | |
US8418050B2 (en) | Computer readable recording medium on which form data extracting program is recorded, form data extracting apparatus, and form data extracting method | |
CN111310426A (zh) | 基于ocr的表格版式恢复方法、装置及存储介质 | |
US7680329B2 (en) | Character recognition apparatus and character recognition method | |
JP4521466B2 (ja) | 帳票処理装置 | |
JP4856235B2 (ja) | 帳票認識方法及び帳票認識装置 | |
JP4521377B2 (ja) | 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム | |
JP3394694B2 (ja) | フォーマット情報登録方法及びocrシステム | |
JP5712415B2 (ja) | 帳票処理システム及び帳票処理方法 | |
JPH08320914A (ja) | 表認識方法および装置 | |
US11748341B2 (en) | Method, apparatus, and system for form auto-registration using virtual table generation and association | |
KR20060007204A (ko) | 방대한 데이터의 디지털화를 위한 문서영상처리 및검증시스템 및 그 방법 | |
JP3463008B2 (ja) | 媒体処理方法及び媒体処理装置 | |
JP4160206B2 (ja) | 文字認識装置を利用したデータベース登録方法 | |
JP5134383B2 (ja) | Ocr装置、証跡管理装置及び証跡管理システム | |
JPH0689365A (ja) | 文書画像処理装置 | |
US11256760B1 (en) | Region adjacent subgraph isomorphism for layout clustering in document images | |
JPH1063744A (ja) | 文書のレイアウト解析方法及びシステム | |
JP4221960B2 (ja) | 帳票識別装置及びその識別方法 | |
JP4213558B2 (ja) | 文書レイアウト解析プログラム、文書レイアウト解析プログラムを記憶したコンピュータ読み取り可能な記憶媒体、文書レイアウト解析方法および文書レイアウト解析装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100324 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100511 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100524 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |