JP4117224B2 - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
JP4117224B2
JP4117224B2 JP2003174231A JP2003174231A JP4117224B2 JP 4117224 B2 JP4117224 B2 JP 4117224B2 JP 2003174231 A JP2003174231 A JP 2003174231A JP 2003174231 A JP2003174231 A JP 2003174231A JP 4117224 B2 JP4117224 B2 JP 4117224B2
Authority
JP
Japan
Prior art keywords
image
order
reading
page number
form type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003174231A
Other languages
English (en)
Other versions
JP2005012492A (ja
Inventor
晋 田辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Omron Terminal Solutions Corp
Original Assignee
Hitachi Omron Terminal Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Omron Terminal Solutions Corp filed Critical Hitachi Omron Terminal Solutions Corp
Priority to JP2003174231A priority Critical patent/JP4117224B2/ja
Publication of JP2005012492A publication Critical patent/JP2005012492A/ja
Application granted granted Critical
Publication of JP4117224B2 publication Critical patent/JP4117224B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)
  • Storing Facsimile Image Data (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えばイメージスキャナ等の読取装置により帳票の画像を取り込み、取り込んだ画像及びその文字認識結果などの情報を記憶部のデータベースに登録する画像処理システムに関する。
【0002】
【従来の技術】
画像の読取装置によって順次取り込んだ複数枚分の帳票の画像を管理する方法として、例えば特許文献1には、画像読取装置にて読み取った一文書に相当する複数枚の画像情報を一時記憶して、後からまとめてデータベースへ登録することによって、複数の帳票画像を一つの文書名でまとめて管理する技術思想が開示されている。
【0003】
【特許文献1】
特開平7−296138号公報
【発明が解決しようとする課題】
しかし、従来技術においては、帳票を画像として読み取ったときのそのまま順序で登録がされる。
【0004】
このため、順序が決まっている帳票の画像を登録する場合、帳票の順序を操作者が予め確認し、場合によっては並べ替えてその順で読取装置によって画像を読み取らせなければならない。
【0005】
【課題を解決するための手段】
そこで、本願発明では、上記課題を解決するために、例えば、複数の帳票の画像を読み取って登録する画像処理システムにおいて、読み取った画像を調べて、帳票の種類(帳票種)を識別し、その識別の結果に基づいて一文書中での複数の帳票種の順序を自動的に設定して登録する手段を採用する。
【0006】
【発明の実施の形態】
本発明に好適な一実施形態の例について図1〜8を参照しつつ説明する。なお、本願発明は、本例に限定されるものではない。
【0007】
また、帳票とは例えば、すでに罫線が印刷されている空白書式の各項目に必要な情報が書き込まれたものであり、確定申告(各控除に対して帳票を記入)、お中元の承り書(お届けが複数)、勤休入力のように複数枚にまたがるものもあり、順序が決まっているものもある。
【0008】
図1は、画像処理システムの構成例のブロック図を示し、帳票の表面の視覚情報を読み取って出力するスキャナやカメラ等の読取装置2と、読取装置2から出力を受けた複数の画像を一つの文書(ファイル)として登録する画像登録装置1と、画像登録装置1への操作又は指示を入力するマウス、キーボード、タッチパネルなどの操作入力部3と、画像登録装置1から画像や検索キーなどを画面に表示する液晶パネルやCRTなどの表示部4と、画像登録装置1で登録された画像を管理するデータベースサーバ5と、無線又は有線のローカルエリアネットワーク(LAN)6とを有する。
【0009】
画像登録装置1は、各種プログラムを実行し、画像登録装置1内部及びそれに接続する機器のハードウェアを制御するCPUなどの制御部10(第1制御部)と、半導体メモリ等の主メモリ11(第1メモリ)と、磁気ディスクなどの記憶部12(第1記憶部)と、読取装置2とデータを交換するインタフェース(読取装置IF)13と、LAN6とデータを交換するIF14(第1LAN−IF)とを有する。
【0010】
記憶部12は、帳票を画像として読み取る読取プログラム121と、読取プログラム121で読み取った画像の帳票種を識別する識別プログラム122と、識別プログラム121で識別した帳票種や操作入力部3に入力された帳票種・頁番号などに基づいて帳票の画像を表示する順序を設定する順序設定プログラム123と、表示部4への表示を制御する表示制御プログラム124と、識別プログラム122による識別の基準になる識別基準データ125と、表示制御プログラム124によって表示部4に表示される画面データ126とを含む。
【0011】
データベースサーバ5は、CPUなどの制御部50(第2制御部)と、半導体メモリなどの主メモリ51(第2メモリ)と、磁気ディスクなどであってデータベースを含む記憶部52(第2記憶部)と、LANとデータを交換するIF53(第2LAN−IF)とを有する。
【0012】
記憶部52は、各業務で使用する一組の(一つの文書の)複数の帳票種に対して画像情報を表示する順序を定義するための順序規定テーブル521と、ファイル名を検索キーとする帳票の画像のデータベースを構築している画像管理テーブル522とを含む。
【0013】
なお、表示する順序とは、読取装置2で読み取った画像を表示部4に表示する順序、又は、画像管理テーブル522に登録後に画像登録装置1若しくは図示しない他の検索表示端末でファイル名をキーにして画像を表示するときに表示する順序でも良い。表示するのは別画面であっても一画面に順序で並べて表示するものでもよい。
【0014】
また、図1のブロック図において各構成の一部は省くこともでき、一部の組み替え、追加も可能である。
【0015】
図2は、画像登録端末1において読取中の文書の画像と順序を主メモリ11で記憶する読取中テーブル111を示し、画像に対し読取プログラム121で読み取った読取順1111と、識別プログラム122で識別した結果又は操作入力部からの入力結果によって設定された帳票種1112と、帳票種毎の頁番号1113と、一文書中の画像の通番1114と、画像情報1115とを含む。読取中テーブル111は、読取装置1で読み取っている複数の帳票種を一文書単位で管理するために、一文書毎に主メモリ11に作成及び消去する。ただし、読取中テーブル111自体は消去せずにそのテーブルに記憶されている情報だけを消去するようにしてもよく、読取中テーブル111に複数の文書を記憶し、一文書毎に区切って帳票の画像情報を管理してもよい。
【0016】
図3は、順序規定テーブル521を示し、複数の帳票種を含む一文書の文書属性5211と、帳票種5213と、文書属性5211に対して予め定義された各帳票種の順序である規定順5212とを含む。
【0017】
図4は、画像管理テーブル522を示し、指定又は自動で付せられるファイル名5221と、文書属性5222と、順序規定テーブル521で設定された規定順5212に基づいて順序設定プログラム123により(場合によっては算出されて)設定される通番5223と、各画像の帳票種5224と、帳票種毎の頁番号5225と、画像情報5226とを含む。
【0018】
なお、通番は規定順5212と頁番号1113とに基づく順序を示す番号であり、画像情報1115又は5226はこの通番で指定される順序で表示される。
【0019】
また、読取中テーブル111と、順序規定テーブル521と、画像管理テーブル522の情報は、主メモリ11又は51、記憶部12又は52のいずれに記憶されていてもよいものとする。ただし、特に本実施形態によれば、読取中テーブル111を画像登録装置の主メモリ111に置くことで高速な処理を可能とする一方、データベースサーバ5の記憶部52に順序規定テーブル521と画像管理テーブル522とを置いて複数の画像登録装置1からの検索及び一括メンテナンスが可能になる。また、格子状のテーブルの形式で情報を有することは必然ではなく、必要な情報を記憶していればよい。
【0020】
図6は、表示部4に表示する逐次画像読取画面6001であり、読取装置2で読み取った画像を表示する画像表示エリア6002と、操作入力部3によって読取装置2に画像読取処理を実行させる入力ボタン6003と、操作入力部3によって画像登録装置1のデータをデータベースサーバ5に登録する処理を実行させる登録ボタン6004とを含む。
【0021】
図5は、読取プログラム121、識別プログラム122、順序設定プログラム123、表示制御プログラム124を用いて制御部10が実行する処理のフローチャートを示す。
【0022】
読取プログラム121によって、読取装置2からIF13を介して帳票の画像を受信すると、主メモリ11に一時保管する(S5001)。
【0023】
識別プログラム122によって、主メモリ11に一時保管した帳票の画像からその特徴を抽出して識別基準データ125と比較し、帳票種を識別して識別結果の帳票種を主メモリ11に記憶する(S5002)。
【0024】
順序設定プログラム123によって、IF14とLAN6を介してデータベースサーバ5の記億部52から順序規定テーブル521を主メモリ11に読み込み、S5002で主メモリ11に記憶した帳票種が読み込んだ順序規定テーブル521に含まれるか否かを検索する(S5003)。
【0025】
S5003の検索の結果、帳票種が順序規定テーブル521に含まれていない場合又は帳票の汚れなどで帳票種やレイアウトが認識できす画像の帳票種を一意に識別できなかった場合(S5004でYes)には、操作者による帳票種の指定や破棄の指示を操作入力部3で受けるため表示制御プログラム124によって後述する図7の帳票種入力ダイアログ7001を画面データ126に基づき表示する(S5005)。
【0026】
S5003の検索の結果、S5002で識別した帳票種が順序規定テーブル521に含まれている場合には、主メモリ11に読取中テーブル111があるか否かを検索する。S5005で帳票種が操作者による選択入力を操作入力部3で受けた場合にも同様である。なお、一文書に属する帳票のうち、1枚目の帳票を読み取ったとき、主メモリ11に読取中テーブル111はない状態である(S5006でNo)。
【0027】
読取中テーブル111が主メモリ11にない(S5006でNo)、つまり一文書に属する帳票のうち、1枚目を読み取ったときには、主メモリ11に読取中テーブル111を作成して(S5007)、読取装置で読み取った画像情報を画像情報1115として、規定順5212を通番1114として読取中テーブル111に記憶する。
【0028】
主メモリ11に読取中テーブル111がある場合(S5006でYes)、つまり一文書のおける一連の帳票の2枚目以降を読み取った場合には、読取中テーブル111内に同じ帳票種が記録されているか否かを調べる(S5008)。
【0029】
読取中テーブル111内に同じ帳票種が記録されている(S5008でYes)ときには、帳票種が重複するので、操作者にその旨を報告し、いずれの帳票種を残すのか又は双方とも残すのであればどちらを先(後)の順に登録するのかの決定を促すため、表示制御プログラム124によって画面データ126に基づき後述する図8の頁番号入力ダイアログ8001を表示する(S5009)。入力された頁番号以降の数値の頁番号が付された頁番号を対象に“新頁番号=現在の頁番号+1”に設定する。
【0030】
例えば、図2の場合、読取順1111が“4”の画像情報“D”の帳票種1112が“旅費管理表”であると識別プログラム122によって識別したとき、読取中テーブル111には既に読取順1111が“3”で帳票種1112が“旅費管理表”の画像情報1115“C”が記憶されている(なお、このときは、画像情報“C”についての頁番号1113はまだ“1”であり、通番1114は“3”である)。つまり、同じ帳票種の画像情報が読取中テーブル111に記憶されているので、表示部4に頁番号入力ダイアログ8001を表示する。ここで、画像情報“D”について頁番号が1と入力された場合には、図2に示すように、画像情報“D”について頁番号1113を“1”と記憶し、もともと頁番号1113が“1”であった画像情報“C”については1+1=“2”に設定して記憶する。
【0031】
これにより、同じ分類の帳票種を重複して登録することができ、また、操作者の意思を反映できるという効果を奏する。ただし、重複した場合には頁番号を自動的に設定(二つの帳票の帳票種が重なった場合には後から読み取った帳票の頁番号を2とするなど)してもよいし、そもそも頁番号の設定をせず帳票種が重複した場合には登録しない、上書きする、警告を発するなどの処理をすることもできる。
【0032】
読取中テーブル111内に同じ帳票種が記録されていない(S5008でNo)ときには帳票種が重複していないので頁番号を1(又は空欄など)に設定する。さらに一文書内での通番を算出する。その方法としては、まず今回通番を設定する画像情報の帳票種より規定順5212の数値の大きい帳票種1112が読取中テーブル111にあるかを検索する。検索した帳票種1112の中で最も小さい通番1114を特定し、特定された通番1114を、通番を設定する帳票種のものとすると共に、検索した帳票種1112の通番1114以降の画像情報1115を対象に“新通番=現在の通番+1”を設定する(S5010)。
【0033】
例えば、図2において、読取順1111が“2”の画像情報“B”について識別プログラム122による識別の結果、帳票種が“勤休表”であるとされた場合、順序規定テーブル521を参照して帳票種5213“勤休表”についての規定順5212“1”よりも数値の大きい規定順の帳票種が読取中テーブル111にあるかを検索する。読取中テーブル111には規定順5212が“1”より大きい“2”の帳票種1112“時間管理表“の画像情報1115”A“が記憶されているので、このときの画像情報”A“の通番”1“を画像情報”B“の通番として設定する。画像情報”A“の通番は1+1=”2“に設定して記憶する。
【0034】
S5009で頁番号が1と設定されたときも同様である。
【0035】
S5009で頁番号が1以外に設定された画像情報への通番は、S5009で設定された帳票種の頁番号よりも“1”少ない頁番号1113に付せられている通番1114を検索して、1を加算した数値を設定する。また、加算して得られた通番と、もともと読み取り中テーブル111にて同じ通番以降の通番1114が付せられている画像情報1115を対象に“新通番=現在の通番+1”を設定する(S5010)。
【0036】
例えば、図2において、読取順1111が“5”で帳票種1112“旅費管理表”の画像情報1115“E”について頁番号1113“3”が設定されたとき、同じ帳票種1113について頁番号が1少ない“2”のデータを検索し、そのデータ(読取順1111“3”、画像情報1115“C”)の通番1114“4”に1を加えた1+4=“5”を画像情報“E”についての通番として設定して記憶する。
【0037】
S5010で算出した通番を読取中テーブル111に記憶する(S5011)。
【0038】
一文書に残りがある場合には操作者から操作入力部3へ同一ファイルへの画像の追加の指示(入力ボタン6003の選択)がされ、その場合(S5012でYes)にはS5001へ戻り、その指示がなく(S5012でNo)、操作入力部3により登録ボタン6004の選択がされた場合、主メモリ11の読取中テーブル111のデータをIF14とLAN6を介してデータベースサーバ5に送信して、主メモリ11から読取中テーブル111を消去して(S5013)、一文書の登録を終了する。
【0039】
読取中テーブル111のデータを、IF53を介して受信したデータベースサーバ5の制御部50は、そのデータを主メモリ51に一時保管し、画像管理テーブル522へ、通番1114に通番5223を、帳票種1112に帳票種5224を、頁番号1113に頁番号5225を、画像情報1115を画像情報5226に対応させ、一文書にファイル名5221を付して記憶して登録する。
【0040】
読取装置2で読み取った画像は、1枚ずつ表示部4に表示する他に読取中テーブル111で指定される順序で複数の画像情報1115を表示してもよい。S5013で読取中テーブル111を消去する前又は画像管理テーブル522へ登録する前には、読取中テーブル111の通番1114で指定される順序で画像情報1115を表示して確認を求めてもよい。
【0041】
登録された帳票の画像情報5246は、画像登録装置1などの端末によりファイル名5221をキーにして照会されたとき、通番5223で指定される順序で表示部4に表示される。
【0042】
なお、図5のフローチャートにおいて各ステップの一部は省くこともでき、一部の順番の組み替え、追加も可能である。
【0043】
図7(a)は、帳票種入力ダイアログ7001を示し、操作者によるドロップダウンメニュー7005からの選択を確認のために表示をする帳票種選択エリア7002と、帳票種選択エリア7002で選択された帳票種の決定を操作入力部3によって制御部10へ指示するOKボタン7003と、読取装置2で取得した画像を破棄の決定を操作入力部によって制御部10へ指示するキャンセルボタン7004とを含む。なお、キャンセルボタン7004の選択を受けた場合、制御部10は、逐次画像読取画面6001の入力ボタン6003を押下する前の状態に画面を戻す。また、図7(b)は、帳票種選択エリア7002にある右端の逆三角形印のボタンを押下することによって表示するドロップダウンメニュー7005の表示を示し、当該メニューには、順序規定テーブル521に定義している帳票種の一覧を表示する。このようなドロップダウンメニュー7005を用意することで、順序規定テーブル521にある帳票を操作者に簡便な選択をさせることができる。一文書の2枚目以降であって文書属性等が限られている場合にはその文書属性に対応する帳票種のみを表示することで選択肢を絞った容易な選択を可能にする。ただし、キーボードなどを用いて帳票種選択エリア7002に文字入力をさせてもよい。
【0044】
図8(a)は、帳票種入力ダイアログ8001を示し、操作者に頁番号を選択させるため、操作入力部3による逆三角形印のボタンの選択によってドロップダウンメニュー8005を表示する頁番号選択エリア8002と、頁番号選択エリア8002で選択された頁番号の決定を操作入力部3によって制御部10へ指示するOKボタン8003と、読取装置2で取得した画像を破棄の決定を操作入力部によって制御部10へ指示するキャンセルボタン8004とを含む。なお、キャンセルボタン8004の選択を受けた場合、制御部10は、逐次画像読取画面6001の入力ボタン6003を押下する前の状態に画面を戻す。また、図8(b)は、頁番号選択エリア8002にある右端の逆三角形印のボタンを押下することによって表示するドロップダウンメニュー8005の表示を示す。
【0045】
なお、図5の処理では一組(一文書)の帳票を一枚ずつ読み取る毎に順序設定プログラム123で順序を設定したが(逐次処理)、一文書の複数枚の帳票を読取装置2で読み取って主メモリ11に一時保管した後にそれらの画像の順序をまとめて設定してもよい(一文書バッチ処理)。
【0046】
【発明の効果】
以上記述した通り、本発明によれば、操作者による帳票の並べ替えの手間を省くことができる。
【図面の簡単な説明】
【図1】画像処理システムのブロック図
【図2】読取中テーブル
【図3】順序規定テーブル
【図4】画像管理テーブル
【図5】制御部の処理フローチャート
【図6】画像登録画面
【図7】帳票種入力ダイアログ
【図8】頁番号入力ダイアログ
【符号の説明】
1・・・画像登録装置、2・・・画像読取装置、3・・・操作入力部、4・・・表示部、5・・・データベースサーバ、6・・・LAN。

Claims (4)

  1. 異なる複数種類の帳票からなる一文書の画像を読取って登録する画像処理システムであって、
    帳票の画像を1枚毎に読み取る読取手段と、
    前記読取手段から読み取った画像から帳票の種類である帳票種を識別する識別手段と、
    前記読み取った帳票画像を所定の順序で一文書として登録する画像登録手段と、
    前記識別手段で識別された帳票種に基づいて、前記画像登録手段に画像を登録する順序を設定する順序設定手段とを有し、
    前記順序設定手段は、前記読み取った一文書の帳票画像中に同一種類の帳票が複数枚存在するときに、その同一種類の帳票間の登録順序となる頁番号を設定する頁番号設定手段を有し、帳票単位の予め定めた登録順序と前記同一種類帳票間の頁番号とに従って、前記画像登録手段への登録順序を決定することを特徴とする画像処理システム。
  2. 請求項1に記載の画像処理システムであって、
    前記読取手段が読み取った複数枚の帳票の画像について前記識別手段が同じ帳票種であると識別したとき、同じ帳票種があることの報告を表示する表示手段とを有することを特徴とする画像処理システム。
  3. 請求項2に記載の画像処理システムであって、
    前記表示手段は、画像の破棄を指示する選択肢と、頁番号を入力する選択肢とを表示することを特徴とする画像処理システム。
  4. 請求項2に記載の画像処理システムであって、
    前記表示手段の報告を見て利用者が頁番号を入力する入力手段と、
    前記頁番号に基づいて前記読取手段が読み取った画像の通番を算出する通番算出手段とを有することを特徴とする画像処理システム。
JP2003174231A 2003-06-19 2003-06-19 画像処理システム Expired - Fee Related JP4117224B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003174231A JP4117224B2 (ja) 2003-06-19 2003-06-19 画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003174231A JP4117224B2 (ja) 2003-06-19 2003-06-19 画像処理システム

Publications (2)

Publication Number Publication Date
JP2005012492A JP2005012492A (ja) 2005-01-13
JP4117224B2 true JP4117224B2 (ja) 2008-07-16

Family

ID=34097774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003174231A Expired - Fee Related JP4117224B2 (ja) 2003-06-19 2003-06-19 画像処理システム

Country Status (1)

Country Link
JP (1) JP4117224B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561474B2 (ja) * 2005-05-24 2010-10-13 株式会社日立製作所 電子化文書保管システム
JP2011176832A (ja) * 2011-03-03 2011-09-08 Murata Machinery Ltd 画像読取装置
JP6127597B2 (ja) * 2013-03-12 2017-05-17 株式会社リコー 情報処理装置、その制御方法及びプログラム
JP2020136728A (ja) * 2019-02-13 2020-08-31 キヤノン株式会社 画像処理装置、システム、方法およびプログラム

Also Published As

Publication number Publication date
JP2005012492A (ja) 2005-01-13

Similar Documents

Publication Publication Date Title
US20210073531A1 (en) Multi-page document recognition in document capture
CN105277677B (zh) 用于汇总诊断分析仪相关信息的方法和系统
JP6826293B2 (ja) 情報処理システムと、その処理方法及びプログラム
US20140282076A1 (en) Online Proofing
US11288500B2 (en) Scan apparatus and scan result display program
JP2007026316A (ja) 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体
JP4117224B2 (ja) 画像処理システム
KR101458555B1 (ko) 전자의무기록 시스템 기반 이미지 데이터 표시 방법 및 시스템
JP4104617B2 (ja) 成果物情報管理システムおよび成果物情報管理プログラム
JP2003288469A (ja) 営業管理方法、および、グラフ描画方法
JP6606450B2 (ja) チェックリスト作成装置、作業実績管理システム、及び、チェックリスト作成方法
JP4809053B2 (ja) データ連携処理システム、データ連携処理方法及びデータ連携処理プログラム
JP4431877B2 (ja) 財務会計用情報保存システム及び保存方法
JP6953901B2 (ja) 売上データ処理装置、通信システム、通信方法、及びプログラム
JP5070800B2 (ja) 物品管理方法及び物品管理システム
JP2005173752A (ja) 本人確認記録管理装置
JP5071232B2 (ja) 嗜好分析システム、嗜好分析方法、及びプログラム
JP3326073B2 (ja) 振込処理システム及びデータ修正装置
JP6803594B1 (ja) 店舗からの特定数値通知方法及び通知システム
JP2001034671A (ja) 商標登録出願願書作成装置ならびに商標登録出願願書を作成するためのプログラムを記憶した記憶媒体
US20050097446A1 (en) Drawing management system
US20240273608A1 (en) Monitoring support system and information processing method
JP2002007517A (ja) 製品の品質管理システム,製品の品質管理システムに用いられるサーバ・コンピュータおよびその制御方法,ならびにサーバ・コンピュータを制御するプログラムを記録した媒体
EP4246344A1 (en) Information processing device, information processing method, and program
JP6307035B2 (ja) 出品票登録装置および方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050916

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060511

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080421

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120425

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees