JP4113047B2 - 帳票処理装置、及びプログラム - Google Patents
帳票処理装置、及びプログラム Download PDFInfo
- Publication number
- JP4113047B2 JP4113047B2 JP2003155278A JP2003155278A JP4113047B2 JP 4113047 B2 JP4113047 B2 JP 4113047B2 JP 2003155278 A JP2003155278 A JP 2003155278A JP 2003155278 A JP2003155278 A JP 2003155278A JP 4113047 B2 JP4113047 B2 JP 4113047B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- useful information
- image
- area
- information area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、アンケート用紙や答案用紙等の帳票をデジタル処理するための技術に関する。
【０００２】
【従来の技術】
アンケート用紙では、設問毎に回答の集計等を行わなければならず、答案用紙では、設問毎に解答の正否を確認しなければならない。それらのように、回収した帳票には面倒な処理が伴うのが普通である。このことから、現在では、設問毎にマーク記入用の記入欄を複数、設け、複数の記入欄のなかからマークを記入する記入欄を選択させることにより回答、或いは解答させる方式の帳票が幅広く用いられている。
【０００３】
その方式の帳票では、帳票のイメージを読み取らせてマークが記入された記入欄、つまり回答、或いは解答の内容を自動的に認識させることができる。このため、回収した帳票の処理はより容易、且つ迅速に行えるようになっている。以降、便宜的に、帳票はアンケート用紙であるとの前提で説明を行うこととする。
【０００４】
汚れやマークの濃淡などは、記入されていないマークを認識したり、或いは記入されたマークを認識しないといった誤認識の原因となる。このことから、通常、認識が正しく行われているか否かオペレータが確認し、誤った認識結果は修正するようになっている。
【０００５】
帳票処理装置は、その修正等に用いられるものである。その帳票処理装置では、表示装置上に表示される帳票のイメージ（帳票画像）を見て、オペレータが誤認識の有無を確認し、誤認識された内容を正しい内容に修正するようになっている。このことから、殆どの帳票処理装置には、帳票のイメージを表示装置上に表示させる帳票表示装置が搭載されている。
【０００６】
【特許文献１】
特開平９−７３５１７号公報
【特許文献２】
特開平８−３３９４２０号公報
【０００７】
【発明が解決しようとする課題】
上述したように、帳票処理装置では、誤認識の有無を確認させるために帳票のイメージを表示装置上に表示させる。その確認をより迅速に行えるようにするためには、帳票のイメージのなかで１画面に表示させる部分の割合をより大きくすることが望ましいと云える。最も望ましいのは、そのイメージの全てを１画面に表示させることであると云える。しかし、帳票は、そのイメージの全てを１画面に表示できるものであるとは限らない。
【０００８】
全てを１画面に表示できないイメージを１画面に表示させる従来の方法としては、１画面に表示できるようにイメージを全体的に縮小させる方法がある。図１は、その従来方法により、縦方向上の縮小を行った場合の帳票のイメージを説明する図である。縮小前の元のイメージは図６に示すものである。
【０００９】
図１に示すようにイメージの縮小を行うと、その縮小に伴って文字が小さくなる。このため、文字が見難くなって視認性が低下する。その視認性の低下によって迅速な確認は行えなくなり、修正にはより長い時間が必要となる。このことから、より大部分を表示させるようにする際には、視認性の低下を抑えることも重要であると考えられる。
【００１０】
本発明は、視認性の低下を抑えつつ、帳票のイメージのより大部分を１画面に表示でき、記入欄の認識結果の修正を常に迅速に行える帳票処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の帳票処理装置は、記入欄を有する帳票の画像データを用いて帳票画像を表示することを前提とし、帳票の画像データを取得する画像データ取得手段と、画像データ取得手段が取得した画像データが表す帳票画像上の領域の判別を行い、帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする領域判別手段と、領域判別手段による区分けに従い、画像データのなかで有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行うデータ操作手段と、データ操作手段が第１、或いは第２の部分画像データに対して操作した後の画像データを用いて帳票画像を表示装置上に表示させる表示制御手段と、画像データ取得手段が取得した画像データが表す帳票画像上で記入されている記入欄を認識して該記入欄の位置を示す座標値を保存し、該座標値をデータ操作手段による操作に応じて更新する帳票認識手段と、帳票認識手段が認識している記入欄に対する記入の有無を、ユーザの指示に応じて修正する修正手段と、を具備する。
【００１２】
なお上記領域判別手段は、少なくとも１方向に着目して、画像データが表す帳票画像上で情報表示に用いられると仮定する画素の数を計数し、該計数結果を基に有用情報領域、及び非有用情報領域を判別して区分けする、ことが望ましい。
【００１３】
また、１方向に着目して計数した画素数が所定数以下か否かにより有用情報領域、及び非有用情報領域の判別を領域判別手段が行う場合に、データ操作手段は、該１方向上のラインのなかで該画素数が所定数以下のラインを間引くための操作を第２の部分画像データに対して少なくとも行うことにより、該有用情報領域が全体に占める割合を向上させる、ことが望ましい。
【００１５】
本発明のプログラムは、本発明の第１の態様の帳票処理装置を実現させるために帳票処理装置に実行させるものであって、帳票の画像データを取得する機能と、取得する機能により取得した画像データが表す帳票画像上の領域の判別を行い、帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする機能と、区分けする機能による区分けに従い、画像データのなかで有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行う機能と、操作を行う機能により第１、或いは第２の部分画像データに対して操作した後の画像データを用いて帳票画像を表示装置上に表示させる機能と、を実現させる。
【００１６】
本発明では、取得した画像データが表す帳票画像上の領域の判別を行い、帳票の処理のために有用な情報を有する有用情報領域、及び有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けし、その画像データのなかで有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、有用情報領域が全体に占める割合を向上させるための操作を行い、その操作を行った後の画像データを用いて帳票画像を表示装置上に表示させる。
【００１７】
そのように帳票画像を表示させる場合、視認性の低下を抑えつつ、より大部分の有用情報領域を表示させることが可能となる。その結果、記入欄に記入されたマーク等の認識結果の修正等もより容易、且つ迅速に行えるようになる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図２は、本実施の形態による帳票処理装置を用いて構築された帳票処理システムの構成を説明する図である。
【００１９】
そのシステムは、図２に示すように、コンピュータ２１本体に対し、キーボード２２、マウス２３、ディスプレイ２４、及びスキャナー２５を接続することで構築されている。本実施の形態による帳票処理装置は、スキャナー２５で読み取られた帳票の画像データを対象にして記入欄に記入されたマークの認識を行い、その認識結果をイメージ（帳票画像）と共にディスプレイ２４上に表示させ、キーボード２２、或いはマウス２３への操作に応じて、表示させた認識結果を修正するものとしてコンピュータ２１上に実現されている。帳票表示装置は、帳票のイメージをディスプレイ２４上に表示させるために搭載されている。このことから、以降コンピュータ２１を帳票処理装置２１とも呼ぶこととする。
【００２０】
図３は、上記コンピュータ２１の構成図である。
そのコンピュータ２１は、図３に示すように、ＣＰＵ３１、メモリ３２、入力装置３３、出力装置３４、外部記憶装置（補助記憶装置）３５、媒体駆動装置３６、ネットワーク接続装置３７、及び入出力装置３８がバス３９によって相互に接続された構成となっている。
【００２１】
上記メモリ３２は、例えばＲＯＭやＲＡＭといった半導体メモリである。入力装置３３は、キーボード２２やマウス２３等のポインティングデバイス等と接続され、それらに対してユーザが行った操作を検出するインターフェースである。出力装置３４は、ディスプレイ２４にイメージを表示させるための画像データを出力するインターフェースである。外部記憶装置３５は、例えばハードディスク装置であり、ＣＰＵ３１が実行するプログラムや各種データ等を格納している。媒体駆動装置３６は、例えばフレキシブルディスクや光ディスク、或いは光磁気ディスク等の可搬記録媒体Ｍにアクセスするものである。ネットワーク接続装置３７は、通信ネットワークを介して外部装置との通信を行うための装置である。入出力装置３８は、ケーブルを介してスキャナー２５等の外部装置との間で通信を行うインターフェースである。本実施の形態による帳票処理装置２１は、例えばＣＰＵ３１が、外部記憶装置３５に記憶されたプログラムを実行して、コンピュータ２１に搭載されたハードウェア資源を使用することで実現される。
【００２２】
なお、帳票の画像データは、スキャナー２５が読み取ったものを入出力装置３８に取得させるようになっているが、ネットワーク接続装置３７にそのデータを取得させても良い。ディスプレイ２４は搭載されていても良い。本実施の形態による帳票処理装置、或いは帳票表示装置を実現させるための外部記憶装置３５に記憶されたプログラムは、媒体駆動装置３６が可搬記録媒体Ｍにアクセスして読み出したか、或いはネットワーク接続装置３７が公衆網等の通信ネットワークで用いられる伝送媒体を介して受信したものである。このことから明らかなように、ユーザーはそのプログラムを取得してコンピュータなどのデータ処理装置にロードすることにより、そのデータ処理装置を用いて本発明を適用させた帳票処理装置を実現させることができる。
【００２３】
本実施の形態では、図６に示す帳票（ここではアンケート用紙）Ｐのイメージを構成する部分を、認識結果の修正を行ううえで有用な情報が存在すると考えられる有用情報領域、及びそのような情報が存在しないと考えられる非有用情報領域の少なくとも２種類の領域に区分けし、相対的に非有用情報領域がより小さく表示させるように画像データを操作する。それにより、例えばオリジナルでは同じ形状、同じ大きさに表示される有用情報領域、及び非有用情報領域では、有用情報領域のほうをより大きく表示させる。ここで、有用情報領域とは、帳票Ｐが例えばアンケート用紙であれば、例えば文字や記号、マークの記入欄、或いは回答者が文字を記入できるように設けた欄、などが存在すると考えられる領域である。非有用領域とは、そのようなものが何れも存在しないと考えられる領域である。
【００２４】
そのようにして、イメージ全体のなかで有用情報領域に割り当てる割合をより大きくすると、図５に示すように、有用情報領域内に存在する文字や記号、マークの記入欄等を小さくさせることなく、イメージ全体を１画面に表示できるようになる。イメージの縦方向（行が並ぶＹ軸方向）を縮小して表示させる場合（図１参照）とは異なり、視認性の低下は非常に抑えられる。このため、認識結果の修正作業も常により容易、且つ迅速に行えることとなる。以下、そのような効果が得られる帳票処理装置２１についてより詳細に説明する。
【００２５】
図４は、本実施の形態による帳票処理装置２１の機能構成図である。
その処理装置２１は、図４に示すように、帳票Ｐの画像データを取得する帳票取得部５１と、その画像データを参照してマークが記入された記入欄を認識する帳票認識部５２と、マークが記入されていると認識された記入欄を所定の表示色で表示させるための操作を画像データに対して行う記入欄彩色部５３と、表示色が変更された後の画像データをディスプレイ２４に送出してイメージを表示させる表示制御部５４と、帳票Ｐのイメージ上の領域を有用情報領域、及び非有用情報領域の少なくとも２種類の領域に区分けし、有用情報領域が全体に占める割合を向上させるように画像データの操作を行うための密度変換部５５と、ユーザのキーボード２２、或いはマウス２３への操作に応じて、帳票認識部５２が認識する記入欄に対するマークの有無を修正させる修正部５６と、を備えて構成されている。
【００２６】
上記帳票取得部５１は、例えば入出力装置３８、バス３９、ＣＰＵ３１、メモリ３２、入力装置３３、及び外部記憶装置３５によって実現される。帳票認識部５２、記入欄彩色部５３、及び密度変換部５５は共に、例えばＣＰＵ３１、メモリ３２、バス３９、及び外部記憶装置３５によって実現される。表示制御部５４は、例えばＣＰＵ３１、メモリ３２、外部記憶装置３５、バス３９、及び出力装置３４によって実現される。修正部５６は、例えばＣＰＵ３１、メモリ３２、外部記憶装置３５、バス３９、及び入力装置３３によって実現される。
【００２７】
次に、上記図４に示す機能構成を前提にして、図５〜図１１に示す各種説明図を参照しながら、帳票処理装置２１の動作について詳細に説明する。
帳票取得部５１は、例えばユーザが入力装置３３を操作して帳票Ｐのイメージの読み込みを指示した場合に、入出力装置３８を介してスキャナー２５にコマンドを送出する。その後は、送出したコマンドによってスキャナー２５が帳票Ｐの画像データを入出力装置３８に送信するのを待って、その画像データを例えばメモリ３２に格納する。ここでは説明上、便宜的に、画像データはビットマップパターンの画像データであるとする。
【００２８】
帳票認識部５２は、その画像データから、帳票中に存在する記入欄、及びその記入欄に記入されたマークを周知の技術により検出して認識し、その認識結果をマーク認識結果テーブルＭＴに保存する。
【００２９】
そのテーブルＭＴは、メモリ３２、或いは外部記憶装置３５に格納されたデータである。図６に示すように、帳票Ｐ上の記入欄にシーケンシャルな番号を付し、その位置を左上のＸＹ座標値、右下のＸＹ座標値で管理している。マークの有無は、異なる値を保存することで把握できるようにしている。記入欄の位置を左上のＸＹ座標値、右下のＸＹ座標値で管理するのは、その形状を矩形としているためである。
【００３０】
Ｙ軸は、上述したように、行が並ぶ方向の軸であり、Ｘ軸は、それと直交する方向の軸である。本実施の形態では、その基準点（原点）は帳票Ｐのイメージの左上端として、ＸＹ座標値は、その基準点から離れた位置を画素数で表現している。そのように表現することにより、記入欄とそれが実際のイメージ上に存在する位置の対応関係を直接的に把握できるようにさせている。
【００３１】
帳票認識部５２は、記入欄の位置を示す左上のＸＹ座標値、右下のＸＹ座標値を、記入欄の認識結果としてマーク認識結果テーブルＭＴに保存する。具体的には、図中「密度変換前イメージ上のマーク定義位置」と表記した項目の欄に保存する。マークの認識結果は、その有無に応じた値を図中「マーク有無」と表記した項目の欄に保存する。そのテーブルＭＴには、記入欄の定義された位置を示すそれらのＸＹ座標値が、図中「マーク定義位置」と表記した項目の欄に格納されている。その項目に格納されたデータ（以降「マーク定義位置データ」と呼ぶ）は、特に詳細な説明は省略するが、帳票Ｐの作成時に定義されて記入欄位置定義テーブルに保存されるデータである。そのテーブルは、例えば外部記憶装置３５に格納されている。
【００３２】
記入欄彩色部５３は、例えば帳票取得部５１から帳票Ｐの画像データ、及びマーク認識結果テーブルＭＴを受け取り、マークが有ると認識された記入欄を所定の表示色で表示させるように画像データに対する操作を行う（図１１参照）。表示制御部５４は、その操作後の画像データを出力装置３４からディスプレイ２４に送信させることにより、そのディスプレイ２４上に帳票Ｐのイメージを表示させる。
【００３３】
密度変換部５５は、帳票取得部５１が取得した画像データを参照して、ヒストグラムテーブルＨＴを作成し、例えばメモリ３２に保存する。そのテーブルＨＴは、帳票Ｐのイメージ上の領域を有用情報領域、及び非有用情報領域の２種類の領域に区分けし、有用情報領域が全体に占める割合を向上させるように画像データの操作を行うためのものである。
【００３４】
本実施の形態では、有用情報領域、及び非有用情報領域は行（Ｘ軸に沿ったライン）単位に判別し、非有用情報領域と判別した行の間引きを行うことにより、図５に示すようなイメージを表示させるようにしている。その間引きを行うために、情報の表示に用いられていると考えられる画素数を各行毎に計数してヒストグラムを作成する。ヒストグラムテーブルＨＴは、そのようにして作成されるヒストグラム、つまり各行毎にその計数結果を保存するために用意したものである。図７に示すように、そのテーブルＨＴには、「イメージ行」と表記された項目に行番号、「ドット数」と表記された項目に計数結果である画素数、をそれぞれ保存する。「位置補正値」と表記された項目には、間引き後の行番号を保存する。同一の行番号となっている行には、１行だけが割り当てられることとなる。
【００３５】
情報の表示に用いられていると考えられる画素は、帳票Ｐのイメージの取り込み方によって変化する。例えば濃淡を２値で読み取るのであれば、「黒」と読み取られた画素である。多階調で読み取るのであれば、その濃淡値が所定値以上となっている画素である。密度変換部５５は、図８に示すように、行毎にそのような画素を計数して、その計数結果をテーブルＨＴに保存する。
【００３６】
マークなどの記号、或いは文字などが記入された領域内の行では、そのような画素が複数、存在しているのが普通である。そのような画素を計数するのはこのためである。図６に示すように、帳票Ｐ上に設けられた欄外に文字が記入されても、その文字が記入された範囲を有用情報領域として高精度に検出することができる。
【００３７】
その計数、即ちヒストグラムの作成は、比較的に容易に行うことができる。このため、ヒストグラムを領域の判別に利用すると、その判別にかかる処理の負荷を抑えつつ、その判別を高精度に行うことができる。領域の判別方法には、別の方法を採用しても良く、複数の方法を組み合わせても良い。
【００３８】
計数結果を保存すると、行番号が「０」の行から行毎に、その行で計数した画素数が所定数以上か否か、つまりその行が有用情報領域を構成する行か否か確認し、その確認結果に応じて更新する値を「位置補正値」項目の値として格納する。その更新は、画素数が所定値以上であった場合にインクリメントすることで行う。それにより、図７に示すような値をその項目の値として順次、格納する。密度変換部５５は、そのようにしてヒストグラムテーブルＨＴを作成すると、それを帳票認識部５２に送る。
【００３９】
図９は、有用情報領域の確認方法、及び領域の違い応じた操作内容を説明する図である。
その図９に示すように、本実施の形態では、上記所定値、つまり有用情報領域を構成する行であると判定する条件として画素数は１５以上と定め、その密度変換率を１００％としている。その密度変換率とは、有用情報領域を表示させる際の倍率であり、「１００％」とは、それをそのままの大きさで表示させることを表している。「０％」とは、間引く、つまり表示させないことを表している。
【００４０】
その間引きを行うと、イメージ上の記入欄の位置が変化する。このことから、帳票認識部５２は、密度変換部５５から受け取ったヒストグラムテーブルＨＴを参照して、マーク認識結果テーブルＭＴの更新を行う。本実施の形態では、行単位での間引きだけを行うことから、図１０に示すように、記入欄の左上位置を示すＹ座標値、及びその右下位置を示すＹ座標値のみを対象に更新を行う。
【００４１】
ヒストグラムテーブルＨＴの「位置補正値」項目に格納される行番号は、「イメージ行」項目の行番号が示す行の間引き後の行番号を表している。このことから、その更新は、「位置補正値」項目において元のＹ座標値に対応する欄に保存された値を読み出し、それを新たなＹ座標値としてマーク認識結果テーブルＭＴに保存することで行われる。それにより、例えば元のＹ座標値が「２２７３」であれば、新たなＹ座標値として「１０７０」を保存する（図７参照）。
【００４２】
その更新が行われた場合、記入欄彩色部５３は、帳票認識部５２から再度、マーク認識結果テーブルＭＴを受け取る。密度変換部５５からはヒストグラムテーブルＨＴを受け取る。それにより、テーブルＨＴを参照して非有用情報領域を構成する行に対応する部分のデータを削除する操作を画像データに対して行い、その操作後の画像データに対し、テーブルＭＴを参照して、マークが記入されている記入欄を所定の表示色で表示させるための操作を行う。そのような操作を行った画像データを表示制御部５４に送ることにより、図１１に示すようなイメージをディスプレイ２４に表示させる。
【００４３】
そのようにして、本実施の形態では、マークが記入されていると認識した記入欄を表示色で示している。これは、表示色の違いからその記入欄をオペレータがより容易に確認できるようにするためである。その確認がより容易となる結果、修正作業は更に容易、且つ迅速に行えるようになる。
【００４４】
その修正作業は、表示させたイメージ上の記入欄へのクリック操作により行わせている。それにより、マークが記入されていると認識した記入欄をクリックすると、その記入欄にはマークが記入されていないこととし、マークが記入されていないと認識した記入欄をクリックすると、その記入欄にはマークが記入されていることとしている。
【００４５】
修正部５６は、キーボード２２、或いはマウス２３をユーザが操作した場合に、その操作により行った指示の内容を解釈し、その解釈結果に応じた処理を行う。その操作がイメージ上でのクリック操作であれば、オペレータがクリックした位置を特定し、その特定した位置を帳票認識部５２に送り、その位置に応じた認識結果の修正を指示する。
【００４６】
帳票認識部５２は、マーク認識結果テーブルＭＴを参照して、その位置が何れかの記入欄内の位置か否か確認し、その位置が記入欄内であったことを確認すると、「マーク有無」項目のその記入欄に対応する欄の値を書き換える。例えばマーク有りのときの値が「１」、そうでないときの値が「０」であれば、元の値が「１」であれば「０」に、その元の値が「０」であれば「１」に書き換える。そのようにして値を書き換える形でテーブルＭＴを更新すると、それを記入欄彩色部５３に送る。それにより、オペレータが指示した修正内容をディスプレイ２４に表示させるイメージに反映させる。そのようにして、オペレータに、ディスプレイ２４に表示されたイメージを見ながら、認識結果の修正を行わせるようにさせている。
【００４７】
次に、上述したような帳票のイメージの表示や認識結果の修正を実現させるコンピュータ２１の動作について、図１２〜図１７に示す各種フローチャートを参照して詳細に説明する。
【００４８】
図１２は、帳票のマーク認識処理のフローチャートである。帳票Ｐのイメージの読み込みからマークの認識結果を反映させたイメージを表示するまでに実行する処理を抜粋してその流れを示したものである。始めに図１２を参照して、そのマーク認識処理について詳細に説明する。なお、その図１２に示すフローチャートは、コンピュータ２１に搭載されたＣＰＵ２１が、外部記憶装置３５に格納されたプログラムを実行することで実現される。
【００４９】
先ず、ステップＳ１では、オペレータがキーボード２２、或いはマウス２３を操作して帳票Ｐのイメージの読み取りを指示するのを待って、入出力装置３８を介してスキャナー２５にコマンドを送信してそのイメージの読み取りを行わせ、その読み取りによって入出力装置３８がスキャナー２５から受信する画像データを例えばメモリ３２に格納する。続くステップＳ２では、マーク認識処理を行い、帳票Ｐ上に記入されたマークを認識すると共に、その画像データが表すイメージの原点（左上端）を検出する。ステップＳ３にはその後に移行する。
【００５０】
ステップＳ３では、検出した原点、及び記入欄位置定義テーブルに格納されたマーク定義位置データをもとに、画像データが表すイメージ上の各記入欄の認識を行い、記入欄毎に、その位置を示す左上のＸＹ座標値、及び右上のＸＹ座標値を算出する。次に移行するステップＳ４では、認識した記入欄の位置、及び認識したマークの位置をもとに、マークが記入された記入欄を認識し、その認識結果、ステップＳ３で算出したＸＹ座標値、及びマーク定義位置データをマーク認識結果テーブルＭＴ（図６参照）にそれぞれ格納する。その後はステップＳ５に移行する。
【００５１】
ステップＳ５では、画像データが表すイメージの行毎に情報表示用と想定する画素数を計数して、その計数結果、及び非有用情報領域を構成する行を間引いた後の行番号をヒストグラムテーブルＨＴにそれぞれ格納し（図７参照）、そのテーブルＨＴを参照して、マーク認識結果テーブルＭＴに格納したＹ座標値の更新を行う密度変換処理を実行する。その後に移行するステップＳ６では、ステップＳ５で作成したヒストグラムテーブルＨＴ、及び更新したマーク認識結果テーブルＭＴをもとに、画像データに対して、非有用情報領域を構成する行を間引くための操作、及びマークが記入されていると認識した記入欄を所定の表示色で表示させるための操作を行い、それら操作を行った後の画像データを入出力装置３８からディスプレイ２４に送信させることにより、図１１に示すような帳票Ｐのイメージを表示させる。そのイメージを表示させた後、一連の処理を終了する。
【００５２】
次に、上記ステップ５として実行される密度変換処理について、図１３に示すそのフローチャートを参照して詳細に説明する。
先ず、ステップＳ１１では、画像データが表すイメージの行毎に情報表示用と想定する画素数を計数してヒストグラムテーブルＨＴを作成するヒストグラムテーブル作成処理を実行する。次のステップＳ１２では、作成したヒストグラムテーブルＨＴに、「位置補正値」項目の値を格納するイメージ位置補正処理を実行する。その後に移行するステップＳ１３では、「位置補正値」項目の値を格納することで完成したヒストグラムテーブルＨＴ（図７参照）を参照してマーク認識結果テーブルＭＴを更新する検出位置補正処理を実行する。一連の処理をその後に終了する。
【００５３】
次に、上記ステップＳ１１〜Ｓ１３として実行される各サブルーチン処理について、図１４〜図１６に示す各種フローチャートを参照して詳細に説明する。
図１４は、上記ステップＳ１１として実行されるヒストグラム作成処理のフローチャートである。密度変換処理で実行されるサブルーチン処理では、始めに図１４を参照して、その作成処理について詳細に説明する。
【００５４】
先ず、ステップＳ２１では、図１２のステップＳ１で読み込んだ帳票Ｐの画像データを例えばメモリ３２にコピーする。次のステップＳ２２では、ヒストグラムテーブルＨＴを保存する領域を例えばメモリ３２に確保して、各値をクリア（ゼロクリア）する。なお、それらのことは、例えば配列変数を定義し、それを構成する全ての要素に０を代入することで行われる。
【００５５】
上述したように、情報表示用と想定する画素数の計数は行毎に、行番号が「０」の行から行う。このことから、ステップＳ２２に続くステップＳ２３では、Ｙ方向の処理が完了したか否か、つまり最後の行まで画素数の計数が終了したか否か判定する。その行まで画素数の計数が終了した場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ２４に移行する。
【００５６】
ステップＳ２４では、Ｘ方向の処理が完了したか否か、つまり注目する行における画素数の計数が終了したか否か判定する。その計数が終了した場合、判定はＹＥＳとなり、行番号がそれまでよりも１だけ大きい行に注目する行を変更してから上記ステップＳ２３に戻る。そうでない場合には、判定はＮＯとなってステップＳ２５に移行する。
【００５７】
ステップＳ２５では、注目する行で注目する画素のデータを画像データ中から取得する。続くステップＳ２６では、取得した画素のデータから、それが情報表示用と想定している画素か否か判定し、その判定結果に応じて、「ドット数」項目の注目する行に対応する欄の値を更新する。注目する画素が行の先頭に位置する画素であった場合には、「イメージ行」項目の対応する欄にその行番号を併せて格納する。その更新後は、注目する画素をその右隣に位置する画素に変更してから上記ステップＳ２４に戻る。
【００５８】
上記ステップＳ２４〜Ｓ２６で形成される処理ループをそのステップＳ２４の判定がＹＥＳとなるまで繰り返し実行することにより、注目する行で情報表示用と想定している画素数が計数されてヒストグラムテーブルＨＴに格納される。このため、ステップＳ２３〜Ｓ２６で形成される処理ループをステップＳ２３の判定がＹＥＳとなるまで繰り返し実行した場合には、全ての行で計数した画素数がテーブルＨＴに格納されることとなる。
【００５９】
図１５は、図１３に示す密度変換処理内でステップＳ１２として実行されるイメージ位置補正処理のフローチャートである。次に図１５を参照して、その補正処理について詳細に説明する。
【００６０】
先ず、ステップＳ３１では、図１２のステップＳ１で読み込んだ帳票Ｐの画像データを例えばメモリ３２にコピーする。次のステップＳ３２では、「位置補正値」項目の欄に格納する値を管理するための変数である出力Ｙ画素数の初期設定を行い、その値を０にする。ステップＳ３３にはその後に移行する。
【００６１】
ステップＳ３３では、Ｙ方向の処理が完了したか否か、つまり最後の行まで間引き後の行番号を格納したか否か判定する。最後の行の間引き後の行番号をテーブルＨＴに格納した場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ３４に移行する。
【００６２】
ステップＳ３４では、注目する行で計数された画素数は１５以上か否か判定する。その画素数が１５未満であった場合、判定はＮＯとなってステップＳ３８に移行し、そうでない場合には、つまりその画素数が１５以上であった場合には、判定はＹＥＳとなってステップＳ３５に移行する。
【００６３】
ステップＳ３５では、注目する行を密度（倍率）１００％で表示させる行として設定し、それに続くステップＳ３６では、その設定に従い、変数である出力Ｙ画素数のインクリメントを行う。そのインクリメント後に移行するステップＳ３７では、「位置補正値」項目の注目する行に対応する欄に、出力Ｙ画素数の値を格納する。その格納後は、行番号がそれまでよりも１だけ大きい行に注目する行を変更してから上記ステップＳ３３に戻る。
【００６４】
一方、ステップＳ３８では、注目する行を密度（倍率）０％で表示させる行として設定し、それに続くステップＳ３９では、その設定に従い、変数である出力Ｙ画素数はそのままとする。それにより、その後に移行するステップＳ３７では、直前に注目した行に設定した行番号と同じ行番号をテーブルＨＴに格納することになる。
【００６５】
最後に、図１６に示すフローチャートを参照して、図１３に示す密度変換処理内でステップＳ１３として実行される検出位置補正処理について詳細に説明する。
【００６６】
先ず、ステップＳ４１では、マークの記入欄分の処理が完了したか否か、つまり記入欄全てのＹ座標値の更新が完了したか否か判定する。その更新が完了した場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ４２に移行する。
【００６７】
ステップＳ４２では、注目する記入欄の左上Ｙ座標値をマーク認識結果テーブルＭＴから読み出し、ヒストグラムテーブルＨＴを参照して、「位置補正値」項目のそのＹ座標値に対応する欄の値（間引き後の行番号）を取得する。次のステップＳ４３では、取得した値を、注目する記入欄の新たな左上Ｙ座標値としてマーク認識結果テーブルＭＴに格納する。それに続くステップＳ４４、Ｓ４５では、対象を右下Ｙ座標値に変えて、そのＹ座標値の更新を同様に行う。ステップＳ４５で右下Ｙ座標値を更新した後は、注目する記入欄を次に注目すべき記入欄に変更してから上記ステップＳ４１に戻る。
【００６８】
このようにして、密度変換処理を実行すると、ヒストグラムテーブルＨＴ（図７参照）が作成され、そのテーブルＨＴを参照して、マーク認識結果テーブルＭＴが更新される。それらテーブルＭＴ、ＨＴにより帳票Ｐの画像データに対する操作が行われることにより、図１１に示すようなイメージがディスプレイ２４に表示されることになる。
【００６９】
認識結果の修正は、上述したように、ディスプレイ２４に表示されたイメージへの操作、より具体的には記入欄へのクリック操作により行われる。次に、その修正を実現させる修正処理について、図１２に示すそのフローチャートを参照して詳細に説明する。その修正処理は、図１２に示す帳票のマーク認識処理に続く形で実行される。
【００７０】
先ず、ステップＳ５１では、入出力装置３８を介して送信した画像データによりディスプレイ２４に表示させている帳票Ｐのイメージの原点（左上端）を検出する。続くステップＳ５２では、オペレータがキーボード２２、或いはマウス２３を操作して行った指示を検出する指示検出処理を実行する。
【００７１】
その次に移行するステップＳ５３では、その指示検出処理を実行することで指示を検出したか否か判定する。キーボード２２、及びマウス２３の何れも操作しないか、或いは、指示したと検出される操作をオペレータが行っていないような場合、判定はＮＯとなって上記ステップＳ５２に戻る。それにより、オペレータが何らかの指示を行うのを待つ。一方、そうでない場合には、判定はＹＥＳとなってステップＳ５４に移行する。ここでは便宜的に、上記指示したと検出される操作としてはイメージ上でのクリック操作のみを想定する。
【００７２】
ステップＳ５４では、現時点で画面表示させている部分のイメージの左上端の原点からの座標位置を検出する。次のステップＳ５５では、検出した原点からの座標位置を、その部分のイメージの左上端の座標位置として設定する。その設定後は、オペレータがクリックした位置（カーソルの位置）を検出し（ステップＳ５６）、その位置に対応するイメージの原点からの座標位置を算出し（ステップＳ５７）、マーク認識結果テーブルＭＴを参照して、その算出した位置を内部に持つ記入欄の判断を行う（ステップＳ５８）。ステップＳ５９にはその後に移行する。
【００７３】
ステップＳ５９では、ステップＳ５８の判断を行った結果、オペレータがクリック操作した位置が記入欄内であることが確認できたか否か判定する。何れかの記入欄内にカーソルを移動させた状態でオペレータがクリック操作を行ったような場合、判定はＹＥＳとなってステップＳ６０に移行する。そうでない場合には、判定はＮＯとなって上記ステップＳ５２に戻る。それにより、オペレータが次に行う指示に対応する。
【００７４】
ステップＳ６０では、マーク認識結果テーブルＭＴ内のオペレータがクリックした記入欄に対応する認識結果を変更する。続くステップＳ６１では、ディスプレイ２４に表示させたイメージ内のその記入欄の認識結果を変更し、それまでマークを表示させていれば消去させ、それまで表示させていなければ新たにマークを表示させる。そのマークの表示は、帳票Ｐの画像データ中のその記入欄内に対応する位置に、予め用意したマーク表示用の画像データを配置し、その配置後の画像データをディスプレイ２４に送信することで行われる。
【００７５】
ステップＳ６１に続くステップＳ６２では、マーク認識結果テーブルＭＴを参照して、該当記入欄の左上、右下の各ＸＹ座標値を取得する。次のステップＳ６３では、その記入欄内をマークの有無に応じた表示色で表示させる操作を画像データに対して行う。その後に移行するステップＳ６４では、オペレータが修正終了の指示が行ったか否か判定する。その指示をオペレータが行った場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなって上記ステップＳ５２に戻る。
【００７６】
なお、本実施の形態では、非有用情報領域を構成する行を間引く形で全体に占める有用情報領域の割合を向上させているが、それらの領域を表示させる際の倍率（密度）を異ならせることにより、その割合を向上させるようにしても良い。例えば有用情報領域をより大きく表示させることにより、その割合を向上させても良い。そのような操作は、帳票Ｐのイメージを１画面に表示できるか否か判定した結果に応じて行うようにしても良い。
【００７７】
また、本実施の形態では、有用情報領域、及び非有用情報領域の２種類の領域に区分けするが、それ以上、多くの領域に区分けしても良い。例えば有用な情報が存在すると考えられる可能性の高さに応じて３種類以上の領域に区分けし、各領域の種類別に異なる倍率（密度）を設定しても良い。
【００７８】
（付記１） 記入欄を有する帳票の画像データを用いて帳票画像を表示する帳票処理装置において、
前記帳票の画像データを取得する画像データ取得手段と、
前記画像データ取得手段が取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする領域判別手段と、
前記領域判別手段による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を変化させるための操作を行うデータ操作手段と、
前記データ操作手段が前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる表示制御手段と、
を具備することを特徴とする帳票処理装置。
【００７９】
（付記２） 前記領域判別手段は、少なくとも１方向に着目して、前記画像データが表す帳票画像上で情報表示に用いられると仮定する画素の数を計数し、該計数結果を基に前記有用情報領域、及び前記非有用情報領域を判別して区分けする、
ことを特徴とする付記１記載の帳票処理装置。
【００８０】
（付記３） 前記データ操作手段は、前記有用情報領域が全体に占める割合を向上させるための操作を前記第１、或いは第２の部分画像データに対して行う、
ことを特徴とする付記１、または２記載の帳票処理装置。
【００８１】
（付記４） 前記１方向に着目して計数した画素数が所定数以下か否かにより前記有用情報領域、及び前記非有用情報領域の判別を前記領域判別手段が行う場合に、前記データ操作手段は、該１方向上のラインのなかで該画素数が所定数以下のラインを間引くための操作を前記第２の部分画像データに対して少なくとも行うことにより、該有用情報領域が全体に占める割合を向上させる、
ことを特徴とする付記２、または３記載の帳票処理装置。
【００８２】
（付記５） 記入欄を有する帳票の画像データを用いて帳票画像を表示するための方法であって、
前記帳票の画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けし、
該区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行わせ、
該操作を前記第１、或いは第２の部分画像データに対して行った後の画像データを用いて前記帳票画像を表示装置上に表示させる、
ことを特徴とする帳票表示方法。
【００８３】
（付記６） 記入欄を有する帳票の処理を行う帳票処理装置において、
前記帳票の画像データを取得する画像データ取得手段と、
前記画像データ取得手段が取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする領域判別手段と、
前記領域判別手段による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行うデータ操作手段と、
前記データ操作手段が前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる表示制御手段と、
前記表示制御手段が表示させた前記帳票画像上で記入されている前記記入欄を認識する帳票認識手段と、
前記帳票認識手段が認識している前記記入欄に対する記入の有無を、ユーザの指示に応じて修正する修正手段と、
を具備することを特徴とする帳票処理装置。
【００８４】
（付記７） 記入欄を有する帳票の画像データを用いて帳票画像を表示する帳票処理装置に実行させるプログラムであって、
前記帳票の画像データを取得する機能と、
前記取得する機能により取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする機能と、
前記区分けする機能による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行う機能と、
前記操作を行う機能により前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる機能と、
を実現させるためのプログラム。
【００８５】
（付記８） 記入欄を有する帳票の処理を行う帳票処理装置に実行させるプログラムであって、
前記帳票の画像データを取得する機能と、
前記取得する機能により取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする機能と、
前記区分けする機能による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行う機能と、
前記操作を行う機能により前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる機能と、
前記表示させる機能により表示させた前記帳票画像上で記入されている前記記入欄を認識する機能と、
前記認識する機能により認識している前記記入欄に対する記入の有無を、ユーザの指示に応じて修正する機能と、
を実現させるためのプログラム。
【００８６】
【発明の効果】
以上、説明したように本発明は、取得した画像データが表す帳票画像上の領域の判別を行い、帳票の処理のために有用な情報を有する有用情報領域、及び有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けし、その画像データのなかで有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、有用情報領域が全体に占める割合を変化させるための操作を行い、その操作を行った後の画像データを用いて帳票画像を表示装置上に表示させる。このため、視認性の低下を抑えつつ、より大部分の有用情報領域を表示させることができる。その結果、記入欄に記入されたマーク等の認識結果の修正等もより容易、且つ迅速に行えるようになる。
【図面の簡単な説明】
【図１】従来の方法により、縦方向上の縮小を行った場合の帳票のイメージを説明する図である。
【図２】本実施の形態による帳票処理装置を用いて構築された帳票処理システムの構成を説明する図である。
【図３】図２に示すコンピュータの構成図である。
【図４】本実施の形態による帳票処理装置の機能構成図である。
【図５】本実施の形態による帳票処理装置が表示させる帳票のイメージを説明する図である。
【図６】マーク認識結果テーブルに格納されるデータを説明する図である。
【図７】ヒストグラムテーブルの構成を説明する図である。
【図８】ヒストグラムテーブルに格納されるデータを説明する図である。
【図９】有用情報領域の確認方法、及び領域の違い応じた操作内容を説明する図である。
【図１０】マーク認識結果テーブルを更新する内容を説明する図である。
【図１１】本実施の形態による帳票処理装置が実際に表示させる帳票のイメージを説明する図である。
【図１２】帳票のマーク認識処理のフローチャートである。
【図１３】密度変換処理のフローチャートである。
【図１４】ヒストグラムテーブル作成処理のフローチャートである。
【図１５】イメージ位置補正処理のフローチャートである。
【図１６】検出位置補正処理のフローチャートである。
【図１７】修正処理のフローチャートである。
【符号の説明】
２１ コンピュータ（帳票処理装置）
２２ キーボード
２３ マウス（ポインティングデバイス）
２４ ディスプレイ
２５ スキャナー
３１ ＣＰＵ
３２ メモリ
３３ 入力装置
３４ 出力装置
３５ 外部記憶装置
３６ 媒体駆動装置
３７ ネットワーク接続装置
３８ 入出力装置
５１ 帳票取得部
５２ 帳票認識部
５３ 記入欄彩色部
５４ 表示制御部
５５ 密度変換部
５６ 修正部
【発明の属する技術分野】
本発明は、アンケート用紙や答案用紙等の帳票をデジタル処理するための技術に関する。
【０００２】
【従来の技術】
アンケート用紙では、設問毎に回答の集計等を行わなければならず、答案用紙では、設問毎に解答の正否を確認しなければならない。それらのように、回収した帳票には面倒な処理が伴うのが普通である。このことから、現在では、設問毎にマーク記入用の記入欄を複数、設け、複数の記入欄のなかからマークを記入する記入欄を選択させることにより回答、或いは解答させる方式の帳票が幅広く用いられている。
【０００３】
その方式の帳票では、帳票のイメージを読み取らせてマークが記入された記入欄、つまり回答、或いは解答の内容を自動的に認識させることができる。このため、回収した帳票の処理はより容易、且つ迅速に行えるようになっている。以降、便宜的に、帳票はアンケート用紙であるとの前提で説明を行うこととする。
【０００４】
汚れやマークの濃淡などは、記入されていないマークを認識したり、或いは記入されたマークを認識しないといった誤認識の原因となる。このことから、通常、認識が正しく行われているか否かオペレータが確認し、誤った認識結果は修正するようになっている。
【０００５】
帳票処理装置は、その修正等に用いられるものである。その帳票処理装置では、表示装置上に表示される帳票のイメージ（帳票画像）を見て、オペレータが誤認識の有無を確認し、誤認識された内容を正しい内容に修正するようになっている。このことから、殆どの帳票処理装置には、帳票のイメージを表示装置上に表示させる帳票表示装置が搭載されている。
【０００６】
【特許文献１】
特開平９−７３５１７号公報
【特許文献２】
特開平８−３３９４２０号公報
【０００７】
【発明が解決しようとする課題】
上述したように、帳票処理装置では、誤認識の有無を確認させるために帳票のイメージを表示装置上に表示させる。その確認をより迅速に行えるようにするためには、帳票のイメージのなかで１画面に表示させる部分の割合をより大きくすることが望ましいと云える。最も望ましいのは、そのイメージの全てを１画面に表示させることであると云える。しかし、帳票は、そのイメージの全てを１画面に表示できるものであるとは限らない。
【０００８】
全てを１画面に表示できないイメージを１画面に表示させる従来の方法としては、１画面に表示できるようにイメージを全体的に縮小させる方法がある。図１は、その従来方法により、縦方向上の縮小を行った場合の帳票のイメージを説明する図である。縮小前の元のイメージは図６に示すものである。
【０００９】
図１に示すようにイメージの縮小を行うと、その縮小に伴って文字が小さくなる。このため、文字が見難くなって視認性が低下する。その視認性の低下によって迅速な確認は行えなくなり、修正にはより長い時間が必要となる。このことから、より大部分を表示させるようにする際には、視認性の低下を抑えることも重要であると考えられる。
【００１０】
本発明は、視認性の低下を抑えつつ、帳票のイメージのより大部分を１画面に表示でき、記入欄の認識結果の修正を常に迅速に行える帳票処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の帳票処理装置は、記入欄を有する帳票の画像データを用いて帳票画像を表示することを前提とし、帳票の画像データを取得する画像データ取得手段と、画像データ取得手段が取得した画像データが表す帳票画像上の領域の判別を行い、帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする領域判別手段と、領域判別手段による区分けに従い、画像データのなかで有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行うデータ操作手段と、データ操作手段が第１、或いは第２の部分画像データに対して操作した後の画像データを用いて帳票画像を表示装置上に表示させる表示制御手段と、画像データ取得手段が取得した画像データが表す帳票画像上で記入されている記入欄を認識して該記入欄の位置を示す座標値を保存し、該座標値をデータ操作手段による操作に応じて更新する帳票認識手段と、帳票認識手段が認識している記入欄に対する記入の有無を、ユーザの指示に応じて修正する修正手段と、を具備する。
【００１２】
なお上記領域判別手段は、少なくとも１方向に着目して、画像データが表す帳票画像上で情報表示に用いられると仮定する画素の数を計数し、該計数結果を基に有用情報領域、及び非有用情報領域を判別して区分けする、ことが望ましい。
【００１３】
また、１方向に着目して計数した画素数が所定数以下か否かにより有用情報領域、及び非有用情報領域の判別を領域判別手段が行う場合に、データ操作手段は、該１方向上のラインのなかで該画素数が所定数以下のラインを間引くための操作を第２の部分画像データに対して少なくとも行うことにより、該有用情報領域が全体に占める割合を向上させる、ことが望ましい。
【００１５】
本発明のプログラムは、本発明の第１の態様の帳票処理装置を実現させるために帳票処理装置に実行させるものであって、帳票の画像データを取得する機能と、取得する機能により取得した画像データが表す帳票画像上の領域の判別を行い、帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする機能と、区分けする機能による区分けに従い、画像データのなかで有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行う機能と、操作を行う機能により第１、或いは第２の部分画像データに対して操作した後の画像データを用いて帳票画像を表示装置上に表示させる機能と、を実現させる。
【００１６】
本発明では、取得した画像データが表す帳票画像上の領域の判別を行い、帳票の処理のために有用な情報を有する有用情報領域、及び有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けし、その画像データのなかで有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、有用情報領域が全体に占める割合を向上させるための操作を行い、その操作を行った後の画像データを用いて帳票画像を表示装置上に表示させる。
【００１７】
そのように帳票画像を表示させる場合、視認性の低下を抑えつつ、より大部分の有用情報領域を表示させることが可能となる。その結果、記入欄に記入されたマーク等の認識結果の修正等もより容易、且つ迅速に行えるようになる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図２は、本実施の形態による帳票処理装置を用いて構築された帳票処理システムの構成を説明する図である。
【００１９】
そのシステムは、図２に示すように、コンピュータ２１本体に対し、キーボード２２、マウス２３、ディスプレイ２４、及びスキャナー２５を接続することで構築されている。本実施の形態による帳票処理装置は、スキャナー２５で読み取られた帳票の画像データを対象にして記入欄に記入されたマークの認識を行い、その認識結果をイメージ（帳票画像）と共にディスプレイ２４上に表示させ、キーボード２２、或いはマウス２３への操作に応じて、表示させた認識結果を修正するものとしてコンピュータ２１上に実現されている。帳票表示装置は、帳票のイメージをディスプレイ２４上に表示させるために搭載されている。このことから、以降コンピュータ２１を帳票処理装置２１とも呼ぶこととする。
【００２０】
図３は、上記コンピュータ２１の構成図である。
そのコンピュータ２１は、図３に示すように、ＣＰＵ３１、メモリ３２、入力装置３３、出力装置３４、外部記憶装置（補助記憶装置）３５、媒体駆動装置３６、ネットワーク接続装置３７、及び入出力装置３８がバス３９によって相互に接続された構成となっている。
【００２１】
上記メモリ３２は、例えばＲＯＭやＲＡＭといった半導体メモリである。入力装置３３は、キーボード２２やマウス２３等のポインティングデバイス等と接続され、それらに対してユーザが行った操作を検出するインターフェースである。出力装置３４は、ディスプレイ２４にイメージを表示させるための画像データを出力するインターフェースである。外部記憶装置３５は、例えばハードディスク装置であり、ＣＰＵ３１が実行するプログラムや各種データ等を格納している。媒体駆動装置３６は、例えばフレキシブルディスクや光ディスク、或いは光磁気ディスク等の可搬記録媒体Ｍにアクセスするものである。ネットワーク接続装置３７は、通信ネットワークを介して外部装置との通信を行うための装置である。入出力装置３８は、ケーブルを介してスキャナー２５等の外部装置との間で通信を行うインターフェースである。本実施の形態による帳票処理装置２１は、例えばＣＰＵ３１が、外部記憶装置３５に記憶されたプログラムを実行して、コンピュータ２１に搭載されたハードウェア資源を使用することで実現される。
【００２２】
なお、帳票の画像データは、スキャナー２５が読み取ったものを入出力装置３８に取得させるようになっているが、ネットワーク接続装置３７にそのデータを取得させても良い。ディスプレイ２４は搭載されていても良い。本実施の形態による帳票処理装置、或いは帳票表示装置を実現させるための外部記憶装置３５に記憶されたプログラムは、媒体駆動装置３６が可搬記録媒体Ｍにアクセスして読み出したか、或いはネットワーク接続装置３７が公衆網等の通信ネットワークで用いられる伝送媒体を介して受信したものである。このことから明らかなように、ユーザーはそのプログラムを取得してコンピュータなどのデータ処理装置にロードすることにより、そのデータ処理装置を用いて本発明を適用させた帳票処理装置を実現させることができる。
【００２３】
本実施の形態では、図６に示す帳票（ここではアンケート用紙）Ｐのイメージを構成する部分を、認識結果の修正を行ううえで有用な情報が存在すると考えられる有用情報領域、及びそのような情報が存在しないと考えられる非有用情報領域の少なくとも２種類の領域に区分けし、相対的に非有用情報領域がより小さく表示させるように画像データを操作する。それにより、例えばオリジナルでは同じ形状、同じ大きさに表示される有用情報領域、及び非有用情報領域では、有用情報領域のほうをより大きく表示させる。ここで、有用情報領域とは、帳票Ｐが例えばアンケート用紙であれば、例えば文字や記号、マークの記入欄、或いは回答者が文字を記入できるように設けた欄、などが存在すると考えられる領域である。非有用領域とは、そのようなものが何れも存在しないと考えられる領域である。
【００２４】
そのようにして、イメージ全体のなかで有用情報領域に割り当てる割合をより大きくすると、図５に示すように、有用情報領域内に存在する文字や記号、マークの記入欄等を小さくさせることなく、イメージ全体を１画面に表示できるようになる。イメージの縦方向（行が並ぶＹ軸方向）を縮小して表示させる場合（図１参照）とは異なり、視認性の低下は非常に抑えられる。このため、認識結果の修正作業も常により容易、且つ迅速に行えることとなる。以下、そのような効果が得られる帳票処理装置２１についてより詳細に説明する。
【００２５】
図４は、本実施の形態による帳票処理装置２１の機能構成図である。
その処理装置２１は、図４に示すように、帳票Ｐの画像データを取得する帳票取得部５１と、その画像データを参照してマークが記入された記入欄を認識する帳票認識部５２と、マークが記入されていると認識された記入欄を所定の表示色で表示させるための操作を画像データに対して行う記入欄彩色部５３と、表示色が変更された後の画像データをディスプレイ２４に送出してイメージを表示させる表示制御部５４と、帳票Ｐのイメージ上の領域を有用情報領域、及び非有用情報領域の少なくとも２種類の領域に区分けし、有用情報領域が全体に占める割合を向上させるように画像データの操作を行うための密度変換部５５と、ユーザのキーボード２２、或いはマウス２３への操作に応じて、帳票認識部５２が認識する記入欄に対するマークの有無を修正させる修正部５６と、を備えて構成されている。
【００２６】
上記帳票取得部５１は、例えば入出力装置３８、バス３９、ＣＰＵ３１、メモリ３２、入力装置３３、及び外部記憶装置３５によって実現される。帳票認識部５２、記入欄彩色部５３、及び密度変換部５５は共に、例えばＣＰＵ３１、メモリ３２、バス３９、及び外部記憶装置３５によって実現される。表示制御部５４は、例えばＣＰＵ３１、メモリ３２、外部記憶装置３５、バス３９、及び出力装置３４によって実現される。修正部５６は、例えばＣＰＵ３１、メモリ３２、外部記憶装置３５、バス３９、及び入力装置３３によって実現される。
【００２７】
次に、上記図４に示す機能構成を前提にして、図５〜図１１に示す各種説明図を参照しながら、帳票処理装置２１の動作について詳細に説明する。
帳票取得部５１は、例えばユーザが入力装置３３を操作して帳票Ｐのイメージの読み込みを指示した場合に、入出力装置３８を介してスキャナー２５にコマンドを送出する。その後は、送出したコマンドによってスキャナー２５が帳票Ｐの画像データを入出力装置３８に送信するのを待って、その画像データを例えばメモリ３２に格納する。ここでは説明上、便宜的に、画像データはビットマップパターンの画像データであるとする。
【００２８】
帳票認識部５２は、その画像データから、帳票中に存在する記入欄、及びその記入欄に記入されたマークを周知の技術により検出して認識し、その認識結果をマーク認識結果テーブルＭＴに保存する。
【００２９】
そのテーブルＭＴは、メモリ３２、或いは外部記憶装置３５に格納されたデータである。図６に示すように、帳票Ｐ上の記入欄にシーケンシャルな番号を付し、その位置を左上のＸＹ座標値、右下のＸＹ座標値で管理している。マークの有無は、異なる値を保存することで把握できるようにしている。記入欄の位置を左上のＸＹ座標値、右下のＸＹ座標値で管理するのは、その形状を矩形としているためである。
【００３０】
Ｙ軸は、上述したように、行が並ぶ方向の軸であり、Ｘ軸は、それと直交する方向の軸である。本実施の形態では、その基準点（原点）は帳票Ｐのイメージの左上端として、ＸＹ座標値は、その基準点から離れた位置を画素数で表現している。そのように表現することにより、記入欄とそれが実際のイメージ上に存在する位置の対応関係を直接的に把握できるようにさせている。
【００３１】
帳票認識部５２は、記入欄の位置を示す左上のＸＹ座標値、右下のＸＹ座標値を、記入欄の認識結果としてマーク認識結果テーブルＭＴに保存する。具体的には、図中「密度変換前イメージ上のマーク定義位置」と表記した項目の欄に保存する。マークの認識結果は、その有無に応じた値を図中「マーク有無」と表記した項目の欄に保存する。そのテーブルＭＴには、記入欄の定義された位置を示すそれらのＸＹ座標値が、図中「マーク定義位置」と表記した項目の欄に格納されている。その項目に格納されたデータ（以降「マーク定義位置データ」と呼ぶ）は、特に詳細な説明は省略するが、帳票Ｐの作成時に定義されて記入欄位置定義テーブルに保存されるデータである。そのテーブルは、例えば外部記憶装置３５に格納されている。
【００３２】
記入欄彩色部５３は、例えば帳票取得部５１から帳票Ｐの画像データ、及びマーク認識結果テーブルＭＴを受け取り、マークが有ると認識された記入欄を所定の表示色で表示させるように画像データに対する操作を行う（図１１参照）。表示制御部５４は、その操作後の画像データを出力装置３４からディスプレイ２４に送信させることにより、そのディスプレイ２４上に帳票Ｐのイメージを表示させる。
【００３３】
密度変換部５５は、帳票取得部５１が取得した画像データを参照して、ヒストグラムテーブルＨＴを作成し、例えばメモリ３２に保存する。そのテーブルＨＴは、帳票Ｐのイメージ上の領域を有用情報領域、及び非有用情報領域の２種類の領域に区分けし、有用情報領域が全体に占める割合を向上させるように画像データの操作を行うためのものである。
【００３４】
本実施の形態では、有用情報領域、及び非有用情報領域は行（Ｘ軸に沿ったライン）単位に判別し、非有用情報領域と判別した行の間引きを行うことにより、図５に示すようなイメージを表示させるようにしている。その間引きを行うために、情報の表示に用いられていると考えられる画素数を各行毎に計数してヒストグラムを作成する。ヒストグラムテーブルＨＴは、そのようにして作成されるヒストグラム、つまり各行毎にその計数結果を保存するために用意したものである。図７に示すように、そのテーブルＨＴには、「イメージ行」と表記された項目に行番号、「ドット数」と表記された項目に計数結果である画素数、をそれぞれ保存する。「位置補正値」と表記された項目には、間引き後の行番号を保存する。同一の行番号となっている行には、１行だけが割り当てられることとなる。
【００３５】
情報の表示に用いられていると考えられる画素は、帳票Ｐのイメージの取り込み方によって変化する。例えば濃淡を２値で読み取るのであれば、「黒」と読み取られた画素である。多階調で読み取るのであれば、その濃淡値が所定値以上となっている画素である。密度変換部５５は、図８に示すように、行毎にそのような画素を計数して、その計数結果をテーブルＨＴに保存する。
【００３６】
マークなどの記号、或いは文字などが記入された領域内の行では、そのような画素が複数、存在しているのが普通である。そのような画素を計数するのはこのためである。図６に示すように、帳票Ｐ上に設けられた欄外に文字が記入されても、その文字が記入された範囲を有用情報領域として高精度に検出することができる。
【００３７】
その計数、即ちヒストグラムの作成は、比較的に容易に行うことができる。このため、ヒストグラムを領域の判別に利用すると、その判別にかかる処理の負荷を抑えつつ、その判別を高精度に行うことができる。領域の判別方法には、別の方法を採用しても良く、複数の方法を組み合わせても良い。
【００３８】
計数結果を保存すると、行番号が「０」の行から行毎に、その行で計数した画素数が所定数以上か否か、つまりその行が有用情報領域を構成する行か否か確認し、その確認結果に応じて更新する値を「位置補正値」項目の値として格納する。その更新は、画素数が所定値以上であった場合にインクリメントすることで行う。それにより、図７に示すような値をその項目の値として順次、格納する。密度変換部５５は、そのようにしてヒストグラムテーブルＨＴを作成すると、それを帳票認識部５２に送る。
【００３９】
図９は、有用情報領域の確認方法、及び領域の違い応じた操作内容を説明する図である。
その図９に示すように、本実施の形態では、上記所定値、つまり有用情報領域を構成する行であると判定する条件として画素数は１５以上と定め、その密度変換率を１００％としている。その密度変換率とは、有用情報領域を表示させる際の倍率であり、「１００％」とは、それをそのままの大きさで表示させることを表している。「０％」とは、間引く、つまり表示させないことを表している。
【００４０】
その間引きを行うと、イメージ上の記入欄の位置が変化する。このことから、帳票認識部５２は、密度変換部５５から受け取ったヒストグラムテーブルＨＴを参照して、マーク認識結果テーブルＭＴの更新を行う。本実施の形態では、行単位での間引きだけを行うことから、図１０に示すように、記入欄の左上位置を示すＹ座標値、及びその右下位置を示すＹ座標値のみを対象に更新を行う。
【００４１】
ヒストグラムテーブルＨＴの「位置補正値」項目に格納される行番号は、「イメージ行」項目の行番号が示す行の間引き後の行番号を表している。このことから、その更新は、「位置補正値」項目において元のＹ座標値に対応する欄に保存された値を読み出し、それを新たなＹ座標値としてマーク認識結果テーブルＭＴに保存することで行われる。それにより、例えば元のＹ座標値が「２２７３」であれば、新たなＹ座標値として「１０７０」を保存する（図７参照）。
【００４２】
その更新が行われた場合、記入欄彩色部５３は、帳票認識部５２から再度、マーク認識結果テーブルＭＴを受け取る。密度変換部５５からはヒストグラムテーブルＨＴを受け取る。それにより、テーブルＨＴを参照して非有用情報領域を構成する行に対応する部分のデータを削除する操作を画像データに対して行い、その操作後の画像データに対し、テーブルＭＴを参照して、マークが記入されている記入欄を所定の表示色で表示させるための操作を行う。そのような操作を行った画像データを表示制御部５４に送ることにより、図１１に示すようなイメージをディスプレイ２４に表示させる。
【００４３】
そのようにして、本実施の形態では、マークが記入されていると認識した記入欄を表示色で示している。これは、表示色の違いからその記入欄をオペレータがより容易に確認できるようにするためである。その確認がより容易となる結果、修正作業は更に容易、且つ迅速に行えるようになる。
【００４４】
その修正作業は、表示させたイメージ上の記入欄へのクリック操作により行わせている。それにより、マークが記入されていると認識した記入欄をクリックすると、その記入欄にはマークが記入されていないこととし、マークが記入されていないと認識した記入欄をクリックすると、その記入欄にはマークが記入されていることとしている。
【００４５】
修正部５６は、キーボード２２、或いはマウス２３をユーザが操作した場合に、その操作により行った指示の内容を解釈し、その解釈結果に応じた処理を行う。その操作がイメージ上でのクリック操作であれば、オペレータがクリックした位置を特定し、その特定した位置を帳票認識部５２に送り、その位置に応じた認識結果の修正を指示する。
【００４６】
帳票認識部５２は、マーク認識結果テーブルＭＴを参照して、その位置が何れかの記入欄内の位置か否か確認し、その位置が記入欄内であったことを確認すると、「マーク有無」項目のその記入欄に対応する欄の値を書き換える。例えばマーク有りのときの値が「１」、そうでないときの値が「０」であれば、元の値が「１」であれば「０」に、その元の値が「０」であれば「１」に書き換える。そのようにして値を書き換える形でテーブルＭＴを更新すると、それを記入欄彩色部５３に送る。それにより、オペレータが指示した修正内容をディスプレイ２４に表示させるイメージに反映させる。そのようにして、オペレータに、ディスプレイ２４に表示されたイメージを見ながら、認識結果の修正を行わせるようにさせている。
【００４７】
次に、上述したような帳票のイメージの表示や認識結果の修正を実現させるコンピュータ２１の動作について、図１２〜図１７に示す各種フローチャートを参照して詳細に説明する。
【００４８】
図１２は、帳票のマーク認識処理のフローチャートである。帳票Ｐのイメージの読み込みからマークの認識結果を反映させたイメージを表示するまでに実行する処理を抜粋してその流れを示したものである。始めに図１２を参照して、そのマーク認識処理について詳細に説明する。なお、その図１２に示すフローチャートは、コンピュータ２１に搭載されたＣＰＵ２１が、外部記憶装置３５に格納されたプログラムを実行することで実現される。
【００４９】
先ず、ステップＳ１では、オペレータがキーボード２２、或いはマウス２３を操作して帳票Ｐのイメージの読み取りを指示するのを待って、入出力装置３８を介してスキャナー２５にコマンドを送信してそのイメージの読み取りを行わせ、その読み取りによって入出力装置３８がスキャナー２５から受信する画像データを例えばメモリ３２に格納する。続くステップＳ２では、マーク認識処理を行い、帳票Ｐ上に記入されたマークを認識すると共に、その画像データが表すイメージの原点（左上端）を検出する。ステップＳ３にはその後に移行する。
【００５０】
ステップＳ３では、検出した原点、及び記入欄位置定義テーブルに格納されたマーク定義位置データをもとに、画像データが表すイメージ上の各記入欄の認識を行い、記入欄毎に、その位置を示す左上のＸＹ座標値、及び右上のＸＹ座標値を算出する。次に移行するステップＳ４では、認識した記入欄の位置、及び認識したマークの位置をもとに、マークが記入された記入欄を認識し、その認識結果、ステップＳ３で算出したＸＹ座標値、及びマーク定義位置データをマーク認識結果テーブルＭＴ（図６参照）にそれぞれ格納する。その後はステップＳ５に移行する。
【００５１】
ステップＳ５では、画像データが表すイメージの行毎に情報表示用と想定する画素数を計数して、その計数結果、及び非有用情報領域を構成する行を間引いた後の行番号をヒストグラムテーブルＨＴにそれぞれ格納し（図７参照）、そのテーブルＨＴを参照して、マーク認識結果テーブルＭＴに格納したＹ座標値の更新を行う密度変換処理を実行する。その後に移行するステップＳ６では、ステップＳ５で作成したヒストグラムテーブルＨＴ、及び更新したマーク認識結果テーブルＭＴをもとに、画像データに対して、非有用情報領域を構成する行を間引くための操作、及びマークが記入されていると認識した記入欄を所定の表示色で表示させるための操作を行い、それら操作を行った後の画像データを入出力装置３８からディスプレイ２４に送信させることにより、図１１に示すような帳票Ｐのイメージを表示させる。そのイメージを表示させた後、一連の処理を終了する。
【００５２】
次に、上記ステップ５として実行される密度変換処理について、図１３に示すそのフローチャートを参照して詳細に説明する。
先ず、ステップＳ１１では、画像データが表すイメージの行毎に情報表示用と想定する画素数を計数してヒストグラムテーブルＨＴを作成するヒストグラムテーブル作成処理を実行する。次のステップＳ１２では、作成したヒストグラムテーブルＨＴに、「位置補正値」項目の値を格納するイメージ位置補正処理を実行する。その後に移行するステップＳ１３では、「位置補正値」項目の値を格納することで完成したヒストグラムテーブルＨＴ（図７参照）を参照してマーク認識結果テーブルＭＴを更新する検出位置補正処理を実行する。一連の処理をその後に終了する。
【００５３】
次に、上記ステップＳ１１〜Ｓ１３として実行される各サブルーチン処理について、図１４〜図１６に示す各種フローチャートを参照して詳細に説明する。
図１４は、上記ステップＳ１１として実行されるヒストグラム作成処理のフローチャートである。密度変換処理で実行されるサブルーチン処理では、始めに図１４を参照して、その作成処理について詳細に説明する。
【００５４】
先ず、ステップＳ２１では、図１２のステップＳ１で読み込んだ帳票Ｐの画像データを例えばメモリ３２にコピーする。次のステップＳ２２では、ヒストグラムテーブルＨＴを保存する領域を例えばメモリ３２に確保して、各値をクリア（ゼロクリア）する。なお、それらのことは、例えば配列変数を定義し、それを構成する全ての要素に０を代入することで行われる。
【００５５】
上述したように、情報表示用と想定する画素数の計数は行毎に、行番号が「０」の行から行う。このことから、ステップＳ２２に続くステップＳ２３では、Ｙ方向の処理が完了したか否か、つまり最後の行まで画素数の計数が終了したか否か判定する。その行まで画素数の計数が終了した場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ２４に移行する。
【００５６】
ステップＳ２４では、Ｘ方向の処理が完了したか否か、つまり注目する行における画素数の計数が終了したか否か判定する。その計数が終了した場合、判定はＹＥＳとなり、行番号がそれまでよりも１だけ大きい行に注目する行を変更してから上記ステップＳ２３に戻る。そうでない場合には、判定はＮＯとなってステップＳ２５に移行する。
【００５７】
ステップＳ２５では、注目する行で注目する画素のデータを画像データ中から取得する。続くステップＳ２６では、取得した画素のデータから、それが情報表示用と想定している画素か否か判定し、その判定結果に応じて、「ドット数」項目の注目する行に対応する欄の値を更新する。注目する画素が行の先頭に位置する画素であった場合には、「イメージ行」項目の対応する欄にその行番号を併せて格納する。その更新後は、注目する画素をその右隣に位置する画素に変更してから上記ステップＳ２４に戻る。
【００５８】
上記ステップＳ２４〜Ｓ２６で形成される処理ループをそのステップＳ２４の判定がＹＥＳとなるまで繰り返し実行することにより、注目する行で情報表示用と想定している画素数が計数されてヒストグラムテーブルＨＴに格納される。このため、ステップＳ２３〜Ｓ２６で形成される処理ループをステップＳ２３の判定がＹＥＳとなるまで繰り返し実行した場合には、全ての行で計数した画素数がテーブルＨＴに格納されることとなる。
【００５９】
図１５は、図１３に示す密度変換処理内でステップＳ１２として実行されるイメージ位置補正処理のフローチャートである。次に図１５を参照して、その補正処理について詳細に説明する。
【００６０】
先ず、ステップＳ３１では、図１２のステップＳ１で読み込んだ帳票Ｐの画像データを例えばメモリ３２にコピーする。次のステップＳ３２では、「位置補正値」項目の欄に格納する値を管理するための変数である出力Ｙ画素数の初期設定を行い、その値を０にする。ステップＳ３３にはその後に移行する。
【００６１】
ステップＳ３３では、Ｙ方向の処理が完了したか否か、つまり最後の行まで間引き後の行番号を格納したか否か判定する。最後の行の間引き後の行番号をテーブルＨＴに格納した場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ３４に移行する。
【００６２】
ステップＳ３４では、注目する行で計数された画素数は１５以上か否か判定する。その画素数が１５未満であった場合、判定はＮＯとなってステップＳ３８に移行し、そうでない場合には、つまりその画素数が１５以上であった場合には、判定はＹＥＳとなってステップＳ３５に移行する。
【００６３】
ステップＳ３５では、注目する行を密度（倍率）１００％で表示させる行として設定し、それに続くステップＳ３６では、その設定に従い、変数である出力Ｙ画素数のインクリメントを行う。そのインクリメント後に移行するステップＳ３７では、「位置補正値」項目の注目する行に対応する欄に、出力Ｙ画素数の値を格納する。その格納後は、行番号がそれまでよりも１だけ大きい行に注目する行を変更してから上記ステップＳ３３に戻る。
【００６４】
一方、ステップＳ３８では、注目する行を密度（倍率）０％で表示させる行として設定し、それに続くステップＳ３９では、その設定に従い、変数である出力Ｙ画素数はそのままとする。それにより、その後に移行するステップＳ３７では、直前に注目した行に設定した行番号と同じ行番号をテーブルＨＴに格納することになる。
【００６５】
最後に、図１６に示すフローチャートを参照して、図１３に示す密度変換処理内でステップＳ１３として実行される検出位置補正処理について詳細に説明する。
【００６６】
先ず、ステップＳ４１では、マークの記入欄分の処理が完了したか否か、つまり記入欄全てのＹ座標値の更新が完了したか否か判定する。その更新が完了した場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ４２に移行する。
【００６７】
ステップＳ４２では、注目する記入欄の左上Ｙ座標値をマーク認識結果テーブルＭＴから読み出し、ヒストグラムテーブルＨＴを参照して、「位置補正値」項目のそのＹ座標値に対応する欄の値（間引き後の行番号）を取得する。次のステップＳ４３では、取得した値を、注目する記入欄の新たな左上Ｙ座標値としてマーク認識結果テーブルＭＴに格納する。それに続くステップＳ４４、Ｓ４５では、対象を右下Ｙ座標値に変えて、そのＹ座標値の更新を同様に行う。ステップＳ４５で右下Ｙ座標値を更新した後は、注目する記入欄を次に注目すべき記入欄に変更してから上記ステップＳ４１に戻る。
【００６８】
このようにして、密度変換処理を実行すると、ヒストグラムテーブルＨＴ（図７参照）が作成され、そのテーブルＨＴを参照して、マーク認識結果テーブルＭＴが更新される。それらテーブルＭＴ、ＨＴにより帳票Ｐの画像データに対する操作が行われることにより、図１１に示すようなイメージがディスプレイ２４に表示されることになる。
【００６９】
認識結果の修正は、上述したように、ディスプレイ２４に表示されたイメージへの操作、より具体的には記入欄へのクリック操作により行われる。次に、その修正を実現させる修正処理について、図１２に示すそのフローチャートを参照して詳細に説明する。その修正処理は、図１２に示す帳票のマーク認識処理に続く形で実行される。
【００７０】
先ず、ステップＳ５１では、入出力装置３８を介して送信した画像データによりディスプレイ２４に表示させている帳票Ｐのイメージの原点（左上端）を検出する。続くステップＳ５２では、オペレータがキーボード２２、或いはマウス２３を操作して行った指示を検出する指示検出処理を実行する。
【００７１】
その次に移行するステップＳ５３では、その指示検出処理を実行することで指示を検出したか否か判定する。キーボード２２、及びマウス２３の何れも操作しないか、或いは、指示したと検出される操作をオペレータが行っていないような場合、判定はＮＯとなって上記ステップＳ５２に戻る。それにより、オペレータが何らかの指示を行うのを待つ。一方、そうでない場合には、判定はＹＥＳとなってステップＳ５４に移行する。ここでは便宜的に、上記指示したと検出される操作としてはイメージ上でのクリック操作のみを想定する。
【００７２】
ステップＳ５４では、現時点で画面表示させている部分のイメージの左上端の原点からの座標位置を検出する。次のステップＳ５５では、検出した原点からの座標位置を、その部分のイメージの左上端の座標位置として設定する。その設定後は、オペレータがクリックした位置（カーソルの位置）を検出し（ステップＳ５６）、その位置に対応するイメージの原点からの座標位置を算出し（ステップＳ５７）、マーク認識結果テーブルＭＴを参照して、その算出した位置を内部に持つ記入欄の判断を行う（ステップＳ５８）。ステップＳ５９にはその後に移行する。
【００７３】
ステップＳ５９では、ステップＳ５８の判断を行った結果、オペレータがクリック操作した位置が記入欄内であることが確認できたか否か判定する。何れかの記入欄内にカーソルを移動させた状態でオペレータがクリック操作を行ったような場合、判定はＹＥＳとなってステップＳ６０に移行する。そうでない場合には、判定はＮＯとなって上記ステップＳ５２に戻る。それにより、オペレータが次に行う指示に対応する。
【００７４】
ステップＳ６０では、マーク認識結果テーブルＭＴ内のオペレータがクリックした記入欄に対応する認識結果を変更する。続くステップＳ６１では、ディスプレイ２４に表示させたイメージ内のその記入欄の認識結果を変更し、それまでマークを表示させていれば消去させ、それまで表示させていなければ新たにマークを表示させる。そのマークの表示は、帳票Ｐの画像データ中のその記入欄内に対応する位置に、予め用意したマーク表示用の画像データを配置し、その配置後の画像データをディスプレイ２４に送信することで行われる。
【００７５】
ステップＳ６１に続くステップＳ６２では、マーク認識結果テーブルＭＴを参照して、該当記入欄の左上、右下の各ＸＹ座標値を取得する。次のステップＳ６３では、その記入欄内をマークの有無に応じた表示色で表示させる操作を画像データに対して行う。その後に移行するステップＳ６４では、オペレータが修正終了の指示が行ったか否か判定する。その指示をオペレータが行った場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなって上記ステップＳ５２に戻る。
【００７６】
なお、本実施の形態では、非有用情報領域を構成する行を間引く形で全体に占める有用情報領域の割合を向上させているが、それらの領域を表示させる際の倍率（密度）を異ならせることにより、その割合を向上させるようにしても良い。例えば有用情報領域をより大きく表示させることにより、その割合を向上させても良い。そのような操作は、帳票Ｐのイメージを１画面に表示できるか否か判定した結果に応じて行うようにしても良い。
【００７７】
また、本実施の形態では、有用情報領域、及び非有用情報領域の２種類の領域に区分けするが、それ以上、多くの領域に区分けしても良い。例えば有用な情報が存在すると考えられる可能性の高さに応じて３種類以上の領域に区分けし、各領域の種類別に異なる倍率（密度）を設定しても良い。
【００７８】
（付記１） 記入欄を有する帳票の画像データを用いて帳票画像を表示する帳票処理装置において、
前記帳票の画像データを取得する画像データ取得手段と、
前記画像データ取得手段が取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする領域判別手段と、
前記領域判別手段による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を変化させるための操作を行うデータ操作手段と、
前記データ操作手段が前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる表示制御手段と、
を具備することを特徴とする帳票処理装置。
【００７９】
（付記２） 前記領域判別手段は、少なくとも１方向に着目して、前記画像データが表す帳票画像上で情報表示に用いられると仮定する画素の数を計数し、該計数結果を基に前記有用情報領域、及び前記非有用情報領域を判別して区分けする、
ことを特徴とする付記１記載の帳票処理装置。
【００８０】
（付記３） 前記データ操作手段は、前記有用情報領域が全体に占める割合を向上させるための操作を前記第１、或いは第２の部分画像データに対して行う、
ことを特徴とする付記１、または２記載の帳票処理装置。
【００８１】
（付記４） 前記１方向に着目して計数した画素数が所定数以下か否かにより前記有用情報領域、及び前記非有用情報領域の判別を前記領域判別手段が行う場合に、前記データ操作手段は、該１方向上のラインのなかで該画素数が所定数以下のラインを間引くための操作を前記第２の部分画像データに対して少なくとも行うことにより、該有用情報領域が全体に占める割合を向上させる、
ことを特徴とする付記２、または３記載の帳票処理装置。
【００８２】
（付記５） 記入欄を有する帳票の画像データを用いて帳票画像を表示するための方法であって、
前記帳票の画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けし、
該区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行わせ、
該操作を前記第１、或いは第２の部分画像データに対して行った後の画像データを用いて前記帳票画像を表示装置上に表示させる、
ことを特徴とする帳票表示方法。
【００８３】
（付記６） 記入欄を有する帳票の処理を行う帳票処理装置において、
前記帳票の画像データを取得する画像データ取得手段と、
前記画像データ取得手段が取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする領域判別手段と、
前記領域判別手段による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行うデータ操作手段と、
前記データ操作手段が前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる表示制御手段と、
前記表示制御手段が表示させた前記帳票画像上で記入されている前記記入欄を認識する帳票認識手段と、
前記帳票認識手段が認識している前記記入欄に対する記入の有無を、ユーザの指示に応じて修正する修正手段と、
を具備することを特徴とする帳票処理装置。
【００８４】
（付記７） 記入欄を有する帳票の画像データを用いて帳票画像を表示する帳票処理装置に実行させるプログラムであって、
前記帳票の画像データを取得する機能と、
前記取得する機能により取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする機能と、
前記区分けする機能による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行う機能と、
前記操作を行う機能により前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる機能と、
を実現させるためのプログラム。
【００８５】
（付記８） 記入欄を有する帳票の処理を行う帳票処理装置に実行させるプログラムであって、
前記帳票の画像データを取得する機能と、
前記取得する機能により取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする機能と、
前記区分けする機能による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行う機能と、
前記操作を行う機能により前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる機能と、
前記表示させる機能により表示させた前記帳票画像上で記入されている前記記入欄を認識する機能と、
前記認識する機能により認識している前記記入欄に対する記入の有無を、ユーザの指示に応じて修正する機能と、
を実現させるためのプログラム。
【００８６】
【発明の効果】
以上、説明したように本発明は、取得した画像データが表す帳票画像上の領域の判別を行い、帳票の処理のために有用な情報を有する有用情報領域、及び有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けし、その画像データのなかで有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、有用情報領域が全体に占める割合を変化させるための操作を行い、その操作を行った後の画像データを用いて帳票画像を表示装置上に表示させる。このため、視認性の低下を抑えつつ、より大部分の有用情報領域を表示させることができる。その結果、記入欄に記入されたマーク等の認識結果の修正等もより容易、且つ迅速に行えるようになる。
【図面の簡単な説明】
【図１】従来の方法により、縦方向上の縮小を行った場合の帳票のイメージを説明する図である。
【図２】本実施の形態による帳票処理装置を用いて構築された帳票処理システムの構成を説明する図である。
【図３】図２に示すコンピュータの構成図である。
【図４】本実施の形態による帳票処理装置の機能構成図である。
【図５】本実施の形態による帳票処理装置が表示させる帳票のイメージを説明する図である。
【図６】マーク認識結果テーブルに格納されるデータを説明する図である。
【図７】ヒストグラムテーブルの構成を説明する図である。
【図８】ヒストグラムテーブルに格納されるデータを説明する図である。
【図９】有用情報領域の確認方法、及び領域の違い応じた操作内容を説明する図である。
【図１０】マーク認識結果テーブルを更新する内容を説明する図である。
【図１１】本実施の形態による帳票処理装置が実際に表示させる帳票のイメージを説明する図である。
【図１２】帳票のマーク認識処理のフローチャートである。
【図１３】密度変換処理のフローチャートである。
【図１４】ヒストグラムテーブル作成処理のフローチャートである。
【図１５】イメージ位置補正処理のフローチャートである。
【図１６】検出位置補正処理のフローチャートである。
【図１７】修正処理のフローチャートである。
【符号の説明】
２１ コンピュータ（帳票処理装置）
２２ キーボード
２３ マウス（ポインティングデバイス）
２４ ディスプレイ
２５ スキャナー
３１ ＣＰＵ
３２ メモリ
３３ 入力装置
３４ 出力装置
３５ 外部記憶装置
３６ 媒体駆動装置
３７ ネットワーク接続装置
３８ 入出力装置
５１ 帳票取得部
５２ 帳票認識部
５３ 記入欄彩色部
５４ 表示制御部
５５ 密度変換部
５６ 修正部
Claims (4)
- 記入欄を有する帳票の処理を行う帳票処理装置において、
前記帳票の画像データを取得する画像データ取得手段と、
前記画像データ取得手段が取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする領域判別手段と、
前記領域判別手段による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行うデータ操作手段と、
前記データ操作手段が前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる表示制御手段と、
前記画像データ取得手段が取得した前記画像データが表す前記帳票画像上で記入されている前記記入欄を認識して該記入欄の位置を示す座標値を保存し、該座標値を前記データ操作手段による操作に応じて更新する帳票認識手段と、
前記帳票認識手段が認識している前記記入欄に対する記入の有無を、ユーザの指示に応じて修正する修正手段と、
を具備することを特徴とする帳票処理装置。 - 前記領域判別手段は、少なくとも１方向に着目して、前記画像データが表す帳票画像上で情報表示に用いられると仮定する画素の数を計数し、該計数結果を基に前記有用情報領域、及び前記非有用情報領域を判別して区分けする、
ことを特徴とする請求項１記載の帳票処理装置。 - 前記１方向に着目して計数した画素数が所定数以下か否かにより前記有用情報領域、及び前記非有用情報領域の判別を前記領域判別手段が行う場合に、前記データ操作手段は、該１方向上のラインのなかで該画素数が所定数以下のラインを間引くための操作を前記第２の部分画像データに対して少なくとも行うことにより、該有用情報領域が全体に占める割合を向上させる、
ことを特徴とする請求項２記載の帳票処理装置。 - 記入欄を有する帳票の画像データを用いて帳票画像を表示する帳票表示装置として用いられるコンピュータに、
前記帳票の画像データを取得する機能と、
前記取得する機能により取得した前記画像データが表す帳票画像上の領域の判別を行い、前記帳票の処理のために有用な情報を有する有用情報領域、及び該有用な情報を有しない非有用情報領域の少なくとも２種類の領域に区分けする機能と、
前記区分けする機能による区分けに従い、前記画像データのなかで前記有用情報領域を表示させる部分の画像データである第１の部分画像データ、及び前記非有用情報領域を表示させる部分の画像データである第２の部分画像データの少なくとも一方に対し、該有用情報領域が全体に占める割合を向上させるための操作を行う機能と、
前記操作を行う機能により前記第１、或いは第２の部分画像データに対して操作した後の画像データを用いて前記帳票画像を表示装置上に表示させる機能と、
前記取得する機能により取得した前記画像データが表す前記帳票画像上で記入されている前記記入欄を認識して該記入欄の位置を示す座標値を保存し、該座標値を前記操作を行う機能による操作に応じて更新する機能と、
前記更新する機能により認識している前記記入欄に対する記入の有無を、ユーザの指示に応じて修正する機能と、
を実現させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003155278A JP4113047B2 (ja) | 2003-05-30 | 2003-05-30 | 帳票処理装置、及びプログラム |
| US10/784,977 US20050108635A1 (en) | 2003-05-30 | 2004-02-25 | Document processing apparatus and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003155278A JP4113047B2 (ja) | 2003-05-30 | 2003-05-30 | 帳票処理装置、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004357197A JP2004357197A (ja) | 2004-12-16 |
| JP4113047B2 true JP4113047B2 (ja) | 2008-07-02 |
Family
ID=34049701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003155278A Expired - Fee Related JP4113047B2 (ja) | 2003-05-30 | 2003-05-30 | 帳票処理装置、及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20050108635A1 (ja) |
| JP (1) | JP4113047B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050262039A1 (en) * | 2004-05-20 | 2005-11-24 | International Business Machines Corporation | Method and system for analyzing unstructured text in data warehouse |
| US8190597B1 (en) * | 2009-12-21 | 2012-05-29 | Perfect Search Corporation | Multistage pipeline for feeding joined tables to a search system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1991006057A1 (en) * | 1989-10-20 | 1991-05-02 | Hitachi, Ltd. | Image display/processing method of formatted document and apparatus therefor |
| US5229589A (en) * | 1991-11-21 | 1993-07-20 | Optimum Solutions Corp., Inc. | Questionnaire scanning system employing expandable answer mark areas for efficient scanning and mark detection |
| US6072889A (en) * | 1997-12-03 | 2000-06-06 | The Raytheon Company | Method and system for imaging target detection |
| US6868183B1 (en) * | 1999-04-01 | 2005-03-15 | Kabushiki Kaisha Toshiba | Image processing apparatus, image forming apparatus, and image processing method depending on the type of original image |
| US6597808B1 (en) * | 1999-12-06 | 2003-07-22 | Matsushita Electric Industrial Co., Ltd. | User drawn circled region extraction from scanned documents |
| JP2004102320A (ja) * | 2002-09-04 | 2004-04-02 | Fujitsu Ltd | 帳票処理装置、帳票処理方法、及びその方法をコンピュータに行わせるプログラム |
-
2003
- 2003-05-30 JP JP2003155278A patent/JP4113047B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-25 US US10/784,977 patent/US20050108635A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20050108635A1 (en) | 2005-05-19 |
| JP2004357197A (ja) | 2004-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1854051B1 (en) | Intelligent importation of information from foreign application user interface using artificial intelligence | |
| JP4101290B2 (ja) | 書式処理時の自動ページ登録及び自動領域検出のためのシステム及び方法 | |
| US6348936B1 (en) | Method and apparatus for graphical selection of data | |
| US20040212835A1 (en) | User interface for initiating a final scan using drag and drop | |
| US20030179235A1 (en) | Method and system for overloading loop selection commands in a system for selecting and arranging visible material in document images | |
| JPH08307665A (ja) | テキスト領域をハイライトする方法 | |
| US20030179202A1 (en) | Method and system for interpreting imprecise object selection paths | |
| JP2000113181A (ja) | ユ―ザ・インタフェ―ス方法 | |
| CN1604120A (zh) | 从指定的文档区域提取元数据 | |
| US11983910B2 (en) | Image processing system, image processing method, and storage medium each for obtaining pixels of object using neural network | |
| AU742998B2 (en) | Dynamic object linking interface | |
| US5703962A (en) | Image processing method and apparatus | |
| EP0816995A1 (en) | Image processing method and apparatus | |
| EP3722995A1 (en) | Handwriting input apparatus, handwriting input method, and program | |
| US7911452B2 (en) | Pen input method and device for pen computing system | |
| DE69732213T2 (de) | Informationseingabeverfahren, -platte und -gerät | |
| JP4113047B2 (ja) | 帳票処理装置、及びプログラム | |
| JP2008204184A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| CN113449732A (zh) | 信息处理装置、图像读取装置、记录介质、信息处理方法 | |
| JP2004102320A (ja) | 帳票処理装置、帳票処理方法、及びその方法をコンピュータに行わせるプログラム | |
| JPH08235316A (ja) | 文字認識装置 | |
| JP3172498B2 (ja) | イメージ認識用特徴値抽出方法、およびその装置、イメージ解析プログラムを格納する記憶媒体 | |
| JP3532483B2 (ja) | データエントリーシステム | |
| JP3153863B2 (ja) | フィールドにデータ・オブジェクトをリンクさせる方法及びシステム | |
| JP3508182B2 (ja) | 画像表示装置及び画像表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080410 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |