JP6303814B2 - 認識装置、認識方法、プログラムおよび認識システム - Google Patents

Description

本発明は、認識装置、認識方法、プログラムおよび認識システムに関する。

近日、帳票に含まれる複数の記入枠のうちで、マークが手記入されている記入枠を自動認識する認識装置が普及している。例えば、帳票の各記入枠には記入者がマークを記入しやすいようにガイドラインがドロップアウト色で印刷されており、認識装置は、帳票の読み取り時に当該ガイドラインをドロップアウトさせることにより記入色だけを残し、マークの有無を認識する。しかし、ドロップアウト色でのガイドラインの印刷は通常色の印刷よりもコストが高い。また、ドロップアウト色は薄いので、ドロップアウト色で印刷されたガイドラインの視認性は悪い。

上記事情により、ドロップアウト色でない通常色でガイドラインが印刷された帳票の自動認識を行う方法も提案されている。例えば、特許文献１には、手記入後の帳票画像から手記入前の帳票画像を削除することにより、手記入後の帳票画像と手記入前の帳票画像との差分を抽出し、当該差分に基づいてマークの有無を認識する方法が開示されている。

特開２０００−１７２７７８号公報

しかし、ガイドラインに沿ってマークの記入が試みられる帳票に上記の方法を適用すると、正確な認識結果が得られないことが予想される。例えば、記入者が完全にガイドラインに重ねてマークを記入した場合、ガイドラインの除去に伴いマークも除去されるので、マークを認識することが困難になる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ドロップアウト色を用いない場合の手記入の有無をより正確に認識することが可能な、新規かつ改良された認識装置、認識方法、プログラムおよび認識システムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部を備え、前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、認識装置が提供される。

前記輝度分布の程度は、輝度分布のばらつきの程度であってもよい。

前記認識装置は、前記所定領域内の画素として、前記媒体の撮像により得られる媒体画像の所定領域に記入されている線のエッジ部を除く画素を抽出する画素抽出部をさらに備えてもよい。

前記認識装置は、前記媒体画像の所定領域に対して、画素値が閾値より高い画素を第１の値に設定し、他の画素を第２の値に設定する２値化処理を施し、前記第２の値を有し、前記第１の値を有する画素と隣接する画素を前記第１の値に設定する、画像処理部をさらに備え、前記画素抽出部は、前記所定領域内の画素として、前記媒体画像の所定領域の画像から、前記画像処理部の処理により得られる画像において前記第２の値を有する画素に対応する位置の画素を抽出してもよい。

前記媒体は、金融機関で扱われる帳票であってもよい。

前記手記入の行われた状態は前記所定領域内にマークが手記入された状態であってもよい。

前記輝度分布の程度は、前記所定領域内の画素の輝度の標準偏差または分散であってもよい。

前記媒体は、前記所定領域内に機械印刷が行われた媒体であってもよい。

前記機械印刷は、手記入よりも高い明度で行われてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識することを含み、前記所定領域内の記入状態を認識することは、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識することを含む、認識装置により実行される認識方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部として機能させ、前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、プログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部を備え、前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、認識システムが提供される。

以上説明したように本発明によれば、ドロップアウト色を用いない場合の手記入の有無をより正確に認識することが可能である。

本発明の実施形態によるマーク認識装置の構成を示した説明図である。 帳票の具体例を示した説明図である。 切出しカラー画像の具体例を示した説明図である。 ２値画像の具体例を示した説明図である。 輝度分布の具体例を示した説明図である。 本発明の実施形態によるマーク認識装置の動作を示したフローチャートである。 マーク認識処理を示したフローチャートである。 ２値画像に画像処理部が収縮処理を施した結果を示す説明図である。 画素抽出部により抽出される画素の具体例を示した説明図である。 第１の応用例によるマーク認識処理を示すフローチャートである。 明度分布の具体例を示した説明図である。 マーク認識装置のハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

＜１．マーク認識装置の構成＞
本発明による認識装置あるいは認識システムは、紙葉状の媒体の所定領域における手記入の有無を認識する機能を有し、一実施形態として、帳票の各記入枠にマークが記入されているか否かを認識するためのマーク認識装置に適用され得る。以下、図１〜図５を参照し、本発明の実施形態によるマーク認識装置の構成を説明する。

図１は、本発明の実施形態によるマーク認識装置２０の構成を示した説明図である。図１に示したように、本発明の実施形態によるマーク認識装置２０は、操作部２１６、表示部２２０、制御部２２４、フォーマット情報入力部２２８、フォーマット情報格納部２３２、画像入力部２３６、入力画像メモリ２４０、記入枠切出し部２４４、切出しカラー画像メモリ２４８、画像処理部２５２、２値画像メモリ２５６、画素抽出部２６０およびマーク認識部２６４を備え、イメージスキャナ３０に接続されている。

（イメージスキャナ）
イメージスキャナ３０は、帳票３２を光学的に読取ることにより、カラーで表現された帳票画像データ（以下、単に帳票画像と称する。）を生成する。帳票３２は、記入者が意図する情報を記入するための紙葉状の媒体の一例である。ここで、図２を参照し、帳票３２の構成例を説明する。

図２は、帳票３２の具体例を示した説明図である。図２に示したように、帳票３２には、複数の記入枠３４と、各記入枠３４内のガイドライン３６が事前に機械的に印刷されている。また、図２に示した例では、項目「１」〜「３」の各々に対する選択肢として、「Ａ」〜「Ｄ」に対応する記入枠３４が印刷されている。ここで、本発明の実施形態においては、記入枠３４およびガイドライン３６は、ドロップアウト色でない通常色、例えば赤色で印刷される。なお、図２は便宜上ガイドライン３６部分を大きく拡大して表示しているものであり、通常は、ガイドライン３６は直径数ミリ程度のサイズで印刷される。

記入者は、このような帳票３２の記入枠３４内にガイドライン３６に沿ってマーク３８を手記入することにより、各項目から意図する選択肢を選択することができる。なお、以下では、マーク３８の記入色が黒色である例を想定して説明を進めるが、マーク３８の記入色は、記入枠３４およびガイドライン３６の印刷色を含む複数色のうちの任意の色であり得る。

上述した帳票３２は、マーク認識装置２０が金融機関に適用される場合、例えば振込用紙、預入用紙、引出用紙または口座開設用紙などに相当する。ただし、帳票３２は紙葉状の媒体の一例に過ぎず、本発明の実施形態は、マーク式答案用紙および各種アンケート用紙などの多様な紙葉状の媒体についても適用可能である。

（操作部）
操作部２１６は、マーク認識装置２０のオペレータにより入力操作が行われる構成である。オペレータは、この操作部２１６を操作することにより、後述するフォーマット情報の入力および画像の入力などの処理の開始を指示することができる。なお、操作部２１６は、例えばキーボードまたはマウスなどに相当し得る。

（表示部）
表示部２２０は、マーク認識装置２０のオペレータに対して情報を表示する構成である。この表示部２２０は、例えば液晶表示ディスプレイに相当し得る。

（制御部）
制御部２２４は、マーク認識装置２０の動作全般を制御する。例えば、制御部２２４は、フォーマット情報入力部２２８、画像入力部２３６、記入枠切出し部２４４、画像処理部２５２、画素抽出部２６０およびマーク認識部２６４などが行う動作を制御する。

（フォーマット情報入力部）
フォーマット情報入力部２２８は、操作部２１６に対するオペレータ操作に基づく制御部２２４からの指示に従い、フォーマット情報の入力を受け付け、入力されたフォーマット情報をフォーマット情報格納部２３２に格納する。フォーマット情報は、帳票３２における各記入枠３４の識別情報と、各記入枠３４の内側範囲を示す位置情報とが関連付けられた情報である。各記入枠３４の位置情報は、例えば帳票画像における所定の原点（例えば、左上の頂点）を基準とした座標値で表現され得る。

（フォーマット情報格納部）
フォーマット情報格納部２３２は、上述したフォーマット情報を格納するメモリである。

（画像入力部）
画像入力部２３６は、イメージスキャナ３０により生成されたカラーの帳票画像が入力され、当該帳票画像を入力画像メモリ２４０に格納する。なお、操作部２１６に対するオペレータ操作に基づいて制御部２２４がイメージスキャナ３０に対して帳票３２の読取を指示し、当該指示に基づいて生成された帳票画像が画像入力部２３６に入力される。

（入力画像メモリ）
入力画像メモリ２４０は、上述した帳票画像を格納するメモリである。

（記入枠切出し部２４４）
記入枠切出し部２４４は、フォーマット情報格納部２３２に格納されたフォーマット情報に基づき、入力画像メモリ２４０に格納された帳票画像から、各記入枠３４に相当する領域を１つずつ切出す。ここで、図３を参照し、記入枠切出し部２４４の切出しにより得られる切出しカラー画像の具体例を説明する。

図３は、切出しカラー画像の具体例を示した説明図である。上述したように、フォーマット情報は、各記入枠３４の内側範囲を示す位置情報からなるので、図３に示したように、切出しカラー画像は記入枠３４を含まずに形成される。

（切出しカラー画像メモリ）
切出しカラー画像メモリ２４８は、記入枠切出し部２４４の切出しにより得られる切出しカラー画像を格納するメモリである。

（画像処理部）
画像処理部２５２は、切出しカラー画像メモリ２４８に格納されている各切出しカラー画像に対して２値化処理を施す。具体的は、画像処理部２５２は、各切出しカラー画像において、輝度（画素値）が閾値より高い画素を白画素（第１の値）に設定し、他の画素を黒画素（第２の値）に設定する。ここで、図４を参照し、画像処理部２５２の２値化処理により得られる２値画像の具体例を説明する。

図４は、２値画像の具体例を示した説明図である。図４に示したように、２値画像においては、マーク３８に加えてガイドライン３６も黒色で表現される。すなわち、帳票３２のガイドライン３６は、切出しカラー画像におけるガイドライン３６の輝度が閾値以下となる色で印刷される。なお、輝度は、画素のＲ、Ｇ、Ｂの各々の成分の値の平均値であってもよい。

（２値画像メモリ）
２値画像メモリ２５６は、画像処理部２５２の２値化処理により得られた２値画像を格納するメモリである。

（画素抽出部）
画素抽出部２６０は、切出しカラー画像メモリ２４８に格納された切出しカラー画像のうちで、２値画像メモリ２５６に格納された２値画像における黒画素に対応する画素を抽出する。かかる構成により、切出しカラー画像において、ガイドライン３６またはマーク３８が形成された画素が抽出される。なお、画素抽出部２６０は、後述するマーク認識部２６４により、黒画素数に基づいて「記入有り」と認識された記入枠３４の切出しカラー画像を除き、上記の画素の抽出を行ってもよい。

（マーク認識部）
マーク認識部２６４は、帳票３２の各記入枠３４内の記入状態を認識する。このマーク認識部２６４は、複数の手法により各記入枠３４内の記入状態を認識することが可能である。以下、マーク認識部２６４が行い得る複数の認識手法について説明する。

・第１の認識手法
マーク３８が記入された記入枠３４の２値画像においては、ガイドライン３６を形成する画素に加え、マーク３８を形成する画素も黒画素であるので、マーク３８が記入されていない記入枠３４よりも黒画素数が多くなり得る。

このため、マーク認識部２６４は、第１の認識手法として、２値画像において黒画素数が所定数を上回る記入枠３４を「記入有り」と認識する。例えば、図４の「１．Ｂ」に示したように、マーク３８がガイドライン３６からずれて記入された場合、黒画素数が所定数を上回り、「１．Ｂ」の記入枠３４がマーク認識部２６４により「記入有り」と認識される。

・第２の認識手法
上記の第１の認識手法により、ガイドライン３６からずれて記入されたマーク３８は高精度に認識することが可能である。一方、図４の「２．Ｃ」に示したように、マーク３８がガイドライン３６に重ねて記入された記入枠３４の黒画素数と、マーク３８が記入されていない「１．Ａ」などの他の記入枠３４の黒画素数とには大差が生じない。このため、上記の第１の認識手法のみでは、図４の「２．Ｃ」のようにマーク３８がガイドライン３６に重ねて記入された記入枠３４が「記入無し」と誤認識される恐れがある。

また、ガイドライン３６を形成する画素領域を除去する他の手法も考えられるが、当該手法では、マーク３８がガイドライン３６に重ねて記入された場合、ガイドライン３６の除去に伴いマーク３８も除去されてしまうので、当該手法でも誤認識が生じ得る。

これに対し、本発明の実施形態によるマーク認識部２６４は、第２の認識手法により、マーク３８がガイドライン３６に重ねて記入された場合でも高精度な認識を行うことが可能である。この第２の認識手法は、事前に機械印刷されたガイドライン３６と、手記入されたマーク３８の輝度特性の差異に着目してなされたものである。

具体的には、事前に機械印刷されたガイドライン３６の各画素の成分は比較的安定している一方、マーク３８は、ボールペンなどの筆記具により人的に記入されるので、マーク３８においては濃い部分や薄い部分が生じ、また、筆記具のインクに応じて多様な状態が発生し得る。すなわち、ガイドライン３６の色ムラに対し、マーク３８の色ムラは高くなる傾向にある。結果、図５に示すように、マーク３８がガイドライン３６に重ねて記入された記入枠「２．Ｃ」での輝度のばらつき（標準偏差）は、マーク３８が記入されていない記入枠「１．Ｃ」での輝度のばらつきよりも大きくなる。

そこで、マーク認識部２６４は、第２の認識手法として、画素抽出部２６０により抽出された画素、すなわち、ガイドライン３６またはマーク３８が形成された画素の輝度分布に基づいて、各記入枠３４内の記入状態を認識する。例えば、マーク認識部２６４は、ある記入枠３４についての輝度分布の程度が所定基準を上回る場合、当該記入枠３４を「記入有り」と認識してもよい。

なお、マーク認識部２６４は、輝度分布の程度を示す指標として標準偏差を算出し得るが、輝度分布の程度を示す指標は標準偏差に限定されない。例えば、輝度分布の程度を示す指標は、分散であってもよいし、輝度ヒストグラムにおける極大点間の輝度差であってもよいし、最小輝度と最大輝度との差分であってもよい。

上記第２の認識手法により、マーク３８がガイドライン３６に重ねて記入された記入枠についても、「記入有り」と認識することが可能となる。なお、マーク認識部２６４は、第１の認識手法による認識を先に行い、第１の認識手法で「記入有り」と認識されなかった記入枠３４について第２の認識手法を行ってもよい。第２の認識手法は輝度分布の程度を示す指標を算出するための負荷を伴うので、上記のように第２の認識手法の対象とする記入枠３４の数を減少することにより、処理負荷の軽減を実現することが可能である。

ところで、図５に示したように、マーク３８がガイドライン３６に重ねて記入された記入枠３４（「２．Ｃ」）と、マーク３８が記入されていない記入枠３４（「１．Ａ」）とでは、平均輝度が異なるので、平均輝度に着目して記入状態を認識することも効果的である。しかし、ガイドライン３６の印刷色とマーク３８の記入色が同一である場合には、平均輝度に差が生じないので、平均輝度に着目して記入状態を認識することは困難である。これに対し、ガイドライン３６の印刷色とマーク３８の記入色が同一であっても輝度分布の差異は生じると考えられるので、本発明の実施形態によれば、ガイドライン３６の印刷色とマーク３８の記入色が同一であっても、適確な認識を行うことが可能である。すなわち、本発明の実施形態は、ガイドライン３６の印刷色とマーク３８の記入色の関係によらず適用可能である点でも有用である。

＜２．マーク認識装置の動作＞
以上、本発明の実施形態によるマーク認識装置２０の構成を説明した。続いて、図６および図７を参照し、本発明の実施形態によるマーク認識装置２０の動作を整理する。

図６は、本発明の実施形態によるマーク認識装置２０の動作を示したフローチャートである。図６に示したように、まず、マーク認識装置２０のフォーマット情報入力部２２８によりフォーマット情報が入力されると（Ｓ３０４）、フォーマット情報格納部２３２が当該フォーマット情報を格納する。その後、画像入力部２３６にカラーの帳票画像が入力されると（Ｓ３０８）、入力画像メモリ２４０が当該帳票画像を格納する。

そして、記入枠切出し部２４４が、フォーマット情報格納部２３２に格納されたフォーマット情報に基づき、入力画像メモリ２４０に格納された帳票画像から、各記入枠３４に相当する領域を１つずつ切出す（Ｓ３１２）。記入枠切出し部２４４の切出しにより得られる切出しカラー画像は、切出しカラー画像メモリ２４８に格納される。

続いて、画像処理部２５２が、切出しカラー画像メモリ２４８に格納されている各切出しカラー画像に対して２値化処理を施す（Ｓ３１６）。画像処理部２５２の２値化処理により得られた２値画像は、２値画像メモリ２５６に格納される。

その後、画素抽出部２６０およびマーク認識部２６４により、図７に示す各記入枠３４にマークが記入されているか否かを認識するマーク認識処理が行われ（Ｓ３２０）、全ての記入枠３４についての認識が終了すると（Ｓ３２４）、認識対象となる次の帳票が無くなるまで、Ｓ３０８〜Ｓ３２４の処理が繰り返される（Ｓ３２８）。

図７は、マーク認識処理を示したフローチャートである。マーク認識処理においては、図７に示したように、まずマーク認識部２６４が、２値画像メモリ２５６に格納された２値画像において１の記入枠３４についての黒画素数が所定数を上回るか否かを判断する（Ｓ３４４）。そして、２値画像における黒画素数が所定数を上回る場合（Ｓ３４４／ｙｅｓ）、当該記入枠３４のマーク記入状態が「記入有り」であると認識する（Ｓ３４８）。

一方、２値画像における黒画素数が所定数以下である場合（Ｓ３４４／ｎｏ）、画素抽出部２６０が、切出しカラー画像メモリ２４８に格納された切出しカラー画像のうちで、２値画像メモリ２５６に格納された２値画像における黒画素に対応する画素を抽出する（Ｓ３５２）。さらに、マーク認識部２６４は、画素抽出部２６０により抽出された画素、すなわち、ガイドライン３６またはマーク３８が形成された画素の輝度分布を示す標準偏差を算出する（Ｓ３５６）。続いて、マーク認識部２６４は、算出した標準偏差が所定値を上回るか否かを判断する（Ｓ３６０）。

そして、マーク認識部２６４は、標準偏差が所定値を上回る場合（Ｓ３６０／ｙｅｓ）、当該記入枠３４のマーク記入状態が「記入有り」であると認識する（Ｓ３４８）。一方、マーク認識部２６４は、標準偏差が所定値以下である場合（Ｓ３６０／ｎｏ）、当該記入枠３４のマーク記入状態が「記入無し」であると認識する（Ｓ３６４）。

＜３．応用例＞
以上、本発明の実施形態によるマーク認識装置２０の構成および動作を説明した。上述した本発明の実施形態によるマーク認識装置２０の構成および動作は、多様な形態に応用可能である。以下、図８〜図１１を参照し、本発明の実施形態によるマーク認識装置２０の第１の応用例および第２の応用例を説明する。

（第１の応用例）
上述したように、ボールペンなどの筆記具により人的に記入されたマーク３８の色ムラに対し、事前に機械印刷されたガイドライン３６の色むらは低いと考えられる。しかし、機械印刷の特性に起因し、ガイドライン３６においても、ガイドライン３６のエッジ部は色の状態が不安定になることがある。このため、ガイドライン３６のエッジ部の存在は、ガイドライン３６の輝度分布の程度を広げ得る。すなわち、ガイドライン３６のエッジ部の存在により、ガイドライン３６のみの記入枠３４での輝度分布と、マーク３８が記入された記入枠３４での輝度分布との差分が小さくなり得る。しかし、輝度分布の差分に基づいてマーク３８の記入状態を認識する手法が適用される場合、ガイドライン３６のみの記入枠３４での輝度分布と、マーク３８が記入された記入枠３４での輝度分布との差分はより大きくなることが望まれる。

そこで、第１の応用例によるマーク認識装置２０は、帳票画像に記入されているガイドライン３６のエッジ部を除く画素の輝度分布に基づいてマーク３８の記入状態を認識する。かかる構成により、マーク３８の認識精度をさらに向上することが可能である。以下、このような第１の応用例によるマーク認識装置２０についてより具体的に説明する。

第１の応用例による画像処理部２５２は、切出しカラー画像メモリ２４８に格納されている各切出しカラー画像に対して２値化処理を施した後、さらに、２値画像を収縮する収縮処理を施す。当該収縮処理は、２値画像に含まれる黒画素のエッジ部を除去するための処理であり、一例として、２値画像において白画素と隣接する黒画素を、白画素に設定する処理であってもよい。

図８は、図４に示した２値画像に画像処理部２５２が収縮処理を施した結果を示す説明図である。図８に示したように、画像処理部２５２により収縮処理が施されると、黒画素を形成するガイドライン３６およびマーク３８のエッジ部が除去されるので、ガイドライン３６およびマーク３８が細くなる。第１の応用例においては、当該収縮処理後の２値画像が２値画像メモリ２５６に格納される。

また、第１の応用例による画素抽出部２６０は、切出しカラー画像メモリ２４８に格納された切出しカラー画像のうちで、２値画像メモリ２５６に格納された収縮処理後の２値画像における黒画素に対応する画素を抽出する。ここで、２値画像メモリ２５６に格納された２値画像は、黒画素を形成するガイドライン３６およびマーク３８のエッジ部が除去された画像である。このため、図９に示したように、図３に示した切出しカラー画像におけるガイドライン３６およびマーク３８のエッジ部を除く画素が画素抽出部２６０により抽出される。

第１の応用例によるマーク認識部２６４は、この画素抽出部２６０により抽出された画素の輝度分布に基づき、各記入枠３４内の記入状態を認識する。ここで、画素抽出部２６０により抽出された画素は、切出しカラー画像におけるガイドライン３６およびマーク３８のエッジ部を除く画素である。従って、マーク認識部２６４は、色の状態が不安定なガイドライン３６のエッジ部の影響を受けずに、各記入枠３４の記入状態をより正確に認識することが可能となる。

以下、図１０を参照し、第１の応用例によるマーク認識装置２０のマーク認識処理を整理する。

図１０は、第１の応用例によるマーク認識処理を示すフローチャートである。図１０に示したように、まずマーク認識部２６４が、２値画像メモリ２５６に格納された２値画像（収縮処理前の２値画像）において１の記入枠３４についての黒画素数が所定数を上回るか否かを判断する（Ｓ３４４）。そして、２値画像における黒画素数が所定数を上回る場合（Ｓ３４４／ｙｅｓ）、当該記入枠３４のマーク記入状態が「記入有り」であると認識する（Ｓ３４８）。

一方、２値画像における黒画素数が所定数以下である場合（Ｓ３４４／ｎｏ）、画像処理部２５２は、２値画像に対して収縮処理を施す（Ｓ３５０）。当該収縮処理後の２値画像も２値画像メモリ２５６に格納される。そして、画素抽出部２６０は、切出しカラー画像メモリ２４８に格納された切出しカラー画像のうちで、２値画像メモリ２５６に格納された収縮処理後の２値画像における黒画素に対応する画素を抽出する（Ｓ３５４）。

さらに、マーク認識部２６４は、画素抽出部２６０により抽出された画素、すなわち、ガイドライン３６およびマーク３８のエッジ部を除く画素の輝度分布を示す標準偏差を算出する（Ｓ３５８）。続いて、マーク認識部２６４は、算出した標準偏差が所定値を上回るか否かを判断する（Ｓ３６２）。

そして、マーク認識部２６４は、標準偏差が所定値を上回る場合（Ｓ３６２／ｙｅｓ）、当該記入枠３４のマーク記入状態が「記入有り」であると認識する（Ｓ３４８）。一方、マーク認識部２６４は、標準偏差が所定値以下である場合（Ｓ３６２／ｎｏ）、当該記入枠３４のマーク記入状態が「記入無し」であると認識する（Ｓ３６４）。

以上説明したように、第１の応用例によれば、色の状態が不安定なガイドライン３６のエッジ部の影響を受けずに各記入枠３４の記入状態を認識できるので、マーク３８の認識精度をさらに向上することが可能である。

なお、図１０においては、黒画素数の判断をマーク認識部２６４が収縮処理前の２値画像に基づいて行う例を示したが、マーク認識部２６４は、収縮処理後の２値画像に基づいて黒画素数の判断を行ってもよい。すなわち、Ｓ３４４の処理とＳ３５０の処理の順序は入れ替えられてもよい。

（第２の応用例）
上記では、各記入枠３４内の画素の輝度分布に基づいて各記入枠３４の記入状態を認識する例を説明したが、マーク認識装置２０は、当該認識処理に加えて、あるいは当該認識処理に代えて、他の認識処理を実行することも可能である。以下では、第２の応用例として、明度を利用した認識処理を説明する。

ガイドライン３６は、一般的に、マーク３８の記入色よりも明度の高い色彩で印刷されることが一般的である。例えば、マーク３８の記入色は黒色であり、ガイドライン３６の印刷色は赤色である。そこで、第２の応用例によるマーク認識装置２０は、マーク３８とガイドライン３６の明度の差を利用して各記入枠３４の記入状態を認識する。

具体的には、第２の応用例によるマーク認識部２６４は、画素抽出部２６０により抽出された各画素の明度を算出する。ここで、画素抽出部２６０は、切出しカラー画像においてエッジ部が除去されていないガイドライン３６またはマーク３８に対応する画素を抽出してもよいし、エッジ部が除去されたガイドライン３６またはマーク３８に対応する画素を抽出してもよい。

そして、マーク認識部２６４は、各画素の明度の分布に基づいて、各記入枠３４の記入状態を認識する。例えば、マーク認識部２６４は、明度の平均値が所定明度以下である場合に記入枠３４のマーク記入状態が「記入有り」であると認識し、明度の平均値が所定明度を上回る場合に記入枠３４のマーク記入状態が「記入無し」であると認識してもよい。この点について、図１１を参照して具体例を説明する。

図１１は、明度分布の具体例を示した説明図である。図１１に示したように、マーク３８が記入されていない記入枠「１．Ａ」の平均明度は、マーク３８が記入された記入枠「２．Ｃ」の平均明度よりも高くなる。さらに、図１１に示した例では、記入枠「１．Ａ」の平均明度は所定明度Ｔｈを上回り、記入枠「２．Ｃ」の平均明度は所定明度Ｔｈ以下である。このため、マーク認識部２６４は、記入枠「１．Ａ」のマーク記入状態が「記入無し」であると認識し、記入枠「２．Ｃ」のマーク記入状態が「記入有」と認識する。

なお、マーク認識部２６４は、上述した実施形態または応用例１との組み合わせとして、輝度分布の標準偏差が所定値を上回り、かつ、平均明度が所定明度以下である場合に、記入枠３４のマーク記入状態が「記入有り」であると認識してもよい。

＜４．ハードウェア構成＞
以上説明した画像処理やマーク認識処理などの情報処理は、ソフトウェアと、以下に説明するマーク認識装置２０のハードウェアとの協働により実現される。

図１２は、マーク認識装置２０のハードウェア構成を示したブロック図である。マーク認識装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、マーク認識装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってマーク認識装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。なお、ＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３の協働により、上述した制御部２２４、フォーマット情報入力部２２８、画像入力部２３６、記入枠切出し部２４４、画像処理部２５２、画素抽出部２６０およびマーク認識部２６４の各機能が実現され得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどオペレータが情報を入力するための入力手段と、オペレータによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。マーク認識装置２０のオペレータは、該入力装置２０８を操作することにより、マーク認識装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

表示装置２０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

ストレージ装置２１１は、本実施形態にかかるマーク認識装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）または不揮発性メモリなどで構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。すなわち、ストレージ装置２１１は、上述したフォーマット情報格納部２３２、入力画像メモリ２４０、切出しカラー画像メモリ２４８および２値画像メモリ２５６の機能を実現し得る。

ドライブ２１２は、記憶媒体用リーダライタであり、マーク認識装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、専用網に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜５．むすび＞
以上説明したように、本発明の実施形態によれば、マーク３８がガイドライン３６に重ねて記入された場合でも高精度な認識を行うことが可能である。また、本発明の実施形態によれば、事前に機械印刷されたガイドライン３６と、手記入されたマーク３８の輝度特性の差異に着目してなされたものであるので、ガイドライン３６の印刷色とマーク３８の記入色が同一であっても、適確な認識を行うことが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書のマーク認識装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、マーク認識装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、マーク認識装置２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアに、上述したマーク認識装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

なお、本発明は非ドロップアウト色で印刷された帳票の場合に特に有効であるが、ドロップアウト色の帳票であっても問題なく認識することができる。このため、ガイドライン３６がドロップアウト色であるか否かに関わらず、手記入されたマークの認識を行うことができる。

２０ マーク認識装置
３０ イメージスキャナ
２１６ 操作部
２２０ 表示部
２２４ 制御部
２２８ フォーマット情報入力部
２３２ フォーマット情報格納部
２３６ 画像入力部
２４０ 入力画像メモリ
２４４ 記入枠切出し部
２４８ カラー画像メモリ
２５２ 画像処理部
２５６ ２値画像メモリ
２６０ 画素抽出部
２６４ マーク認識部

Claims (12)

1. 紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部を備え、
   前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、認識装置。
2. 前記輝度分布の程度は、輝度分布のばらつきの程度である、請求項１に記載の認識装置。
3. 前記認識装置は、
   前記所定領域内の画素として、前記媒体の撮像により得られる媒体画像の所定領域に記入されている線のエッジ部を除く画素を抽出する画素抽出部をさらに備える、請求項１または２に記載の認識装置。
4. 前記認識装置は、
   前記媒体画像の所定領域に対して、画素値が閾値より高い画素を第１の値に設定し、他の画素を第２の値に設定する２値化処理を施し、
   前記第２の値を有し、前記第１の値を有する画素と隣接する画素を前記第１の値に設定する、画像処理部をさらに備え、
   前記画素抽出部は、前記所定領域内の画素として、前記媒体画像の所定領域の画像から、前記画像処理部の処理により得られる画像において前記第２の値を有する画素に対応する位置の画素を抽出する、請求項３に記載の認識装置。
5. 前記輝度分布の程度は、前記所定領域内の画素の輝度の標準偏差または分散である、請求項１に記載の認識装置。
6. 前記媒体は、前記所定領域内に機械印刷が行われた媒体である、請求項１〜５のいずれか一項に記載の認識装置。
7. 前記機械印刷は、手記入よりも高い明度で行われる、請求項６に記載の認識装置。
8. 前記媒体は、金融機関で扱われる帳票である、請求項１〜７のいずれか一項に記載の認識装置。
9. 前記手記入の行われた状態は前記所定領域内にマークが手記入された状態である、請求項１〜８のいずれか一項に記載の認識装置。
10. 紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識することを含み、
    前記所定領域内の記入状態を認識することは、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識することを含む、認識装置により実行される認識方法。
11. コンピュータを、
    紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部として機能させ、
    前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、プログラム。
12. 紙葉状の媒体の撮像に基づいて得られる画像の所定領域内の記入状態を認識する認識部を備え、
    前記認識部は、前記所定領域内の画素の輝度分布の程度が所定基準を上回り、かつ、前記所定領域内の画素の明度平均値が所定明度以下である場合に、前記所定領域の記入状態が手記入の行われた状態であると認識する、認識システム。
    
    

Images