JP5189056B2 - マーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラム - Google Patents

Description

本発明は、帳票の画像データから、選択項目を表すガイド文字と、選択項目を選択するために記入されたマーク図形を含むマーク項目を抽出して認識処理を行うマーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラムに関する。

一般に、帳票等、予め記入する項目が決められている定型の文書では、記入が必須で、かつ、いくつかの選択候補が存在する項目については、予め選択肢として選択候補を表すガイド文字を帳票上に印刷してある。利用者は、その中から選択するガイド文字に丸やレ点等の印を記入する。以下、このような印をマークまたはマーク図形とし、ガイド文字にマーク図形を記入することによって選択する項目をマーク項目とする。従来、このような帳票では、帳票の認識処理において選択項目を表すガイド文字とその他を分離できるように、ガイド文字をドロップアウト色で印刷していた。認識処理では、ガイド文字をドロップアウトさせて、残った画像の位置によって選択された選択項目を判定していた。しかし、近年は、ＩＴ（Information Technology）適用分野の拡大に伴って、認識対象の帳票の範囲が広がり、ガイド文字がドロップアウト色でないマーク項目の認識機能の実現要望が高まっている。

このため、未記入帳票のイメージをフォームイメージとして予め登録しておき、入力イメージからフォームイメージを除去し、除去後のイメージに基づいてマーク記入箇所を判定する方法がある（例えば、特許文献１）。また、入力イメージの投影分布からガイド文字とその周囲に記入したマーク範囲を抽出することで、マーク記入箇所を判定する方法がある（例えば、特許文献２）。さらに、ガイド文字を探索して除去し、周囲の画素数をカウントし、閾値以上にある場合に選択されたと判定することで、マーク記入箇所を判定する方法もある（例えば、特許文献３）。

特開２００２−２５９９０９号公報 特開２００８−７７６０６号公報 特開２００８−１９７７６４号公報

しかし、従来のマーク項目認識方法では、マーク項目認識の精度が低いという問題点があった。
帳票のマーク記入は、不特定多数の帳票の利用者がそれぞれに行うものであるため、帳票に記入されたマークの形状は一様ではない。例えば、ガイド文字を囲むようにマークすることを促すため、ガイド文字の周囲に補助情報としてガイド図形を印刷している帳票もある。しかし、ガイド図形が印刷されていても、記入されるマークの形状は、ガイド文字を囲むようにマークされている場合ばかりではない。記入マークが、ガイド文字上にガイド文字の一部のみを囲む形状である場合、選択したガイド文字の近くにある他のガイド文字にもマークが一部重なる形状の場合、囲み記号ではなく、レ点のような他の記号をガイド文字に書き込んだ場合、記入の一部がかすれた場合等、様々なケースがある。

しかしながら、単に、ガイド文字の周囲を検索し、マーク記入箇所を判定する従来の方法では、ガイド文字の周囲を囲むようにマークされている形状は認識できるが、それ以外の認識の精度は低くなる。予め未記入の帳票のイメージをフォームイメージとして登録しておけば、マーク項目認識の精度は上がる。しかし、認識対象の全帳票について未記入状態の帳票を入手し、登録するのは手間がかかるため、利用者の大きな負担となる。さらに、帳票が改訂された場合には、新たな帳票を入手してフォームイメージを登録し直す必要があった。また、帳票のフォームイメージが僅かに異なれば、そのフォームイメージでは対応することができなくなる等、利便性が低かった。

本発明は、このような点に鑑みてなされたものであり、事前のフォームイメージの登録を行うことなく、マーク項目の認識精度を上げることが可能なマーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラムを提供することを目的とする。

上記課題を解決するために、マーク図形除去手段、文字認識手段及び認識制御手段を有し、帳票の画像データからマーク項目を抽出して認識処理を行うマーク項目認識装置が提供される。マーク図形除去手段は、対象帳票の画像データを取得し、対象帳票に予め印刷された選択項目を表すガイド文字と、選択項目を選択するために記入されたマーク図形とが含まれるマーク項目領域の画像データを抽出する。マーク図形の形状を予め定義したマーク図形定義に基づいて、マーク項目領域の画像データに含まれるマーク図形定義に適合する形状を探索し、検出したマーク図形の位置を特定する。さらに、マーク図形と判定した形状をマーク項目領域の画像データから除去する。文字認識手段は、指示された対象の画像データから文字を抽出し、文字認識辞書記憶手段に記憶する文字認識辞書に基づいて、抽出した文字を認識する。認識制御手段は、マーク図形除去手段によってマーク図形を除去したマーク項目領域の画像データを対象とする文字認識を文字認識手段に行わせ、得られた文字認識結果及びマーク図形の位置をマーク項目認識結果として出力する。

また、上記課題を解決するために、上記マーク項目認識装置と同様の処理手順を実行するマーク項目認識方法と、コンピュータを上記マーク項目認識装置と同様に機能させるマーク項目認識プログラムと、が提供される。
また、上記課題を解決するために、さらに、マーク記入位置判定手段を有するマーク項目認識装置が提供される。マーク記入位置判定手段は、ガイド文字を含む文字の字形画像を文字の識別情報に対応付けて定義した字形辞書を字形辞書記憶手段に記憶しておき、文字認識手段によって認識された認識文字の識別情報に基づいて字形辞書を検索して該認識文字の字形画像を取得し、字形画像をマーク項目領域の画像データ上の認識文字と重ね合わせ、重なる部分を除去して認識文字をマーク項目領域の画像データから除去し、残った画像データと、マーク図形定義とを比較して適合しているか否かを判定し、適合しているときは残った画像データをマーク図形と見なし、マーク図形の位置を判定し、認識制御手段は、マーク図形が検出できないとき及びマーク項目領域の一部のガイド文字で文字認識手段による文字認識ができないときは、マーク記入位置判定手段によってマーク項目領域のマーク図形の位置を特定する。

開示のマーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラムによれば、マーク項目領域内のマーク図形を検出してマーク位置を特定するとともに、マーク図形の形状を画像データから除去することによって、ガイド文字をマーク図形から分離して文字認識を行う。これにより、マーク図形とガイド文字とが重なっている場合であっても、それぞれが認識可能となり、マーク項目の認識精度を上げることができる。

第１の実施の形態のマーク項目認識装置の構成例を示したブロック図である。 読み取り対象の帳票の一例を示した図である。 マーク項目認識装置のハードウェア構成例を示すブロック図である。 マーク項目認識装置のソフトウェア構成例を示すブロック図である。 対象帳票及び対象帳票マーク項目位置の一例を示した図である。 ガイド図形の検出と除去処理の一例を示した図である。 ガイド文字範囲の特定処理の一例を示した図である。 文字認識処理の一例を示した図である。 ガイド文字テーブルと文字認識結果チェック処理の一例を示した図である。 マーク図形の探索処理の一例を示した図である。 マーク付き文字認識処理部の文字認識処理の一例を示した図である。 認識結果情報の一例を示した図である。 マーク記入位置判定処理における字形抽出までの処理の一例を示した図である。 ガイド文字除去のための字形画像の生成処理を示した図である。 ガイド文字除去処理の一例を示した図である。 マーク図形の位置特定処理の一例を示した図である。 ガイド文字テーブルを用いた文字認識結果の補正処理の一例を示した図である。 その他の帳票イメージの例を示した図である。 マーク項目認識処理全体の処理手順の一例を示した図である。 一次文字認証処理の処理手順の一例を示したフローチャートである。 マーク付き文字認証処理の処理手順の一例を示したフローチャートである。 リトライ処理の処理手順の一例を示したフローチャートである。

以下、実施の形態を、図面を参照して説明する。
図１は、第１の実施の形態のマーク項目認識装置の構成例を示したブロック図である。
マーク項目認識装置１０は、文字認識辞書記憶手段１１ａ、ガイド文字テーブル記憶手段１１ｂ及び字形辞書記憶手段１１ｃの記憶手段と、マーク項目位置特定手段１２、ガイド図形除去手段１３、認識制御手段１４、文字認識手段１５、マーク図形除去手段１６及びマーク記入位置判定手段１７の各処理手段を有する。各処理手段は、コンピュータがマーク項目認識プログラムを実行することにより、その処理機能を実現する。

文字認識辞書記憶手段１１ａは、画像データから抽出した文字画像の文字を認識するため、文字の画像特徴と、文字の識別情報とを対応付けた文字認識辞書を記憶する。ガイド文字テーブル記憶手段１１ｂは、帳票に予め印刷されたガイド文字を定義したガイド文字定義を有するガイド文字テーブルを記憶する。ガイド文字は、利用者等がマークを記入して選択する選択項目を表す文字である。例えば、金融機関での振込に使用する振込依頼書で、科目の選択項目を表す「普通」、「当座」等の文字がガイド文字である。字形辞書記憶手段１１ｃは、フォントに応じた文字の字形、すなわち文字の画像データを、文字の識別情報に関連付けた字形辞書を記憶する。

マーク項目位置特定手段１２は、認識対象の帳票をスキャナ等で読み取ったイメージ画像の画像データを取得し、マーク項目認識を行う項目の位置を特定する。例えば、マーク項目に設定されている文字枠を検出し、その文字枠内をマーク項目領域としてマーク項目の位置を特定する。また、事前に作成した定義情報の位置を用いるとしてもよい。

ガイド図形除去手段１３は、マーク項目位置特定手段１２によって特定したマーク項目領域にガイド図形が含まれていないかどうかを判定する。ガイド図形とは、選択記入位置を示したガイド文字にマークを記入する際のガイドとなる図形である。例えば、予め印刷されたガイド文字の周囲を囲む楕円または円状の図形等である。ここでは、ガイド図形は、点線で描かれた閉じた形状（円状とする）であるとする。ガイド図形除去手段１３では、マーク項目領域の画像データを読み出し、ガイド図形の条件に合致する形状を探索する。探索できたときは、検出した形状をガイド図形と判定し、画像データのガイド図形に対応する画素の色を帳票背景色に置き換え、ガイド図形を除去する。

認識制御手段１４は、文字認識手段１５、マーク図形除去手段１６及びマーク記入位置判定手段１７を制御し、マーク項目領域に含まれるガイド文字を認識するとともに、マーク図形の記入位置を検出する。文字認識手段１５が認識した認識文字と、ガイド文字テーブル記憶手段１１ｂが記憶するガイド文字テーブルとを照合し、一致率を求める。一致率が所定の閾値を超えたときは、文字認識が正しくできたと判定する。一致率が所定の閾値を超えないときは、文字認識不可としてマーク図形除去手段１６によってマーク図形を除去して文字認識を行わせる。また、マーク図形の位置が特定できないときは、マーク記入位置判定手段１７によってガイド文字を除去してマーク図形の位置を特定する。

文字認識手段１５は、マーク項目内のガイド文字の画素を縦及び横に投影してヒストグラムを求め、ひとかたまりのガイド文字範囲の位置を探索する。そして、探索したガイド文字範囲の位置ごとに、文字認識辞書記憶手段１１ａが記憶する文字認識辞書を用いて文字認識を実行する。このとき、ガイド文字１文字の判別がしにくいものがあった場合には、認識できたガイド文字の画素を縦、横に投影して１文字のサイズを求め、１文字のサイズをガイド文字範囲に適用し、１文字ごとに分割した分割画像を用いて文字認識を行うとしてもよい。

マーク図形除去手段１６は、文字認識手段１５が検出したガイド文字範囲を周辺のガイド文字まで拡張した領域を探索範囲として、各ガイド文字に対するマーク図形を探索する。マーク図形の形状は予め定義されており、探索範囲の画像データを読み出し、マーク図形の定義に適合する形状を探索し、マーク図形の位置を特定する。探索できたときは、検出した形状をマーク図形と判定し、画像データのマーク図形に対応する画素の色を背景色に変え、マーク図形を除去する。

マーク記入位置判定手段１７は、文字認識手段１５において認識できた文字から１文字のサイズを求める。サイズの求め方は上記の文字認識手段１５と同様である。そして、認識された文字に対応する字形を字形辞書記憶手段１１ｃが記憶する字形辞書から抽出し、認識できた文字の認識画像のサイズに合わせて字形を拡大または縮小（以下、拡縮とする）する。そして、拡縮した字形画像と、認識画像とを重ね合わせ、一致する画素の色を帳票背景色に置き換えることにより、ガイド文字を除去する。そして、画像データ上に残った図形からマーク図形を探索し、位置を特定する。

このような構成のマーク項目認識装置１０を用いたガイド文字の文字認識処理及びマーク記入位置検出処理について説明する。
マーク項目認識装置１０は、帳票のイメージ画像の画像データを入力し、マーク項目位置特定手段１２によってマーク項目領域の位置を特定する。次に、ガイド図形除去手段１３は、マーク項目領域の画像データを読み出し、ガイド図形を探索する。ガイド図形の条件に合致する形状を探索し、検出した形状をガイド図形と判定して、画像データのガイド図形に対応する画素の色を帳票背景色に置き換え、ガイド図形を除去する。検出できないときは、ガイド図形の除去は行わない。以降の処理では、ガイド図形除去手段１３によってガイド図形が除去された画像データを対象として処理を行う。

認識制御手段１４は、文字認識手段１５にマーク項目領域の文字認識を指示する。文字認識手段１５は、マーク項目領域内のガイド文字の画素を縦及び横に投影してヒストグラムを求めてガイド文字範囲の位置を探索する。そして、探索したガイド文字範囲の位置ごとに、文字認識辞書記憶手段１１ａが記憶する文字認識辞書を用いて文字認識を実行する。文字認識結果は、認識制御手段１４に通知する。認識制御手段１４は、認識結果と、ガイド文字テーブル記憶手段１１ｂのガイド文字テーブルから一致するガイド文字定義を検索し、一致率を算出する。所定の閾値以上一致する場合は、文字認識が正しく実行できたと判定する。認識ができなかった認識不可のガイド文字と、正しく認識できたガイド文字が存在するときは、マーク図形がガイド文字に重なっている可能性が高い。そこで、マーク図形除去手段１６にマーク図形の検出と除去を指示する。マーク図形除去手段１６は、文字認識手段１５が検出した認識不可のガイド文字を含むガイド文字範囲を周辺のガイド文字まで拡張した領域を探索範囲として、各ガイド文字範囲に存在するマーク図形を探索する。検出されたときは、マーク項目領域の画像データからマーク図形を除去する。マーク図形の位置及びマーク図形を除去した画像データは、認識制御手段１４に出力する。認識制御手段１４は、マーク図形を除去したマーク項目領域の画像データに対し、文字認識を行うように文字認識手段１５に指示する。文字認識手段１５は、マーク図形が除去された画像データに基づいて２回目の文字認識を行い、結果を認識制御手段１４に通知する。認識制御手段１４は、ガイド文字テーブルと比較して一致率を算出し、所定の閾値を超える一致率のとき、正しく読めたと判定する。そして、１回目及び２回目の文字認識結果と、マーク図形の位置とをマーク項目認識結果として出力する。マーク図形の位置は、マーク図形がどのガイド文字範囲に記入されているかを示す情報であり、選択されたガイド文字がわかればよく、正確な座標は必要ない。

さらに、認識制御手段１４は、マーク図形が検出できない場合等、必要に応じて、マーク記入位置判定手段１７にマーク記入位置の検出を指示する。マーク記入位置判定手段１７は、認識文字の字形を字形辞書記憶手段１１ｃの字形辞書から抽出し、その字形をマーク項目領域の画像データのガイド文字と重ね合わせて一致する箇所を除去し、画像データからガイド文字を除去する。そして残ったマーク図形の位置を特定し、認識制御手段１４に通知する。認識制御手段１４は、特定されたマーク図形の位置と、文字認識結果とをマーク項目認識結果として出力する。

このように、マーク項目領域内のマーク図形を除去してガイド文字の文字認識を行うことにより、ガイド文字とマーク図形とが同じ色で、かつ、ガイド文字とマーク図形とが重なった場合でもガイド文字の文字認識の精度を上げることができる。また、画像データからガイド文字を除去し、マーク図形の位置を特定することにより、どのような形状の図形がガイド文字上に記入されたかをより高精度に判定することができる。以上のように、ガイド文字とマーク図形を分離してそれぞれ認識処理を行うことにより、それぞれを高い精度で認識することが可能となり、また未記入帳票を予め用意する必要もなくなり、利便性が向上する。

以下、第２の実施の形態として、マーク項目認識処理を金融機関等で使用する帳票に適用した場合を例に、図面を参照して詳細に説明する。まず、読み取り対象の帳票の例を説明する。図２は、読み取り対象の帳票の一例を示した図である。（１）はガイド図形がない場合、（２）はガイド図形がある場合の例を示した図である。ガイド図形は、記入を促す補助情報となる図形で、図２では、ガイド文字「普通預金」と「当座預金」、それぞれを囲む点線で構成される楕円形状を有する。マーク図形も同様に、選択するガイド文字を囲む閉じた図形であるとする。また、図２では、ガイド文字及びガイド図形は、記入文字と同じ黒色であるとする。

（１）ガイド図形がない場合の一例として、６つのパターンを示している。（１−ａ）は、ガイド文字を囲むようにマーク図形が記入されている例である。帳票２１０ａには、ガイド文字の「普通預金」２１２ａ及び「当座預金」２１３ａが予め印刷されている。ここでは、「普通預金」２１２ａが選択され、「普通預金」２１２ａを囲むようにマーク図形２１１ａが記入されている。以下、ガイド文字は同じであるので、番号は省略する。（１−ｂ）は、ガイド文字上にマーク図形が記入されている例である。帳票２１０ｂには、ガイド文字「普通預金」の文字上にマーク図形２１１ｂが記入されている。（１−ｃ）は、選択した以外のガイド文字に影響があるマーク図形が記入されている例である。帳票２１０ｃには、選択したガイド文字「普通預金」を超えて、マーク図形２１１ｃが、他のガイド文字「当座預金」にかかっている。（１−ｄ）は、ガイド文字の前にマーク図形を記入されている例である。帳票２１０ｄは、ガイド文字「普通預金」の前にマーク図形２１１ｄが記入されている。（１−ｅ）は、定義されたマーク図形以外の図形が記入されている例である。帳票２１０ｅは、ガイド文字「普通預金」の上にレ点の形状のマーク図形２１１ｅが記入されている。（１−ｆ）は、マーク図形がかすれている例である。帳票２１０ｆは、ガイド文字「普通預金」を囲むマーク図形２１１ｆがかすれている。

（２）ガイド図形がある場合の一例として、（１）と同様の６つのパターンを示している。（２−ａ）は、ガイド図形に沿ってガイド文字を囲むようにマーク図形が記入されている例である。帳票２２０ａには、ガイド文字の「普通預金」及び「当座預金」とともにガイド図形２２４ａ，２２５ａが予め印刷されている。ここでは、ガイド文字「普通預金」の周囲にガイド図形２２４ａ、ガイド文字「当座預金」の周囲にガイド図形２２５ａが印刷されている。ここでは、「普通預金」が選択され、マーク図形２２１ａが記入されている。（２−ｂ）は、ガイド文字上にマーク図形が記入されている例であり、帳票２２０ｂには、ガイド文字「普通預金」の文字上にマーク図形２２１ｂが記入されている。（２−ｃ）は、選択した以外のガイド文字に影響があるマーク図形が記入されている例であり、帳票２２０ｃには、選択したガイド文字「普通預金」を超えて、マーク図形２２１ｃが、他のガイド文字「当座預金」にかかっている。（２−ｄ）は、ガイド文字の前にマーク図形を記入されている例であり、帳票２２０ｄは、ガイド文字「普通預金」の前にマーク図形２２１ｄが記入されている。（２−ｅ）は、定義されたマーク図形以外の図形が記入されている例である。帳票２２０ｅは、ガイド文字「普通預金」の上にレ点の形状のマーク図形２２１ｅが記入されている。（２−ｆ）は、マーク図形がかすれている例であり、帳票２２０ｆは、ガイド文字「普通預金」を囲むマーク図形２２１ｆがかすれている。なお、図２のマーク図形の記入例は一例であり、実際にはさらに多くのパターンが存在する。

ここで、マーク項目認識装置のハードウェア構成について説明する。図３は、マーク項目認識装置のハードウェア構成例を示すブロック図である。
マーク項目認識装置１００は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＡＭ（Random Access Memory）１０２、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、及び画像入力部１０６が接続されている。

ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。ＨＤＤ１０３には、ＯＳやアプリケーションのプログラムが格納される。グラフィック処理装置１０４には、モニタ１０８が接続されており、ＣＰＵ１０１からの命令に従って画像をモニタ１０８の画面に表示させる。入力インタフェース１０５には、キーボード１０９ａやマウス１０９ｂが接続されており、キーボード１０９ａやマウス１０９ｂから送られてくる信号を、バス１０７を介してＣＰＵ１０１に送信する。画像入力部１０６は、スキャナ３００に接続されており、スキャナ３００が読み取った対象帳票の画像データを入力する。

このようなハードウェア構成によって、マーク項目認識装置の処理機能を実現することができる。
次に、マーク項目認識装置１００のソフトウェア構成について説明する。図４は、マーク項目認識装置のソフトウェア構成例を示すブロック図である。

マーク項目認識装置１００は、スキャナ制御部１１０、入力イメージ格納メモリ１２０、マーク項目位置特定部１３０、マーク項目認識処理部１４０及び文字認識結果格納メモリ１５０を有する。各処理部は、コンピュータがマーク項目認識処理プログラムを実行することにより、その処理機能を実現する。

スキャナ制御部１１０は、スキャナ３００を制御し、対象帳票のイメージ画像の読み取りを実行させる。そして、スキャナ３００が読み取った対象帳票イメージの画像データを入力し、入力イメージ格納メモリ１２０に格納する。

入力イメージ格納メモリ１２０は、スキャナ制御部１１０を介して入力した対象帳票の画像データを記憶する。他の各処理から読み書き可能なメモリで、途中で画像処理を施した画像データを格納するとしてもよい。

マーク項目位置特定部１３０は、入力イメージ格納メモリ１２０から対象帳票の画像データを読み出し、マーク項目領域の位置を特定する。
マーク項目認識処理部１４０は、認識制御部１４１、マーク色判定処理部１４２、一次文字認識処理部１４３、マーク付き文字認識処理部１４４、マーク記入位置判定部１４５、文字認識辞書データベース（以下、ＤＢとする）１４６、字形辞書ＤＢ１４７及びガイド文字テーブルＤＢ１４８を有する。認識制御部１４１は、マーク色判定処理部１４２、一次文字認識処理部１４３、マーク付き文字認識処理部１４４及びマーク記入位置判定部１４５を制御し、マーク項目の認識処理を行う。ガイド文字の文字認識を行い、マーク図形の位置を特定することにより、マーク図形によって選択されている選択項目の内容を認識する。マーク色判定処理部１４２は、マーク項目領域内のガイド文字やマーク図形の色を抽出する。色が異なるときは、色の違いに応じてガイド文字とマーク図形とを分離することができる。一次文字認識処理部１４３は、マーク項目領域内のガイド文字の位置を特定して文字を抽出し、文字認識辞書ＤＢ１４６を用いて文字認識を行う。マーク付き文字認識処理部１４４は、マーク項目領域内のマーク図形の位置を特定し、マーク図形を画像データから除去した後、文字認識を行う。マーク記入位置判定部１４５は、マーク項目領域の画像データからガイド文字を除去し、マーク図形を検索して、その記入位置を判定する。文字認識辞書ＤＢ１４６は、文字を認識するための文字画像の特徴と、文字コードとが対応付けられている。字形辞書ＤＢ１４７は、文字の字形（文字の画像データ）が、文字コードに対応付けられている。ガイド文字テーブルＤＢ１４８は、ガイド文字として存在し得る文言のコードデータを事前に定義したガイド文字テーブルを記憶する。なお、一致率の閾値で認識文字と比較するため、ガイド文字テーブルには認識対象帳票上のガイド文字が漏れなく定義されている必要はない。

文字認識結果格納メモリ１５０は、マーク項目認識処理部１４０が求めたガイド文字の文字認識結果と、マーク図形の位置とを記憶する。
上記の構成のマーク項目認識装置１００の動作及びマーク項目認識方法について説明する。以下では、マーク項目認識処理手順を、［１］準備処理、［２］一次文字認識処理、［３］マーク付き文字認識処理、［４］マーク記入位置判定処理、に分けて説明する。

［１］準備処理
準備処理では、マーク項目認識装置１００が画像データを入力し、対象のマーク項目領域を特定するまでの処理手順を行う。

マーク項目認識装置１００では、スキャナ制御部１１０がスキャナ３００を制御し、対象帳のイメージ画像の画像データを取得し、画像データを入力イメージ格納メモリ１２０に格納する。マーク項目位置特定部１３０は、入力イメージ格納メモリ１２０に格納される対象帳票の画像データを解析し、選択項目を表すガイド文字と、選択項目の選択を記入したマーク図形とが含まれるマーク項目領域の位置を特定する。

図５は、対象帳票及び対象帳票マーク項目位置の一例を示した図である。（ａ）は、対象帳票の一例、（ｂ）は、対象帳票マーク項目位置の一例を示している。
（ａ）対象帳票は、認識対象の帳票の一部を示している。帳票２００には、見出し部２０１と、対応するデータ部２０２とが、それぞれ文字枠によって囲まれている。見出し部２０１には、予め見出し文言の「科目」が印刷されている。データ部２０２には、「科目」に対応するデータとして、予めガイド文字「普通預金」及び「当座預金」が上下に並んで印刷されている。「普通預金」及び「当座預金」は、「科目」の選択項目に相当する。

（ｂ）対象帳票マーク項目位置は、マーク項目位置特定部１３０が検出したマーク項目領域の座標値を示している。マーク項目位置特定部１３０は、解析範囲を大まかに背景、文字枠、及び文字に分類し、その分類結果に基づいて文字枠を特定する。例えば、本願出願人による特願２００８−０８９１１８号に記載の文字枠検出方法を用いる。ここでは、見出し部２０１の文字枠の位置座標として、左上隅（ＤＸｓ１，ＤＹｓ１）と、右下隅（ＭＸｓ１，ＭＹｓ１）とを検出する。また、データ部２０２の文字枠の位置座標として、左上隅（ＤＸｓ２，ＤＹｓ２）と、右下隅（ＭＸｓ２，ＭＹｓ２）とを検出する。マーク項目認識処理部１４０の処理では、データ部２０２の位置座標に基づいてマーク項目領域を決める。なお、マーク項目位置特定部１３０によるのではなく、事前にデータ部２０２の位置座標（ＤＸｓ１，ＤＹｓ１）、（ＭＸｓ１，ＭＹｓ１）を定義しておくとしてもよい。

以上の処理手順により、入力イメージ格納メモリ１２０に対象帳票の画像データが格納され、認識対象のマーク項目領域の位置が特定される。
［２］一次文字認識処理
一次文字認識処理では、一次文字認識処理部１４３が、マーク項目領域のガイド文字の文字認識処理を行う。

認識制御部１４１は、マーク色判定処理部１４２によってガイド文字、ガイド図形及びマーク図形の色を判定する。ここでは、すべて同種の色であるという判定がされたとする。

認識制御部１４１は、続いて一次文字認識処理部１４３による文字認識処理を指示する。一次文字認識処理部１４３は、マーク項目位置特定部１３０が特定したデータ部２０２の位置座標に基づいて、マーク項目領域の画像データを入力イメージ格納メモリ１２０から抽出する。そして、ガイド図形の検出と除去を行う。

図６は、ガイド図形の検出と除去処理の一例を示した図である。（ａ）は入力画像を示している。（ｂ）はガイド図形除去後の画像を示している。
（ａ）対象帳票に示した画像２３０は、一次文字認識処理部１４３が、入力イメージ格納メモリ１２０から読み出したマーク項目領域の画像データに基づく画像である。ガイド文字「普通預金」に対するガイド図形２３４ａと、ガイド文字「当座預金」に対するガイド図形２３４ｂが存在する。また、利用者が記入したマーク図形２３１も画像２３０に含まれている。ここで、一次文字認識処理部１４３は、ガイド図形の定義に基づき、画像２３０の画像データを調べ、画像２３０内のガイド図形を探索する。ガイド図形の色の画素を矢印のようにトレースし、ガイド図形の定義に適合する形状を探索する。ここでは、ガイド図形の定義を「同じ長さの点が円状に配置されている」とし、このような形状が検出されるかどうかを探索する。探索の結果、ガイド図形２３４ａ，２３４ｂを検出する。検出したガイド図形２３４ａ，２３４ｂを画像２３０の画像データから除去し、画像２３０ａの状態にする。例えば、画像２３０のガイド図形２３４ａ，２３４ｂに相当する画像データの画素を背景色に置き換えて除去する。こうして、ガイド図形２３４ａ，２３４ｂが除去され、マーク図形２３１が残った画像２３０ａに対応する画像データを生成する。

続いて、画像２３０ａの画像データを用いて文字認識処理を行う。文字認識処理では、最初に、ガイド文字範囲を特定する。図７は、ガイド文字範囲の特定処理の一例を示した図である。（ａ）はガイド図形が除去された画像、（ｂ）は縦方向のヒストグラム、（ｃ）は横方向のヒストグラム、（ｄ）はガイド文字範囲、を示している。

一次文字認識処理部１４３は、ガイド図形２３４ａ，２３４ｂが除去された画像２３０ａの画像データを用いて、画像２３０ａの縦方向に画素を投影し、ヒストグラム２３０ｂを作成する。同様に、画像２３０ａの画像データを用いて、横方向に画素を投影し、ヒストグラム２３０ｃを作成する。作成したヒストグラムは文字範囲に画素がカウントされ、文字の中心付近が最大値となる。値が所定の閾値を超える範囲を検出し、縦方向に画素を投影したヒストグラム２３０ｂから文字列高さ２３５を検出する。同様に、横方向に画素を投影したヒストグラム２３０ｃから文字列幅２３６を検出する。検出した文字列の高さと、文字列幅２３６とを組み合わせ、ガイド文字範囲の位置を特定する。図７の例では、ガイド文字範囲２３０ｄに示したように、第１のガイド文字範囲２３７と、第２のガイド文字範囲２３８の位置を特定する。

一次文字認識処理部１４３は、こうして特定した第１のガイド文字範囲２３７と第２のガイド文字範囲２３８を、ガイド図形を除去した画像２３０ａに適用し、ガイド文字の文字認識を行う。図８は、文字認識処理の一例を示した図である。

一次文字認識処理部１４３は、特定したガイド文字範囲の位置に基づいて、ガイド図形を除去した画像２３０ａから、第１のガイド文字範囲２３７の画像２４１ａと、第２のガイド文字範囲２３８の画像２４１ｂと、を切り出す。そして、第１のガイド文字範囲２３７の画像２４１ａについて、文字を抽出し、文字認識辞書ＤＢ１４６を用いて文字認識処理を行う。画像２４１ａには、マーク図形２３１が含まれていることから、マーク図形２３１が掛かる「普」、「通」、「預」、の文字認識はできず、「金」のみを文字認識する。これにより、文字認識結果「？金」２４２ａが得られる。なお、「？」は、識別不能の文字を表すリジェクト文字である。第２のガイド文字範囲２３８の画像２４１ｂについても同様にして文字認識を行う。画像２４１ｂには、マーク図形２３１が含まれていないことから、「当座預金」すべてを文字認識する。これにより、文字認識結果「当座預金」２４２ｂが得られる。文字認識結果は、認識制御部１４１へ送る。

認識制御部１４１は、受け取った文字認識結果、「？金」２４２ａと、「当座預金」２４２ｂとを、ガイド文字テーブルＤＢ１４８に記憶されているガイド文字テーブルのガイド文字定義と照合し、チェックを行う。図９は、ガイド文字テーブルと文字認識結果チェック処理の一例を示した図である。

ガイド文字テーブル１４８０には、分類「科目」のガイド文字として、ガイド１（１４８１）と、ガイド２（１４８２）が登録されている。ガイド１（１４８１）は、種別が「普通」で、ガイド文字として“普通”、“普通預金”、“普”が定義されている。ガイド１（１４８２）は、種別が「当座」で、ガイド文字として“当座”、“当座預金”、“当”が定義されている。

認識制御部１４１は、文字認識結果「？金」２４２ａ及び「当座預金」２４２ｂと、ガイド１（１４８１）及びガイド２（１４８２）とを照合して一致率を算出し、文字認識結果のチェックを行う。ここで、「当座預金」２４２ｂは、ガイド２（１４８２）の“当座預金”と一致する。一致率を、例えば、ガイド文字テーブル１４８０の定義文字列のうち、どの程度一致するかの割合とすると、“当座預金”の４文字すべてが一致するので、一致率は１００パーセント（以下、％と表記する）となる。また、ガイド１（１４８１）とは、一致する文字が“普通預金”の“預金”のみであり、“当座預金”と一意に特定できるので、正しく認識できたと判定する。「？金」２４２ａについては、ガイド１（１４８１）の“普通預金”の“金”と、ガイド２（１４８２）の“当座預金”の“金”とが一致する。４文字のうち１文字が一致するが、ガイド１（１４８１）またはガイド２（１４８２）のどちらに対応するのかを一意に特定できないため、認識できなかったと判定する。

なお、１文字しか文字認識できなかった場合であっても、「普？」と認識できれば、ガイド１（１４８１）の“普”と一致し、かつ、ガイド１（１４８１）に対応すると一意に特定できるので、正しく認識できたと判定できる。また、正しく文字認識できたと判定する閾値を５０％であるとし、「普？金」と文字認識できたとする。この場合、ガイド１（１４８１）の“普通預金”との一致率は５０％であり、かつ、ガイド１（１４８１）に対応すると一意に特定できるので、正しく認識できたと判定できる。このように、一致率で判定を行うことにより、ガイド文字の判定パターンをすべて定義しておかなくても判定を行うことができる。なお、上記の一致率は一例であり、一致率は、一致した文字の位置や、一致しなかった文字の個数などを加味し、適宜計算式が決められる。

以上の処理手順が実行されることにより、一次文字認識処理が行われ、ガイド文字の認識結果が得られる。しかし、この例では、これまでの処理でガイド文字「当座預金」は文字認識されたが、ガイド文字「普通預金」の文字認識と、マーク図形の位置の特定はできていない。続けて、マーク付き文字認識処理を行う。

［３］マーク付き文字認識処理
マーク付き文字認識処理では、マーク付き文字認識処理部１４４が、マーク項目領域のマーク図形の位置を特定し、マーク項目領域の画像からマーク図形を除去してガイド文字の文字認識処理を行う。

認識制御部１４１は、マーク付き文字認識処理部１４４による文字認識処理を指示する。マーク付き文字認識処理部１４４は、ガイド図形を除去したマーク項目領域の画像２３０ａの画像データを読み出し、マーク図形の探索を行う。図１０は、マーク図形の探索処理の一例を示した図である。（ａ）は対象領域の切り出し、（ｂ）はマーク図形の探索、（ｃ）はマーク図形の除去を示している。

マーク付き文字認識処理部１４４は、一次文字認識処理部１４３の文字認識処理において文字認識ができなかった第１のガイド文字範囲２３７を対象として処理を行う。まず、（ａ）に示したように、第１のガイド文字範囲２３７の範囲を隣接するガイド文字まで拡張し、図形探索範囲２５０を切り出す。図１０の例では、隣接するガイド文字「当座預金」の領域に到達するまで図形探索範囲２５０を拡張している。画像２３０ａから図形探索範囲２５０の画像を切り出す。続いて、（ｂ）に示したように、図形探索範囲２５０からマーク図形定義に適合する形状を探索する。ここでは、マーク図形定義を「円状の閉じた図形」とし、条件に適合する図形を探索する。例えば、画像データを用いて連続する画素を辿り、閉じているかどうかを判定する。こうして、マーク図形２３１を検出し、位置を特定する。次に、（ｃ）に示したように、特定したマーク図形２３１を除去した画像２５０ａの画像データを生成する。マーク図形２３１に対応する画素の色を背景色に置き換え、マーク図形２３１を除去する。

マーク付き文字認識処理部１４４は、マーク図形２３１を除去した画像２５０ａの画像データを用いて、第１のガイド文字範囲２３７の文字認識を行う。一次文字認識処理部１４３と同様に、第１のガイド文字範囲２３７から文字画像を抽出し、文字認識を行うとすることもできるが、ここでは、１文字ずつ切り出して文字認識を行う。図１１は、マーク付き文字認識処理部の文字認識処理の一例を示した図である。（ａ）は１文字サイズの抽出、（ｂ）は文字単位の分割、（ｃ）は文字認識、の処理を示している。

（ａ）に示したように、マーク付き文字認識処理部１４４は、一次文字認識処理部１４３において正しく文字認識が実行できたガイド文字「当座預金」を対象として１文字サイズを抽出する。なお、これは、通常、第１のガイド文字範囲２３７のガイド文字のサイズと、第２のガイド文字範囲２３８のガイド文字のサイズは同じであるという前提に基づいている。「当座預金」について、縦方向に画素を投影したヒストグラム２３０ｅを作成し、文字列の高さを求める。また、「当座預金」について、横方向に画素を投影したヒストグラム２３０ｆを作成し、１文字の文字幅を求める。文字列の高さ及び文字幅の求め方は、図７に示した一次文字認識処理部１４３の場合と同様である。こうして、文字列の高さと文字幅とを組み合わせ、１文字のサイズ２５１を特定する。ここでは、再度ヒストグラムを作成するとしているが、一次文字認識処理部１４３によって作成したヒストグラムを利用するとしてもよい。また、一次文字認識処理部１４３で、ガイド文字範囲を求めるときに、１文字の文字幅も求めておくとしてもよい。こうして１文字のサイズが決定したら、（ｂ）に示したように、マーク図形を除去した画像データ２５０ａの第１のガイド文字範囲２３７に相当する領域を、１文字サイズ２５１ａで、１文字ごとに分割する。そして、（ｃ）に示したように、１文字ごとに文字認識を行い、文字認識結果「普」、「通」、「預」、「金」を得る。マーク図形部分を除去したことにより、認識対象の文字は一部欠損しているので、ノイズがある状態での文字に対応した文字認識処理を用いることにより、文字認識を行うとしてもよい。文字認識結果は、認識制御部１４１に送る。

認識制御部１４１は、受け取った文字認識結果、「普通預金」をガイド文字テーブル１４８０のガイド文字定義と照合し、チェックを行う。「普通預金」は、図９に示したガイド文字テーブル１４８０のガイド１（１４８１）の“普通預金”と一致し、かつ、“普通預金”と一意に特定できるので、正しく認識できたと判定する。こうして、認識制御部１４１は、一次文字認識処理部１４３及びマーク付き文字認識処理部１４４による処理で得た文字認識結果と、マーク図形の位置とを、認識結果として文字認識結果格納メモリ１５０に登録する。

図１２は、認識結果情報の一例を示した図である。
認識結果情報１５１には、「ガイド文字列数」、「ガイド文字列１」、「ガイド文字列２」及び「選択ガイド文字」の各項目のデータを登録する。「ガイド文字列数」は、ガイド文字列の列数である。ここでは、図７に示したガイド文字列領域の検出処理で２列の文字列が検出されたので、「２」を登録する。そして、それぞれのガイド文字列について文字認識した結果を登録する。「ガイド文字列１」には、マーク付き文字認識処理部１４４が文字認識を行った第１のガイド文字範囲２３７の文字認識結果「普通預金」を登録する。「ガイド文字列２」には、一次文字認識処理部１４３が文字認識を行った第２のガイド文字範囲２３８の文字認識結果「当座預金」を登録する。「選択ガイド文字」は、マーク付き文字認識処理部１４４が検出したマーク図形の位置に基づいて、「普通預金」を登録する。

こうして、一次文字認識処理と、マーク付き文字認識処理が行われることにより、図２に示した（１−ａ）、（１−ｂ）、（２−ａ）及び（２―ｂ）のように、マーク図形が選択したガイド文字に掛っているときでも、正しい文字認識結果を得ることができる。しかし、（１−ｃ）〜（１−ｆ）及び（２−ｃ）〜（２−ｆ）のようなマーク図形の場合、検出は容易ではない。そこで、上記の処理でマーク図形が検出できないときは、続けてマーク記入位置判定処理を行う。

［４］マーク記入位置判定処理
マーク記入位置判定処理では、マーク記入位置判定部１４５が、マーク項目領域の画像データからガイド文字を除去してマーク図形が記入された位置を判定する処理を行う。

認識制御部１４１は、マーク記入位置判定部１４５によるマーク記入位置の判定処理を指示する。なお、マーク記入位置判定部１４５が処理を開始する前には、一次文字認識処理部１４３によるガイド図形の除去と、文字認識処理とは終了しているとする。

図１３は、マーク記入位置判定処理における字形抽出までの処理の一例を示した図である。（ａ）は文字認識処理、（ｂ）は文字認識結果コード取り出し処理、（ｃ）は字形抽出処理をそれぞれ示している。

（ａ）に示したように文字認識処理では、ガイド文字「普通預金」と、ガイド文字に重ならないマーク図形２６１とを含む画像２６０の画像データに対し、文字認識を行う。ここでは、「普通預金」が認識されたとする。認識した文字は、それぞれの文字コードに対応付ける。マーク記入位置判定部１４５は、認識された文字それぞれの文字コードに基づいて字形辞書ＤＢ１４７を検索し、対応する字形画像データを抽出する。字形辞書ＤＢ１４７には、それぞれの文字コードに対応付けて文字の字形画像が記憶されている。Ａ００１〜Ａ００４、Ｂ００１〜Ｂ００２は、それぞれの文字の文字コードである。ここで、文字認識の結果、文字「普」２６２は、文字コードＡ００１であることが検出されたとする。マーク記入位置判定部１４５は、文字コードＡ００１で字形辞書ＤＢ１４７を検索し、文字コードＡ００１の字形画像２６３を得る。他の「通」、「預」、「金」、「当」、「座」、「預」、「金」についても同様にして字形画像を得る。マーク記入位置判定部１４５は、次に、取得した字形画像２６３を用いて画像２６０の画像データからガイド文字を除去する。まず、ガイド文字を除去するための字形画像を生成する。図１４は、ガイド文字除去のための字形画像の生成処理を示した図である。（ａ）は字形画像サイズ計測、（ｂ）は拡縮後の字形画像を示している。

マーク記入位置判定部１４５は、（ａ）字形画像サイズ計測に示したように、画像２６０の画像データから文字認識を行った認識文字を抽出し、縦横の大きさを計測する。例えば、「普」２６２を抽出し、高さＨ１、幅Ｗ１を計測する。また、取得した字形画像２６３についても縦横の大きさを計測する。「普」の字形画像２６３の高さＨ２、幅Ｗ２を計測する。そして、画像２６０の認識文字と、字形画像の文字サイズの比率を算出する。

高さ比： Ｈｒ＝ Ｈ１／Ｈ２
幅比： Ｗｒ＝ Ｗ１／Ｗ２ ・・・（１）
によって、縦横それぞれの比率を算出する。そして、字形画像２６３を高さＨｒ倍、幅Ｗｒ倍に拡縮し、拡縮後の字形画像２６３ａを得る。

（ｂ）拡縮後の字形画像に示したように、同様の処理を他の文字に対しても実行し、画像２６０の認識文字と同じサイズに拡縮した字形画像「通」２６３ｂ、「預」２６３ｃ、「金」２６３ｄ、「当」２６３ｅ、「座」２６３ｆ、「預」２６３ｇ、「金」２６３ｈを得る。こうして得た字形画像に基づいて、画像２６０のガイド文字を除去する。図１５は、ガイド文字除去処理の一例を示した図である。（ａ）はガイド文字除去前の画像、（ｂ）はガイド文字除去を行った画像、（ｃ）はノイズを除去した画像を示している。

マーク記入位置判定部１４５は、図１４に示したガイド文字の大きさに合わせて拡縮した字形画像２６３ａ〜２６３ｈを、（ａ）に示した画像２６０の対応する認識文字と重ね合わせる。そして、一致する画素を背景色に置換し、（ｂ）に示した画像２６０ａを得る。さらに、画像２６０ａに残る不一致文字片部分をノイズとして除去し、（ｃ）に示したノイズを除去した画像２６０ｂを生成する。これにより、マーク項目領域の画像２６０ｂのガイド文字は除去され、マーク図形２６１だけが残る。次に、マーク記入位置判定部１４５は、画像２６０ｂに残ったマーク図形を解析し、マーク図形位置を特定する処理を行う。図１６は、マーク図形の位置特定処理の一例を示した図である。（ａ）はマーク図形が閉じた図形、（ｂ）はマーク図形がかすれている場合、（ｃ）はマーク図形がレ点の場合、をそれぞれ示している。

（ａ）に示したように、画像２６０ｂについて、画像上に残った画素を矢印のようにトレースし、残った画像がマーク図形の条件に適合した形状であるかどうかを判定する。マーク図形２６１の場合は、形状が円状の閉じた図形であることが検出されるので、マーク図形の条件に適合すると判定し、位置を特定する。ここでの位置は、正確な座標を求める必要はなく、どのガイド文字に対応する位置であるかが特定できればよい。この場合には、第１のガイド文字範囲と重なるので、認識結果情報１５１の「選択ガイド文字」は、第１のガイド文字「普通預金」であると判定し、認識結果情報１５１に登録する。（ｂ）はマーク図形２６４が途中でかすれている場合を示している。画像２６０ｃの画像データについて、画像データ上に残った画素を矢印のようにトレースし、残った画像がマーク図形の条件に適合した形状であるかどうかを判定する。トレースすることで、途中がかすれていた場合であっても、マーク図形の条件に適合するかどうかを判定することができる。例えば、途切れた区間の前後の形状を比較し、接続関係があるかどうかを判定する。接続関係があると認められたときは、マーク図形の一部であると判断する。マーク図形２６４の場合は、形状が円状の閉じた図形であることが検出されるので、マーク図形の条件に適合すると判定し、位置を特定する。以降の処理は、（ａ）の場合と同様である。（ｃ）はマーク図形２６５が閉じた円状でない場合を示している。この場合、上記と同様に、マーク図形は閉じた円状の形状であるという定義では、マーク図形２６５を検出することはできない。そこで、円状のトレースができなかったときは、次の候補としてレ点や×印等を検出する処理を行う。検出方法は、上記と同様で、例えばレ点であれば、画素を矢印のようにトレースし、レ点の形状を有しているかどうかを判定する。レ点の形状を有していれば、マーク図形と判定し、位置を特定する。以降の処理は、（ａ）の場合と同様である。

こうして、一次文字認識処理と、マーク記入位置判定処理が行われることにより、図２に示した（１−ｃ）、（１−ｄ）、（１−ｅ）、（１−ｆ）、（２−ｃ）、（２―ｄ）、（２−ｅ）、（２−ｆ）のような場合でも、マーク図形の位置を正しく判定することができる。なお、例えば、図２の（１−ｅ）、（２−ｅ）は、マーク記入位置判定処理によってマーク図形の位置を判定することができる。しかし、「普通預金」はマーク図形２１１ｅ，２２１ｅによって文字認識することができない。この場合、マーク付き文字認識処理部１４４と同様にして、検出したマーク図形を画像から除去し、文字認識を行うことにより、ガイド文字の文字認識結果が得られる。マーク付き文字認識処理部１４４において、第１のマーク図形定義（ここでは円状の閉じた図形）に適合するマーク図形が見つからない場合、第２のマーク図形定義（ここではレ点）に適合する形状を探索し、これを除去するとしてもよい。

さらに、マーク項目認識装置１００では、ガイド文字テーブルＤＢ１４８に記憶されているガイド文字テーブル１４８０を用いて、文字認識の精度を上げることができる。文字認識の精度を上げる処理について説明する。図１７は、ガイド文字テーブルを用いた文字認識結果の補正処理の一例を示した図である。

一次文字認識処理部１４３では、ガイド文字範囲を切り出して文字認識を行う。画像データ２７０は、ガイド文字「普通預金」と「当座預金」が一列に並んでおり、マーク図形２７１は、「当座預金」にまで掛かっている。この状態で、ガイド文字範囲の切り出しを行うと、マーク図形２７１を含む第１のガイド文字範囲２７２ａと、残りの第２のガイド文字範囲２７２ｂと、が切り出される。第１のガイド文字範囲２７２ａについて文字認識を行い、「？通預金 当座」２７３ａという文字認識結果を得る。同様に、第２のガイド文字範囲２７２ｂについて文字認識を行い「預金」２７３ｂという文字認識結果を得る。認識制御部１４１は、文字認識結果２７３ａ，２７３ｂを、ガイド文字テーブル１４８０のガイド文字定義と照合し、文字認識結果のチェックを行う。認識制御部１４１は、文字認識結果「？通預金 当座」２７３ａは、図９に示したガイド文字テーブル１４８０のガイド１（１４８１）に登録されている“普通預金”との一致率が高いので、「普通預金」であると判定する。そこで、「？」を「普」に補正し、「普通預金」２７４ａという文字認識結果を得る。また、「当座」については別項目であると判定する。ここでは、同じ列上の次の項目と同一項目である可能性が高いので、文字認識結果「預金」２７３ｂと合わせ、「当座預金」としてガイド文字テーブル１４８０と照合する。ガイド２（１４８２）の“当座預金”と一致するので、もう一方のガイド文字は、「当座預金」２７４ｂであると判定する。このように、ガイド文字テーブル１４８０を用いてガイド文字の文字認識結果を補正することにより、文字認識の精度を向上させることができる。

マーク項目認識装置１００では、図２に示した帳票イメージばかりでなく、様々な種類の帳票のマーク項目認識処理を高い精度で行うことができる。図１８は、その他の帳票イメージの例を示した図である。（ａ）はガイド図形が長めの点線の形状の例、（ｂ）はガイド図形がガイド文字の一部だけを囲む形状の例、（ｃ）はガイド文字の高さが異なる形状の例、（ｄ）は同一欄にマーク項目と別の項目が同居する形状の例、（ｅ）はガイド文字テーブル内にはないガイド文字の例である。

（ａ）の帳票イメージ２８０ａは、ガイド図形２８２ａの点線が長く、マーク図形２８１ａと区別がつきにくい場合の例である。一次文字認識処理部１４３では、ガイド図形の除去時に、ガイド図形の条件「同じ長さの点が円状に配置されている」に適合する形状を、画素をトレースして検出するので、ガイド図形を特定し、除去することができる。ガイド図形同士が近接していても同様にして、ガイド図形を抽出することができる。

（ｂ）の帳票イメージ２８０ｂは、ガイド図形２８２ｂがガイド文字の一部だけを囲む場合の例である。一次文字認識処理部１４３では、ガイド図形の除去時に、ガイド図形の条件「同じ長さの点が円状に配置されている」に適合する形状を、マーク項目領域の全領域に渡って探索するので、ガイド図形を特定し、除去することができる。

（ｃ）の帳票イメージ２８０ｃは、ガイド文字の高さが異なる形状の例である。一次文字認識処理部１４３では、画素を投影したヒストグラムからガイド文字範囲を検出し、文字認識を行うので、高さが異なるガイド文字「年金が主な収入源の方」については、文字認識ができない可能性がある。しかし、マーク付き文字認識処理部１４４において、文字認識ができなかった領域についてヒストグラムを作成し、ガイド文字範囲を再度設定すれば、文字認識を行うことができる。

（ｄ）の帳票イメージ２８０ｄは、同一欄にマーク項目と、別の項目とが同居する形状の例である。ガイド文字「普通預金」と「当座預金」に加え、番号が同一欄にある。認識制御部１４１は、文字認識結果を、ガイド文字テーブル１４８０のガイド文字定義と照合し、文字認識結果がガイド文字であるかどうかの判定を行うので、ここでは、「普通預金」と「当座預金」のみがガイド文字であると判定できる。

（ｅ）は、ガイド文字テーブル内にはない類似のガイド文字の例である。認識制御部１４１は、文字認識結果を、ガイド文字テーブル１４８０のガイド文字定義と照合する際に、一致率を用いて判定を行う。例えば、「普通預（貯）金」であれば、ガイド文字テーブル１４８０に定義されている“普通預金”との一致率が高いので、ガイド文字であると判定することができる。また、「普通預（貯）金」が予め決めた閾値よりも高い頻度で出現する場合には、ガイド文字として、ガイド文字テーブル１４８０に登録するとしてもよい。

このように、マーク項目認識装置１００によれば、対象帳票に事前に印刷された選択項目を表すガイド文字と、選択記入されたマーク図形とを分離して認識処理を行うため、認識の精度を上げることができる。従来技術では、文字認識の精度に応じて一定の割合で発生する誤認識等の認識失敗の影響を受けるマーク項目の誤った認識を低減することができる。また、ガイド文字テーブル１４８０と文字認識結果の比較は、一致率を閾値と比較する構成としたことにより、ガイド文字テーブル１４８０には認識対象のすべての帳票で使用されるガイド文字を事前登録しておく必要がない。このため、想定外のガイド文字列に対しても、マーク項目ごとの再分割等の補正を行うことができる。さらに、事前に対象帳票のレイアウト形式を定義したレイアウト定義体を使用しないで認識処理を行うことができるため、利用者の負担を軽減することができる。特に、同一種類だがレイアウトや文字表現が若干異なる複数の帳票が認識対象である場合、従来であればすべての帳票のレイアウト定義体が必要であったが、マーク項目認識装置１００では、このようなレイアウト定義体が必要ない。

次に、マーク項目認識処理の処理手順を、フローチャートを用いて説明する。図１９は、マーク項目認識処理全体の処理手順の一例を示した図である。
［ステップＳ０１］ スキャナ制御部１１０は、スキャナ３００を制御して、認識対象の帳票のイメージを読み取る。読み取った帳票イメージの画像データは、入力イメージ格納メモリ１２０に格納する。

［ステップＳ０２］ マーク項目位置特定部１３０は、入力イメージ格納メモリ１２０に格納される帳票イメージの画像データを読み込み、マーク認識を行うマーク項目領域の位置を特定する。このとき、画像データを解析して文字枠を検出し、検出した文字枠に基づいてマーク項目領域の位置を特定することにより、定義情報を用いずに位置を特定することができる。なお、事前に作成した定義情報を使用して位置を特定するとしてもよい。

［ステップＳ０３］ 認識制御部１４１は、ステップＳ０２で位置を特定したマーク項目領域の文字認識処理を一次文字認識処理部１４３に指示し、一次文字認識処理を実行する。一次文字認識処理の詳細は、後述する。

［ステップＳ０４］ ステップＳ０３の一次文字認識処理により、ガイド図形を除去した画像データと、１回目の文字認識結果が得られる。認識制御部１４１は、取得した文字認識結果を、ガイド文字テーブル１４８０のガイド文字定義と照合し、文字認識結果が正しいかどうかを判定する。判定は一致率で行う。文字認識結果と、ガイド文字テーブル１４８０のガイド文字定義との一致率を算出し、一致率が所定の閾値を超えていれば、正しく認識できたと判定する。そして、文字認識結果が正しいと判定したときは、処理をステップＳ０５に進める。ここでは、少なくとも１つのガイド文字範囲のガイド文字が正しく認識できれば、認識可と判定する。正しい文字認識結果が得られなかったときは、処理をステップＳ０９に進める。

［ステップＳ０５］ 認識制御部１４１は、正しい文字認識結果が得られたときは、認識不可のガイド文字があったかどうかを判定する。認識不可が検出されたときは、処理をステップＳ０６に進める。認識不可がないときは、分岐点Ａに処理を進める。分岐点Ａは、リトライ処理であるが、ここまでの処理で選択されたガイド文字は特定されていないので、文字認識がすべて正常に終了したときは、リトライ処理でマーク図形の位置を判定し、選択されたガイド文字を特定する。

［ステップＳ０６］ 認識不可のガイド文字があったとき、認識制御部１４１は、マーク付き文字認識処理部１４４に指示し、マーク付き文字認識処理を実行する。
［ステップＳ０７］ ステップＳ０６のマーク付き文字認識処理により、ガイド文字とマーク図形が重なっていた箇所の文字認識結果と、マーク図形の位置と、が得られる。認識制御部１４１は、取得した文字認識結果を、ガイド文字テーブルＤＢ１４８に記憶されるガイド文字テーブル１４８０のガイド文字定義と照合し、文字認識結果が正しいかどうかを一致率で判定する。文字認識結果と、ガイド文字テーブル１４８０のガイド文字定義との一致率を算出し、一致率が所定の閾値を超えていれば、正しく認識できたと判定する。認識可と判定したときは、処理をステップＳ０８に進める。認識不可と判定したときは、処理を分岐点Ａに進め、リトライ処理を行う。

［ステップＳ０８］ 認識制御部１４１は、ステップＳ０６のマーク付き文字認識処理により得られた文字認識結果と、マーク図形の位置とから、どのガイド文字が選択されているかを判定する。そして、ガイド文字の文字認識結果と、マーク記入位置とを認識結果情報１５１として、文字認識結果格納メモリ１５０に格納する。また、利用者から要求があるときは、モニタ１０８に認識結果情報を表示し、利用者に結果を通知する。このように、文字認識結果を出力した後、処理を終了する。

［ステップＳ０９］ 認識制御部１４１は、一次文字認識処理で正しい文字認識結果が得られなかったときは、認識不可エラーを発生し、処理を終了する。
図２０は、一次文字認証処理の処理手順の一例を示したフローチャートである。

［ステップＳ３１］ 一次文字認識処理部１４３は、ステップＳ０２のマーク項目位置特定処理によって特定したマーク項目領域の画像データを読み出し、ガイド図形の条件に適合する形状を探索する。例えば、ガイド図形の条件を「点が円状に配置される」とし、ガイド図形の色の画素の並びをトレースし、条件に適合するかどうかを判定する。検出したときは、ガイド図形に対応する画素の色を背景色に置き換え、ガイド図形を除去する。

［ステップＳ３２］ 一次文字認識処理部１４３は、ステップＳ３１によってガイド図形が除去された画像データを用いて、マーク項目領域内のガイド文字を探索する。マーク項目領域内の画素を縦方向及び横方向に投影し、ヒストグラムを作成する。そして、ヒストグラムの値が閾値を超える範囲をガイド文字範囲とし、ガイド文字の位置を特定する。

［ステップＳ３３］ 一次文字認識処理部１４３は、ステップＳ３２によって特定したガイド文字の位置ごとに、文字認識辞書ＤＢ１４６を用いて文字認識を実行する。
以上の一次文字認識処理手順が実行されることにより、マーク項目領域のガイド文字のうち、文字認識ができたガイド文字の文字コードが文字結果として得られる。

図２１は、マーク付き文字認証処理の処理手順の一例を示したフローチャートである。
文字認識結果のいずれかに認識不可、すなわち、リジェクト文字「？」が含まれる場合に呼び出され、以下の処理手順を実行する。

［ステップＳ６１］ マーク付き文字認識処理部１４４は、ガイド文字を選択するマーク図形を検索する。認識不能のリジェクト文字「？」が含まれるガイド文字範囲の範囲を周辺のガイド文字まで広げて図形探索範囲を設定し、マーク図形の条件に適合する形状を探索する。

［ステップＳ６２］ マーク付き文字認識処理部１４４は、ステップＳ６１で検出したマーク図形の位置を特定し、図形位置として一時的に記憶する。また、マーク図形に対応する画素の色を背景色に置き換え、画像データからマーク図形を除去する。

［ステップＳ６３］ マーク付き文字認識処理部１４４は、一次文字認識処理によって正読と判定したガイド文字の画素を縦方向及び横方向に投影して、１文字の大きさを求める。そして、１文字の大きさをステップＳ６２でマーク図形を除去した画像データのガイド文字範囲に適用して１文字ごとに画像を分割し、分割画像ごとに文字認識を実行する。得られた文字認識結果と、ステップＳ６２で一時的に保存した図形位置とを、文字認識結果として出力する。

以上のマーク付き文字認識処理手順が実行されることにより、マーク図形が重なるガイド文字を文字認識し、その文字コードと、マーク図形位置とが文字認識結果として得られる。

図２２は、リトライ処理の処理手順の一例を示したフローチャートである。
［ステップＳ１１１］ スキャナ制御部１１０は、認識対象の帳票のイメージを読み取る。読み取った帳票イメージの画像データは、入力イメージ格納メモリ１２０に格納する。

［ステップＳ１１２］ マーク項目位置特定部１３０は、入力イメージ格納メモリ１２０に格納される帳票イメージの画像データを読み込み、マーク認識を行うマーク項目領域の位置を特定する。

［ステップＳ１１３］ 認識制御部１４１は、ステップＳ１１２で位置を特定したマーク項目領域の文字認識処理を一次文字認識処理部１４３に指示し、一次文字認識処理を実行する。

なお、ここまでの処理手順は、図１９に示したステップＳ０１からステップＳ０３の処理手順と同じ処理を繰り返す。したがって、ステップＳ０５において、すべての文字認識が正しく行えたと判定したときは、ステップＳ１１１からステップＳ１１３までの処理を省略するとしてもよい。

［ステップＳ１１４］ 認識制御部１４１は、マーク記入位置判定部１４５を起動し、マーク記入位置判定処理を実行する。マーク記入位置判定部１４５は、帳票イメージの正読したガイド文字部分の画素を縦方向と横方向に投影してヒストグラムを作成し、１文字文のガイド文字サイズを算出する。複数のガイド文字に対してサイズを求めた場合、それらの平均値をサイズとして抽出する。

［ステップＳ１１５］ マーク記入位置判定部１４５は、字形辞書ＤＢ１４７を用いて、ステップＳ１１３において正しく文字認識したガイド文字の文字コードに対応する字形画像を字形辞書から抽出する。

［ステップＳ１１６］ マーク記入位置判定部１４５は、文字認識を行った画像データの認識文字の画像に基づき、認識文字の縦横のサイズを計測する。同様に、ステップＳ１１５で抽出した字形画像の文字の縦横のサイズも計測する。そして、画像データの認識文字と、字形画像の文字のサイズ比を算出し、字形画像の文字が認識文字と同サイズになるように、字形画像を拡大または縮小する。

［ステップＳ１１７］ マーク記入位置判定部１４５は、ステップＳ１１６で認識文字と同サイズに変換した字形画像を、画像データの認識文字と重ね合わせ、一致する画素を帳票の背景色に置換し、除去する。認識画像の帳票端を探索して傾きがある場合は、字形画像を回転させて傾きを同じにした後で重ね合わせを行う。また、ノイズ等が残ったときは、ノイズも除去する。

［ステップＳ１１８］ マーク記入位置判定部１４５は、ステップＳ１１７の処理でガイド文字を除去した画像上に残った図形の形状を判定し、残った図形がマーク図形の条件に適合しているかどうかを判定する。適合しているときは、残った図形がマーク図形と判定する。

［ステップＳ１１９］ 認識制御部１４１は、ステップＳ１１３のマーク付き文字認識処理により得られた文字認識結果と、ステップＳ１１８によって検出したマーク図形の位置とから、どのガイド文字が選択されているかを判定する。そして、ガイド文字の文字認識結果と、マーク記入位置とを認識結果情報１５１として、文字認識結果格納メモリ１５０に格納する。また、利用者から要求があるときは、モニタ１０８に認識結果情報を表示し、利用者に結果を通知する。このように、文字認識結果を出力した後、処理を終了する。

以上の処理手順が実行されることにより、ガイド文字と重ならないマーク図形の位置を特定し、ガイド文字の文字認識及びマーク図形による選択を認識する。
以上のように、マーク項目認識装置１００及びそのマーク項目認識方法によれば、マーク項目内のマーク項目数やガイド文字の位置を自動的に抽出して、ガイド文字とマーク図形を画像探索により分離して認識処理を行う。これにより、ガイド文字上に様々なパターンで記入されるマーク図形に対し、どのようなガイド文字上にどのような形状の図形が記入されたかをより高精度に判定できる。この結果、認識対象のすべての帳票に対して、マーク項目のある位置、その内部情報であるガイド文字の位置や文言を事前に定義しておく必要は、未記入帳票を確保する必要がなくなる。さらに、ガイド文字テーブルを使用して文字認識結果を補正することにより、様々な記入状態によって欠損したガイド文字の抽出が可能となり、より高精度なマーク認識が可能となる。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、マーク項目認識装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

１０ マーク項目認識装置
１１ａ 文字認識辞書記憶手段
１１ｂ ガイド文字テーブル記憶手段
１１ｃ 字形辞書記憶手段
１２ マーク項目位置特定手段
１３ ガイド図形除去手段
１４ 認識制御手段
１５ 文字認識手段
１６ マーク図形除去手段
１７ マーク記入位置判定手段

Claims (8)

1. 帳票の画像データからマーク項目を抽出して認識処理を行うマーク項目認識装置において、
   対象帳票の画像データを取得し、前記対象帳票に予め印刷された選択項目を表すガイド文字と、前記選択項目を選択するために記入されたマーク図形とが含まれるマーク項目領域の画像データを抽出し、前記マーク図形の形状を予め定義したマーク図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記マーク図形定義に適合する形状を探索し、検出した前記マーク図形の位置を特定するとともに、前記マーク図形と判定した形状を前記マーク項目領域の画像データから除去するマーク図形除去手段と、
   指示された対象の画像データから文字を抽出し、文字認識辞書記憶手段に記憶する文字認識辞書に基づいて抽出した文字を認識する文字認識手段と、
   前記マーク図形除去手段によって前記マーク図形を除去した前記マーク項目領域の画像データを対象とする文字認識を前記文字認識手段に行わせ、得られた文字認識結果及び前記マーク図形の位置をマーク項目認識結果として出力する認識制御手段と、
   を有することを特徴とするマーク項目認識装置。
2. 帳票の画像データからマーク項目を抽出して認識処理を行うマーク項目認識装置において、
   対象帳票の画像データを取得し、前記対象帳票に予め印刷された選択項目を表すガイド文字と、前記選択項目を選択するために記入されたマーク図形とが含まれるマーク項目領域の画像データを抽出し、前記マーク図形の図形特徴を予め定義したマーク図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記マーク図形定義に適合する形状を探索し、検出した前記マーク図形の位置を特定するとともに、前記マーク図形と判定した形状を前記マーク項目領域の画像データから除去するマーク図形除去手段と、
   指示された対象の画像データから文字を抽出し、文字認識辞書記憶手段に記憶する文字認識辞書に基づいて抽出した文字を認識する文字認識手段と、
   前記マーク図形除去手段によって前記マーク図形を除去した前記マーク項目領域の画像データを対象とする文字認識を前記文字認識手段に行わせ、得られた文字認識結果及び前記マーク図形の位置をマーク項目認識結果として出力する認識制御手段と、
   前記ガイド文字を含む文字の字形画像を文字の識別情報に対応付けて定義した字形辞書を字形辞書記憶手段に記憶しておき、前記文字認識手段によって認識された認識文字の識別情報に基づいて前記字形辞書を検索して該認識文字の字形画像を取得し、前記字形画像を前記マーク項目領域の画像データ上の前記認識文字と重ね合わせ、重なる部分を除去して前記認識文字を前記マーク項目領域の画像データから除去し、残った画像データと、前記マーク図形定義とを比較して適合しているか否かを判定し、適合しているときは前記残った画像データを前記マーク図形と見なし、前記マーク図形の位置を判定するマーク記入位置判定手段と、
   を有し、
   前記認識制御手段は、前記マーク図形が検出できないとき及び前記マーク項目領域の一部のガイド文字で前記文字認識手段による文字認識ができないときは、前記マーク記入位置判定手段によって前記マーク項目領域の前記マーク図形の位置を特定する、
   ことを特徴とするマーク項目認識装置。
3. 前記認識制御手段は、前記ガイド文字として存在する文字を定義したガイド文字テーブルをガイド文字テーブル記憶手段に記憶しておき、前記文字認識手段の文字認識により得られた認識文字を前記ガイド文字テーブルのガイド文字定義と照合し、前記認識文字が前記ガイド文字定義と一致する割合を一致率として算出し、前記一致率が所定の閾値を超えたか否かに応じて前記認識文字が正しいかどうかを判定する、
   ことを特徴とする請求項１または２記載のマーク項目認識装置。
4. 前記認識制御手段は、前記ガイド文字テーブル記憶手段に格納される前記ガイド文字テーブルの前記ガイド文字定義に基づき、前記文字認識手段が認識した認識文字と前記ガイド文字定義とを比較し、前記認識文字と前記ガイド文字定義との一致率が所定の閾値を超えるときは、前記ガイド文字定義に基づいて、前記認識文字の前記ガイド文字定義と一致しない箇所の前記ガイド文字定義の文字への置き換えや、前記認識文字の文字区切り位置の変更を行うことによって前記認識文字の補正を行う、
   ことを特徴とする請求項３記載のマーク項目認識装置。
5. 前記文字認識手段は、前記マーク項目領域内の画素を縦方向及び横方向にそれぞれ投影してヒストグラムを求め、前記ヒストグラムに基づいて前記画素が多い領域をガイド文字範囲と見なして前記ガイド文字範囲の位置を特定し、特定した前記ガイド文字範囲について前記文字認識を行う、
   ことを特徴とする請求項１または請求項２記載のマーク項目認識装置。
6. 前記文字認識手段による文字認識を行う前に、前記マーク項目領域の画像データを抽出し、前記マーク図形の記入する位置を示し、前記ガイド文字にマークを記入する際のガイドとなるガイド図形の図形特徴を予め定義したガイド図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記ガイド図形に適合する形状を探索し、検出した前記ガイド図形を前記マーク項目領域の画像データから除去するガイド図形除去手段、
   を有することを特徴とする請求項１または請求項２記載のマーク項目認識装置。
7. 帳票の画像データからマーク項目を抽出して認識処理を行うマーク項目認識方法において、
   コンピュータが、
   対象帳票の画像データを取得し、前記対象帳票に予め印刷された選択項目を表すガイド文字と、前記選択項目を選択するために記入されたマーク図形とが含まれるマーク項目領域の画像データを抽出し、前記マーク図形の形状を予め定義したマーク図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記マーク図形定義に適合する形状を探索し、検出した前記マーク図形の位置を特定するとともに、前記マーク図形と判定した形状を前記マーク項目領域の画像データから除去し、
   マーク図形除去手段によって前記マーク図形を除去した前記マーク項目領域の画像データを対象とし、前記対象の画像データから文字を抽出し、文字認識辞書記憶手段に記憶する文字認識辞書に基づいて抽出した文字を認識し、
   得られた文字認識結果及び前記マーク図形の位置をマーク項目認識結果として出力する、
   を有することを特徴とするマーク項目認識方法。
8. 帳票の画像データからマーク項目を抽出して認識処理を行うマーク項目認識プログラムにおいて、
   コンピュータを、
   対象帳票の画像データを取得し、前記対象帳票に予め印刷された選択項目を表すガイド文字と、前記選択項目を選択するために記入されたマーク図形とが含まれるマーク項目領域の画像データを抽出し、前記マーク図形の形状を予め定義したマーク図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記マーク図形定義に適合する形状を探索し、検出した前記マーク図形の位置を特定するとともに、前記マーク図形と判定した形状を前記マーク項目領域の画像データから除去するマーク図形除去手段、
   指示された対象の画像データから文字を抽出し、文字認識辞書記憶手段に記憶する文字認識辞書に基づいて抽出した文字を認識する文字認識手段、
   前記マーク図形除去手段によって前記マーク図形を除去した前記マーク項目領域の画像データを対象とする文字認識を前記文字認識手段に行わせ、得られた文字認識結果及び前記マーク図形の位置をマーク項目認識結果として出力する認識制御手段、
   として機能させることを特徴とするマーク項目認識プログラム。
   

Images