JP6907565B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関する。

官公庁等に提出する書類や様々なアンケート用紙への記入等、印字された用紙（帳票やアンケート用紙等）に手書きで記入して提出する機会が多い。記入された用紙を集める側は、記入済のアンケート用紙等を自動で読み取って集計したいという要求がある。

その要求に対し、特許文献１には、マークシートのように塗りつぶして回答する種類の帳票について、回答が記入されたマークシートをスキャナ等で読み取って集計する技術が開示されている。

特開平２０１３―４５３０９号公報

しかしながら、上掲の特許文献１に開示された技術の場合、マークシートに記入されているマークの位置を検出することはできるが、その位置に記入されたマークが何を意味しているかは、別途の情報として事前設定しておく必要がある。

本発明は、特定された位置に対応する文字情報を、文字と文字の位置とを予め対応づけて設定する作業を必要とすることなく認識する画像処理装置および画像処理プログラムを提供することを目的とする。

請求項１は、
第１の画像を表わす第１の画像データと、該第１の画像データに追加記録がなされた第２の画像を表わす第２の画像データとをスキャナから取得する画像取得部と、
前記第１の画像から、１文字であることを含む文字列を認識し、さらに、認識した文字列ごとに、該第１の画像上の、該文字列が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む第１の領域を該文字列に対応付ける文字列認識部と、
前記第２の画像の中から、前記第１の画像に対し追加記録された画像である追加記録画像を抽出し、さらに該追加記録画像を構成する、個別の記録ごとの個別追加記録画像ごとに、前記第２の画像上の、該個別追加記録画像が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む第２の領域を抽出する追加記録画像抽出部と、
前記文字列認識部で認識された文字列の中から、前記第２の領域に対し、該第２の領域に重なっていることを含む予め定められた第１の閾値以内にある前記第１の領域に対応づけられている文字列を特定する文字列特定部とを備え、
前記文字列特定部が、複数の第２の領域に対応して、同一の前記第１の領域に対応付けられた同一の文字列が特定されたときは、該同一の文字列についての複数回の特定のうちの初回の特定を除く残りの特定における、特定された該同一の文字列を無視することを特徴とする画像処理装置である。

請求項２は、
前記文字列認識部が、認識した個々の文字の中の、１点もしくは複数点の座標で表現された領域であることを含む領域どうしが互いに重なっていることを含む予め定められた第２の閾値以内にある複数の領域に含まれる複数の文字を、１つの文字列として認識し、前記第１の画像上の、文字列が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む該領域を、前記第１の領域として該文字列に対応付けることを特徴とする請求項１に記載の画像処理装置である。

請求項３は、
前記文字列特定部が、前記第２の領域に対し該第２の領域に重なっていることを含む予め定められた第１の閾値以内にある領域が存在しない場合は、該第２の領域に対応しては文字列を特定しないことを特徴とする請求項１または２に記載の画像処理装置である。

請求項４は、
前記文字列認識部は、前記第１の画像が罫線を含む画像の場合に、該罫線で囲まれた領域ごとに文字列を認識するものであることを特徴とする請求項１から３のうちのいずれか１項に記載の画像処理装置である。

請求項５は、
プログラムを実行する情報処理装置内で実行されて、該情報処理装置を、
第１の画像を表わす第１の画像データと、該第１の画像データに追加記録がなされた第２の画像を表わす第２の画像データとをスキャナから取得する画像取得部と、
前記第１の画像から、１文字であることを含む文字列を認識し、さらに、認識した文字列ごとに、該第１の画像上の、該文字列が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む第１の領域を該文字列に対応付ける文字列認識部と、
前記第２の画像の中から、前記第１の画像に対し追加記録された画像である追加記録画像を抽出し、さらに該追加記録画像を構成する、個別の記録ごとの個別追加記録画像ごとに、前記第２の画像上の、該個別追加記録画像が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む第２の領域を抽出する追加記録画像抽出部と、
前記文字列認識部で認識された文字列の中から、前記第２の領域に対し、該第２の領域に重なっていることを含む予め定められた第１の閾値以内にある前記第１の領域に対応づけられている文字列を特定する文字列特定部とを備え、
前記文字列特定部が、複数の第２の領域に対応して、同一の前記第１の領域に対応付けられた同一の文字列が特定されたときは、該同一の文字列についての複数回の特定のうちの初回の特定を除く残りの特定における、特定された該同一の文字列を無視する画像処理装置として動作させることを特徴とする画像処理プログラムである。

請求項１の画像処理装置および請求項５の画像処理プログラムによれば、特定された位置に対応する文字情報を、文字と文字の位置とを予め対応づけて設定する作業を必要とすることなく認識することができる。

また、請求項１の画像処理装置によれば、予め定められた第１の閾値以内にある第１の領域という概念なしに文字列を特定する場合と比べ、文字列をより正確に特定することができる。
さらに、請求項１の画像処理装置によれば、本来１つの第２の領域として認識すべき基になった図形等が掠れ等により複数に分かれていて複数の第２の領域として認識されても、文字列の正しい特定が可能となる。

請求項２の画像処理装置によれば、１つの第２の領域に対応する文字列が複数の文字からなる文字列であっても、その複数の文字からなる文字列を特定することができる。

請求項３の画像処理装置によれば、全ての第２の領域について文字列を特定する場合と比べ、誤認識が抑制される。

請求項４の画像処理装置によれば、罫線が記録されていても罫線を利用せずに座標を認識する場合と比べ、文字列をより正確に認識することができる。

文字認識システムの模式図である。 ノートＰＣ内での画像処理プログラムの実行により実現する画像処理装置の機能ブロック図である。 本発明の一実施形態としての画像処理プログラムのフローチャートを示した図である。 未記入原稿と記入済原稿の第１例を示した図である。 未記入原稿と記入済原稿の第２例を示した図である。 未記入原稿と記入済原稿の第３例を示した図である。 未記入原稿と記入済原稿の第４例を示した図である。 未記入原稿上の文字列および領域認識処理のフローチャートを示した図である。 認識された文字に対応づけられる第１の領域の算出方法を示した図である。 罫線が描かれている原稿の一部を示した図である。 罫線を利用した第１の領域どうしの結合例を示した図である。 図３に１つのステップ（ステップＳ０９）で示した文字認識処理の詳細フローを示した図である。 差分画像の一例を示した図である。 文字列特定処理の詳細フローを示した図である。 第２の領域と第１の領域が重なっている例を示した図である。 第２の領域の右側に第１の領域が存在している例を示した図である。

以下、本発明の実施の形態について説明する。

図１は、文字認識システムの模式図である。

ここに示す文字認識システム１０は、スキャナ２０とノート型パーソナルコンピュータ（以下、「ノートＰＣ」と略記する）３０とを備えている。スキャナ２０とノートＰＣ３０との間は、通信ケーブル４０で接続されている。

スキャナ２０は、原稿に記録されている画像を読み取って画像データを生成する装置である。このスキャナ２０の原稿トレイ２１上に原稿を置き、スタートボタン（不図示）を押すと、あるいは、ノートＰＣから指示を与えると、原稿が１枚、スキャナ２０内に送り込まれる。スキャナ２０内には原稿上の画像を光電的に読み取るセンサ（不図示）が備えられていて、スキャナ２０内に送り込まれた原稿から、その原稿上に記録されている画像が光電的に読み取られて画像データが生成される。記録されている画像が読み取られた後の原稿は、排紙トレイ２２上に排出される。この原稿トレイ２１には複数枚の原稿を積み重ねて載置することができ、スキャナ２０は、原稿トレイ２１上の複数枚の原稿を１枚ずつ順次にスキャナ２０内に送り込み、その送り込まれた原稿上の画像を読み取り、排紙トレイ２２上に排出する。

また、このスキャナ２０は、背面側に設けられた左右に延びるヒンジ（不図示）を回転中心として上蓋２３を持ち上げることができる。この上蓋２３を持ち上げてその下に原稿を１枚置き、上蓋２３を閉じて、その置かれた原稿を読み取ることもできる。

このスキャナ２０での読み取りにより得られた画像データは、通信ケーブル４０を経由してノートＰＣ３０に入力される。

ノートＰＣ３０は、表示画面３１やキーボード３２を備えており、また、その内部には、プログラムを実行するためのＣＰＵやメモリ等の設備を備えている。このノートＰＣ３０ではプログラムが実行されて、その実行されたプログラムに応じた処理が行われる。本実施形態に対応しては、このノートＰＣでは、後述する画像処理プログラムが実行される。このノートＰＣ３０内で実行される画像処理プログラムは、本発明の画像処理プログラムの一例に相当する。そして、このノートＰＣ３０は、この画像処理プログラムの実行により、本発明の一実施形態としての画像処理装置として動作する。

図２は、ノートＰＣ内での画像処理プログラムの実行により実現する画像処理装置の機能ブロック図である。

本実施形態の画像処理装置６０は、画像取得部６１と、文字列認識部６２と、追加記録画像抽出部６３と、文字列特定部６４とを有する。具体的な実施形態の例示は後回しにして、ここでは、各部６１〜６４について概括的に説明する。なお、ここでは、データ上の画像を取り扱っており、したがって、ここでは、特に区別する必要がある場合を除き、データ上の画像であっても、データ上の画像であることを特に明記することなく、単に「画像」あるいは「原稿」と称することがある。

画像取得部６１は、アンケートの設問としての文字が記録されていてその設問に対する回答が未記入の未記入原稿の画像と、その未記入原稿に回答が追加記録された記入済原稿の画像とを取得する。未記入原稿は１枚であるが、記入済原稿は通常は複数枚存在し、画像取得部６１は、それら全ての画像を取得する。これら未記入原稿および記入済原稿は、本発明にいう、それぞれ第１の画像および第２の画像の各一例に相当する。

また、文字列認識部６２は、未記入原稿から、１文字であることを含む文字列を認識する。ここでいう「文字列」は、複数文字からなる文字列だけでなく、１文字のみからなるものも含む概念である。
ここで、本実施形態の文字列認識部６２は、文字列の認識に加え、認識した文字列ごとに、未記入原稿上の、その文字列が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む第１の領域をその文字列に対応付ける。この文字列に対応付ける「第１の領域」は、１点の座標あるいは領域の４隅の座標などで代表させたものであってもよい。
また、本実施形態の文字列認識部６２はさらに、認識した個々の文字の、１点もしくは複数点の座標で表現された領域であることを含む領域どうしが予め定められた第２の位置関係（第１の位置関係については後述する）にある複数の文字を１つの文字列として認識する。その場合、未記入原稿上の、その文字列が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む領域を第１の領域として、その文字列に対応付ける。この「第２の位置関係」としては、一例として、予め定められた第２の閾値距離以内で互いに左右に並んでいる、という位置関係が採用される。
さらには、本実施形態の文字列認識部６２は、未記入原稿に罫線が描かれている場合には、その罫線で囲まれた領域ごとに文字列を認識する。罫線が描かれている場合は、その罫線を文字列の認識に利用したほうが認識率が向上することが期待されるからである。
また、追加記録画像抽出部６３は、記入済原稿の中から、未記入原稿に対し追加記録された画像である追加記録画像を抽出する。ここでは、具体的には、例えば、記録済原稿と未記入原稿との差分の画像を算出することにより、追加記録された回答の画像である追加記録画像を抽出する。

ここで、本実施形態における追加画像抽出部６３は、追加記録画像を構成する、個別の記録ごとの個別追加記録画像ごとに、記入済原稿上の、その個別追加記録画像が記録されていた記入済原稿上の、１点もしくは複数点の座標で表現された領域であることを含む領域を抽出する。ここでは、この抽出された記入済原稿上の領域を、上記の第１の領域と区別して、「第２の領域」と称する。この第２の領域は、本発明にいう第２の領域の一例に相当する。なお、「第２の領域」は未記入原稿と記入済原稿との位置合わせをした上で同一の座標系で抽出するのがよい。また、「第２の領域」は、例えば１点の座標として表現され、あるいは４点の座標の集まりとして表現されてもよい。

さらに、文字列特定部６４は、文字列認識部６２で認識された文字列の中から、未記入原稿上の、追加記録画像に対応する領域に記録された文字列を特定する。
ここで、本実施形態における文字列特定部６４は、上記の第２の領域に対し予め定められた第１の位置関係にある第１の領域を特定し、その第１の領域に対応付けられている文字列を特定する。ここでは、一例として、「第２の領域に重なっている第１の領域が存在する場合、あるいは、第２の領域に重なっている第１の領域が存在しなくても、その第２の領域に対し予め定められた第１の閾値距離以内であってその第２の領域の右に並ぶ第１の領域が存在する場合に、その第１の領域が、「第２の領域に対し予め定められた第１の位置関係にある」第１の領域として特定される。
また、本実施形態における文字列特定部６４は、複数の第２の領域に対応して、同一の第１の領域に対応付けられた同一の文字列が特定されたときは、同一の第１の領域に対応付けられた同一の文字列についての複数回の特定のうちの１回の特定を除く残りの特定において特定された同一の文字列を無視する。例えば、本実施形態における文字列特定部６４は、複数の第２の領域に対応して、同一の第１の領域に記録されていた同一の文字列が複数回にわたって特定されたときは、最初の１回目を除き２回目以降に特定された同一の文字列を無視する。
さらに、本実施形態における文字列特定部６４は、第２の領域に対し上記の第１の位置関係にある第１の領域が存在しない場合は、その第２の領域に対応しては文字列を特定しない。無理に特定すると誤認識が増えるからである。

図３は、本発明の一実施形態としての画像処理プログラムのフローチャートを示した図である。

図１に示すスキャナ２０で原稿上の画像が読み取られて画像データが生成され、その生成された画像データが通信ケーブル４０を経由してノートＰＣ３０に入力される。すると、この図３に示す画像処理プログラムが起動し、通信ケーブル４０を経由してノートＰＣ３０に入力されてきた画像データが取得される（ステップＳ０１）。なお、前述の通り、ここでは、特に必要がある場合を除き、データ上の画像であっても「データ」を省略し、「画像」あるいは「原稿」と称することがある。

ステップＳ０１にて画像を取得すると、今回取得した画像が１枚目の画像であるか２枚目以降の画像であるかが判定される（ステップＳ０２）。

本実施形態では、スキャナ２０に、１枚目は未記入原稿を読み取らせ、その後、２枚目以降に記入済原稿を順次読み取らせるというルールを置いている。そこで、この画像処理プログラムは、取得した画像が１枚目の画像のときは、その画像を未記入原稿として一時保存する（ステップＳ０３）。２枚目以降についても画像取得を繰り返し（ステップＳ０５）、２枚目以降に取得した画像は全て記入済原稿として一時保存する（ステップＳ０４）。

図４は、未記入原稿と記入済原稿の第１例を示した図である。
ここで、図４（Ａ）は、記入前のアンケート用紙、すなわち未記入原稿５１Ａを表している。ここでは、アンケート内容として（１）〜（３）の３つの設問があり、それら３つの設問に対する回答は、１〜５の数字のうちのいずれか１つの数字を○印で囲うことによりその数字を選択する方式のものである。

また、図４（Ｂ）は、図４（Ａ）に示したアンケート用紙と同一様式のアンケート用紙上に回答者が回答を記入した記入済原稿５２Ａを表している。記入済原稿は１枚とは限らず、スキャナ２０で順次読み込まれた複数枚の原稿のうちの２枚目以降の原稿の１枚１枚それぞれが記入済原稿として取り扱われる。

この図４（Ｂ）に示されている１枚の記入済原稿５２Ａでは、（１）の設問に関しては、数字の「３」が○印５２１で囲まれている。また、（２）の設問に関しては、数字の「１」が○印５２２で囲まれている。さらに、（３）の設問に関しては、数字の「５」が○印５２３で囲まれている。

図５は、未記入原稿と記入済原稿の第２例を示した図である。
図４の場合と同様、図５（Ａ）は、記入前のアンケート用紙、すなわち未記入原稿５１Ｂを表している。また、図５（Ｂ）は、図５（Ａ）に示したアンケート用紙と同一様式のアンケート用紙上に回答者が回答を記入した記入済原稿５２Ｂを表している。記入済原稿は１枚とは限らず、スキャナ２０で順次読み込まれた複数枚の原稿のうちの２枚目以降の原稿の１枚１枚それぞれが記入済原稿として取り扱われる。

ここでは、アンケート内容として（１）から（４）の４つの設問があり、それらの設問のうちの（１）から（３）に対する回答は、「大変良い」、「良い」、「普通」、「悪い」、「大変悪い」のいずれかに重ねて○印等のマークを記入することにより、また（４）の設問に対しては、「ぜひ紹介したい」、「まあ紹介したい」、「あまり紹介したくない」のいずれかに重ねて○印等のマークを記入することにより、そのマークを記入した内容を選択する方式のものである。

図６は、未記入原稿と記入済原稿の第３例を示した図である。
図４，図５の場合と同様、図６（Ａ）は、記入前のアンケート用紙、すなわち未記入原稿５１Ｃを表している。また、図６（Ｂ）は、図６（Ａ）に示したアンケート用紙と同一様式のアンケート用紙上に回答者が回答を記入した記入済原稿５２Ｃを表している。記入済原稿は１枚とは限らず、スキャナ２０で順次読み込まれた複数枚の原稿のうちの２枚目以降の原稿の１枚１枚それぞれが記入済原稿として取り扱われる。

ここでは、アンケート内容として（１）と（２）の２つの設問があり、それら２つの設問に対する回答は、図６（Ｂ）に示すように、□印内にチェックマークを記入することにより行われる。□印内にチェックマークを記入すると、そのチェックマークを記入した□印のすぐ右側に記録されている文字列が表わす内容を回答したことになる。

図７は、未記入原稿と記入済原稿の第４例を示した図である。
図４〜図６の場合と同様、図７（Ａ）は、記入前のアンケート用紙、すなわち未記入原稿５１Ｄを表している。また、図７（Ｂ）は、図７（Ａ）に示したアンケート用紙と同一様式のアンケート用紙上に回答者が回答を記入した記入済原稿５２Ｄを表している。記入済原稿は１枚とは限らず、スキャナ２０で順次読み込まれた複数枚の原稿のうちの２枚目以降の原稿の１枚１枚それぞれが記入済原稿として取り扱われる。

ここでは、アンケート内容として、図６と同じ内容の（１）と（２）の２つの設問がある。ただし、ここでは、回答候補としての文字列は、罫線で囲まれた枠内に記録されている。この設問に対する回答は、図７（Ｂ）に示すように、回答しようとしている文字列の左に並ぶ、罫線によって囲まれた枠内にチェックマークを記入することによって行われる。枠内にチェックマークを記入すると、そのチェックマークの枠のすぐ右側に並ぶ枠内に記録されている文字列が表わす内容を回答したことになる。

図３に戻って説明を続ける。

一連の画像取得を終了すると（ステップＳ０５）、次に、未記入原稿に記録されている文字列およびその文字列が記録されている領域の認識処理が行われる（ステップＳ０６）。図４に示す第１例では数字のみの認識で足りるが、本実施形態における認識対象は図４〜図７に示すように多岐のアンケート用紙にわたっているため、認識すべき文字のの文字種は限定されていない。

図８は、未記入原稿上の文字列および領域認識処理のフローチャートを示した図である。図３のステップＳ０６では、この図８に示す処理が実行される。

ここでは先ず、未記入原稿上に記録されている個々の文字について、文字とその文字が記録されている領域（第１の領域）とが認識される（ステップＳ６１）。この文字と第１の領域の認識は、未記入原稿の全面にわたって行なわれる。

図９は、認識された文字に対応付けられる第１の領域の算出方法を例示した図である。

ここでは、図９に示すように、数字の「３」が認識されたものとする。このとき、その数字の「３」に外接する長方形Ｒが算出されて、その長方形Ｒがその認識された数字「３」に対応する第１の領域として認識され、その長方形Ｒが、ここで認識された数字の「３」に対応する第１の領域として、その数字「３」に対応づけられる。ただし、ここで対応づけられる第１の領域は、必ずしも２次元的な広がりのある領域ではなく、例えば、その長方形Ｒの４隅の座標Ｃ１〜Ｃ４のセット、あるいは、その長方形Ｒの中心の１点の座標Ｃ０等であってもよい。

図８に戻って説明を続ける。

未記入原稿上の個々の文字および個々の文字に対応する個々の第１の領域が認識されると（ステップＳ６１）、次に、その未記入原稿上の罫線の認識が試みられる（ステップＳ６２）。ここでは、図４〜図６に示すような、罫線が描かれていないアンケート用紙も、図７に示すような罫線が描かれているアンケート用紙も処理対象としている。このため、アンケート用紙によっては、罫線が描かれている場合も有り得る。そこで、ここでは、未記入原稿上の罫線の有無、および罫線が描かれていた場合の、その罫線の位置や長さ等が認識される。

個々の文字および個々の第１の領域の認識（ステップＳ６１）と罫線の認識（ステップＳ６２）が終了すると、次に、未記入原稿上を左上から右下に向かって順次に検査していき（ステップＳ６３）、認識された文字を見つけたら、その見つけた１つの文字とその文字に対応する第１の領域を取り出す（ステップＳ６４）。そして、取り出すべき文字が無くなるまで、以下の処理を繰り返す（ステップＳ６５）。

ここでは先ず、今回取り出した１つの文字が１行の左側の先頭の文字か否かを判定するステップＳ６６）。１行の左側の先頭の文字１つだけでは、以下の処理を実行できないため、今回取り出した１つの文字が１行の左側の先頭の文字であったときは、ステップＳ６３に戻り、次の文字とその文字に対応する第１の領域を取り出す（ステップＳ６４）。

そして次に、先に取り出した文字を囲う罫線が存在するか否かを判定する（ステップＳ６７）。

ここでは先ずは、罫線（先に取り出した文字を囲う罫線）が存在しない場合について説明する。上記の条件を満たす罫線が存在しない場合、次に、先に取り出した文字と今回取り出した文字との２つの文字に対応する２つの第１の領域どうしを結合する結合条件を満たすか否かを判定する（ステップＳ６８）。ここでは、この結合条件として、今回取り出した文字に対応する第１の領域が、先に取り出した文字に対応する第１の領域に対し、右隣に有り、かつ、予め定められた閾値距離以内に存在すること、という条件を採用している。

図１０は、第１の領域どうしを結合する結合条件の説明図である。

ここには、「以下の質問にお答えください」の文字が並んでいる。そして、先に取り出した文字が「以」であって、今回取り出した文字が「下」であるとする。ここで、今回取り出した文字「下」に対応する、その文字「下」を取り巻く第１の領域（ここでは、これを、「今回の第１の領域」と称する。）は、先に取り出した文字「以」に対応する、その文字「以」を取り巻く第１の領域（ここでは、これを、「先の第１の領域」と称する。）に対し右隣に位置していて、かつ、予め定められた閾値距離以内に存在する。そして、この結合条件を満たすと、それら２つの第１の領域が、「以」と「下」という２つの文字からなる文字列「以下」に対応する１つの第１の領域となるように結合される（図８、ステップＳ６９）。

今回の第１の領域が先の第１の領域に対し予め定められた閾値距離以内に存在するか否かの判定は、特定の判定方法に限定されるものではないが、例えば以下の判定方法が採用される。

例えば、図１０（Ａ）に示すように、先の第１の領域（文字「以」を囲う領域）の右辺と、今回の第１の領域（文字「下」を囲う領域）の左辺との間の距離を計算し、その距離が閾値距離以内であるか否かが判定される。

あるいは、これも図１０（Ａ）に示すように、先の第１の領域（文字「以」を囲う領域）の４隅の座標の各々と、今回の第１の領域（文字「下」を囲う領域）の４隅の座標の各々との間の距離を計算し、それらの距離の中に閾値距離以内の距離が存在するか否かで判定してもよい。

あるいは、図１０（Ｂ）に示すように、先の第１の領域の中心座標と今回の第１の領域の中心座標との間の距離を計算し、その距離が閾値距離以内であるか否かで判定してもよい。

ただし、これらの異なる判定方法に応じて、その判定方法に適した閾値距離が採用される。あるいは、これらの複数の判定方法を併用してもよい。

このような判定方法により結合条件を満たすと判定された場合は、第１の領域どうしを結合する（ステップＳ６９）。そして、以上の処理を、未記入原稿上の全ての文字の取出しが終了するまで繰り返す（ステップＳ６５）。図１０に示す文字列の場合、この繰り返しにより、図１０（Ｃ）に示すように、「以下の質問にお答えください」の文字列全体に対応する１つの第１の領域が生成される。

次に、取り出した文字を囲う罫線が存在する場合について説明する。

この場合、図８のステップＳ６７において先に取り出した文字を囲う罫線が存在すると判定されると、つぎにステップＳ７１に進み、今回取り出した文字が、先に取り出した文字を囲う罫線領域（罫線で囲まれた枠）と同じ罫線領域内に存在するか否かが判定される。そして、それらの文字が同じ罫線領域内（罫線で囲まれた同じ枠内）に存在すると判定されると、それらの文字に対応する２つの第１の領域どうしが結合される（ステップＳ７２）。

図１１は、罫線を利用した第１の領域どうしの結合例を示した図である。

ここでは、「Ｖｅｒ７．０」、「Ｖｅｒ７．１」、「Ｖｅｒ８．０」、「Ｖｅｒ８．０２」、「Ｖｅｒ８．０５」、の各文字列が、それぞれ１つの罫線領域（罫線で囲まれた同じ枠内）に記録されている。そこで、ここでは、「Ｖｅｒ７．０」について例示すると、「Ｖ」「ｅ」「ｒ」「７」「．」「０」の個々の文字の第１の領域どうしが結合されて、文字列「Ｖｅｒ７．０」に対応する１つの第１の領域が生成される。その他の文字列についても同様である。

このようにして、図８に示した処理の実行により、文字列ごとの第１の領域が生成される。ここで、今回取り出した文字が先に取り出した文字から離れていて、さらに、次に取り出した文字も離れているときは、１文字のみからなる文字列が構成されることになる。

図８に示した処理、すなわち、図３のステップＳ０６の処理により１文字のみであることを含む各文字列に対応する各第１の領域が生成されると、次に、図３のステップＳ０７に進む。ここでは、ステップＳ０４で一時保存しておいた記入済原稿のうちの１枚を取り出す（ステップＳ０７）。ただし、ステップＳ０９における文字認識処理が済んでいる記入済原稿は取出しの対象からは外している。そして、未処理の記入済原稿が有ったときは、すなわち、未処理の記入済原稿を取り出せたときは（ステップＳ０８）、その取り出した１枚の未処理の記入済原稿について、文字認識処理を実行する（ステップＳ０９）。文字認識処理の詳細については、後述する。

未処理の記入済原稿を取り出せなかったとき、すなわち、全ての記入済原稿について文字認識処理（ステップＳ０９）が終了したときは（ステップＳ０８）、今回の文字認識ルーチンを終了する。
図１２は、図３に１つのステップ（ステップＳ０９）で示した文字認識処理の詳細フローを示した図である。

ここでは先ず、図３のステップＳ０７で取り出した１枚の記入済原稿とステップＳ０３で一時保存しておいた未記入原稿との間の差分の画像を生成する（ステップＳ２１）。
図１３は、差分画像の一例を示した図である。
この図１３に示す差分画像５３Ａは、図４（Ａ）に示す未記入原稿５１Ａと、図４（Ｂ）に示す記入済原稿５２Ａのうちの一番上の１枚の記入済原稿との間の差分画像である。この差分画像５３Ａには、回答者によって記入された、３つの○印５２１，５２２，５２３が抽出される。この差分画像上に現れた追加記録画像は、本発明にいう追加記録画像の一例に相当する。また、ここでは、追加記録画像を構成している１つ１つの画像を個別追加記録画像と称する。ここで、○印５２１に関しては、記入時の掠れ等により、２つの部分５２１ａ，５２１ｂに分かれている。このため、２つの部分５２１ａ，５２１ｂの各々が個別追加記録画像となる。
図１２に戻って説明を続ける。
図１３に例示するような差分画像を生成すると（ステップＳ２１）、次に、差分画像を左上から右下に向かって検査していき（ステップＳ２２）、個別追加記録画像を見つけたら、その見つけた１つの個別追加記録画像を取り出す（ステップＳ２３）。そして、今回対象としている差分画像上に未処理の個別追加記録画像が無くなるまで（ステップＳ２４）、以下の処理を繰り返す。
ここでは先ず、領域算出処理が行われる（ステップＳ２５）。この領域算出処理は、ステップＳ２３で取り出した１つの個別追加記録画像の記入済原稿上の領域（第２の領域）を算出する処理である。本実施形態では、この第２の領域の算出にあたり、図９に示した、未記入原稿上の第１の領域の算出方法と同じ算出方法が採用されている。すなわち、ここでは、ステップＳ２３で取り出した１つの個別追加記録画像に外接する長方形Ｒが算出され、その長方形Ｒがその個別追加記録画像に対応する第２の領域として、その個別追加記録画像に対応付けられる。あるいは、これも第１の領域の場合と同様、その長方形Ｒの４隅の座標のセット、もしくは、その長方形Ｒの中心座標を第２の領域としてもよい。
１つの個別追加記録画像に対応する第２の領域が算出されると（ステップＳ２５）、次に、文字列特定処理が行われる（ステップＳ２６）。

図１４は、文字列特定処理の詳細フローを示した図である。

ここでは、図１２のステップＳ２５で今回算出された第２の領域が、いずれかの第１の領域と重なっているか否かが判定される（ステップＳ２６１）。

図１５は、第２の領域と第１の領域が重なっている例を示した図である。

図１５（Ａ）〜（Ｃ）のいずれにおいても、第２の領域（○印を囲う領域）と重なる第１の領域（文字列を囲う領域）とが重なっている。中心座標どうしの距離を算出して重なっているかどうかを判定するときは、第２の領域の中心座標と、文字列を構成している各文字それぞれの中心座標のうちの第２の領域の中心座標に一番接近した文字の中心座標との間の距離が閾値距離以内にあるか否かによって重なっているか否かを判定してもよい。

図１４に戻って説明を続ける。

図１５に例示したように、第２の領域と重なっている第１の領域が存在するときは、その重なっている第１の領域に対応する文字列が、その第２の領域、すなわち今回の個別追加記録画像に対応する文字列として特定される（ステップＳ２６２）。

第２の領域と重なっている第１の領域が存在しないときは（ステップＳ２６１）、その第２の領域の右側であって閾値距離以内の距離に第１の領域が存在するか否かが判定される（ステップＳ２６３）。この判定方法としては、前述した、第１の領域どうしを結合するか否かの判定方法と同様の、様々な判定方法が採用され得る。ただし、文字の中心座標どうしの距離に基づいて判定するときは、判定対象の第１の領域に対応する文字列の中の一番左側の文字の中心座標が採用される。

図１６は、第２の領域の右側に第１の領域が存在している例を示した図である。

ここには、□印内に記入されたチェックマークを囲う第２の領域の右側であって閾値距離以内に「Ｖｅｒ７．０」の文字列を囲う第１の領域が存在している。そこで、この「Ｖｅｒ７．０」の文字列を囲う第１の領域に対応する文字列である「Ｖｅｒ７．０」が、その第２の領域、すなわち今回の個別追加記録画像であるチェックマークに対応する文字列として特定される（図１４、ステップＳ２６４）。なお、第２の領域の右側であって閾値距離以内に複数の第１の領域が存在するときは、それら複数の第１の領域のうちの第２の領域からの距離が最短の第１の領域に対応する文字列が、その第２の領域に対応する文字列として特定される。

第２の領域と重なっている第１の領域が存在せず、しかも、第２の領域の右側の閾値距離以内にも第１の領域が存在しなかったときは、今回の第２の領域、すなわち今回の個別追加記録画像に対応しては、文字列は特定されないステップＳ２６５）。

図１２に戻って説明を続ける。

今回の１つの第２の領域に対応する図１４に示した文字列特定処理、すなわち、今回の１つの第２の領域に対応する図１２のステップＳ２６における文字列特定処理が終了すると、次に、このようにして特定された文字列が、ステップＳ２２で個別追加記録画像を１つづつ取り出して処理していく間に複数回通過するステップＳ２６において先に特定された文字列に対応する第１の領域と同一の第１の領域の文字列であるか否かが判定される（ステップＳ２７）。
例えば、図１３に示す○印５２１は、その○印の記入時の掠れ等により、２つの部分５２１ａ，５２１ｂに分かれている。このため、各部分５２１ａ，５２１ｂのそれぞれが１つずつの個別追加記録画像として認識されることが有り得る。その場合、それら２つの部分５２１ａ，５２１ｂで同じ座標の同じ文字列（ここでは図４に示す数字の「３」）が特定される。図１２のステップＳ２７は、このような場合に、２度目以降に特定された同一の第１の領域の同一の文字列は不要なので、２度目以降に特定された同一の第１の領域の同一の文字列は無視される。
ステップＳ２７において、これまでとは別の第１の領域の文字列が特定されたときは、その特定された文字列が保存される（ステップＳ２８）。
ここでは以上の処理が、１枚の差分画像上の個別追加記録画像の１つ１つについて実行され（ステップＳ２２，Ｓ２３）、その１枚の差分画像上の全ての個別追加記録画像についての処理が終了すると（ステップＳ２４）、その１枚の差分画像についての、図１２に示す処理、すなわち、図３にステップＳ０９として示す文字認識処理が終了し、未処理の次の記入済原稿に関する文字認識処理に移行する（図３のステップＳ０７）。そして、全ての記入済原稿に関する文字認識処理が終了すると（図３のステップＳ０８）、画像処理ルーチンの今回の実行を終了する。
このように、本実施形態によれば、マークシートのマークの各位置ごとに、その位置のマークが何を意味しているか、という情報を予めインプットしておくといったような事前設定なしに、回答者の回答を認識することができる。

ここで、本実施形態の場合、スキャナ２０で複数枚の原稿を連続的に読み取り、それら複数枚の原稿のうちの１枚目の原稿を未記入原稿とし、２枚目以降の原稿を記入済原稿とするというルールが定められている。この場合、未記入原稿の画像データを容易かつ確実に取得することができる。しかしながら、本発明においては、未記入原稿を１枚目などの特定の位置に配置するというルールは必ずしも必要ではない。未記入原稿を、例えば複数枚積み重ねた記入済原稿の途中位置に挟みこんでおいてもよい。その場合、画像取得部の中に未記入原稿を複数枚の原稿から見つけ出す処理を実施すればよい。未記入原稿を見つけ出す処理の一例としては、１枚目の原稿と２枚目以降の原稿との差分を抽出する処理を順次行い、１枚目の原稿にのみ差分が出た原稿を未記入原稿とすればよい。また、未記入原稿であるか記入済原稿であるかを問わずに読取により得られたテータ上の複数枚の原稿の共通部分を抽出した画像を作成し、その作成した画像と読み込んだ各原稿とのパターンマッチングを行い、一致度が最も高かった原稿を未記入原稿としてもよい。

あるいは、記入済原稿の読み込みが複数回に分かれていても、同種の原稿についての未記入原稿の読み込みは１回のみとし、一旦読み込んだ未記入原稿を記憶しておいて、今回読み込んだ記入済原稿とのパターンマッチングや特徴点抽出、あるいは直線で囲まれた領域の一致度を使ったフォーム認識により、今回読み込んだ記入済原稿に対応する未記入原稿を特定してもよい。

さらには、本発明では、未記入原稿を読み込むことすら必ずしも必要ではない。例えば、複数枚の記入済原稿から、それら複数枚の記入済原稿の共通部分を抽出することにより、データ上で未記入原稿を作成してもよい。この場合、共通部分を抽出することにより作成されたデータ上での未記入原稿が第１の画像を表す第１の画像データに対応する。

また、ここでは、図１に示すように、通信ケーブル４０でスキャナ２０と接続されたノートＰＣ３０からなる画像処理装置について説明したが、本発明における画像処理装置は必ずしもこの形態である必要はない。例えば、スキャナとプリンタとが合体した形態のコピー機ないしはさらに機能が増えた複合機に、本発明の画像処理装置の機能を組み込んでもよい。さらには、カメラ機能を備えた携帯型端末に本発明の画像処理装置の機能を組み込んでもよい。その場合、カメラ機能で原稿を撮影することにより得られた画像が文字認識の対象となる。

１０ 文字認識システム
２０ スキャナ
２１ 原稿トレイ
２２ 排紙トレイ
２３ 上蓋
３０ ノート型パーソナルコンピュータ（ノートＰＣ）
３１ 表示画面
３２ キーボード
５１Ａ，５１Ｂ，５１Ｃ，５１Ｄ 未記入原稿
５２Ａ，５２Ｂ，５２Ｃ，５２Ｄ 記入済原稿
５３Ａ 差分画像
５２１，５２２，５２３ ○印
５５１，５５２ 個別追加記録画像
６０ 画像処理装置
６１ 画像取得部
６２ 文字列認識部
６３ 追加記録画像抽出部
６４ 文字列特定部

Claims (5)

1. 第１の画像を表わす第１の画像データと、該第１の画像データに追加記録がなされた第２の画像を表わす第２の画像データとをスキャナから取得する画像取得部と、
   前記第１の画像から、１文字であることを含む文字列を認識し、さらに、認識した文字列ごとに、該第１の画像上の、該文字列が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む第１の領域を該文字列に対応付ける文字列認識部と、
   前記第２の画像の中から、前記第１の画像に対し追加記録された画像である追加記録画像を抽出し、さらに、該追加記録画像を構成する、個別の記録ごとの個別追加記録画像ごとに、前記第２の画像上の、該個別追加記録画像が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む第２の領域を抽出する追加記録画像抽出部と、
   前記文字列認識部で認識された文字列の中から、前記第２の領域に対し、該第２の領域に重なっていることを含む予め定められた第１の閾値以内にある前記第１の領域に対応づけられている文字列を特定する文字列特定部とを備え、
   前記文字列特定部が、複数の第２の領域に対応して、同一の前記第１の領域に対応付けられた同一の文字列が特定されたときは、該同一の文字列についての複数回の特定のうちの初回の特定を除く残りの特定における、特定された該同一の文字列を無視することを特徴とする画像処理装置。
2. 前記文字列認識部が、認識した個々の文字の中の、１点もしくは複数点の座標で表現された領域であることを含む領域どうしが互いに重なっていることを含む予め定められた第２の閾値以内にある複数の領域に含まれる複数の文字を、１つの文字列として認識し、前記第１の画像上の、文字列が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む該領域を、前記第１の領域として該文字列に対応付けることを特徴とする請求項１に記載の画像処理装置。
3. 前記文字列特定部が、前記第２の領域に対し該第２の領域に重なっていることを含む予め定められた第１の閾値以内にある領域が存在しない場合は、該第２の領域に対応しては文字列を特定しないことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記文字列認識部は、前記第１の画像が罫線を含む画像の場合に、該罫線で囲まれた領域ごとに文字列を認識するものであることを特徴とする請求項１から３のうちのいずれか１項に記載の画像処理装置。
5. プログラムを実行する情報処理装置内で実行されて、該情報処理装置を、
   第１の画像を表わす第１の画像データと、該第１の画像データに追加記録がなされた第２の画像を表わす第２の画像データとをスキャナから取得する画像取得部と、
   前記第１の画像から、１文字であることを含む文字列を認識し、さらに、認識した文字列ごとに、該第１の画像上の、該文字列が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む第１の領域を該文字列に対応付ける文字列認識部と、
   前記第２の画像の中から、前記第１の画像に対し追加記録された画像である追加記録画像を抽出し、さらに該追加記録画像を構成する、個別の記録ごとの個別追加記録画像ごとに、前記第２の画像上の、該個別追加記録画像が記録されていた、１点もしくは複数点の座標で表現された領域であることを含む第２の領域を抽出する追加記録画像抽出部と、
   前記文字列認識部で認識された文字列の中から、前記第２の領域に対し、該第２の領域に重なっていることを含む予め定められた第１の閾値以内にある第１の領域に対応づけられている文字列を特定する文字列特定部とを備え、
   前記文字列特定部が、複数の第２の領域に対応して、同一の前記第１の領域に対応付けられた同一の文字列が特定されたときは、該同一の文字列についての複数回の特定のうちの初回の特定を除く残りの特定における、特定された該同一の文字列を無視する画像処理装置として動作させることを特徴とする画像処理プログラム。

Images